一、H264 NALU概述
H264（又称为AVC）是当今最流行的视频编解码器之一。H264使用网络提供的带宽来传输高质量的视频，同时也允许采用较低的比特率来传输低质量的视频。尽管H264具有优秀的压缩率和视频质量，但它复杂的编码和解码过程需要很高的计算功率。为保证在网络上传输的数据的可靠性，H264采用了一种特殊的数据传输方式——NALU（网络抽象层单元）。 在本节中，我们将学习H264 NALU的概念，以及在实现H264编解码器时这些单元的作用。
二、NALU概述
H264视频流由一个个数据单元组成，这些数据单元被称为NALU。H264视频编码器将视频数据分成数据块，然后将它们打包到NALU中。每个NALU都必须含有一个特别的指示信息，描述了NALU的类型、NALU的首地址、NALU的长度和NALU的类型。H264协议规范定义了一些特殊的NALU类型，如非熵编NALU（非整数倍大小的NALU）、SPS（序列参数集）NALU和PPS（图像参数集）NALU等。
三、NALU类型
H264协议规范定义了多种NALU类型，每种类型具有自己的功能和使用场景。下面是一些重要的NALU类型：
1.非熵编NALU：这是由视频编码器生成的，由几个的视频帧组成，没有经过H264标准化的处理。
2.IDR帧NALU：IDR帧是视频序列中的关键帧，可根据IDR帧来进行解码。当IDR帧NALU被发送并到达解码器时，解码器会重新初始化，以保证视频解码过程顺利进行。
3.SPS和PPS NALU：应用SIP协议的视频呼叫过程中，视频呼叫的发起方在发送空包时，要把SIP消息中携带的SPS和PPS打包到同一波视频数据流中发送给另一方。SPS和PPS描述了视频序列和图像的参数集，这是视频解码器在解码h.264视频流时必须具备的参数。
四、NALU的打包
为了将视频数据打包成NALU，H264编码器使用了“编码器字节流格式”（EBP）协议。编码器字节流格式协议是一种快速、高效的视频数据压缩和打包方式，具有出色的压缩率和视频质量。下面是NALU打包的示例代码：
const uint32_t NALU_START_CODE_LENGTH = 4;
const uint8_t NALU_START_CODE[NALU_START_CODE_LENGTH] = {0x00, 0x00, 0x00, 0x01};
void pack_nalu(const uint8_t* nalu, uint32_t nalu_size, uint8_t* packed_nalu) {
assert(nalu != nullptr && nalu_size > 0 && packed_nalu != nullptr);
memcpy(packed_nalu, NALU_START_CODE, NALU_START_CODE_LENGTH);
memcpy(packed_nalu + NALU_START_CODE_LENGTH, nalu, nalu_size);
}
五、NALU的解包
在解码H264视频流时，需要先将NALU解包成多个视频块。下面是NALU解包的示例代码：
const uint32_t MIN_NALU_SIZE = NALU_START_CODE_LENGTH + 1;
bool extract_nalu(const uint8_t* video_data, uint32_t video_size, uint32_t& pos, uint32_t& nalu_size) {
assert(video_data != nullptr && video_size > 0 && pos < video_size);
// 查找NALU起始标识符
uint32_t start = pos;
while (pos < video_size - MIN_NALU_SIZE + 1) {
bool match = memcmp(video_data + pos, NALU_START_CODE, NALU_START_CODE_LENGTH) == 0;
if (match && pos > start) {
break;
}
++pos;
}
if (pos >= video_size - MIN_NALU_SIZE + 1) {
return false;
}
// 查找NALU终止标识符
uint32_t end = pos + NALU_START_CODE_LENGTH;
while (end < video_size - NALU_START_CODE_LENGTH + 1) {
bool match = memcmp(video_data + end, NALU_START_CODE, NALU_START_CODE_LENGTH) == 0;
if (match) {
break;
}
++end;
}
nalu_size = end - pos - NALU_START_CODE_LENGTH;
pos += NALU_START_CODE_LENGTH;
return true;
}
六、总结
本文介绍了H264视频编解码器中的NALU（网络抽象层单元）的概念、类型、打包和解包过程。根据H264协议规范，我们了解了具有重要意义的NALU类型，如IDR帧NALU、SPS NALU和PPS NALU。了解NALU的打包和解包过程对于H264视频编解码器的实现、调试和优化都非常有帮助，同时，也有助于您更好地理解和学习视频编解码器相关知识。
