h264sei详解

一、h264sei的概念

h264sei全称为H.264 Supplemental Enhancement Information，简称SEI。它是H.264/MPEG-4 AVC视频压缩标准中的一个重要的辅助数据扩展内容。它包含了一些用于视频数据传输、解码和显示的辅助性信息，如字幕、场景信息、附加时间戳等，这些信息可以通过SEI很方便地传递到解码器中解析和使用。

在H.264编码后,视频数据是通过rtp/rtsp协议进行传输的,而SEI信息就是作为rtp传输的负载中的一部分来传输，它是在码流中有规律的插入一些附属信息，因此也叫插入信息（insertion payload）。

二、h264sei的结构

h264sei是一种比较灵活的结构，它可以包括多个不同的SEI类型，其中每个SEI类型都有自己的具体结构和语法，最大支持16个SEI类型。在H.264码流中，SEI数据是通过NALU(Network Abstraction Layer Unit)单元进行传输的，其中包括一些头部信息和载荷数据，具体的结构如下：

------------------------------------
| 0                   | 1           |
|---------------------|-------------|
| forbidden_zero_bit  | nal_ref_idc |
|---------------------|-------------|
| nal_unit_type                      |
|                                    |
|               NALU header          |
|                                    |
|-----------------------------------|
|                                   |
|     Supplemental Enhancement      |
|          Information (SEI)        |
|                Data               |
|                                   |
|-----------------------------------|

三、h264sei的应用

在实际的多媒体应用中，h264sei的应用非常广泛。下面列举了几种常见的应用情形：

1、字幕

h264sei最为常用的应用之一就是字幕。因为字幕需要在视频播放的过程中动态地显示和关闭，一种有效的方法就是将字幕信息作为SEI进行传输。通过解析SEI中的字幕信息，播放器可以在正确的时间将字幕显示在视频上，从而有利于提高用户的观影体验。

// 示例代码
std::vector sei_data = {0x00, 0x00, 0x00, 0x01, 
                                 0x06, 0x05, 0x4D, 0x03, 
                                 0xE2, 0x8F, 0x04, 0x1F,
                                 0xED, 0x7F, 0xFF, 0xE3,
                                 0x42, 0x00, 0x16, 0x92, 
                                 0xB6, 0x06, 0x01, 0x03, 
                                 0x05, 0xFF, 0xFF, 0xFF, 
                                 0xFF};

  

2、场景信息

在视频编码的过程中，有时为了提高视频质量，需要加入一些额外的场景信息，通过SEI可以将这些场景信息传输到解码端，从而有利于解码器进行更准确的解码和渲染。

// 示例代码
std::vector sei_data = {0x00, 0x00, 0x00, 0x01, 
                                 0x06, 0x01, 0x00, 0x00, 
                                 0x03, 0xE8, 0x00, 0x00};

  

3、附加时间戳

在视频传输过程中，为了保证视频数据的同步性，常常需要对视频帧进行编码时间戳（PTS）和显示时间戳（DTS）的标记和传输，通过SEI可以完成这个过程。这些信息可以用于视频的合成、渲染和同步。

// 示例代码
std::vector sei_data = {0x00, 0x00, 0x00, 0x01, 
                                 0x06, 0x03, 0x31, 0x36,
                                 0x3A, 0x30, 0x39, 0x3A,
                                 0x31, 0x30, 0x2E, 0x31, 
                                 0x35, 0x36, 0x36, 0x30};

  

四、h264sei的解析

在实际的开发中，需要对传输过来的h264sei数据进行解析，可以使用一些现有的开源库，如FFmpeg、x264、OpenH264等，这些库都提供了完整的h264sei解析、封装和传输API接口，开发者只需要根据自己的需求选择和使用即可。

五、小结

h264sei是H.264视频编码标准中的一个非常重要的辅助数据扩展内容。它可以在视频的传输、解码和显示过程中传递一些附加的信息，如字幕、场景信息、附加时间戳等。在实际的多媒体应用开发中，h264sei的应用非常广泛，可以根据自己的需求选择和使用。