一、概述

    h.264是itu-t最新的视频编码标准，被称作iso/iec14496-10或mpeg-4avc，是由运动图像专家组(mpeg)和itu的视频编码专家组共同开发的新产品。
 
    h.264分两层结构，包括视频编码层和网络适配层。视频编码层处理的是块、宏块和片的数据，并尽量做到与网络层独立，这是视频编码的核心，其中包含许多实现错误恢复的工具；网络适配层处理的是片结构以上的数据，使h.264能够在基于rtp/udp/ip、h.323/m、mpeg-2传输和h.320协议的网络中使用。

    二、ip网络对视频压缩的限制

    1.h.264的应用场合

    在讨论基于ip的h.264之前，有必要先阐述一下h.264与ip网络有关的应用场合及其对传输和编解码器的要求。下面介绍对话应用、下载服务和流媒体应用三种场合。

    对话应用，比如像视频电话和视频会议，有严格的时延限制，要求端到端时延小于1s，最好小于100ms。编解码器的参数能实时调整，错误恢复机制要根据实际网络变化而改变。编解码的复杂度不能很高，比如双向预测的模式就不能被采用。

    下载服务，可使用可靠的传输协议如ftp和http将数据全部传输。由于这种应用的非实时性，编码器可以通过优化进行高效编码，而且对时延和错误恢复机制没有要求。

    流媒体服务应用，对时延要求介于上面两者之间，初始化时延是10s以内。与实时编码相比对时延要求降低，编码器可以进行优化实现高效编码(比如双向预测)。然而通常流媒体服务使用不可靠的传输协议，所以编码时要进行差错控制并进行信道纠错编码。

    本文主要讨论对话应用和流媒体应用，这两种应用基于ip网络。ip网络又可分为三种类型：不可控ip网络(如internet)、可控ip网络(广域网)和无线ip网络(如3g网络)。这三种ip网络有不同的最大传输单元尺寸(mtusize)、比特出错概率和tcp使用标记。最大传输单元尺寸是网络层最大的分组长度，h.264编码时要使片的长度小于mtu尺寸，这样可避免在网络层再进行一次数据的分割。两个ip节点之间的mtu尺寸是动态变化的，通常假定有线ip网络的mtu尺寸是1.5千字节，无线网络的mtu尺寸是100字节。可见要适用于无线网络的h.264必须采用数据分割技术使得片的长度小于mtu尺寸。tcp传输控制协议能够解决网络拥塞引起的分组丢失问题，而在无线网络中，分组丢失是由于链路层错误引起的，tcp并非很好的解决办法，要采用差错控制协议。

    2.h.264使用的协议环境

    对话应用和流媒体应用使用同一协议组，下面进行讨论。

    网络层协议：使用ip(网际协议)。每个ip分组单独从发方出发，经过一系列的路由器到达收方。ip将大于mtu尺寸的分组进行数据分割、重组。每个分组的传输时间都有所不同。ip头20个字节由校验码来保证，但数据没有保护。ip分组最大值为64千字节，但由于mtu尺寸的限制，一般没有这么大。

    传输层协议：主要有两个协议，tcp和udp。tcp提供面向字节的可靠传输服务，以重传和超时等机制作为差错控制的基础。由于对时延的不可预测，并不适用于实时通信传输。udp提供不可靠的数据报传输业务。udp头包含的校验数(8字节)可以发现和去掉含有比特错误的分组。udp允许分组传输过程中出现丢失、复制、改序等。使用udp协议时，高层必须使用错误恢复协议。

    应用层传输协议：使用rtp(实时传输协议)。该协议和ip/udp结合使用，是面向会话的协议。每个rtp分组包含rtp头标，载荷头标(可选)和载荷本身。rtp头标的内容见图1，基本选项占用12字节，标记位标记有同一时间戳的一组分组的结束。rtp协议使发送方将数据分为大小合理的分组，并将解码方观察到的网络特征反馈给发送方，使发送方可以动态调整比特率和抗误码机制。rtp分组和rtp载荷规范在第四部分讨论。

    应用层控制协议：有h.245协议、sip和sdp，或rtsp。这些协议可以实现流媒体的控制，收发方的协商和控制动态会话层。

    三、h.264的错误恢复工具

    错误恢复的工具随着视频压缩编码技术的提高在不断改进。旧的标准(h.261、h263、mpeg-2的第二部分)中，使用片和宏块组的划分、帧内编码宏块、帧内编码片和帧内编码图像来防止错误的扩散。之后改进的标准(h.263+、mpeg-4)中，使用多帧参考和数据分割技术来恢复错误。

    h.264标准在以前的基础上提出了三种关键技术：(1)参数集合，(2)灵活的宏块次序(fmo)，(3)冗余片(rs)来进行错误的恢复。

    1.帧内编码

    h.264中帧内编码的技术和以前标准一样，值得注意的是：

    (1)h.264中的帧内预测编码宏块的参考宏块可以是帧间编码宏块，帧内预测宏块并不像h.263中的帧内编码一样，而采用预测的帧内编码比非预测的帧内编码有更好的编码效率，但减少了帧内编码的重同步性能，可以通过设置限制帧内预测标记来恢复这一性能。

    (2)只包含帧内宏块的片有两种，一种是帧内片(islice)，一种是立即刷新片(idrslice)，立即刷新片必存在于立即刷新图像(idrpicture)中。与短期参考图像相比，立即刷新图像有更强壮的重同步性能。

    在无线ip网络环境下，为了提高帧内图像的重同步性能，要采用率失真优化编码和设置限制帧内预测标记。

    2.图像的分割

    h.264支持一幅图像划分成片，片中宏块的数目是任意的。在非fmo模式下，片中的宏块次序是同光栅扫描顺序，fmo模式下比较特殊。片的划分可以适配不同的mtu尺寸，也可以用来交织分组打包。

    3.参考图像选择

    参考图像数据选择，不论是基于宏块、基于片，还是基于帧，都是错误恢复的有效工具。对于有反馈的系统，编码器获得传输中丢失图像区域的信息后，参考图像可以选择解码已经正确接收的图像对应的原图像区域作参考。在没有反馈的系统中，将会使用冗余的编码来增加错误恢复性能。

    4.数据的划分

    通常情况下，一个宏块的数据是存放在一起而组成片的，数据划分使得一个片中的宏块数据重新组合，把宏块语义相关的数据组成一个划分，由划分来组装片。

    在h.264中有三种不同的数据划分。