H.265 又称为HEVC(High Efficient Video Coding,HEVC),是国际标准化组织和国际电联组织正在联合制定的新一代视频压缩标准,主要面向高清数字电视以及视频编解码系统的应用,提供从SQICF(128X96)至4K超高清(7680×4320)不同级别的视频应用。H.265的目标是编码效率比H.264提高50%,即在同等图像质量条件下,目标码率下降到H.264的50%。
H.265/HEVC的编码架构大致上和H.264/AVC的架构相似,也包含帧内预测、帧间预测、转换、量化、去区块滤波器、熵编码等模块。为了提高高清视频的压缩编码效率,H.265提出了超大尺寸四叉树编码架构,并采用编码单元(Coding Unit,CU)、预测单元(Predic tUnit,PU)和转换单元(Transform Unit,TU)三个基本单元执行整个编码过程。在此混合编码框架下,H.265进行了大量的技术创新,例如:基于大尺寸四叉树块的分割结构和残差编码结构、多角度帧内预测技术、运动估计融合技术、高精度运动补偿技术、自适应环路滤波技术以及基于语义的熵编码技术。
CU类似于H.264/AVC中的宏块。H.264中每个宏块大小都是固定的16×16像素,而H.265的CU可以选择从最小8×8到最大64×64像素。以图4为例,图中细节不多的区域(如车体的红色部分和地面的灰色部分)划分的CU大而少,编码后的数据较少;而细节多的地方划分的CU较小而多,编码后的数据较多,这样就对图像进行了有重点的编码,提高了编码效率。
PU是进行预测的基本单元。H.265使用PU来实现对每一个CU单元的预测过程。PU尺寸受限于其所属的CU,可以是例如64×64像素的方块,也可以是例如64×32像素的矩形。还有一种新的不对称运动分割预测(Asymmetric Motion Partition,AMP)方案,即将编码单元分为两个尺寸大小不一致的预测块。这种预测方式考虑了大尺寸可能的纹理分布,可以有效提高大尺寸块的预测效率。
H.264编码器的VCL和NAL分层结构。其中的R F C3984协议是一个专用于传输H.264码流的实时传输协议。
H.264的编码解码流程框图
T U是进行变换和量化的基本单元。H.265突破了原有的变换尺寸限制,可支持4×4至32×32的编码变换,以TU为基本单元进行变换和量化。为提高大尺寸编码单元的编码效率,DCT变换同样采用四叉树型的变换结构。
CP、PU、TU这三个单元的分离,使得变换、预测和编码各个处理环节更加灵活,也有利于各环节的划分更加符合视频图像的纹理特征,有利于各个单元更优化的完成各自的功能。
H.265的帧间、帧内预测的基本框架与H.264基本相同:采用相邻块重构像素对当前块进行帧内预测,从相邻块的运动矢量中选择预测运动矢量,支持多参考帧预测等。但H.265的帧内预测模式支持33种方向(H.264只支持8种),并提供了更好的运动补偿处理和矢量预测方法。同时,为了适应当前并行化程度非常高的芯片架构,H.265引入了很多并行运算的优化思路,以提高编码解码效率。
反复的质量比较测试已经表明,在相同的图像质量下,通过H.265编码的视频将比H.264编码的视频体积减少40%左右。同时,在码率减少一半多的情况下,H.265编码视频的质量还能与H.264编码视频近似甚至更好。这一结论虽然带有主观性,但也非常鼓舞人心。
目前的H. 265标准共有三种模式:Main、Main 10和Main Still Picture。Main模式支持8bit色深(即红绿蓝三色各有256个色度,共1670万色),Main 10模式支持10bit色深,将会用于超高清电视(UHDTV)上。
HEVC仍属于预测加变换的混合编码框架,然而其采用更加灵活的编码结构来提高编码效率,包括编码单元(Coding Unit)、预测单元(Predict Unit)和变换单元(Transform Unit)。其中编码单元类似于H.264/AVC中的宏块的概念,预测单元是进行预测的基本单元,变换单元是进行变换和量化的基本单元。在此混合编码框架下,HEVC进行了大量的技术创新,其中具有代表性的技术方案有:基于大尺寸四叉树块的分割结构和残差编码结构(见图一),多角度帧内预测技术(见图二),运动估计融合技术,高精度运动补偿技术,自适应环路滤波技术以及基于语义的熵编码技术。