一、概述

    H.264是ITU-T最新的视频编码标准，被称作ISO/IEC14496-10或MPEG-4AVC，是由运动图像专家组(MPEG)和ITU的视频编码专家组共同开发的新产品。

    H.264分两层结构，包括视频编码层和网络适配层。视频编码层处理的是块、宏块和片的数据，并尽量做到与网络层独立，这是视频编码的核心，其中包含许多实现错误恢复的工具；网络适配层处理的是片结构以上的数据，使H.264能够在基于RTP/UDP/IP、H.323/M、MPEG-2传输和H.320协议的网络中使用。

    二、IP网络对视频压缩的限制

    1.H.264的应用场合

    在讨论基于IP的H.264之前，有必要先阐述一下H.264与IP网络有关的应用场合及其对传输和编解码器的要求。下面介绍对话应用、下载服务和流媒体应用三种场合。

    对话应用，比如像视频电话和视频会议，有严格的时延限制，要求端到端时延小于1s，最好小于100ms。编解码器的参数能实时调整，错误恢复机制要根据实际网络变化而改变。编解码的复杂度不能很高，比如双向预测的模式就不能被采用。

    下载服务，可使用可靠的传输协议如FTP和HTTP将数据全部传输。由于这种应用的非实时性，编码器可以通过优化进行高效编码，而且对时延和错误恢复机制没有要求。

    流媒体服务应用，对时延要求介于上面两者之间，初始化时延是10s以内。与实时编码相比对时延要求降低，编码器可以进行优化实现高效编码(比如双向预测)。然而通常流媒体服务使用不可靠的传输协议，所以编码时要进行差错控制并进行信道纠错编码。

    本文主要讨论对话应用和流媒体应用，这两种应用基于IP网络。IP网络又可分为三种类型：不可控IP网络(如Internet)、可控IP网络(广域网)和无线IP网络(如3G网络)。这三种IP网络有不同的最大传输单元尺寸(MTUsize)、比特出错概率和TCP使用标记。最大传输单元尺寸是网络层最大的分组长度，H.264编码时要使片的长度小于MTU尺寸，这样可避免在网络层再进行一次数据的分割。两个IP节点之间的MTU尺寸是动态变化的，通常假定有线IP网络的MTU尺寸是1.5千字节，无线网络的MTU尺寸是100字节。可见要适用于无线网络的H.264必须采用数据分割技术使得片的长度小于MTU尺寸。TCP传输控制协议能够解决网络拥塞引起的分组丢失问题，而在无线网络中，分组丢失是由于链路层错误引起的，TCP并非很好的解决办法，要采用差错控制协议。

    2.H.264使用的协议环境

    对话应用和流媒体应用使用同一协议组，下面进行讨论。

    网络层协议：使用IP(网际协议)。每个IP分组单独从发方出发，经过一系列的路由器到达收方。IP将大于MTU尺寸的分组进行数据分割、重组。每个分组的传输时间都有所不同。IP头20个字节由校验码来保证，但数据没有保护。IP分组最大值为64千字节，但由于MTU尺寸的限制，一般没有这么大。

    传输层协议：主要有两个协议，TCP和UDP。TCP提供面向字节的可靠传输服务，以重传和超时等机制作为差错控制的基础。由于对时延的不可预测，并不适用于实时通信传输。UDP提供不可靠的数据报传输业务。UDP头包含的校验数(8字节)可以发现和去掉含有比特错误的分组。UDP允许分组传输过程中出现丢失、复制、改序等。使用UDP协议时，高层必须使用错误恢复协议。

    应用层传输协议：使用RTP(实时传输协议)。该协议和IP/UDP结合使用，是面向会话的协议。每个RTP分组包含RTP头标，载荷头标(可选)和载荷本身。RTP头标的内容见图1，基本选项占用12字节，标记位标记有同一时间戳的一组分组的结束。RTP协议使发送方将数据分为大小合理的分组，并将解码方观察到的网络特征反馈给发送方，使发送方可以动态调整比特率和抗误码机制。RTP分组和RTP载荷规范在第四部分讨论。