随着移动通信的不断发展,移动用户普及率的增长逐渐放缓,传统话音业务市场趋于饱和,价格竞争越来越激烈。移动运营商、设备制造商和内容提供商都在不断地寻找新业务作为新的市场增长点,以保持他们的市场地位,寻求更大的经济效益。
3G开创了无线通信与互联网、视频融合的新时代,由此产生的业务也必将成为未来移动通信新的市场增长点,真正使移动用户享受掌上无线的精彩;而其中,以视频流媒体、移动手机动画、移动手机电视最为突出。
移动视频流媒体业务是通过移动网络和移动终端为移动用户实时传输数据的新型移动业务,为移动用户分享他们的经历和情感、获得信息和娱乐以及与他人交流提供了新的通信方式和业务享受。而移动终端和网络技术的不断发展,为移动视频业务的出现和推广提供了必要的条件。因此,市场需求和技术进步共同推动移动视频业务的发展,并使移动视频业务成为了移动运营商、设备制造商和内容提供商的关注焦点之一。
一、流媒体系统及其发展趋势
所谓流媒体是指用户通过网络或者特定数字信道,边下载边播放多媒体数据的一种工作方式。它让用户在整个内容被传送完之前就可以开始观看。目前,流媒体通常在宽带网络的音频和视频传输中被使用,但是它在移动网络里也正变得切实可行。流媒体应用的一个最大的好处是用户不需要花费很长时间将多媒体数据全部下载到本地后播放,而仅需将起始几秒的数据先下载到本地的缓冲区中就可以开始播放,后面收到的数据会源源不断输入到该缓冲区,从而维持播放的连续性,因此流媒体播放器通常只是在开始时有一些时延。流媒体系统要比下载播放系统复杂得多,所以需要将多媒体的编解码和传输技术很好地结合在一起,才能确保用户在复杂的网络环境下也能得到较稳定的播放质量。
多媒体数据在传输前必须要先经过编码器有效地压缩成码流,以减少对网络资源的占用率。目前常用的视频编码器有MPEG-2、MPEG-4、H.261、H.263、H.264、WindowMedia视频编码器和RealSystem视频编码器等;音频编码器有MP3、MPEGAAC、WindowMedia音频编码器和AMR等;图像编码器有JPEG和JPEG2000等。多媒体编码器所生成的码流只包含了解码该码流所必需的信息,它不包含媒体间的同步、随机访问等系统信息,因此编码后的多媒体数据还要被组织成为具有特定系统格式的多媒体文件用于流媒体传输或者是存入磁盘中,目前常用的文件格式有MPEG-2系统,MP4,微软公司的ASF,Real的文件格式,QuickTime的文件格式以及用于3G无线服务的3GPP和3GPP2等。
当流媒体在实时应用中(如现场流媒体广播),根据当前的网络状况和用户的终端参数,多媒体数据是一边被编码一边被流媒体服务器传输给用户。而在其他的非实时应用中,多媒体数据可以被事先编码生成多媒体文件,存储在磁盘阵列中。当提供多媒体服务时,流媒体服务器直接读取这些文件传输给用户,这样服务方式对设备的要求较低。目前许多流媒体服务属于后一种方式,这样就要求流媒体服务器具有一定的机制来适应网络状况和用户设备。
目前码流自适应模块主要采用的方法有:将多媒体文件中的视频码流转换为一个特定码率和图像尺寸的码流;或者把同一段视频内容编码生成多个具有不同码率和图像尺寸的码流,然后自适应选择一个最合适的码流传输给用户。生成的码流还需要进一步打包成为特定网络传输协议的数据包,用于网络传输,由于现在许多网络并不能保证传输的数据及时并完全正确地被用户收到,传输的数据包可能需要加前向纠错编码(FEC)来保护,经过这些处理后多媒体数据就可以通过网络传输给用户,目前常用的传输协议有RTP/RTCP、HTTP和MMS。
用户收到传输的数据后,如果存在丢包或者是比特出错,错误恢复处理会根据附加的纠错数据来恢复传输错误。如果还不能恢复传输错误,用户端可以向服务器发出重传请求,在解码开始前重新传输丢失的包。恢复后的多媒体数据将由解码器解码得到重构的多媒体数据,由于容错保护和数据重传可能不能恢复所有的错误数据,错误掩藏模块可以利用重构的多媒体数据的相关性来掩盖这些错误,最后这些数据就播放给用户。
通常流媒体系统中的服务器和用户间并不是单向通信,如前面提到的重传请求。事实上,用户端会传递给服务器许多反馈信息,如终端设备的能力和网络连接速度会传给服务器的码流自适应模块来调整码流,在实时应用中这些信息还可能传给编码器;用户端的丢包率、数据包收到的时间信息和用户缓冲区状态等信息也会传递给服务器来估计当前的网络状况,从而控制码流的自适应和数据的发送策略。从上面的描述来看,实际上流媒体系统在多媒体信息处理中是一个非常复杂的系统,目前市面上主要的产品有微软公司的WindowsMedia,Real公司的RealSystem和苹果公司的QuickTime,其中WindowsMedia系统的市场占有率最大。
早期的流媒体系统常用在互联网上传输一些低质量的多媒体信息,但是随着网络技术的发展,一些高质量的流媒体应用已经开始出现,如IPTV将向用户传输标清甚至高清的电视节目。另外,随着无线网络和各种各样手持设备的出现,无线流媒体的应用也变得越来越重要。并且由于很多现代家庭中既有高端的PC和电视,又有多种功能的手机、PDA、便携式媒体播放器,流媒体也将在家庭娱乐和数据共享上一显身手。针对这些应用的需求,流媒体技术本身也在迅速地变革和发展,例如利用一些高效的编码技术和传输技术提高流媒体系统性能;发展新的标准扩展流媒体技术到各种不同的网络和设备;在流媒体系统中增加更多的新功能来满足应用的需要。
二、流媒体新服务
1.IPTV
据国际电信联盟ITU在2004年9月的一份报告指出,全球的宽带用户已经在去年底首度突破1亿大关,其中中国电信的宽带用户就超过了1000万,用户的主要接入方式是ADSL和以太网线,其实际的连接速率可以达到1Mbit/s。而且随着高性能的编码技术的采用,如H.264和最新的WindowsMedia视频编码器,800kbit/s的视频流就可以接近或达到DVD质量。
在这种情况下,扩展流媒体技术用来提供电视服务也就顺理成章了。IPTV,也叫交互式网络电视,就是利用流媒体技术通过宽带网络传输数字电视信号给用户,这种应用有效地将电视、电讯和PC三个领域结合在一起,具有很强的发展前景。IPTV可以采用两种不同的方式提供用户电视服务,组播或者广播方式和视频点播(VOD)方式。一个明显的优势是IPTV是基于现在互联网的方式来实现服务器和用户终端的连接,因此很容易同时提供现有的互联网的服务,将电视服务和互联网浏览,电子邮件,以及多种在线信息咨询、娱乐、教育及商务功能结合在一起。
2.无线流媒体
2.5G、3G以及超3G无线网络的发展也使得流媒体技术可以被用到无线终端设备上,目前中国联通公司提供CDMA1x,用户网络带宽最多可以达到100kbit/s,这已经足够提供QCIF大小的流媒体服务;而且随着3G无线网络的应用,用户的网络带宽可以达到384kbit/s。另一方面,手机设备运算能力越来越强,存储空间越来越大,不用说SMARTPhone和PocketPC等高端手机,就是一般的中档手机,如Nokia6610,也能实现基本的H.264的软件解码。
面向无线网络的流媒体应用对当前的编码和传输技术提出了更大的挑战,首先,相对于有线网络而言,无线网络状况更不稳定,除去网络流量所造成的传输速率的波动外,手持设备的移动速度和所在位置也会严重地影响到传输速率,因此高效的可自适应的编码技术至关重要。其次,无线信道的环境也要比有线信道恶劣的多,数据的误码率也要高许多,而高压缩的码流对传输错误非常敏感,还会造成错误向后面的图像扩散,因此无线流媒体在信源和信道编码上需要很好的容错技术。尽管手机设备的运算能力越来越强,但是由于它是由电池供电的,因此编解码处理不能太复杂,并且最好能够根据用户设备的电池来调整流媒体的接收和处理,能源管理技术也是移动流媒体的一个研究热点。
3.电子家庭
现代家庭中越来越多的设备可以用来采集、接收、发送和播放多媒体数据。如人们可以通过电视来收看电视节目,通过PC机在互联网上欣赏流媒体节目,通过自己的数字相机和摄像机来拍摄图像和视频,通过手机和其他手持设备来发送彩信,通过汽车的音响系统来欣赏音乐和广播。并且家庭中的网络连接也是多样化的,如电视连接有线电视网,PC机连接着互联网,手机连接着无线网络,而且这些设备也能在家里通过蓝牙或者802.11无线网连接在一起。
所有这些设备所收到的多媒体数据如何在家庭网络和设备间共享,为流媒体的发展提供了一个更大的舞台,真正实现一种无所不在、随心所至的多媒体服务,让多媒体真正地像液体一样自由流动起来。流媒体在家庭网络应用中的关键是如何使多媒体数据能够适应不同的设备的能力,如在电视和PC机中播放的视频大小可能是标清甚至是高清,但是同样的内容就可能需要经过流媒体系统有效的转换才能成为最适合在手持设备上播放的媒体。
三、流媒体新技术
1.高效的编码技术
流媒体系统中的多媒体数据要通过网络来传输给用户,高效的编码技术可以极大地降低流媒体系统对网络带宽的要求。目前标准化和商业化的视频编码技术都是基于运动补偿和DCT变换的,从早期的MPEG-1和H.261,到最新的MPEG-4AVC/H.264和WindowsMedia视频编码器都采用了这个框架。在这个框架中,运动估计和补偿模块用来消除相邻图像间的冗余信息,熵编码模块用来消除编码信号的冗余性,变换量化模块根据人的视觉系统对视频信号的细微变化的不敏感性丢失部分信息,从而提高压缩比。
在这个编码框架下,过去十多年的时间内编码技术取得了很大的发展,事实上,最新MPEG-4AVC/H.264标准的编码效率要比MPEG-1提高了4倍左右,除去更精细的运动补偿和基于上下文的熵编码外,帧内预测,多参考帧的预测,环路滤波和率失真优化技术也极大地提高了该标准的性能。
2.可伸缩性编码技术
在流媒体应用中需要解决的一个基本问题是网络带宽的波动,不同的人在不同的时刻使用互联网和无线网络时,得到的数据传输率存在着很大的差异;甚至同一个人在同一个时刻,哪怕是在传输同一个视频流,实际的数据传输率也会存在较大的波动。目前在流媒体系统中所用的编码技术都是生成固定码率的码流,它们很难适应如此复杂的网络带宽的波动。一个有效的方法是采用可伸缩性的视频编码,MPEG-4和H.263标准中就包含了分层的可伸缩性的视频编码,它们提供一定的适应网络带宽变化的能力,但是在流媒体应用中人们更期望视频编码技术能提供精细的码流可伸缩性,MPEG-4FGS就是一种这样的编码技术,目前MPEG-21可伸缩视频编码组正在研究两套编码方案:高效的FGS编码方案和3D小波编码方案。 |