首页> 中国专利> 基于压缩感知的3G视频传输方法及系统

基于压缩感知的3G视频传输方法及系统

摘要

本发明提出了一种视频监控场景中基于压缩感知的3G视频传输方法及系统,属于数据压缩和视频传输领域。摄像头采集到的视频信息经过颜色空间转换为YUV格式后,进行H.264编码,对编码后的数据进行压缩感知的压缩处理,压缩后的视频数据流通过RTSP和RTP/RTCP协议在3G网络中进行传输,在终端经过压缩感知的重构处理和H.264解码过程得到恢复的视频信息。将压缩感知结合RTSP和RTP/RTCP协议用在3G视频传输系统中,不仅使该系统从控制和数据层面满足视频传输的实时性要求,具有自适应调节视频编码速率和网络传输速率的功能,而且能够大大减少网络传输的数据量,节约带宽资源,提高系统的传输效率。

著录项

  • 公开/公告号CN103957389A

    专利类型发明专利

  • 公开/公告日2014-07-30

    原文格式PDF

  • 申请/专利权人 重庆大学;

    申请/专利号CN201410200160.0

  • 发明设计人 唐朝伟;王雪锋;段利超;李彦;

    申请日2014-05-13

  • 分类号H04N7/18(20060101);H04N19/625(20140101);H04N21/6437(20110101);H04N21/647(20110101);

  • 代理机构重庆市前沿专利事务所(普通合伙);

  • 代理人郭云

  • 地址 400045 重庆市沙坪坝区沙正街174号

  • 入库时间 2023-12-17 00:40:32

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2017-02-22

    授权

    授权

  • 2014-08-27

    实质审查的生效 IPC(主分类):H04N7/18 申请日:20140513

    实质审查的生效

  • 2014-07-30

    公开

    公开

说明书

技术领域

本发明涉及一种视频传输系统,属于数据压缩和视频传输领域,尤其是一 种视频监控中基于压缩感知的3G视频传输方法及系统。

背景技术

随着通信技术的不断发展,3G无线网络CDMA2000-1X EVDO网络已经 全面投入商用,作为发展最为成熟的无线网络,拥有着先进前端的前向链路和 资源调度等关键技术,对未来的移动通信、视频传输、监控系统等方面都有着 深远的影响。与此同时,在通信网络中传输视频业务也变得越来越重要,而众 所周知,视频本身的特点是数据量巨大,从而在传输过程中需要很大的带宽。 由于视频本身具有相当大的冗余性,人们设计出各种各样的压缩方法,在视 频传输之前进行大规模的压缩,现有的方法是采用MPEG系列或者H26x系 列压缩方案,将视频的序列采用预测编码和变换编码的方法进行压缩,然后 将其进行信道编码而发送,这类方法在现有一些传输条件较好的网络中取得了 显著成效。

但是这种类似MPEG和H26x方案在无线网络中传输效果并不好,究其 原因,根本上是无线信道本身的高误码率、误码的随机性和带宽有限等因素 的限制。具体来说可以分为以下两个方面:首先预测编码和变换编码的方案使 得编码出来的视频帧之间具有很大的依赖性,假设某一关键帧在传输过程中丢 失,则后续以前一帧为参考的帧便无法正确解码,这将会造成严重的乱码效 应。其次,在视频编码的过程中,经过编码的数据中关键内容的分布并不均 匀,如视频中运动矢量数据的重要性就要高于背景数据。无线信道上存在随机 丢包事件,如果丢失运动矢量数据,则在恢复过程中较难恢复出不失真的图 像,而当丢失的是背景数据时,就可以通过一定的算法来弥补这种丢失带来的 影响。

压缩感知是近几年信号处理理论的重大突破,它打破了传统的奈奎斯特采 样定理的限制,该理论表明:如果信号在某个变换域是稀疏的或者是可压缩的, 就可以采用一种数学投影方法对信号进行整体的测量,利用一个与变换基不相 关的观测矩阵将变换所得的高维信号投影到一个低维空间上,根据这些少量的 观测值,通过求解凸优化问题就可以实现信号的精确重构。对于监控中的视频 信息,由于其本身具有较大冗余的特点,并且视频监控场景对整个视频的流 畅性有一定的要求,但对画面的清晰度要求不是很高,而压缩感知能在H.264 编码之后对视频数据进行更进一步的压缩,大大减少网络中的数据传输量,保 障视频流传输的实时性;而在接收端进行压缩感知重构可根据通过接收到的少 量数据可以较为精确地恢复视频数据,这对无线网络中的信道干扰会具有一定 的鲁棒性。因此,将压缩感知理论应用于视频监控中的3G视频传输具有重要 的应用价值。

发明内容

本发明旨在解决视频监控场景中,传统视频传输方案中所传数据量较大, 并且容易受到无线信道特性干扰的不足,特别创新地提出了一种基于压缩感知 的3G视频传输方法及系统。

为了实现本发明的上述目的,一种基于压缩感知的3G视频传输方法,其 关键在于,包括如下步骤:

步骤1,摄像头采集视频信息并进行颜色模式转换;

步骤2,对采集到的视频信息进行视频编码;

步骤3,对编码后的视频数据进行压缩感知的压缩处理;

步骤4,将经过压缩感知压缩处理后的视频数据流通过传输协议进行传 输;

步骤5,在终端对接收到的数据流进行压缩感知的重构处理和视频解码之 后,得到恢复的视频信息。

上述技术方案的有益效果为:将压缩感知理论运用到3G视频传输当中, 首先,视频序列经过压缩感知编码处理后,形成的是一些无结构的数据,并且 这些数据之间不存在相关性特点,而对于一帧图像来说,重构的质量仅仅取决 于收到数据量的多少,也就是说,数据之间的重要性是完全平等的,任意相同 数量的数据的丢失对于整个一帧视频来说是平均的分担到整个一帧视频上去 的,这样将增强视频数据流在3G无线网络中传输的抗干扰性;其次,将压缩 感知用在H.264编码之后,对视频数据进一步压缩之后再在无线网络中传输, 大大减少了数据的传输量,同时与RTSP和RTP/RTCP协议配合,使该系统在 满足了视频传输实时性要求的同时具有自适应调节视频编码速率和网络传输 速率的功能,提高系统的传输效率。

所述的基于压缩感知的3G视频传输方法,优选的,所述步骤1包括:

步骤1-1,采集视频信息,如果视频采集端所采集到的视频格式不是YUV 格式时,需要进行颜色模式转换,把视频信号转换成YUV格式。

上述技术方案的有益效果为:将摄像头采集到的视频信息经过颜色空间转 换,转换为占据带宽较小的YUV格式,不仅在一定程度上减少了带宽的占有 量,而且方便后续处理器的编码工作。

所述的基于压缩感知的3G视频传输方法,优选的,所述步骤2包括:

步骤2-1,视频压缩的H.264视频编码方法;

步骤2-2,通过视频帧内预测编码,利用视频帧内宏块之间的空间相关性;

步骤2-3,再通过视频帧间预测编码,利用连续视频帧间的时间相关性进 行运动估计和补偿;

步骤2-4,然后进行整数变换运算;

步骤2-5,对视频帧进行量化;

步骤2-6,对视频帧进行熵编码后,形成H.264处理后的压缩编码数据。

上述技术方案的有益效果为:利用H.264对采集到的视频信息进行压缩编 码,据评测,在同等图像质量条件下,H.264的压缩比是MPEG-2的2~3倍, 是MPEG-4的1.5~2倍,因此在网络中传输同等数据量的视频图像所需要的 带宽相对较低。因此,在这里选择H.264编码技术,系统具有了较高的压缩效 率和较强的网络传输特性。

所述的基于压缩感知的3G视频传输方法,其特征在于,所述步骤3包括:

步骤3-1,对H.264视频编码后的视频数据进行分块,每次读取一段长度 大小为N×N的视频数据,然后将其转换为一个大小为N×N的矩阵块,采用基 于行的转换,读取该视频数据的前N个数值,将其存入矩阵块的第一行,接 着读取下面的N个数值,存入矩阵块的第二行,以此类推,最后的N个数值 存入矩阵块的最后一行;

步骤3-2,每次采用基于矩阵块的观测进行压缩感知的压缩处理,为压缩 感知重构端的重构效率提供保障,也方便后续视频数据的存储与实时传输,

步骤3-3,对视频数据进行稀疏变换,将每一个N×N的数据块进行离散余 弦变换,各子块数据经过稀疏变换获得稀疏系数矩阵,由于稀疏系数矩阵具有 稀疏性,可利用压缩感知理论对其进行压缩,

步骤3-4,观测矩阵测量:首先构造一个大小为M×N的观测矩阵,M=p*N, 其中p为压缩比且0<p<1,将观测矩阵与上一步骤中所得到的稀疏矩阵相乘, 这时将得到一个大小为M×N的观测值矩阵,在3G网络中,传输的也就是该观 测值矩阵的数据,因此经过压缩感知的压缩过程之后将大大减少在网络中传输 的数据量。

上述技术方案的有益效果为:首先,视频序列经过压缩感知编码处理后, 形成的是一些无结构的数据,并且这些数据之间不存在相关性特点,而对于一 帧图像来说,重构的质量仅仅取决于收到数据量的多少,也就是说,数据之间 的重要性是完全平等的,任意相同数量的数据的丢失对于整个一帧视频来说是 平均的分担到整个一帧视频上去的,这样将增强视频数据流在3G无线网络中 传输的抗干扰性。其次,将压缩感知用在H.264编码之后,对视频数据进一步 压缩之后再在无线网络中传输,大大减少了数据的传输量,提高系统的传输效 率。

所述的基于压缩感知的3G视频传输方法及系统,其特征在于,所述步骤 4包括,将经过压缩感知压缩处理后的视频数据流在3G网络中通过RTSP和 RTP/RTCP协议进行传输,执行如下步骤:

所述的基于压缩感知的3G视频传输方法,其特征在于,所述步骤4包括:

步骤4-1,将经过H.264视频编码和压缩感知压缩处理之后的视频流分别 装上实时传输协议RTP报头、用户数据报协议UDP报头和网络协议IP报头, 利用实时传输协议RTP传送数据包,实现视频数据的实时网络传输;

步骤4-2,利用实时传输控制协议RTCP实现对网络状况的监测和已发送 数据包的数量、丢失的数据包的数量和往返时延参数的计算工作,利用应用层 协议实时流传输协议RTSP建立并控制一个或多个时间同步的连续流媒体,实 现流媒体的网络远程控制。

上述技术方案的有益效果为:RTP/RTCP协议中的RTP用于数据包的传 送,能够满足视频传输实时性的要求,RTCP将反应网络状态的参数(延时抖 动、丢包率等)反馈给编码器和发送模块;RTSP协议建立并控制一个或多个 时间同步的连续流媒体,实现流媒体的远程控制,从而使该视频流传输系统具 有自适应调节视频编码速率和网络传输速率的功能。

所述的基于压缩感知的3G视频传输方法,优选的,所述步骤5:

步骤5-1,首先在接收端,接收到网络协议IP数据包后按相反的顺序将实 时传输协议RTP报头和视频流数据提取出来,根据实时传输协议RTP报头中 的序列号将视频流数据放入接收端缓存;

步骤5-2,从接收端的缓存内读取数据,进行压缩感知重构,采用分段正 交匹配追踪算法StOMP,每次从压缩后的M×N矩阵块中读取一列长度大小为 M的数据,与观测矩阵相乘得到残余相关性向量;然后通过设定阈值,每次 从观测矩阵中选取多个原子,形成一个初始的原子集合并用于更新支撑集;最 后利用最小二乘法求得近似解,同时完成对余量的更新,此时检查终止条件是 否满足,如不满足则继续循环进行余量的更新和近似解的逼近,否则,所得的 近似解就是对原始M个数据的重构结果,长度大小为N,最终完成从压缩数 据量M×N到原始数据量N×N的重构,其中M远小于N,在保证重构质量的同 时,更快的完成压缩感知重构过程;

步骤5-3,读取压缩感知重构之后的数据进行H.264视频解码,经过此过 程后将得到恢复的视频信息,最后可将视频信息以YUV格式存储或者播放。

上述技术方案的有益效果为:首先,根据RTCP的反馈参数来自适应调节 视频编码速率和网络传输速率:在网络传输带宽状况不好时,通过适当降低视 频质量来防止网络拥塞,但是仍能提供给接收端较为流畅的多媒体传输服务, 在网络可用带宽充足时,提高编码码率和传输速率,给接收端提供高质量的视 频服务;其次,采用目前压缩感知中重构效率较好的StOMP(分段正交匹配 追踪)算法,在保证重构质量的同时能够对视频数据进行更快的重构。

所述的基于压缩感知的3G视频传输方法,优选的,还包括:步骤6,反 馈RTCP网络状态的参数,进而自适应调节视频编码速率和网络传输速率。

所述的基于压缩感知的3G视频传输方法,优选的,所述步骤6:

步骤6-1,QoS反馈控制通过实时传输控制协议RTCP的接收方报告来完 成,反馈实时传输控制协议RTCP反映的稳定传输性能参数,根据这些反馈 信息估计网络的可用带宽,再根据可用带宽动态调整编码的参数,根据RTCP 反馈的丢包率、延时抖动等信息调节编码参数,如果丢包率或者延时较大,即 网络状况不好时,这时选择较大的压缩比例,减少网络中传输的数据量,从而 缓解网络拥塞的状况,当网络状况较好时,调整编码参数,降低压缩比例,给 终端提供较好的画质服务质量;当网络状况较差时,提高压缩比例,使发送码 率小于网络的可用带宽,从而保证传输的QoS。

所述的基于压缩感知的3G视频传输方法,优选的,所述稳定传输性能参 数为延时抖动、丢包率。

上述技术方案的有益效果为:反馈实时传输控制协议RTCP反映的稳定 传输性能参数,根据这些反馈信息估计网络的可用带宽,再根据可用带宽动态 调整编码的参数,根据RTCP反馈的丢包率、延时抖动等信息调节编码参数, 如果丢包率或者延时较大,即网络状况不好时,这时选择较大的压缩比例,减 少网络中传输的数据量,从而缓解网络拥塞的状况,当网络状况较好时,调整 编码参数,降低压缩比例,给终端提供较好的画质服务质量;当网络状况较差 时,提高压缩比例,使发送码率小于网络的可用带宽,从而保证传输的QoS。

本发明还公开一种基于压缩感知的3G视频传输系统,其关键在于,包括: 摄像头,音频视频采集A/D转换模块,音视频编解码模块,压缩感知模块, 存储器,显示装置,数据流服务器;

摄像头连接音频视频采集A/D转换模块数据输入端,所述音频视频采集 A/D转换模块数据输出端连接音视频编解码模块和压缩感知模块,所述音视频 编解码模块和压缩感知模块连接存储器,通过USB接口连接3G网络,所述 3G网络连接数据流服务器,所述数据流服务器通过EI网络连接视显示装置。

综上所述,由于采用了上述技术方案,本发明的有益效果是:

1、通过颜色模式转换,将摄像头采集到的视频信息转换为占据带宽较小 的YUV格式,不仅在一定程度上减少了带宽的占有量,而且方便后续音视频 处理器的编码工作。

2、采用目前较先进的H.264编码技术,使得系统具有了较高的压缩效率 和较强的网络传输特性。

3、3G无线网络CDMA2000-1X EVDO网络已经全面投入商用,作为发展 最为成熟的无线网络,拥有着先进前端的前向链路和资源调度等关键技术,在 未来的移动通信、视频传输、监控系统等方面都有着深远的影响。本系统中通 过3G网络传输视频流数据,可以充分发挥3G无线网络的优势。

4、视频数据流在3G网络中通过RTSP和RTP/RTCP协议进行传输,既 能够满足视频传输实时性的要求,又能够通过RTCP将反映网络状态的参数 (延时抖动、丢包率等)反馈给编码器和发送模块从而使得该视频流传输系统 具有自适应调节视频编码速率和网络传输速率的功能,同时,作为应用层协议 的RTSP能够建立并控制一个或多个时间同步的连续流媒体,实现远程控制。 因此,将RTSP和RTP/RTCP协议配合使用,将提供完整的流化服务,能够以 有效的反馈和最小的开销使传输效率最佳化。

5、将压缩感知应用在H.264编码后,将大大减少在网络中传输的数据量, 对视频传输过程中的流畅性起到很好的保障作用。同时,即使数据在网络中传 输时受到干扰,出现误码或丢包,由于压缩感知重构的质量仅仅取决于收到数 据量的多少,也就是说,数据之间的重要性是完全平等的,任意相同数量的数 据的丢失对于整个N×N数据块是等效的,压缩感知算法仍能较为精确的对数据 进行重构,从而增强3G无线网络中视频数据传输的稳定性。

6、本系统中所采用的压缩感知重构算法是StOMP(分段正交匹配追踪) 算法,该算法具有较高的重构效率,在保证重构质量的同时,能够更快的对视 频数据进行重构,提高视频数据的传输效率。

本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描 述中变得明显,或通过本发明的实践了解到。

附图说明

图1是本发明基于压缩感知的3G视频传输方法及系统的视频传输流程 图;

图2是本发明基于压缩感知的3G视频传输方法及系统中压缩感知算法的 压缩和恢复流程图;

图3是本发明基于压缩感知的3G视频传输方法及系统的硬件结构示意 图。

具体实施方式

下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自 始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元 件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能 理解为对本发明的限制。

在本发明的描述中,需要理解的是,术语“纵向”、“横向”、“上”、“下”、“前”、 “后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位 置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描 述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位 构造和操作,因此不能理解为对本发明的限制。

在本发明的描述中,除非另有规定和限定,需要说明的是,术语“安装”、 “相连”、“连接”应做广义理解,例如,可以是机械连接或电连接,也可以是两 个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本 领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。

本发明针对视频信息在3G网络中的传输,将压缩感知理论融入到了该系 统当中,在H.264高效压缩编码的基础上,实现进一步的压缩,来减少在无线 网络中所要传输的数据量,并在一定程度上降低无线信道干扰所产生的影响, 提高系统的传输效率。

如图1所示,本发明公开一种基于压缩感知的3G视频传输方法,其关键 在于,包括如下步骤:

步骤1,摄像头采集视频信息并进行颜色模式转换;

步骤2,对采集到的视频信息进行视频编码;

步骤3,对编码后的视频数据进行压缩感知的压缩处理;

步骤4,将经过压缩感知压缩处理后的视频数据流通过传输协议进行传 输;

步骤5,在终端对接收到的数据流进行压缩感知的重构处理和视频解码之 后,得到恢复的视频信息。

上述技术方案的有益效果为:将压缩感知理论运用到3G视频传输当中, 首先,视频序列经过压缩感知编码处理后,形成的是一些无结构的数据,并且 这些数据之间不存在相关性特点,而对于一帧图像来说,重构的质量仅仅取决 于收到数据量的多少,也就是说,数据之间的重要性是完全平等的,任意相同 数量的数据的丢失对于整个一帧视频来说是平均的分担到整个一帧视频上去 的,这样将增强视频数据流在3G无线网络中传输的抗干扰性;其次,将压缩 感知用在H.264编码之后,对视频数据进一步压缩之后再在无线网络中传输, 大大减少了数据的传输量,同时与RTSP和RTP/RTCP协议配合,使该系统在 满足了视频传输实时性要求的同时具有自适应调节视频编码速率和网络传输 速率的功能,提高系统的传输效率。

所述的基于压缩感知的3G视频传输方法,优选的,所述步骤1包括:

步骤1-1,采集视频信息,如果视频采集端所采集到的视频格式不是YUV 格式时,需要进行颜色模式转换,把视频信号转换成YUV格式。

上述技术方案的有益效果为:将摄像头采集到的视频信息经过颜色空间转 换,转换为占据带宽较小的YUV格式,不仅在一定程度上减少了带宽的占有 量,而且方便后续处理器的编码工作。

所述的基于压缩感知的3G视频传输方法,优选的,所述步骤2包括:

步骤2-1,视频压缩的H.264视频编码方法;

步骤2-2,通过视频帧内预测编码,利用视频帧内宏块之间的空间相关性;

步骤2-3,再通过视频帧间预测编码,利用连续视频帧间的时间相关性进 行运动估计和补偿;

步骤2-4,然后进行整数变换运算;

步骤2-5,对视频帧进行量化;

步骤2-6,对视频帧进行熵编码后,形成H.264处理后的压缩编码数据。

上述技术方案的有益效果为:利用H.264对采集到的视频信息进行压缩编 码,据评测,在同等图像质量条件下,H.264的压缩比是MPEG-2的2~3倍, 是MPEG-4的1.5~2倍,因此在网络中传输同等数据量的视频图像所需要的 带宽相对较低。因此,在这里选择H.264编码技术,系统具有了较高的压缩效 率和较强的网络传输特性。

所述的基于压缩感知的3G视频传输方法,其特征在于,所述步骤3包括:

步骤3-1,对H.264视频编码后的视频数据进行分块,每次读取一段长度 大小为N×N的视频数据,然后将其转换为一个大小为N×N的矩阵块,采用基 于行的转换,读取该视频数据的前N个数值,将其存入矩阵块的第一行,接 着读取下面的N个数值,存入矩阵块的第二行,以此类推,最后的N个数值 存入矩阵块的最后一行;

步骤3-2,或者采用基于列的转换,读取该视频数据的前N个数值,将其 存入矩阵块的第一列,接着读取下面的N个数值,存入矩阵块的第二列,以 此类推,最后的N个数值存入矩阵块的最后一列,所述N≥2;

步骤3-3,每次采用基于矩阵块的观测进行压缩感知的压缩处理,为压缩 感知重构端的重构效率提供保障,也方便后续视频数据的存储与实时传输,

步骤3-4,对视频数据进行稀疏变换,将每一个N×N的数据块进行离散余 弦变换,各子块数据经过稀疏变换获得稀疏系数矩阵,由于稀疏系数矩阵具有 稀疏性,可利用压缩感知理论对其进行压缩,

步骤3-5,观测矩阵测量:首先构造一个大小为M×N的观测矩阵,M=p*N, 其中p为压缩比且0<p<1,将观测矩阵与上一步骤中所得到的稀疏矩阵相乘, 这时将得到一个大小为M×N的观测值矩阵,在3G网络中,传输的也就是该观 测值矩阵的数据,因此经过压缩感知的压缩过程之后将大大减少在网络中传输 的数据量。

系统工作流程图如图1、2所示,该基于压缩感知的3G视频传输方法及 系统由以下具体步骤组成:

S1、首先通过架设摄像头来采集视频信息,参照图3的硬件结构示意图, 当视频采集端所采集到的视频格式不是YUV格式时(如RGB格式),需要 进行颜色模式转换,把视频信号转换成占用带宽较小的YUV格式,并通过 BT656接口传送给Hi3515处理器进行编码。

S2、视频传输中的数据量是巨大的,因此在传输之前需要进行高效的压缩。 在这里采用由ITU-T的视频编码专家组(VCEG)和ISO/IEC运动图像专家组 (MPEG)联合指定的新一代视频压缩标准,具有较高的压缩效率和较强的网 络传输特性的H.264,利用其强大的帧内预测编码、帧间预测编码、隔行编码、 整数变换编码、量化和熵编码等技术,对采集到的视频信息进行高效的压缩编 码。

S3、首先,对H.264编码后的数据进行分块:每次读取一段长度大小为N×N 的数据,然后将其转换为一个大小为N×N的矩阵块,每次系统采用基于矩阵块 的观测进行压缩感知的压缩处理,这将为系统压缩感知重构端的重构效率提供 保障,也方便后续数据的存储与实时传输。

其次,稀疏变换:将每一个N×N的矩阵块进行离散余弦变换(DCT),各 矩阵块经过该稀疏变换后将获得稀疏系数矩阵,由于稀疏系数矩阵具有稀疏 性,可利用压缩感知理论对其进行压缩。

最后,观测矩阵测量:首先构造一个大小为M×N(M=p*N,其中p为压 缩比且0<p<1,N可取值为8、16或32)的观测矩阵,在这里我们首先生成一 个大小M×N的高斯随机矩阵,然后对其进行正交化处理,这样我们就得到了 所需的观测矩阵,将该观测矩阵与上一步骤中所得到的稀疏矩阵相乘,这时将 得到一个大小为M×N的观测值矩阵,在3G网络中,传输的也就是该观测值矩 阵的数据,因此经过压缩感知的压缩过程之后将大大减少在网络中传输的数据 量。优选的,p为0.3或0.4或0.5,N为8或16。

S4、在该步骤中我们要把经过压缩感知压缩处理后的视频数据流在3G网 络中进行传输。为了保证视频传输的实时性,在这里视频传输主要采用RTSP 和RTP/RTCP协议进行传输,其中RTSP协议能够建立并控制一个或多个时间 同步的连续流媒体,实现远程控制;RTP协议是实时视频数据的网络传输协议, 通常用于流媒体系统,完成数据包的传送;RTCP协议是RTP协议的控制协议, 周期性地为应用程序提供广播性能质量或会话等信息,利用RTCP协议可以实 现对网络状况的监测和相关参数的计算工作。RTSP和RTP/RTCP协议的配合 使用能为系统提供完整的流化服务。

首先,经过H.264编码和压缩感知压缩处理之后的视频流分别装上RTP 报头、UDP报头和IP报头,然后IP数据包通过无线3G网络和Internet传送 到接收端。因此,在该系统中,通过RTSP协议控制,采用RTP和RTCP打 包,结合TCP/IP协议的传输层UDP协议,共同完成实时流媒体数据的传输和 控制。

S5、在这一步骤中,就要完成从接收到的数据中经过压缩感知(重构过程) 处理和H.264解码得到恢复的视频信息;同时,把RTCP反映网络状态的参数 反馈给编码器和发送模块,从而来自适应调节视频编码速率和网络传输速率。

首先,在接收端,从接收到的IP数据包中提取出RTP报头和视频流数据, 根据RTP报头中的序列号将视频流数据放入接收端缓存,供压缩感知重构和 H.264解码输出。同时,QoS反馈控制通过RTCP的接收方报告来完成,RTCP 将反应网络状态的参数(延时抖动、丢包率等)反馈给编码器和发送模块,根 据这些反馈信息可以估计网络的可用带宽,再根据可用带宽动态调整编码的参 数,使发送码率小于网络的可用带宽,从而保证传输的QoS。也可理解为,在 网络传输带宽状况不好时,通过适当降低视频质量来防止网络拥塞,使客户端 仍能感受到流畅的多媒体传输服务;在网络可用带宽充足时,提高编码码率和 传输速率,给客户端提供高质量的视频服务。

其次,从接收端的缓存内读取视频流数据,进行压缩感知重构,该过程采 用压缩感知中的StOMP(分段正交匹配追踪)算法,该算法具有较高的重构 效率,在保证重构质量的同时,能更快的完成步骤3中从M×N个观测值到N×N 个数值的重构过程,从而也能从整体上来提升整个系统的传输效率。

最后,读取压缩感知重构之后的数据进行H.264解码,经过此过程后将得 到恢复的视频信息,最后可将视频信息以YUV格式存储或者播放。

所述的基于压缩感知的3G视频传输方法,优选的,还包括:步骤6,反 馈RTCP网络状态的参数,进而自适应调节视频编码速率和网络传输速率。

所述的基于压缩感知的3G视频传输方法,优选的,所述步骤6:

步骤6-1,QoS反馈控制通过实时传输控制协议RTCP的接收方报告来完 成,反馈实时传输控制协议RTCP反映的稳定传输性能参数,根据这些反馈 信息估计网络的可用带宽,再根据可用带宽动态调整编码的参数,根据RTCP 反馈的丢包率、延时抖动等信息调节编码参数,如果丢包率或者延时较大,即 网络状况不好时,这时选择较大的压缩比例,减少网络中传输的数据量,从而 缓解网络拥塞的状况,当网络状况较好时,调整编码参数,降低压缩比例,给 终端提供较好的画质服务质量;当网络状况较差时,提高压缩比例,使发送码 率小于网络的可用带宽,从而保证传输的QoS。

所述的基于压缩感知的3G视频传输方法,优选的,所述稳定传输性能参 数为延时抖动、丢包率。

上述技术方案的有益效果为:反馈实时传输控制协议RTCP反映的稳定 传输性能参数,根据这些反馈信息估计网络的可用带宽,再根据可用带宽动态 调整编码的参数,根据RTCP反馈的丢包率、延时抖动等信息调节编码参数, 如果丢包率或者延时较大,即网络状况不好时,这时选择较大的压缩比例,减 少网络中传输的数据量,从而缓解网络拥塞的状况,当网络状况较好时,调整 编码参数,降低压缩比例,给终端提供较好的画质服务质量;当网络状况较差 时,提高压缩比例,使发送码率小于网络的可用带宽,从而保证传输的QoS。

如图3所示,本发明还公开一种基于压缩感知的3G视频传输系统,其关 键在于,包括:摄像头,音频视频采集A/D转换模块,音视频编解码模块, 压缩感知模块,存储器,显示装置,数据流服务器;

摄像头连接音频视频采集A/D转换模块数据输入端,所述音频视频采集 A/D转换模块数据输出端连接音视频编解码模块和压缩感知模块,所述音视频 编解码模块和压缩感知模块连接存储器,通过USB接口连接3G网络,所述 3G网络连接数据流服务器,所述数据流服务器通过EI网络连接视显示装置。

所述基于压缩感知的3G视频传输系统能够通过3G网络传输视频流数据, 可以充分发挥3G无线网络的优势。

在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、 “具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特 征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明 书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描 述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中 以合适的方式结合。

尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理 解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、 修改、替换和变型,本发明的范围由权利要求及其等同物限定。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号