首页> 中国专利> 2D和3D播放模式平滑切换的立体视频解码结构及工作方法

2D和3D播放模式平滑切换的立体视频解码结构及工作方法

摘要

一种2D和3D播放模式平滑切换的立体视频解码结构及工作方法,属于立体视频解码技术领域。本发明包括基本视频流解码单元、补充视频流解码单元、自适应空间缩放控制单元和立体视频生成单元。基本视频流解码单元生成用于2D播放的码流;补充视频流解码单元解码补充视频流,自适应空间缩放控制单元对解码后的补充视频码流下采样,并保存可供切换瞬间使用的参考帧。本发明有效解决了2D播放模式向3D播放模式随机切换时,因找不到补充视频码流的参考帧而无法立即生成立体视频的问题;与2D播放模式下完全合成、保存补充视频码流参考帧的方法相比,本发明在不影响切换瞬间3D播放效果的同时,减少了无效数据处理带宽。

著录项

  • 公开/公告号CN102055984A

    专利类型发明专利

  • 公开/公告日2011-05-11

    原文格式PDF

  • 申请/专利权人 山东大学;

    申请/专利号CN201110028760.X

  • 发明设计人 周莉;吕众;崔玉瑞;崔艳;

    申请日2011-01-27

  • 分类号H04N7/26;H04N7/46;H04N13/00;

  • 代理机构济南金迪知识产权代理有限公司;

  • 代理人王绪银

  • 地址 250100 山东省济南市历城区山大南路27号

  • 入库时间 2023-12-18 02:13:30

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2016-03-23

    未缴年费专利权终止 IPC(主分类):H04N7/26 授权公告日:20121003 终止日期:20150127 申请日:20110127

    专利权的终止

  • 2012-10-03

    授权

    授权

  • 2011-06-29

    实质审查的生效 IPC(主分类):H04N7/26 申请日:20110127

    实质审查的生效

  • 2011-05-11

    公开

    公开

说明书

技术领域

本发明涉及一种2D和3D播放模式平滑切换的立体视频解码结构及工作方法,属于立体视频解码技术领域。

背景技术

人类视觉系统具有获取外部环境深度信息,形成三维视觉的能力。随着人们对立体视频显示的需求,立体视频编、解码算法及显示技术得到迅速发展。目前的立体视频显示技术,都是在人眼成像原理的基础上发展的,例如基于单目和深度信息的成像原理,以及双目视差成像原理。相对于传统平面视频处理技术,立体视频具有巨大的图像数据处理量、存储量、传输量,其算法和系统设计都非常复杂。

而且基于目前绝大多数视频均为平面视频,立体技术在满足立体显示需求的同时,还需要与传统的平面视频处理技术有良好的兼容性。一种与传统平面视频兼容的设计思路,便是在视频码流编码时将码流分为基本视频码流和补充视频码流。解码端,若工作在平面显示模式,只需处理基本视频码流;若工作在立体显示模式,则需处理基本视频码流和补充视频码流,补充视频码流包含视差补偿信息或深度信息。

如果立体视频与平面视频之间的切换为直接切换,切入的时机有可能是视频序列中的任意帧图像,解码器将无法识别出补充视频序列的头信息,也就无法根据之前解码的补充视频序列的参考图像进行当前帧的视差补偿计算或深度图像补偿计算,所以在平面视频向立体视频切换的过程中,需要在时间不等的延迟后(即找到补充视频流的头信息后),才能够显示立体视频。如果选择在平面视频显示的同时,进行立体视频信息的完整解码和处理,势必会对解码电路处理速度带来不必要的要求,也会造成存储空间的极大浪费。

因此,有必要研究一种平面视频与立体视频切换的有效控制结构。这种控制结构既能够保证与传统平面视频解码的兼容性,又能够保证平面视频与立体视频随机切换时的正常过渡,并能够最大限度地减少无效数据处理带宽和无效解码时间,优化系统性能。

发明内容

本发明的目的是,提出一种2D和3D播放模式平滑切换的立体视频解码结构及工作方法,能够保证平面视频与立体视频随机切换时的正常过渡,并能够最大限度的减少无效数据处理带宽和无效解码时间,优化系统性能。

本发明的上述目的通过以下技术方案实现:

一种2D和3D播放模式平滑切换的立体视频解码结构,包括:

基本视频流解码单元,用于对基本视频流解码,生成用于2D播放模式的视频码流。

补充视频流解码单元,用于对补充视频流解码,生成深度补偿码流帧或视差估计的补偿码流帧。

自适应空间缩放控制单元,用于接收播放模式控制信号,对补充视频流解码单元解码后的补充视频流进行自适应下采样预处理,生成并且保存低分辨率的深度补偿码流的参考帧或视差估计补偿码流的参考帧。

立体视频生成单元,2D播放模式下,根据基本视频流解码单元解码后的基本视频流和自适应空间缩放控制单元下采样后保存的参考帧,重建较大失真度的立体视频图像;3D播放模式下,根据基本视频流解码单元解码后的基本视频流和未经下采样后处理的补充视频流的参考帧,重建高保真度的立体视频图像;平面播放模式向立体播放模式切换的瞬间,在找到工帧之前,工作方式与2D播放模式下相同,在找到I帧之后,即进入3D播放模式。

图1给出视频解码总结构图。

图2给出自适应空间缩放控制单元内部结构图。

本发明的有益效果是,

与平面视频兼容的立体视频显示技术是未来的发展趋势。编码、解码电路的性能将很大程度地影响到立体视频显示的成本、速度、功耗。本发明成果在保证与平面视频显示兼容的前提下,有效地解决了平面视频播放和立体视频播放之间随机切换时可能因补充视频码流头信息丢失,而造成的立体视频显示不定时延迟的问题;而且能够最大限度的减少无效数据处理带宽和无效解码时间,优化系统性能。

附图说明

图1是本发明中视频解码总结构图。

图2是本发明中自适应空间缩放控制单元内部结构图。

图中,1、基本视频码流,2、补充视频码流,3、播放模式控制信号,4、基本视频流解码单元,5、补充视频流解码单元,6、自适应空间缩放控制单元,6-1、选择开关,6-2、补充视频流下采样模块,6-3、补充视频流参考帧存储模块,7、立体视频生成单元,8、选择开关,9、输出数据选择器。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

实施例:

一种2D和3D播放模式平滑切换的立体视频解码结构及工作方法,主要包括:基本视频流解码单元(4)、补充视频流解码单元(5)、自适应空间缩放控制单元(6)和立体视频生成单元(7)。基本视频流解码单元(4)可以对基本视频流(1)解码,生成用于平面播放的视频码流。立体视频生成单元(7)根据基本视频流解码单元(4)输出的视频流和自适应空间缩放控制单元(6)输出的视频流,合成立体视频码流。

图1中,视频播放解码系统根据根据播放模式控制信号(3)选择播放模式:2D播放模式或3D播放模式。

2D播放模式下:选择开关(8)选择上路,基本视频流解码单元(4)对基本视频流(1)解码,生成的码流用于平面视频播放;同时,补充视频流解码单元(5)对补充视频流(2)解码,解码后的数据流送给自适应空间缩放控制单元(6),选择开关(6-1)选择下路,补充视频流下采样模块(6-2)对解码后的补充数据流进行下采样,并且补充视频流参考帧存储模块(6-3)保存补充视频流下采样后的低分辨率的参考帧。输出数据选择器(9)选择基本视频流解码单元(4)的输出码流作为输出。

2D播放模式向3D播放模式切换的瞬间:选择开关(8)选择下路,基本视频流解码单元(4)解码后的数据流送给立体视频生成单元(7),2D播放模式结束,在找到补充视频流的I帧之前,立体视频生成单元(7)根据解码后的基本视频流和自适应空间缩放控制单元(6)保存的低分辨率的参考帧,即补充视频流的头信息,合成较大失真度的立体视频码流,用于3D视频播放,选择开关(6-1)仍然选择下路。在找到补充视频流的I帧之后,选择开关(6-1)选择上路,自适应空间缩放控制单元(6)不再对解码后的补充视频流下采样,立体视频生成单元(7)根据解码后的基本视频流和补充视频流中未经过下采样的参考帧合成较大保真度的立体视频码流,用于立体视频播放,输出数据选择器(9)选择立体视频生成单元(7)的输出码流作为输出。并进3D播放模式,完成2D播放模式向3D播放模式的平滑切换。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号