法律状态公告日
法律状态信息
法律状态
2018-06-19
授权
授权
2016-01-06
实质审查的生效 IPC(主分类):H04N7/18 申请日:20150901
实质审查的生效
2015-12-09
公开
公开
技术领域
本发明属于视频处理技术领域,具体为一种360度全景视频拼接系统,应用于旅游景点、 酒店会所、房产家居、城市规划建设、博物馆等需要全景展示的特点场合。
背景技术
当今社会激烈的竞争,人们平时都忙于工作,所以假日选择出游地点大部分依靠的是旅 游景点的宣传,但传统的图片不能向游客全方位的展示景点,已经不能满足游客的需求,从 而无法吸引游客的眼球;汽车展览时间往往是有限的,人们在网上查询时仅仅能获得汽车局 部的图片展示,无法全方位的让人提前全面的了解,而要依靠汽车销售现场不停的解说;买 房子时,人们除了要到销售中心看小区的整体布局之外,还要去看房子的内部构造,同时还 需要销售人员不停的解说,所以如何全方位的展示目标场景是众多技术研究人员的研究热点。
虽然目前已经具有较为成熟的图片拼接技术,但是一张张独立的拼接图片仍然不能够满 足人们的需求,相比之下,人们更倾向于汇聚声,乐,图等的高清全景视频。譬如汽车外部 的全景展示,可以从每个角度观看汽车外观,可以在网上构建不落幕的车展;汽车内部的全 景展示,可以展示汽车内饰和局部细节;可以让人实现轻松看车、买车。同时高清全景视频 在监控领域也具有重要作用。众所周知,监控的运用是十分广泛的,例如交通、银行、企业、 小区、地铁、火车和商店等。但是目前的监控普遍都存在有死角,也就是说还有的地方根本 就是监控不到。如果将高清全景视频的技术运动到监控领域,那么就可以实现监控无死角, 提高监控的效率。因此,针对上述需求,本发明提出了一种360度全景视频拼接系统。
发明内容
本发明的目的在于提供种360度全景视频拼接系统,用于对高清视频进行360度全景拼 接,并满足视频的实时性跟连贯性。
本发明的技术方案为:
一种360度全景视频拼接系统,包括系统平台设计模块、帧图像获取模块、拼接区域选 择模块、拼接预处理模块、图像拼接模块、视频显示模块,其中,系统平台设计模块由六台 摄像机共中心设置构成,相邻摄像机之间呈60度夹角;图像获取模块用于获取各摄像机图像 数据,并转成待处理的数据格式;拼接区域选择模块用于选定感兴趣区域,进而确定响应拼 接图像;拼接预处理模块用于计算各摄像机的图像的拼接参数,包括单应矩阵及颜色变换表; 图像拼接模块用于对选定摄像机图像进行拼接;视频显示模块将拼接好的全景图像逐帧显示。
本发明中,所述帧图像获取模块通过各摄像机端口地址获得各摄像机图像数据,并转换 为RGB颜色空间图像,存于预分配的内存空间中待用。
所述拼接区域选择模块根据实际应用需要选定感兴趣区域,进而确定响应拼接图像;具 体过程为:
步骤1、将标定板放在摄像机的拍摄区域,并确保标定板能完整的出现在某一个摄像机 拍摄的图像中;
步骤2、六台摄像机同时拍摄图像,得到六幅图像,检测出包含完整的标定板的图像, 并确定该图像所对应摄像机的拍摄区域为感兴趣区域的中心;
步骤3、从而确定步骤2中的摄像机及其相邻的两台摄像机的拍摄区域为感兴趣区域, 即它们拍摄得到的图像为拼接图像的来源。
所述帧图像预处理模块在拼接之前选择各摄像机的同一帧图像,对其进行摄像机标定及 颜色变换表建立;具体步骤为:
步骤1、将标定板放置于相邻的两台摄像机的重叠区域,分别拍摄带标定板的图像,检 测图像的角点,根据图像间角点位置得到整个图像平面之间的对应关系,根据张氏标定法求 得单应矩阵H;
步骤2、选定一台摄像机为基准摄像机,以其拍摄图像的颜色为基准颜色,即为居中图, 其他图像颜色是基于该居中图进行标定及颜色校正;分别计算此居中图R,G,B三通道的直 方图,并对直方图进行归一化处理;
步骤3、用基于标准黑白颜色校正算法计算通道颜色变换表,假如设定标准黑白像素阈 值分别为0.01和0.99,在步骤2居中图的任一通道的归一化直方图中,得到像素概率分布函 数,若有图像像素值m1和m2满足:
y(m1)<0.01,y(m2)<0.99
其中,mi(i=1,2)的取值范围为0~255,y是像素的概率分布函数,m1、m2是满足上式 的最大像素值。则认为m1、m2是对应标准黑白阈值的图像像素值,可建立图像像素与校正像 素对应关系,即居中图此通道的颜色变换表;
同理,计算得到步骤2中居中图其余颜色通道的颜色变换表,进而得到居中图校正颜色 的颜色变换表;
步骤4、计算非居中图的各通道的直方图,将该直方图规定化及归一化;采用步骤3计 算得到非居中图校正颜色的颜色变换表。
所述图像拼接模块进行拼接的具体步骤如下:
步骤1、几何校正过程,根据上述过程得到的单应矩阵H,将各摄像机拍摄到的图像投 影到同一平面,并根据相邻图像的坐标确定重合区域;
步骤2、颜色校正过程,上述过程我们已经得到了各台摄像机对应的颜色变换表,对步 骤1中经过几何校正的每一张帧图像,根据其对应的摄像机所对应的颜色变换表,遍历图像 中的像素值,对每一个像素点,找到各通道颜色变换表中当前像素值对应的值,用该值代替 图像的当前像素值;
步骤3、计算重合区域的流场,采用光流法计算图像重合区域的双向流场,确定相邻图 像间重合区域的特征匹配点,然后采用能量函数确定整个图像的最佳匹配点,从而获得重合 区域的流场;
步骤4、构建与待融合区域等大的中间视图,中间视图中每一个点的像素值为待融合区 域对应点的像素值乘以相应的权重,遍历所有像素点,即完成了重合区域的融合。
本发明提出了一种360度全景视频拼接系统,在需要展示的场景或者监控场所布置好整 个系统后,根据从摄像机获取的某一帧图像进行摄像机标定,并依据此帧图像建立颜色变换 表,随后对每一帧图像校正后进行拼接,进而实现视频的360度全景拼接,呈现高清全景视 频。本发明能够360度的呈现场景,能够保证监控无死角且具有实时性。
附图说明
图1本发明360度全景视频拼接系统的系统框图。
图2本发明系统平台设计模块中摄像机设置方位示意图。
图3本发明摄像机标准黑白像素值确定示意图。
图4本发明摄像机颜色变换表建立流程示意图。
图5本发明颜色校正流程示意图。
图6本发明拼接流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
一种360度全景视频拼接系统主要包括系统平台设计模块,帧图像获取模块,拼接区域 选择模块,拼接预处理模块,图像拼接模块,视频显示模块。
系统模块如图1所示:系统平台设计模块是搭建360度全景视频拼接平台,其他模块均 基于该平台;图像获取模块是获得不同摄像机拍摄的图像,并转成待处理的数据格式;拼接 区域选择模块是检测图像中标定板,并以此为中间像机,对其两边各一台像机为基准像机, 进行拼接;拼接预处理模块是获得各像机的拼接传人参数:单应矩阵及颜色变换表;图像拼 接模块是对选定像机进行拼接,主要是几何校正,颜色校正对相邻图像间的重合区域计算流 场,及图像融合;视频显示模块主要是将拼接好的全景图像逐帧显示出来。
本发明的技术方案由以下几个步骤组成:
1.系统平台设计模块
本发明中系统平台设计模块是采用六台数字摄像机固定在圆盘上,圆盘固定在可推动的 支撑装置,并可以上下滑动设置圆盘的高度;六台摄像机沿着圆盘中心共中心放置,如图2 所示,相邻摄像机之间呈60度夹角,这样能保证相机相对位置稳定,又能确保图像有一定的 重合区域,同时又能够获取场所的全面的信息。本实施例中采用的摄像机可以获取达200W 像素的图像信息,从而满足高清视频的基本条件。
2.帧图像获取模块
本发明中用6台海康网络摄像机获取图像,每台摄像机有不同的端口地址,通过端口地 址获得各摄像机图像数据,该数据是YUV结构的图像,需对其进行转换成RGB颜色空间图 像,然后放在事先分配好的内存空间,方便使用。
3.拼接区域选择模块
拼接区域选择模块是根据实际应用需要选定感兴趣区域,进而确定响应拼接图像;具体 过程为:
步骤1、将标定板放在摄像机的拍摄区域,并确保标定板能完整的出现在某一个摄像机 拍摄的图像中;
步骤2、六台摄像机同时拍摄图像,得到六幅图像,检测出包含完整的标定板的图像, 并确定该图像所对应摄像机的拍摄区域为感兴趣区域的中心;
步骤3、从而确定步骤2中的摄像机及其相邻的两台摄像机的拍摄区域为感兴趣区域, 即它们拍摄得到的图像为拼接图像的来源。
4.帧图像预处理模块
预处理模块是指在拼接之前选择不同摄像机的同一帧图像,对其进行摄像机标定及颜色 变换表建立。由于摄像机是固定在圆盘上,且拍摄场景是不会变,所以计算得到的参数可以 运用到后面的拼接视频;倘若移动系统平台或者改变场景,需要对摄像机重新标定。
具体过程为:
步骤1、将标定板放置于相邻的两台摄像机的重叠区域,分别拍摄带标定板的图像,检 测图像的角点,根据图像间角点位置得到整个图像平面之间的对应关系,根据张氏标定法求 得单应矩阵H;
步骤2、选定一台摄像机为基准摄像机,以其拍摄图像的颜色为基准颜色,即为居中图, 其他图像颜色是基于该居中图进行标定及颜色校正;分别计算此居中图R,G,B三通道的直 方图,并对直方图进行归一化处理;
步骤3、用基于标准黑白颜色校正算法计算通道颜色变换表,假如设定标准黑白像素阈 值分别为0.01和0.99,在步骤2居中图的任一通道的归一化直方图中,得到像素概率分布函 数,如图3所示,若有图像像素值m1和m2满足:
y(m1)<0.01(1)
y(m2)<0.99(2)
其中,mi(i=1,2)的取值范围为0~255,y是像素的概率分布函数,m1、m2是满足上式 的最大像素值。则认为m1、m2是对应标准黑白阈值的图像像素值,可建立图像像素与校正像 素对应关系,即居中图此通道的颜色变换表;如图4所示,其中灰度级(m1,m2)之间为 直线,灰度级(0,m1)和(m2,1)之间我们采用的是幂函数;
同理,计算得到步骤2中居中图其余颜色通道的颜色变换表,进而得到居中图校正颜色 的颜色变换表;
步骤4、计算非居中图的各通道的直方图,将该直方图规定化及归一化;采用步骤3计 算得到非居中图校正颜色的颜色变换表。
5.图像拼接模块
全景视频拼接的关键部分就是选定摄像机同一帧图像的拼接,具体步骤如下:
步骤1、几何校正过程,根据上述过程得到的单应矩阵H,将各摄像机拍摄到的图像投 影到同一平面,并根据相邻图像的坐标确定重合区域;
步骤2、颜色校正过程,上述过程我们已经得到了各台摄像机对应的颜色变换表,对步 骤1中经过几何校正的每一张帧图像,根据其对应的摄像机所对应的颜色变换表,遍历图像 中的像素值,对每一个像素点,找到各通道颜色变换表中当前像素值对应的值,用该值代替 图像的当前像素值;
步骤3、计算重合区域的流场,采用光流法计算图像重合区域的双向流场,确定相邻图 像间重合区域的特征匹配点,然后采用能量函数确定整个图像的最佳匹配点,从而获得重合 区域的流场;
步骤4、构建与待融合区域等大的中间视图,中间视图中每一个点的像素值为待融合区 域对应点的像素值乘以相应的权重,遍历所有像素点,即完成了重合区域的融合。
6.全景视频显示模块
视频显示模块将三台选定的摄像机的每帧图像进行全景拼接,获得连续的全景图像,那 么将图像逐帧显示即可得到高清全景视频。
以上所述,仅为本发明的具体实施方式,本说明书中所公开的任一特征,除非特别叙述, 均可被其他等效或具有类似目的的替代特征加以替换;所公开的所有特征、或所有方法或过 程中的步骤,除了互相排斥的特征和/或步骤以外,均可以任何方式组合。
机译: 一种用于发送基于面积的360度视频的方法,一种用于接收基于面积的360度视频的方法,一种用于发送基于区域的360度视频的设备,一种用于基于区域接收360度视频的设备
机译: 在具有360度全景图像查看器(360度)的虚拟游览中为互联网用户提供指导的系统和方法
机译: 能够在环形图像格式的360度方位角和设计的仰角范围内拍摄场景的全景成像镜头,以及使用该成像镜头的全景成像系统