一种基于六角网格的大规模定制摄像机阵列智能系统

摘要

本发明公开了一种基于六角网格的大规模定制摄像机阵列智能系统，包括一台服务器、四台客户机和排列成六角网格状的N个定制摄像机；四台客户机基于TCP/IP网络协议与服务器通信连接；当N为4的整数倍时，每台客户机通过一条独立的USB3.2总线经HUB连接N/4个定制摄像机，N/4个定制摄像机包括一个根摄像机和(N/4‑1)个子摄像机。客户机用于对来自定制摄像机的图像数据进行轮廓提取以得到待再现数据并发送至服务器，服务器接收待再现数据后执行硬件辅助的基于图像的视觉壳算法以实现三维动态场景的再现。本发明能够消减输出图像的重影，实现对三维动态场景的实时呈现。

说明书

【技术领域】

本发明涉及虚拟现实的领域，特别涉及一种基于六角网格的大规模定制摄像机阵列智能系统。

【背景技术】

在虚拟现实的领域内，其中的立体显示关键技术已经取得了快速的进步。产生立体显示效果需要双眼视差、运动视差和焦点的适应性调节。为了制造双眼视差和运动视差，需要对应于左、右眼的两幅立体场景视图；通过提供每只眼睛多幅视图，可进一步制造焦点的适应性调节。因此，建立一种能够高质量合成多幅任意立体空间视图的方法显得十分重要。现代的计算机图形技术可合成任意数目的三维几何模型视图。对于人眼视觉系统，三维几何模型不仅便于立体察看，而且有利于生理融合。在虚拟现实的领域内，虚拟世界由场景物体的几何模型所组成，如果要应用相同的策略到实际的物理世界中，必须构造真实物体的几何模型。然而，获取精确的几何模型需要测量物体的三维形状、表面纹理和光学系数等，花费太多的人力，不是那么容易得到。为了规避这一问题，一种称作基于IBR(Image-Based Rendering，图像的再现)技术近年来脱颖而出，并得到了大量的关注。

IBR技术需要综合多幅图像，这些图像可能需要来自某个相同的或多个不同的视点，也可能需要同时采集或在不同时间采集。实现这样的图像采集通常有两种方法，一种是采用单个移动的摄像机，另一种采用多个摄像机组成的阵列。对于静态场景，两种方法都可行，但第一种方法采集时间较长；对于动态场景采集，则必须使用摄像机阵列作为输入系统。

在摄像机阵列的设计和应用尝试上，有资料记载，王可东等(2005年)设计了一个4×4的CMOS(Complementary Metal-Oxide-Semiconductor，互补金属氧化物半导体)图像传感器阵列来拍摄极高时间分辨率的频闪火花图像。C.Zhang等(2007年)用48个带电子控制面板和水平移动的商用以太网摄像机开发了可自重配置的摄像机阵列，其目标是通过根据场景几何和期望的虚拟视点改变摄像机的位置和方向来提高视图插值效果。Matusik等(2000年)采用IBVH(Image-Based Visual Hull，基于图像的视觉壳)技术构建了支持再现的4摄像机阵列。Yang等(2002年)借助现代的图形硬件构建了支持实时再现的5摄像机系统；Schirmacher等(2001年)构造了6摄像机系统用于实时处理一般的亮度图形；Naemura等(2002年)构造了16摄像机系统用于实时再现。一些大型的由几十个摄像机组成的阵列也已经建立，如Stanford(斯坦福大学)的多摄像机阵列(2002年)、MIT(麻省理工学院)的分布式光场(Light Field)摄像机阵列(2002年)和CMU(美国卡耐基梅隆大学)的3D空间(2002年)，这三个系统分别由128个、64个和49个摄像机组成。

摄像机阵列的开发给动态场景的高逼真再现创造了新的机会，同时也带来了挑战。在前已述及的摄像机阵列的案例中，大多是针对静态的场景或物体，那些由少量摄像机构成的阵列通常容易获得实时再现，但再现质量不好。大型摄像机阵列，尽管增加了视点范围，采集过程中却产生了巨大数量的数据，由于需要处理大量的数据而难以取得令人满意的实时呈现效果，例如2002年建立的基于IEEE1394(苹果公司开发的串行标准)的Stanford系统虽由128个视频摄像机组成，但因难以应付庞大的数据吞吐，实际只给出了6个摄像机的部分实现。为了给不同的应用提供一个较为通用的制作平台，摄像机阵列必须能够实时地采集和处理所产生巨大数量的数据，摄像机与摄像机之间的排列间距是导致输出图像重影(Ghosting Artifacts)的重要原因，因此，其设计必须充分考虑多种应用对数据传输带宽和图像质量的需求。此外，未经处理的原始视频采集数据往往超过计算机通用硬盘和外围接口的最大持续吞吐量，为能持续传输和存储视频流，必须压缩原始数据，压缩时必须考虑压缩比和图像损失的问题。

近年来，图形硬件的迅速发展使得直接从一组轮廓图像中实时地呈现视觉壳变得可能。然而，现有的视觉壳计算中存在着诸如输入图像的数目受到图形硬件规格的限制、重构和再现分步执行、算法过于繁琐和计算量过大等缺陷。

【发明内容】

本发明要解决的技术问题是克服现有技术中摄像机阵列在采集过程中因产生巨大数量的数据，而存在的实时处理难度大、输出图像重影、传输和存储视频流压力大的缺陷，提供了一种基于USB3.2(Universal Serial Bus3.2，通用串行总线3.2)标准和C/S(客户机/服务器)架构的、可伸缩的、基于六角网格的大规模定制摄像机阵列高带宽智能系统，并应用经改进的图形硬件辅助的基于图像的视觉壳再现算法来合成高逼真高帧率输出视图，以充分实现对三维动态场景的实时获取和呈现。

本发明是通过下述技术方案来解决上述技术问题的：

本发明提供了一种基于六角网格的大规模定制摄像机阵列智能系统，其特点在于，包括一台服务器、四台客户机和N个定制摄像机，N≥36且N≤508，N为6的倍数；

N个所述定制摄像机排列成六角网格状，每个所述定制摄像机位于每个网格像素的中心；

四台所述客户机基于TCP/IP(Transmission Control Protocol/InternetProtocol，传输控制协议/网际协议)网络协议与所述服务器通信连接；

当N为4的整数倍时，每台所述客户机通过一条独立的USB3.2总线经HUB(通用串行总线集线器)连接N/4个所述定制摄像机，所述N/4个所述定制摄像机包括一个根摄像机和(N/4-1)个子摄像机；

当N为4的非整数倍时，两台所述客户机分别通过一条独立的USB3.2总线经HUB连接(N+2)/4个所述定制摄像机，所述(N+2)/4个所述定制摄像机包括1个根摄像机和((N+2)/4-1)个子摄像机；另外两台所述客户机分别通过一条USB3.2总线经HUB连接(N-2)/4个所述定制摄像机，所述(N-2)/4个所述定制摄像机包括一个根摄像机和((N-2)/4-1)个子摄像机；

所述根摄像机用于产生时钟同步信号和触发信号经USB3.2总线传输至对应的所述子摄像机；

所述客户机用于对来自N个所述定制摄像机的图像数据进行轮廓提取以得到待再现数据并把所述待再现数据发送至所述服务器，所述服务器接收所述待再现数据后用于执行硬件辅助的基于图像的视觉壳算法以实现三维动态场景再现。

较佳地，所述定制摄像机包括第一电路板、第二电路板、CMOS图像传感器、DSP(数字信号处理器)、CPLD(Complex Programmable Logic Device，复杂可编程逻辑器件)、USB接口芯片和存储器；

所述第一电路板和所述第二电路板通过电缆连接；

所述CMOS图像传感器、所述CPLD、所述USB接口芯片以及所述存储器分别与所述DSP电连接；所述CPLD还与所述CMOS图像传感器以及所述USB接口芯片电连接；

所述每个所述定制摄像机位于每个网格像素的中心包括：每个所述定制摄像机的所述第一电路板位于每个网格像素的中心；所述CMOS图像传感器设置于所述第一电路板上；

所述DSP、所述CPLD、所述USB接口芯片和所述存储器设置于所述第二电路板上；

所述CMOS图像传感器用于采集动态场景的图像并传输至所述DSP；

所述DSP用于对接收到的所述动态场景的图像进行处理和压缩以得到所述图像数据；

所述CPLD用于控制所述定制摄像机的时序并输出所述时钟同步信号，以实现所述定制摄像机之间的同步；

所述USB接口芯片与对应的所述USB3.2总线连接。

较佳地，所述服务器还用于发布以下命令中的至少一种：下载所述DSP的可执行代码与编码、建立时序、编程图像传感器的寄存器和记录所述待再现数据以及运行呈现程序；所述客户机还用于运行阵列软件以完成对所述大规模定制摄像机阵列的控制和数据的存储。

较佳地，N为36，36个所述定制摄像机被均匀地设置在位于同一平面的六根平行直线导轨上并排列成六角网格状。

较佳地，36个所述定制摄像机用于同步采集动态场景的图像，采集速度为20～40帧/秒，所述动态场景的图像的分辨率大于320×240；所述三维动态场景再现时再现视图分辨率大于640×480，再现帧率为30～80帧/秒。

较佳地，所述定制摄像机的长小于等于4厘米，所述定制摄像机的宽小于等于4厘米，所述定制摄像机的高为8～18厘米，所述定制摄像机之间的间距为4～8厘米。

较佳地，所述定制摄像机的长为4厘米，所述定制摄像机的宽为4厘米，所述定制摄像机的高为10厘米，所述定制摄像机之间的间距为6厘米。

较佳地，所述大规模定制摄像机阵列智能系统还包括若干盘式伺服器，每个所述定制摄像机附接一个所述盘式伺服器，所述盘式伺服器的旋转范围小于等于90度。

较佳地，所述视觉壳算法采用纹理对象加模板缓冲的多进程方法来处理任意数目的输入图像；所述视觉壳算法还采用基于颜色加深度图像的方式以隐藏重构于再现过程中。

较佳地，所述DSP采用的压缩算法包括MPEG-4(一种标准的压缩算法)、M-JPEG(一种标准的压缩算法)、H.264(一种标准的压缩算法)、X264(一种标准的压缩算法)中的至少一种。

本发明的积极进步效果在于：本发明提供的基于六角网格的大规模定制摄像机阵列智能系统，实现了一种基于USB3.2标准和成熟的C/S架构的可伸缩的定制摄像机阵列高带宽智能系统，可灵活地从36个摄像机扩展到508个摄像机，所采用的六角网格状结构能够消减输出图像重影的问题，经改进的图形硬件辅助的基于图像的视觉壳再现算法能够合成高逼真高帧率的输出视图，以便充分实现对三维动态场景的实时获取和呈现。本发明实现了由程序完全控制的可自动重新配置的定制摄像机阵列，以实现阵列智能系统根据用户选择而主动排列、主动获取的效果。本发明能够实时地采集和处理阵列所产生巨大数量的数据，且已充分考虑多种应用对数据传输带宽和图像质量的需求。

【附图说明】

图1为本发明一较佳实施例的一种基于六角网格的大规模定制摄像机阵列智能系统的结构示意图。

图2为本发明一较佳实施例中的六角网格状的摄像机阵列的示意图。

图3为本发明一较佳实施例中的定制摄像机的原理框图。

图4为本发明一较佳实施例中的六角网格状的摄像机阵列的另一示意图。

【具体实施方式】

下面通过实施例的方式进一步说明本发明，但并不因此把本发明限制在所述的实施例范围之中。

如图1所示，本实施例公开了一种基于六角网格的大规模定制摄像机阵列智能系统，包括一台服务器、四台客户机和N个定制摄像机4，N≥36且N≤508，N为6的倍数。N个定制摄像机4排列成如图2所示的六角网格状的摄像机阵列5，每个定制摄像机4位于每个网格像素的中心。四台客户机基于TCP/IP网络协议2与服务器通信连接。当N为4的整数倍时，每台客户机通过一条独立的USB3.2总线1经HUB(图中未示出)连接N/4个定制摄像机4，N/4个定制摄像机4包括一个根摄像机和(N/4-1)个子摄像机。

当N为4的非整数倍时，四台客户机中的两台客户机分别通过一条独立的USB3.2总线1经HUB连接(N+2)/4个定制摄像机4，(N+2)/4个定制摄像机4包括1个根摄像机和((N+2)/4-1)个子摄像机；四台客户机中的另外两台客户机分别通过一条USB3.2总线1经HUB连接(N-2)/4个定制摄像机4，(N-2)/4个定制摄像机4包括一个根摄像机和((N-2)/4-1)个子摄像机。其中，根摄像机用于产生时钟同步信号和触发信号经USB3.2总线1传输至同一个USB3.2总线1内的子摄像机。

本实施例中的客户机用于对来自N个定制摄像机4的图像数据进行轮廓提取以得到待再现数据并把该待再现数据发送至服务器，服务器接收待再现数据后用于执行硬件辅助的基于图像的视觉壳算法以实现三维动态场景再现。其中，视觉壳算法采用纹理对象加模板缓冲的多进程方法来处理任意数目的输入图像；所述视觉壳算法还采用基于颜色加深度图像的方式以隐藏重构于再现过程中。

当N为42时，42个定制摄像机4被均匀地设置在位于同一平面的六根平行直线导轨上排列成的如图4所示的六角网格状的摄像机阵列。本实施例中，N采用36，36个定制摄像机4被均匀地设置在位于同一平面的六根平行直线导轨上排列成如图2所示的六角网格状的摄像机阵列5。36个定制摄像机用于同步采集动态场景的图像，采集速度为20～40帧/秒，动态场景的图像的分辨率大于320×240；三维动态场景再现时的视图分辨率大于640×480，再现帧率为30～80帧/秒。为了更有效地获取不同情况下的动态场景和动态物体，本实施例中的摄像机阵列是一种可重配置的阵列，导轨上的定制摄像机4可作水平移动，由此实现一种由程序完全控制的可自动重新配置的定制摄像机阵列，从而得到基于六角网格的大规模定制摄像机阵列智能系统根据用户选择而主动排列、主动获取的效果。

如图3所示，本实施例中的定制摄像机4包括第一电路板6、第二电路板7、CMOS图像传感器、DSP、CPLD、USB接口芯片和存储器；其中存储器包括SDRAM(synchronous dynamicrandom-access memory，同步动态随机存取内存)和FLASH(闪存)。第一电路板6和第二电路板7通过电缆连接。

CMOS图像传感器、CPLD、USB接口芯片以及存储器分别与DSP电连接；CPLD还与CMOS图像传感器以及USB接口芯片电连接。USB接口芯片与对应的USB3.2总线连接。每个定制摄像机4位于每个网格像素的中心包括：每个定制摄像机4的第一电路板6位于每个网格像素的中心；CMOS图像传感器设置于第一电路板6上。其余的器件包括DSP、CPLD、USB接口芯片和存储器设置于第二电路板7上。

本实施例中为了确保定制摄像机足够小以利于摄像机之间紧密排列，定制时把CMOS图像传感器单独作为一块小电路板，而把图像处理、传输等电路另外作为一块较大电路板，两块电路板之间通过电缆进行信号连接。

其中，CMOS图像传感器用于采集动态场景的图像并传输至DSP；DSP用于对接收到的动态场景的图像进行处理和压缩以得到图像数据；CPLD用于控制所在的定制摄像机4的内部时序并向外输出时钟同步信号，以实现N个定制摄像机4之间的同步。DSP采用的压缩算法包括MPEG-4、M-JPEG、H.264、X264中的至少一种。

本实施例中，摄像机阵列中的时序与同步控制十分关键，决定着定制摄像机阵列采集到的视频是否能满足应用的需要。如图2所示，定制摄像机中的CPLD器件提供了定制摄像机触发之间精确的时序和同步。服务器通过客户机发出建立时序命令，统一的时钟和触发先送到每条总线的根摄像机，该根摄像机缓冲时钟并送给下一个，依此类推。每个定制摄像机用系统时钟通过一个PLL(Phase Locked Loop，锁相环)产生修正的工作时钟。由于时钟不被电路板间数据传输所使用(也就是时钟独立于电路板间数据的传输)，所以摄像机到摄像机的延迟是不重要的，共享时钟确保所有板是频率锁定的。有公共的系统时钟意味着所有传感器和编码器确实运行在同样的频率上。传送时钟的电缆把全局触发信号传送到每条总线的所有定制摄像机，这些信号在定制摄像机上直接连接到CPLD器件，它们控制着初始同步或间隔传感器快门时序和所有视频流或快照帧的精确启动。

定制摄像机4的长小于等于4厘米，定制摄像机4的宽小于等于4厘米，定制摄像机4的高为8～18厘米，定制摄像机4之间的间距为4～8厘米。本实施例中，定制摄像机大小是4×4×10厘米，即长4厘米、宽4厘米、高10厘米。由于定制摄像机阵列间距是从网格像素的中心原点算起，如阵列间距为6厘米，则定制摄像机之间的空隙只有2厘米，因此定制摄像机阵列间距的具体范围可设置在4～8厘米，但必须大于4厘米，否则定制摄像机之间的空隙没有了。

本实施例公开的大规模定制摄像机阵列智能系统还包括若干盘式伺服器，每个定制摄像机附接一个标准的全景盘式伺服器，盘式伺服器的旋转尺度小于等于90度，可作90度范围内的旋转。

本实施例中，每个定制摄像机的USB接口芯片把DSP处理后的视频数据上传至各自的客户机，而客户机则通过USB3.2总线接口把指令发送到DSP，DSP根据这些指令控制定制摄像机的运行。其具体工作过程是：当定制摄像机接入阵列时，客户机和定制摄像机之间产生一个枚举过程，即客户机检测到有定制摄像机接入，自动发出查询请求，定制摄像机回应这个请求，送出设备的Vendor ID(厂家标识)和Product ID(产品标识)，客户机根据这两个ID(标识)装载相应的设备驱动程序，完成枚举过程。然后，客户机通过USB3.2总线接口发出指令，配置和启动DSP。此时从CMOS图像传感器输入的图像数据经过DSP处理和压缩后，由USB3.2总线接口送往客户机。客户机对输入图像加以轮廓提取和距离转换等操作，并把处理结果送交服务器用于再现。例如，以320×240像素分辨率同步采集36个视频流，输入帧率30fps(帧每秒)，以640×480像素分辨率输出，再现帧率30～80fps，达到实时的程度。

本实施例提供的基于六角网格的大规模定制摄像机阵列智能系统，采用普通计算机皆有的、在诸多方面优于IEEE1394的USB3.2通信接口，减少了接口板的开发，符合计算机高速接口的发展方向；采用基于TCP/IP协议的客户机/服务器架构以容纳更多数量的摄像机，为大数据量视频传输提供了有效的分流机制；采用六角网格状结构以消减输出图像重影的问题；采用定制的包括CMOS图像传感器的定制摄像机以控制图像的分辨率、帧率和同步时序等，并可作90度全景旋转；采用图形硬件辅助的视觉壳计算有利于充分挖掘现代计算机图形硬件越来越强大的可编程性能，以取得实时的帧率和高逼真的再现。

本实施例提供的基于六角网格的大规模定制摄像机阵列智能系统，实现了一种基于USB3.2标准和成熟的C/S架构的可伸缩的定制摄像机阵列高带宽智能系统，可灵活地从36个摄像机扩展到508个摄像机，因而具有相当的可伸缩性。所采用的六角网格状结构能够消减输出图像重影的问题，经改进的图形硬件辅助的基于图像的视觉壳再现算法能够合成高逼真高帧率的输出视图，以充分实现对三维动态场景的实时获取和呈现。本发明实现了由程序完全控制的可自动重新配置的定制摄像机阵列，以得到阵列智能系统根据用户选择而主动排列、主动获取的效果。本发明能实时地采集和处理阵列所产生巨大数量的数据，且已充分考虑多种应用对数据传输带宽和图像质量的需求，因此能够实现动态场景的高逼真的实时再现，可为三维电视、互动游戏、远程会议、大屏幕立体广告等实际应用提供通用的制作平台。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。