具有等角分辨率的主动式三维立体全景视觉传感器

摘要

一种具有等角分辨率的主动式三维立体全景视觉传感器，包括具有平均角分辨率的全景视觉传感器、彩色全景投影光源以及用于对全方位图像进行三维立体摄像测量的微处理器，具有平均角分辨率的全景视觉传感器与所述彩色全景投影光源配置在同一根轴心线上，全景投影光源由多组具有不同发光中心波长的超高亮度LED按照具有单一发射中心点进行组合构成，能为具有等角分辨率的全景视觉传感器提供一种主动全景结构光源；将彩色全景投影光源和具有等角分辨率的全景视觉传感器结合，在成像平面上就能获得与实际物体一一对应的景物深度和色彩对应图。本发明能够减少计算、快速完成测量、实时性好、实用性强、鲁棒性高的、具有平均角分辨率。

说明书

技术领域

本发明涉及LED光源、光学技术以及计算机视觉技术在三维立体视觉测量方面的应用，尤其是一种主动三维立体全景视觉传感器。

背景技术

在视频图像信息获取方面，视频信号源质量一直是计算机视觉的瓶颈问题，理想的计算机视觉信号源的获取装置是要能获得与实际物体一一对应的景物深度和色彩对应图的视觉传感器。显然仅仅靠一个二维成像平面的视觉传感器来获得与实际物体一一对应的景物深度和色彩对应图是不可能的，需要其他技术支持才有可能实现这种理想的立体视觉传感。

目前的视觉传感器技术在拍摄场景过程时使用一个二维的成像平面图像来表达一个实际三维立体空间的图像，因此在成像过程中丢失了景物深度信息；为了获取景物深度信息，人们就提出了立体视觉方法，即利用人眼的双目视差原理，模仿人类利用双目线索感知距离的方法，实现对三维信息的感知，双目各自独立地接收来自同一场景、特定摄像点的左右图像，从视差中计算出距离，从而获得具有深度感的立体图像。立体视觉关键是要解决在左右两幅二维视频图像中如何确立空间上的同一物点的两条放射线相交问题。目前，这种立体视频技术在标定、匹配及重构方面的基础性问题还没有很好解决，没有摆脱摄像机标定、特征提取和立体图像匹配方面所存在着一些难以解决的问题，特别是还很难对不同视角的视频图像进行无歧义、高准确率、实时的立体匹配，在计算机视觉中被称为“病态”计算问题。这类解决问题的方法并不是从视觉传感器的本身解决立体视觉问题，而是通过两个二维成像平面来恢复出三维立体图像。

在三维场景重构过程中，一个众所周知的难题就是场景图像上匹配点的不确定性问题。通常解决该问题的一种有效的方法是采用结构光主动视觉技术，如点结构光、线结构光扫描法以及编码结构光法等。然而扫描法必须使用精密标定装置事先标定有关参数，而且它们只能适用于特定的场合，要做到在线实时标定或不标定重构三维场景，难度很大，有时甚至不可能。更重要的一点是它们不能用一幅图像重构三维场景。这类解决问题的方法比较接近于实时立体视觉传感的思路，但还是无法在二维成像平面上的像素点上建立与实际物体一一对应的景物深度和色彩对应关系，从而影响了视觉传感的实时处理能力。

近年发展起来的全景视觉传感器ODVS(OmniDirectional Vision Sensors)为实时获取场景的全景图像提供了一种新的解决方案。ODVS的特点是视野广(360度)，能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS在场景中的安放位置更加自由；监视环境时ODVS不用瞄准目标；检测和跟踪监视范围内的运动物体时算法更加简单；可以获得场景的实时图像。同时也为构建双目全景视觉传感器的立体视觉测量系统提供了一个基本要素。

中国发明专利申请号为200510045648.1公开了一种全向立体视觉成像方法及装置，该专利中将一透视相机镜头的光轴和两反射镜面的共同对称轴重合放置，空间中的一点分别经两反射镜面反射后分别在所述透视相机的像平面成像于不同的两点，相当于两个相机成像；装置包括两个反射镜面、相机，所述相机镜头的光轴和两反射镜面的共同对称轴重合。这种方案的存在的问题是：1)由于一幅图像包括了的特征点“两幅”全向图像，允许的图像视差减小了一半，因此视觉系统的测量范围至少也减少了一半；2)上下两个反射镜面会出现遮挡，影响立体视觉范围；3)由于同一物体的特征点在上下两个反射镜面上经折反射后的成像点在一幅图像上离中心点的位置不同，上反射镜面的成像分辨率要比下反射镜面的成像分辨率高两倍以上；4)由于透视相机镜头存在的对焦问题，只能满足两个反射镜面中的某一个反射镜面为最佳焦距，因而必然会影响成像质量；5)两个反射镜面的焦点距离就是该系统的基线距，因而造成基线距过短，影响测量精度。

中国发明专利申请号为200810062128.5公开了一种基于双目全方位视觉传感器的立体视觉测量装置，该专利中组成立体视觉测量装置的两个ODVS采用了平均角分辨率设计，采集图像的两个摄像机的参数完全一致，具有极好的对称性，能实现快速的点与点的匹配，从而达到立体视觉测量的目的。但是从完成点对点匹配到立体测量仍需要较大的计算资源，要实现实时在线的立体测量以及三维立体重构仍然存在着一些“病态”计算问题。

上述所介绍的三维立体视觉测量技术中最大难题是被动式的立体摄像测量中普遍存在的计算机资源消耗大、实时性能差、实用性不强、鲁棒性不高。通常解决该问题的一种有效的方法是采用结构光主动视觉技术，如点结构光、线结构光扫描法以及编码结构光法等。然而这些方法必须使用精密标定装置事先标定有关参数，而且它们只能适用于特定的场合，要做到在线实时标定或不标定重构三维场景，难度很大，有时甚至不可能。同时针对全方位视觉需要有一种全景的彩色光编码技术来支持。

LED光源的出现为实现全景的彩色光编码技术提供了技术基础，使用超高亮度功率型红、绿、蓝三基色LED，可制成结构紧凑发光效率比传统白炽灯光源高的多的数字式调色调光光源，配合计算机控制技术，可得到极其丰富多彩的发光效果。

LED，发光二极管又叫光发射二极管，英文名为Light Emitting Diode，是一种可将电能变为光能的一种半导体器件，属于固态光源。LED光源具有以下几个优点：(1)光色纯：LED是分立的光谱，谱线狭窄，色彩丰富，鲜艳，可以有多样化的色调选择和配光；(2)光束集中：LED发光大部分集中会聚于中心，发散角小，发射光角在10°～100°，发光均匀性好，可以减少眩光，减化全景的彩色光编码器的结构；(3)小型化：LED是用环氧树脂封装固态光源，其结构既不像白炽灯有玻璃泡、灯丝等易损坏部件，也不像荧光灯有体积大的灯管和附件，它是一种全固体结构，因此能经得起震动、冲击而不至损坏，而且体积也相对减小，重量也轻，应用灵活，可在狭小空间投光，利于集成在全景视觉传感器内；每个单元LED小片是3-5mm的正方形，所以可以制备成符合全景彩色结构光器形状的器件；(4)响应速度快：LED灯响应时间短，可瞬间启动，反复开关，可灵活控制，加上时序控制电路可实现多种动、闪、跳的灯光变幻。LED发光的响应时间为纳秒级，荧光灯一般为毫秒级：(5)效能高：消耗能量比同光效的白炽灯减少80％，可以省去散热部分的设计；(6)颜色丰富：改变电流可以变色，发光二极管方便地通过化学修饰方法，调整材料的能带结构和带隙，实现红黄绿兰橙多色发光；通过设计可以覆盖整个可见光和红外光；(7)超长寿命：LED元件的寿命非常长，理论上可达到50000小时之久，是投影灯泡的十倍，如果每天使用5小时计算，LED光源可以使用10年以上，而且频繁的开关，也不会影响到使用寿命；(8)亮度衰减小：LED的发光指向性非常强，亮度衰减比传统光源低很多，在使用2000小时之后，其衰退率不超过5％。因此，利用LED器件的这些优点来实现一种全景的彩色光编码器，为主动三维立体全景视觉传感器提供一种彩色全景投影光源。

另外，作为彩色全景投影光源需要全彩色化、超高亮度LED技术支持，超高亮度(UHB)是指发光强度达到或超过100mcd的LED，又称坎德拉(cd)级LED。最近几年高亮度AlGaInP和InGaN LED的研制进展十分迅速，目前的技术水平已达到常规材料GaAlAs、GaAsP、GaP不可能达到的性能水平。1991年日本东芝公司和美国HP公司研制成InGaAlP 620nm橙色超高亮度LED，1992年InGaAlp590nm黄色超高亮度LED实用化。同年，东芝公司研制InGaAlP 573nm黄绿色超高亮度LED，法向光强达2cd。1994年日本日亚公司研制成InGaN 450nm蓝(绿)色超高亮度LED。至今为此，彩色投影显示所需的三基色红、绿、蓝以及橙、黄多种颜色的LED都达到了坎德拉级的发光强度，实现了超高亮度化、全彩色化，使LED发光管能在户外环境中全彩色投影逐渐成为现实。

发明内容

为了克服已有的立体视觉测量装置的计算机资源消耗大、实时性能差、实用性不强、鲁棒性不高等不足，本发明提供一种能够减少计算机资源消耗、快速完成测量、实时性好、实用性强、鲁棒性高的、具有平均角分辨率的主动式三维立体全景视觉传感器。

本发明为了解决上述技术问题所采用的技术方案为：

一种具有平均角分辨率的主动式三维立体全景视觉传感器，包括具有平均角分辨率的全景视觉传感器、彩色全景投影光源以及用于对全方位图像进行三维立体摄像测量的微处理器，所述具有平均角分辨率的全景视觉传感器与所述彩色全景投影光源配置在同一根轴心线上；所述具有平均角分辨率的全景视觉传感器包括摄像单元、透明半圆形外罩、上盖、二次折反射镜面、一次折反射镜面；所述的一次折反射镜面固定在所述的上盖上，所述的二次折反射镜面固定在所述的透明半圆形外罩的下部，所述的透明半圆形外罩与所述的上盖固定连接，所述的摄像单元固定在所述的上盖上，所述的摄像单元的镜头朝向所述的一次折反射镜面上的小孔，所述的摄像单元的镜头处在所述的一次折反射镜面的视点上，所述具有平均角分辨率的全景视觉传感器中的所述的摄像单元的输出与所述微处理器连接；所述彩色全景投影光源包括圆球面体基板和多组具有不同发光中心波长的超高亮度LED；所述彩色全景投影光源和所述的具有平均角分辨率的全景视觉传感器通过连接件连接；

所述的微处理器中包括：

彩色全景投影光源控制单元，用于控制彩色全景投影光源发出全彩色全景结构光，在彩色全景投影光源控制单元使彩色全景投影光源的供电电源处于ON状态时，在全景视觉传感器的成像单元中直接获得空间某物点的深度和方位角度信息；在彩色全景投影光源控制单元使彩色全景投影光源的供电电源处于OFF状态时，在全景视觉传感器的成像单元中直接获得空间某物点的实际色彩信息；实际彩色全景投影光源的供电电源开关控制采用电子开关来实现；

视频图像读取模块，用于读取全景视觉传感器的视频图像，并保存在所述的存储设备中，其输出与所述的空间信息计算模块连接；在彩色全景投影光源的供电电源处于ON状态时所读取的全景视频图像中的各像素色彩带有某物点的深度和方位角度信息；在彩色全景投影光源的供电电源处于OFF状态时所读取的全景视频图像中的各像素色彩带有某物点的实际色彩信息；根据具有平均角分辨率的二次折反射的成像原理计算成像平面上的P(x，y)的入射角αo，通过投射角αp、入射角αo以及彩色全景投影光源的中心点和具有平均角分辨率的全景视觉传感器的视点Om之间的距离得到空间物点的深度信息；

空间信息计算模块，用于计算空间上的物点到立体视觉测量装置中心点的距离及入射角，分别计算空间物点与具有平均角分辨率的全景视觉传感器的视点Om的距离R1、空间物点与彩色全景投影光源的中心点Op的距离R2、空间物点与中央眼的距离R以及空间物点的入射角φ；其输出与三维图像重构模块连接；

三维图像重构模块，用于将在全景视觉传感器中所获取的全景图像进行柱状展开运算，展开图中横坐标表示方位角，纵坐标表示入射角；在展开全方位图像时需要将该中心部分的图像单独分离出来，然后对全方位图像进行展开，展开算法中水平方向的计算步长为，Δβ＝2π/l，式中l为水平展开幅度；垂直方向的计算步长为Δm＝(α_o-max-α_o-min)/m；式中，α_o-max为全景原图最大有效半径Rmax对应的场景光线入射角，α_o-min为全景原图最小有效半径Rmin对应的场景光线入射角；

与用极坐标表示的全景原图中的原像点A(α₀，β)对应的球面展开方式中的A点坐标分别为：

x＝β/Δβ，y＝(α_o-α_o-min)/Δm                    (11)

式中：Δβ为水平方向的计算步长，β为方位角，Δm为垂直方向的计算步长，α_o全景原图有效半径R对应的场景光线入射角，α_o-min为全景原图最小有效半径Rmin对应的场景光线入射角；

在对全景图像进行柱状展开时，针对彩色全景投影光源的电源处于ON/OFF两种状态会产生两种不同的柱状展开图；当彩色全景投影光源的供电电源处于ON的状态时，在柱状展开图上带有全景彩色结构光所照射全景视频图像；当彩色全景投影光源的供电电源处于OFF的状态时，在柱状展开图上自然光所投射的全景视频图像。

作为优选的一种方案：所述的彩色全景投影光源包括圆球面体基板和多组具有不同发光中心波长的超高亮度LED；所述的圆球面体基板用于固定所述的多组具有不同发光中心波长的超高亮度LED；所述的圆球面体基板为内部圆球型中空、上下圆柱形中空的圆球面体，所述的圆球面体基板的外球面上按照经度和纬度以相隔一定角度均匀等分排列着与超高亮度LED的外直径相等的小孔；所述的多组具有不同发光中心波长的超高亮度LED按照其发光中心波长的长短顺序进行分组，每组的超高亮度LED数目与纬度方向上的小孔数目相同，从最短发光中心波长的超高亮度LED组到最长发光中心波长的超高亮度LED组依次从在所述的圆球面体基板上的最大北纬度值到最大南纬度值按顺序插入到相应的相应的小孔内，同一的发光中心波长超高亮度LED组插入到同一纬度方向上的小孔内，每个超高亮度LED的发射光方向与所插入相应小孔的法线方向重合。

进一步，所述的具有平均角分辨率的全景视觉传感器的一次折反射镜面和二次折反射镜面的设计如下，一次入射光线V1与折反射主轴Z的夹角为α₀，一次反射光线V2与折反射主轴Z的夹角为θ₂，过P1(t₁，F₁)的切线与t轴的夹角为σ，法线N1与Z轴的夹角为ε；二次反射光线V3与折反射主轴Z的夹角为θ₁，过P2(t₂，F₂)点的切线与t轴的夹角为δ，法线N2与Z轴的夹角为ε₁，基于上述关系得到公式(1)：

$\left(\begin{array}{c}\sigma ={180}^0-ϵ\\ 2ϵ=\phi -{\theta }_2\\ {\sigma }_1={180}^0-{ϵ}_1\\ 2{ϵ}_1={\theta }_1-{\theta }_2\end{array}\right)---\left(1\right)$

其中${\tan \alpha }_0=\frac{t_1}{F_1(t_1-s)},$${\tan \theta }_2=\frac{t_1-t_2}{F_2-F_1},$${\tan \theta }_1=\frac{t_2}{F_2}$

式中，F₁是一次折反射镜面曲线，F₂是二次折反射镜面曲线；

利用三角关系并进行简化整理，得到公式(2)、(3)：

$F_1^{\prime 2}-2\alpha F_1^{\prime }-1=0---\left(2\right)$

$F_2^{\prime 2}-2\beta F_2^{\prime }-1=0---\left(3\right)$

上式中，

$\sigma =\frac{(F_1-s)(F_2-F_1)-t_1(t_1-t_2)}{t_1(F_2-F_1)-(t_1-t_2)(F_1-s)}$

$\beta =\frac{t_2(t_1-t_2)+F_2(F_2-F_1)}{t_2(F_2-F_1)-F_2(t_1-t_2)}$

解公式(2)、(3)得到公式(4)、(5)；

$F_1^{\prime }=\alpha \pm \sqrt{{\alpha }^2+1}---\left(4\right)$

$F_2^{\prime }=\beta \pm \sqrt{{\beta }^2+1}---\left(5\right)$

式中：F′₁为F₁曲线的微分，F′₂为F₂曲线的微分；

为了使得成像平面上的点与入射角之间具有某种线性关系，就是要建立一种像素点P到Z轴距离与入射角α₀之间的线性关系，如公式(6)所示，

α₀＝a×P+b             (6)

式中：a、b是与所选择成像芯片像素值有关的参数；

将摄像单元的焦距作为f，P为像素点到Z轴的距离，在二次折反射镜面上的反射点(t₂，F₂)，则根据成像原理，P由公式(7)表示：

$P=f\times \frac{t_2}{F_2}---\left(7\right)$

将式(7)代入式(6)，可得公式(8)，

${\alpha }_0=a\times (f\times \frac{t_2}{F_2})+b---\left(8\right)$

满足公式(8)的镜面曲线设计符合平均角分辨率要求；

根据折反射原理，公式(8)可以用公式(9)表示，

${\tan }^{-1}\left(\frac{t_1}{F_1-s}\right)=a\times (f\times \frac{t_2}{F_2})+b---\left(9\right)$

然后对公式(2)、(3)、(9)，通过4阶Runge-Kutta算法求F₁和F₂的数字解，这样计算得到的一次折反射镜面和二次折反射镜面曲线能实现平均角分辨率。

再进一步，对所述的彩色全景投影光源采用分时控制技术，通过电子开关来控制所述的彩色全景投影光源的发光或者不发光，在所述的彩色全景投影光源控制单元使所述的彩色全景投影光源的供电电源处于ON状态时，在所述的全景视觉传感器的成像单元中直接获得空间某物点的深度和方位角度信息；在所述的彩色全景投影光源控制单元使所述的彩色全景投影光源的供电电源处于OFF状态时，在所述的全景视觉传感器的成像单元中直接获得空间某物点的实际色彩信息。

更进一步，所述的空间信息计算模块包括折射角α_p计算单元、入射角α_o计算单元和距离计算单元；

投射角αp计算单元，用于利用彩色全景投影的投射角αp与彩色全景投影中某个高亮度LED所发射出的光波长之间具有一定的函数关系来计算的，当彩色全景投影光源的供电电源处于ON状态时，成像平面上的像素的色彩分量与投射角αp存在一一对应关系，利用该关系来得到投射角αp；

入射角αo计算单元，通过公式(10)计算得到具有某一特定波长的点的入射角αo，

${\alpha }_0=a\times P+b=a\times \sqrt{x^2+y^2}+b---\left(10\right)$

式中，x，y分别是成像平面上点P(x，y)的坐标值，a、b是与所选择的成像芯片像素值有关的参数，α₀表示的入射角；

距离计算单元，用于利用公式(12)～(15)分别计算空间物点与全景视觉传感器的实焦点O_m的距离R1、空间物点与彩色全景投影光源的实焦点O_p的距离R2、空间物点与中央眼的距离R以及空间物点的入射角φ，

$R1=\overline{O_{m}A}=\frac{\cos \left({\alpha }_o\right)}{\sin ({\alpha }_o+{\alpha }_p)}B---\left(12\right)$

$R2=\overline{O_{p}A}=\frac{\cos \left({\alpha }_p\right)}{\sin ({\alpha }_o+{\alpha }_p)}B---\left(13\right)$

$R=\overline{\mathrm{OA}}=\sqrt{{R2}^2+{(B/2)}^2-2R2(B/2)\cos ({\alpha }_p+90)}---\left(14\right)$

$=B\sqrt{{\left[\frac{\cos \left({\alpha }_p\right)}{\sin ({\alpha }_o+{\alpha }_p)}\right]}^2+0.25+\frac{\cos \left({\alpha }_p\right)}{\sin ({\alpha }_o+{\alpha }_p)}\sin \left({\alpha }_p\right)}---\left(14\right)$

$\phi =\arcsin \left[\frac{B}{2R}\cos \left({\alpha }_o\right)\right]---\left(15\right)$

式中：B为基线距，α_o为入射角，α_p为投射角，R1为物点A与具有平均角分辨率的全景视觉传感器的视点O_m的距离，R2为物点A与彩色全景投影光源的实焦点O_p的距离，R为物点A与中央眼的距离，φ为空间物点相对于中央眼的入射角。

在所述的空间信息计算模块中，设置一张光编码表来实现某一光波长λ与某一投射角αp之间存在的映射关系，一张入射角计算表来实现某一个点的坐标数据与该点所对应的入射角αo之间存在的映射关系，投射角αp、入射角αo计算采用查表方式实现；首先在彩色全景投影光源的供电电源处于ON状态时按全景视觉传感器的成像平面的点坐标顺序读取某一个像素点的波长λ值，以点坐标值检索入射角计算表得到该点所对应的入射角αo，接着以该点的光波长λ值检索光编码表得到该光波长λ所对应的投射角αp；最后利用公式(11)或者公式(12)或者公式(13)计算得到空间上某一点的距离信息；

  投射角αp  北纬  50°  北纬  40°  北纬  30°  北纬  20°  北纬  10°  零纬  0°  南纬  10°  南纬  20°  南纬  30°  南纬  40°  颜色  蓝色  蓝绿  色  绿色  绿黄  色  浅绿  黄色  黄色  浅黄  橙色  浅红  深红  中心波长λ  (nm)  465  500  520  560  570  585  590  605  625  640

表2

表2是一张投射角αp与颜色波长λ值的关系对应表，通过所获得的某一个像素点的波长λ值用查表2得到两个相邻的中心波长，然后采用插值的方法计算得到投射角αp。

所述的彩色全景投影光源的组装方法是：在加工好圆球面体基板后，将同一的发光中心波长超高亮度LED组插入到同一纬度方向上的孔内，并且按从小的发光中心波长超高亮度LED组到大的发光中心波长超高亮度LED组按照圆球面体基板上的最大北纬度值到最大南纬度值的孔依次排列插入；所有超高亮度LED插入完成后，根据超高亮度LED的正向电压连接指标进行连线，连接线均在空心圆球型体内，电源线通过圆球面体的空心圆柱体引出；当给彩色全景投影光源供电时，圆球面同一纬度上的超高亮度LED组发出同一的发光中心波长的光，投射光线的方向就是球面的法线方向；而在圆球面不同纬度上的超高亮度LED发出逐渐变化的波长光。

所述的彩色全景投影光源的圆球面体基板的具体加工方法是：首先将圆球面体基板加工成圆球型体，其圆球型体的中心为空心圆球型体，球体的中间是一个空心圆柱体；然后从在圆球面的最大直径处从经度方向上按相隔一定角度进行等分，分为36个等角间隔，即每个等角间隔为10°；接着从从圆球面的最大直径处从纬度方向上按等角间隔为10°进行等分，等分后的数量与采用的超高亮度LED的发光颜色数目相同；在经度方向上的等分线和在纬度方向上的等分线都有一个交点，每个交点都有相应的经度值和纬度值，然后以这些交点为钻孔的中心，以超高亮度LED的外径为钻孔钻头的直径，钻孔的方向对准圆球型体的球心。

要实现上述发明内容，必须要解决三个核心问题：(1)实现一种具有平均角分辨率的全景视觉传感器；(2)实现一种具有单一发射中心点、超高亮度的彩色全景投影光源，能为主动三维立体全景视觉传感器提供一种主动全景结构光源；(3)将彩色全景投影光源和具有平均角分辨率的全景视觉传感器结合，实现一种能获得与实际物体一一对应的景物深度和色彩对应图的具有平均角分辨率的全景视觉传感器。

实现一种具有平均角分辨率的全景视觉传感器，就是要能实时感知半球面以上的所有物点、并且整个半球面都具有相同的分辨率的全景视觉传感器。

要实现一种具有单一发射中心点、超高亮度的彩色全景投影光源，能为主动三维立体全景视觉传感器提供一种主动全景结构光源；首先是发光器件的选择，其次是彩色全景投影光源的设计；

在发光器件的选择方面，目前的超高亮度LED制造技术已经基本上能满足投影光源的发光亮度要求，超高亮度红AlGaAsLED与常规材料GaAsP-GaP LED相比，具有更高的发光效率，透明衬底(TS)AlGaAs LED(640nm)的流明效率已接近101m/W，比红色GaAsP-GaP LED大10倍。超高亮度InGaAlP LED提供的颜色与GaAsP-GaP LED相同包括：绿黄色(560nm)、浅绿黄色(570nm)、黄色(585nm)、浅黄(590nm)、橙色(605nm)、浅红(625nm)、深红(640nm)。透明衬底AlGaInP LED发光效率与其他LED结构及白炽光源的比较，InGaAlP LED吸收衬底(AS)的流明效率为101m/W，透明衬底(TS)为201m/W，在590～626nm的波长范围内比GaAsP-GaP LED的流明效率要高10～20倍；在560～570的波长范围内则比GaAsP-GaP LED高出2～4倍。超高亮度InGaN LED提供了蓝色光和绿色光，其波长范围蓝色为450～480nm，蓝绿色为500nm，绿色为520nm；其流明效率为3～151m/W。科学家们将AlGaInP材料和InGaN材料制造的超高亮度LED将多个(红、蓝、绿)超高亮度LED芯片组合在一起来得到各种颜色，目前其发光效率均已超过白炽灯，正向荧光灯接近。发光亮度已高于1000mcd，单LED功率已经可以达到数瓦(不超过5W)，这些指标已经基本上满足室外全天候、全色投影显示的需要。目前在市场上销售的超高亮度LED芯片用表1总结，随着LED的应用推广，更多的具有不同发光中心波长的超高亮度LED将会面世，这些都为彩色全景投影光源的设计提供了良好的基础；

表1目前市售的超高亮度LED的发光颜色和相应波长对应表

  颜色  蓝色  蓝绿  色  绿色  绿黄  色  浅绿  黄色  黄色  浅黄  橙色  浅红  深红  中心波长nm  465  500  520  560  570  585  590  605  625  640

在用超高亮度LED组合方式来设计彩色全景投影光源时，设计指标是：(1)所有参与阵列组合的超高亮度LED都必须具有单一发射中心点，即所有参与阵列组合的超高亮度LED投射方向延长线都交于一个点；(2)从圆球面体来考虑，希望参与阵列组合的超高亮度LED，在同一纬度方向上需要等间距地排列具有同一的发光中心波长超高亮度LED，在同一经度方向上需要等间距地排列具有连续变化的发光中心波长超高亮度LED。

本发明的有益效果主要表现在：

1)、主动获取实时的全景立体视频图像，跟踪的监控物体不会出现丢失，采用等角分辨率的全景视觉传感器的设计，解决了大空间内的快速移动目标对象的实时跟踪，为移动机器人提供了实时快速的视觉检测方法；

2)、提供了一种全新的立体视觉获取方法，通过主动的全景彩色结构光发生、基于圆球面体的彩色光发射的技术和具有等角分辨率的全景视觉成像技术，实现了快速的全景立体摄像测量；

3)、不再需要繁琐的摄像机标定工作、特征提取、立体图像匹配等步骤，为快速全景立体摄像测量提供了一种新的手段；

4)、通过彩色全景投影光源所生成的全景立体图像本身具有立体感和距离感；

5)、充分利用了LED光色纯和光束集中的优点，构成彩色全景投影光源的每个LED都具有分立的光谱，谱线狭窄，色彩丰富，鲜艳，LED发光大部分集中会聚于中心，发散角小，为准确立体摄像测量提供了一种高分辨率的、高清晰的彩色投影装置；

6)、充分利用了LED的响应速度快和效能高的特点，通过对LED供电电源的控制，在一个成像芯片不但能获得全景范围内空间物点的深度距离信息，而且也能获得空间物点的色彩信息，同时发光效率高不需要任何散热装置；

7)、作为主动光源，LED具有小型化、轻量化、超长寿命和亮度衰减小等优点，在便携、可靠、使用寿命、维护成本等性能指标上具有明显的优势；

8)、采用同一极球面坐标处理手段，可利用数字几何的计算方法能容易实现三维图像重构和三维物体测量。可广泛的应用于各种工业检测、地理勘测、医学整容、骨科矫形、文物复制、刑侦取证、保安识别、机器人视觉、模具快速成型、礼品、虚拟现实、人体测量、动画电影、游戏等许多应用领域。

附图说明

图1为一种具有等角分辨率的全景视觉传感器的结构图；

图2为等角分辨率的全景视觉传感器的成像原理图；

图3一种彩色全景投影光源的结构图；

图4为一种具有等角分辨率的主动式三维立体全景视觉传感器原理图；

图5为一种具有等角分辨率的主动式三维立体全景视觉传感器的立体测量范围示意图；

图6为一种具有等角分辨率的全景视觉传感器的折反射镜面的设计图；

图7为高斯球面坐标与三维直角坐标之间的关系示意图；

图8为双目视觉中的中央眼的概念图；

图9为一种具有等角分辨率的主动式三维立体全景视觉传感器的立体摄像测量的原理图；

图10为具有等角分辨率的全景视觉传感器和彩色全景投影光源具有相同极平面的示意图；

图11为一种具有等角分辨率的主动三维立体全景视觉传感器的系统构成框图。

具体实施方式

下面结合附图对本发明作进一步描述。

实施例1

参照图1～11，一种具有平均角分辨率的主动式三维立体全景视觉传感器，包括：具有平均角分辨率的全景视觉传感器、彩色全景投影光源以及用于对全方位图像进行三维立体摄像测量的微处理器，所述具有平均角分辨率的全景视觉传感器与所述彩色全景投影光源配置在同一根轴心线上；所述具有平均角分辨率的全景视觉传感器包括摄像单元1、透明半圆形外罩2、上盖3、二次折反射镜面4、一次折反射镜面5，如附图1所示；所述的一次折反射镜面5固定在所述的上盖3上，所述的二次折反射镜面4固定在所述的透明半圆形外罩3的下部，所述的透明半圆形外罩2与所述的上盖1通过螺钉固定在一起，所述的摄像单元1用螺钉固定在所述的上盖3上，所述的摄像单元1的镜头朝向所述的一次折反射镜面5上的小孔，所述的摄像单元1的镜头处在所述的一次折反射镜面5的视点上，所述具有平均角分辨率的全景视觉传感器中的所述的摄像单元1的输出与所述微处理器连接；所述彩色全景投影光源包括圆球面体基板9-1和多组具有不同发光中心波长的超高亮度LED9-2；所述彩色全景投影光源和所述的具有平均角分辨率的全景视觉传感器通过连接件10用螺纹进行连接，如附图4所示；

实现一种具有平均角分辨率的全景视觉传感器，就是要能实时感知半球面以上的所有物点、并且整个半球面都具有相同的分辨率的全景视觉传感器。全方位视觉装置如附图1所示，将摄像机1配置在一次折反射镜面5的后面，摄像机1的镜头安置在一次折反射镜面5的视点处，一次折反射镜面5的中间留有一个小孔，摄像机1能通过小孔拍摄到一次折反射镜面5前面的视频信息；在一次折反射镜面5的前面配置有一个二次折反射镜面4；全景视频信息在一次折反射镜面5折反射后经二次折反射镜面4进行二次折反射，然后通过一次折反射镜面5的小孔在摄像装置1中成像；要实现这种全景视觉传感器关键是一次折反射镜面5和二次折反射镜面4的设计；在折反射镜面曲线的设计上，如附图2所示，空间上的一个光源点P的入射光V1在一次折反射镜面5的P1(t₁，F₁)点上进行反射，反射光V2反射到二次折反射镜面4的P2(t₂，F₂)点上再进行反射，反射光V3以角度θ1进入摄像装置的镜头，在摄像单元(CCD或者CMOS)上成像。

根据成像原理，一次入射光线V1与折反射主轴Z的夹角为α₀，一次反射光线V2与折反射主轴Z的夹角为θ2，过P1(t₁，F₁)的切线与t轴的夹角为σ，法线N1与Z轴的夹角为ε；二次反射光线V3与折反射主轴Z的夹角为θ1，过P2(t₂，F₂)点的切线与t轴的夹角为σ，法线N2与Z轴的夹角为ε1，基于上述关系可以得到公式(1)：

$\left(\begin{array}{c}\sigma ={180}^0-ϵ\\ 2ϵ=\phi -{\theta }_2\\ {\sigma }_1={180}^0-{ϵ}_1\\ 2{ϵ}_1={\theta }_1-{\theta }_2\end{array}\right)---\left(1\right)$

其中${\tan \alpha }_0=\frac{t_1}{F_1(t_1-s)},$${\tan \theta }_2=\frac{t_1-t_2}{F_2-F_1},$${\tan \theta }_1=\frac{t_2}{F_2}$

式中，F₁是一次折反射镜面曲线，F₂是二次折反射镜面曲线；

利用三角关系并进行简化整理，得到公式(2)、(3)：

$F_1^{\prime 2}-2\alpha F_1^{\prime }-1=0---\left(2\right)$

$F_2^{\prime 2}-2\beta F_2^{\prime }-1=0---\left(3\right)$

上式中，

$\sigma =\frac{(F_1-s)(F_2-F_1)-t_1(t_1-t_2)}{t_1(F_2-F_1)-(t_1-t_2)(F_1-s)}$

$\beta =\frac{t_2(t_1-t_2)+F_2(F_2-F_1)}{t_2(F_2-F_1)-F_2(t_1-t_2)}$

解公式(2)、(3)可以得到公式(4)、(5)；

$F_1^{\prime }=\alpha \pm \sqrt{{\alpha }^2+1}---\left(4\right)$

$F_2^{\prime }=\beta \pm \sqrt{{\beta }^2+1}---\left(5\right)$

式中：F′₁为F₁曲线的微分，F′₂为F₂曲线的微分；

为了使得成像平面上的点与入射角之间具有某种线性关系，就是要建立一种像素点P到Z轴距离与入射角α₀之间的线性关系，如公式(6)所示，

α₀＝a×P+b                    (6)

式中：a、b是与所选择成像芯片像素值有关的参数；

将摄像单元的焦距作为f，P为像素点到Z轴的距离，在二次折反射镜面上的反射点(t₂，F₂)。则根据成像原理，P可以由公式(7)表示：

$P=f\times \frac{t_2}{F_2}---\left(7\right)$

将式(7)代入式(6)，可得公式(8)，

${\alpha }_0=a\times (f\times \frac{t_2}{F_2})+b---\left(8\right)$

满足公式(8)的镜面曲线设计符合平均角分辨率要求；

根据折反射原理，公式(8)可以用公式(9)表示，

${\tan }^{-1}\left(\frac{t_1}{F_1-s}\right)=a\times (f\times \frac{t_2}{F_2})+b---\left(9\right)$

然后对公式(2)、(3)、(9)，通过4阶Runge-Kutta算法求F₁和F₂的数字解，这样计算得到的一次折反射镜面和二次折反射镜面曲线能实现平均角分辨率；图5是利用4阶Runge-Kutta算法求F₁和F₂的数字解的图。

进一步，要实现一种具有单一发射中心点、超高亮度的彩色全景投影光源，能为主动三维立体全景视觉传感器提供一种主动全景结构光源；首先是发光器件的选择，其次是彩色全景投影光源的设计；

在发光器件的选择方面，目前的超高亮度LED制造技术已经基本上能满足投影光源的发光亮度要求，超高亮度红AlGaAsLED与常规材料GaAsP-GaP LED相比，具有更高的发光效率，透明衬底(TS)AlGaAs LED(640nm)的流明效率已接近101m/W，比红色GaAsP-GaP LED大10倍。超高亮度InGaAlP LED提供的颜色与GaAsP-GaP LED相同包括：绿黄色(560nm)、浅绿黄色(570nm)、黄色(585nm)、浅黄(590nm)、橙色(605nm)、浅红(625nm)、深红(640nm)。透明衬底AlGaInP LED发光效率与其他LED结构及白炽光源的比较，InGaAlP LED吸收衬底(AS)的流明效率为101m/W，透明衬底(TS)为201m/W，在590～626nm的波长范围内比GaAsP-GaP LED的流明效率要高10～20倍；在560～570的波长范围内则比GaAsP-GaP LED高出2～4倍。超高亮度InGaN LED提供了蓝色光和绿色光，其波长范围蓝色为450～480nm，蓝绿色为500nm，绿色为520nm；其流明效率为3～151m/W。科学家们将AlGaInP材料和InGaN材料制造的超高亮度LED将多个(红、蓝、绿)超高亮度LED芯片组合在一起来得到各种颜色，目前其发光效率均已超过白炽灯，正向荧光灯接近。发光亮度已高于1000mcd，单LED功率已经可以达到数瓦(不超过5W)，这些指标已经基本上满足室外全天候、全色投影显示的需要。目前在市场上销售的超高亮度LED芯片用表1总结，随着LED的应用推广，更多的具有不同发光中心波长的超高亮度LED将会面世，这些都为彩色全景投影光源的设计提供了良好的基础；

表1目前市售的超高亮度LED的发光颜色和相应波长对应表

  颜色  蓝色  蓝绿  色  绿色  绿黄  色  浅绿  黄色  黄色  浅黄  橙色  浅红  深红  中心波长nm  465  500  520  560  570  585  590  605  625  640

在用超高亮度LED组合方式来设计彩色全景投影光源时，设计指标是：(1)所有参与阵列组合的超高亮度LED都必须具有单一发射中心点，即所有参与阵列组合的超高亮度LED投射方向延长线都交于一个点；(2)从圆球面体来考虑，希望参与阵列组合的超高亮度LED，在同一纬度方向上需要等间距地排列具有同一的发光中心波长超高亮度LED，在同一经度方向上需要等间距地排列具有连续变化的发光中心波长超高亮度LED。

设计彩色全景投影光源时所采用的技术方案是：一种彩色全景投影光源，包括圆球面体基板和多组具有不同发光中心波长的超高亮度LED；所述的圆球面体基板用于固定所述的多组具有不同发光中心波长的超高亮度LED；所述的圆球面体基板为内部圆球型中空、上下圆柱形中空的圆球面体，所述的圆球面体基板的外球面上按照经度和纬度以相隔一定角度均匀等分排列着与超高亮度LED的外直径相等的小孔；所述的多组具有不同发光中心波长的超高亮度LED按照其发光中心波长的长短顺序进行分组，每组的超高亮度LED数目与纬度方向上的小孔数目相同，从最短发光中心波长的超高亮度LED组到最长发光中心波长的超高亮度LED组依次从在所述的圆球面体基板上的最大北纬度值到最大南纬度值按顺序插入到相应的相应的小孔内，同一的发光中心波长超高亮度LED组插入到同一纬度方向上的小孔内，每个超高亮度LED的发射光方向与所插入相应小孔的法线方向重合；

圆球面体基板的具体加工方法是：首先将圆球面体基板加工成圆球型体，其圆球型体的中心为空心圆球型体，球体的中间是一个空心圆柱体；然后从在圆球面的最大直径处从经度方向上按相隔一定角度进行等分，比如分为36个等角间隔，那么每个等角间隔为10°；接着从从圆球面的最大直径处从纬度方向上按等角间隔为10°进行等分，等分后的数量与采用的超高亮度LED的发光颜色数目相同；在经度方向上的等分线和在纬度方向上的等分线都有一个交点，每个交点都有相应的经度值和纬度值，然后以这些交点为钻孔的中心，以超高亮度LED的外径为钻孔钻头的直径，钻孔的方向对准圆球型体的球心，如附图3所示；

彩色全景投影光源的组装方法是：在加工好圆球面体基板后，将同一的发光中心波长超高亮度LED组插入到同一纬度方向上的孔内，并且按从小的发光中心波长超高亮度LED组到大的发光中心波长超高亮度LED组按照圆球面体基板上的最大北纬度值到最大南纬度值的孔依次排列插入；所有超高亮度LED插入完成后，根据超高亮度LED的正向电压连接指标进行连线，连接线均在空心圆球型体内，电源线通过圆球面体的空心圆柱体引出；当给彩色全景投影光源供电时，圆球面同一纬度上的超高亮度LED组发出同一的发光中心波长的光，投射光线的方向就是球面的法线方向；而在圆球面不同纬度上的超高亮度LED发出逐渐变化的波长光，比如在附图3所示的情况下，彩色全景投影光源从低纬度到高纬度将依次发出蓝色、蓝绿色、绿色、绿黄色、浅绿黄色、黄色、浅黄、橙色、浅红和深红的波长的光；排列组成的彩色全景投影光源中的各个超高亮度LED的发射光角对彩色全景投影光源所产生的彩色光有影响，过大的发射光角或者过小的等角间隔都会对相邻的、不同纬度上所发出的彩色光产生干扰，影响发光的均匀性；因此在上述的设计中采用了等角间隔为10°的设计，那么所选择超高亮度LED的发射光角以10°～15°为佳。

更进一步，说明如何将彩色全景投影光源和具有平均角分辨率的全景视觉传感器结合，实现一种能获得与实际物体一一对应的景物深度和色彩对应图的具有平均角分辨率的全景视觉传感器。首先说明采用彩色全景投影光源后如何使得在一个二维的全景视频图像的每一个像素点本身都带有景物的深度信息，然后说明如何通过该技术能提高图像空间的信号源质量从而解决立体视觉测量中的快速匹配问题；本发明的目的是要实现主动三维立体全景视觉传感，开发出一种能获得与实际物体一一对应的景物深度和色彩对应图的具有平均角分辨率的全景视觉传感器，通过集成彩色全景投影光源和具有平均角分辨率的全景视觉传感器来构建一种主动式立体的、具有平均角分辨率的全景视觉传感器，使得在全景视觉传感器的成像平面上的任何像素单元都具有景物深度、方位和色彩信息，最终实现用一幅全景图像来直接感知、表达与重构三维全景场景。

彩色全景投影光源9是由几组不同中心波长的超高亮度LED所组成，每个超高亮度LED的发散角选择在10°～15°左右，彩色全景投影光源的基板是一个内空的圆球体9-1，每个超高亮度LED9-2按照其发光的中心波长从小到大以北纬到南纬依次均匀地排列在圆球体9-1的孔内，这里引用地球上对纬度的定义，零纬度线是从该线上的任何点到北极点、南极点的距离都是相等的，按照定义附图4中的中心波长为465nm的蓝色光超高亮度LED9-2处在北纬50°，并且该中心波长的蓝色光超高亮度LED9-2均匀地排列在圆球体9-1的北纬50°线的孔内；同样道理，中心波长为640nm的深红色光超高亮度LED9-2处在南纬40°，并且该中心波长的蓝色光超高亮度LED9-2均匀地排列在圆球体9-1的南纬40°线的孔内；每个超高亮度LED9-2的光线发射方向与圆球体9-1的法线方向重合，这样产生的所有彩色光均是从圆球体9-1的中心向外发射，就在整个球面上产生了一圈圈的彩色结构光，所形成的彩色结构光与所述彩色全景投影光源上某个超高亮度LED所处的纬度值αp之间具有一定的函数关系，因此只要得到某一个光的波长就可以估算出彩色全景投影光源的纬度值αp；

由于彩色全景投影光源9的轴心和具有平均角分辨率的全景视觉传感器的轴心相重叠，彩色全景投影光源9的主动投影的经度必定是与具有平均角分辨率的全景视觉传感器的方位角相一致的，从计算机视觉的角度来说，必定处在同一极平面上，如附图10所示；因此就不需要在被动立体视觉中所要进行的极线匹配的计算过程；

根据上述的设计，当彩色全景投影光源处于供电状态时，在经度方向上形成了360°、在纬度方向上形成了呈按照角度函数关系变化的一圈圈的峰值波长的投射光，如附图9所示，当空间上的一个点A(X，Y，Z)接受到一定波长的光，按照附图4的配置方式，投射到点A(X，Y，Z)的光是绿黄色光，波长为560nm，该光点A(X，Y，Z)继续向具有平均角分辨率的全景视觉传感器的一次折反射镜面5反射，光线朝向具有平均角分辨率的全景视觉传感器的视点，根据上述二次折反射设计光线继续向着二次折反射镜面4进行折反射，折反射的光进入一次折反射镜面5上的小孔在摄像单元1中成像；反映实物图像的各具有一定波长的光点经具有平均角分辨率的全景视觉传感器的二次折反射到摄像单元1的聚光透镜中成像，在该成像平面上的一个点P(x，y)对应着实物在空间上的一个点的坐标A(X，Y，Z)，成像光路图如附图9中的粗实线所示；附图5中的斜线部分表示了立体视觉的范围；

通过上述的设计，彩色全景投影光源和具有平均角分辨率的全景视觉传感器分别具有两个独立视点，并且这两个独立视点处在同一对称中心轴的这两个特点；所谓的视点对于彩色全景投影光源来说是指彩色全景投影光源的发射中心点，即圆球面体9-1的圆心；对于具有平均角分辨率的全景视觉传感器来讲是指一次折反射镜面的视点；这样的配置使得在原有立体摄像测量技术中的摄像机的标定、特征选取、图像匹配步骤进行简化，通过彩色全景投影光源和具有平均角分辨率的全景视觉传感器的共同作用确定了空间上的一个点A(X，Y，Z)在成像平面上点P(x，y)的投射角αp和入射角αo，即在成像平面上点P(x，y)上可以确定点A(X，Y，Z)的深度信息，如附图9(c)所示；

关于方位角，由于彩色全景投影光源9的轴心和具有平均角分辨率的全景视觉传感器的轴心相重叠，彩色全景投影光源9的主动投影的经度必定是与具有平均角分辨率的全景视觉传感器的方位角相一致，因此将彩色全景投影光源9的主动投影的经度值作为具有平均角分辨率的全景视觉传感器的方位角数据；

具有某一特定波长的点将在全景视觉传感器的成像平面上有一个对应点，即P(x，y)，根据具有平均角分辨率的全景视觉传感器的折反射成像原理可通过公式(6)来得到公式(10)，通过公式(10)计算得到具有某一特定波长的点的入射角αo，

${\alpha }_0=a\times P+b=a\times \sqrt{x^2+y^2}+b---\left(10\right)$

式中，x，y分别是成像平面上点P(x，y)的坐标值，a、b是与所选择的成像芯片像素值有关的参数，α₀表示的入射角；

由于某一波长光的波长的投射角αp与入射角αo均在同一极平面上，有了这两个数据就能方便地得到空间点与观察点的位置深度和角度信息，即在全景视觉传感器成像平面上的某一个像素点的位置代表入射角αo的信息，该像素点的色彩代表投射角αp的信息；

为了获得成像点的实际色彩信息，在设计的一种等角分辨率的主动式立体全景视觉传感器中采用分时控制技术，即通过控制彩色全景投影光源的发光，即控制超高亮度LED光源的供电，当给超高亮度LED光源的供电时在全景视觉传感器的成像平面上获得空间某物点的深度和方位角度信息；当让LED光源的供电电源切断时，由于LED光源的响应速度快，这样通过自然光来获得物点的色彩信息；时间信息由微处理器的时钟时间来确定；因此，如图8所示的任何空间物点A(R，φ，β，r，g，b，t)的深度、角度、色彩和时间等信息都可以在高斯球面坐标系中进行表达。实现了在主动立体全景视觉传感器中所获得的立体视频信息具备与实际物体成一一对应的景物深度和色彩对应图。

所述的微处理器中包括：如附图11所示；

彩色全景投影光源控制单元，用于控制彩色全景投影光源发出全彩色全景结构光，在彩色全景投影光源控制单元使彩色全景投影光源的供电电源处于ON状态时，在全景视觉传感器的成像单元中直接获得空间某物点的深度和方位角度信息；在彩色全景投影光源控制单元使彩色全景投影光源的供电电源处于OFF状态时，在全景视觉传感器的成像单元中直接获得空间某物点的实际色彩信息；实际彩色全景投影光源的供电电源开关控制采用电子开关来实现；

视频图像读取模块，用于读取全景视觉传感器的视频图像，并保存在所述的存储设备中，其输出与所述的空间信息计算模块连接；在彩色全景投影光源的供电电源处于ON状态时所读取的全景视频图像中的各像素色彩带有某物点的深度和方位角度信息；在彩色全景投影光源的供电电源处于OFF状态时所读取的全景视频图像中的各像素色彩带有某物点的实际色彩信息；如附图9所示；比如在附图9(a)中某物点的像素P(x，y)中读取的颜色为绿黄色，该颜色表示彩色全景投影光源的投射角αp为北纬20°，根据具有平均角分辨率的二次折反射的成像原理通过公式(10)计算成像平面上的P(x，y)的入射角αo，通过投射角αp、入射角αo以及彩色全景投影光源的中心点和具有平均角分辨率的全景视觉传感器的视点Om之间的距离得到空间物点的深度信息；

空间信息计算模块，用于计算空间上的物点到立体视觉测量装置中心点的距离及入射角，分别计算空间物点与具有平均角分辨率的全景视觉传感器的视点Om的距离R1、空间物点与彩色全景投影光源的中心点O_p的距离R2、空间物点与中央眼的距离R以及空间物点的入射角φ；其输出与三维图像重构模块连接；

三维图像重构模块，用于将在全景视觉传感器中所获取的全景图像进行柱状展开运算，展开图中横坐标表示方位角，纵坐标表示入射角；在展开全方位图像时需要将该中心部分的图像单独分离出来，然后对全方位图像进行展开，展开算法中水平方向的计算步长为，Δβ＝2π/l，式中l为水平展开幅度；垂直方向的计算步长为Δm＝(α_o-max-α_o-min)/m；式中，α_o-max为全景原图最大有效半径Rmax对应的场景光线入射角，α_o-min为全景原图最小有效半径Rmin对应的场景光线入射角；

与用极坐标表示的全景原图中的原像点A(α₀，β)对应的球面展开方式中的A点坐标分别为：

x＝β/Δβ，y＝(α_o-α_o-min)/Δm           (11)

式中：Δβ为水平方向的计算步长，β为方位角，Δm为垂直方向的计算步长，α_o全景原图有效半径R对应的场景光线入射角，α_o-min为全景原图最小有效半径Rmin对应的场景光线入射角；

在对全景图像进行柱状展开时，针对彩色全景投影光源的电源处于ON/OFF两种状态会产生两种不同的柱状展开图；当彩色全景投影光源的供电电源处于ON的状态时，在柱状展开图上带有全景彩色结构光所照射全景视频图像；当彩色全景投影光源的供电电源处于OFF的状态时，在柱状展开图上自然光所投射的全景视频图像；

所述的空间信息计算单元包括投射角αp计算单元、入射角αo计算单元和距离计算单元；

投射角αp计算单元，用于利用彩色全景投影的投射角αp与彩色全景投影中某个高亮度LED所发射出的光波长之间具有一定的函数关系来计算的，当彩色全景投影光源的供电电源处于ON状态时，成像平面上的像素的色彩分量与投射角αp存在一一对应关系，利用该关系来得到投射角αp；

入射角αo计算单元，通过公式(10)计算得到具有某一特定波长的点的入射角αo，

${\alpha }_0=a\times P+b=a\times \sqrt{x^2+y^2}+b---\left(10\right)$

式中，x，y分别是成像平面上点P(x，y)的坐标值，a、b是与所选择的成像芯片像素值有关的参数，α₀表示的入射角；

距离计算单元，用于利用公式(12)～(15)分别计算空间物点与全景视觉传感器的实焦点O_m的距离R1、空间物点与彩色全景投影光源的实焦点O_p的距离R2、空间物点与中央眼的距离R以及空间物点的入射角φ，

$R1=\overline{O_{m}A}=\frac{\cos \left({\alpha }_o\right)}{\sin ({\alpha }_o+{\alpha }_p)}B---\left(12\right)$

$R2=\overline{O_{p}A}=\frac{\cos \left({\alpha }_p\right)}{\sin ({\alpha }_o+{\alpha }_p)}B---\left(13\right)$

$R=\overline{\mathrm{OA}}=\sqrt{{R2}^2+{(B/2)}^2-2R2(B/2)\cos ({\alpha }_p+90)}$

$=B\sqrt{{\left[\frac{\cos \left({\alpha }_p\right)}{\sin ({\alpha }_o+{\alpha }_p)}\right]}^2+0.25+\frac{\cos \left({\alpha }_p\right)}{\sin ({\alpha }_o+{\alpha }_p)}\sin \left({\alpha }_p\right)}---\left(14\right)$

$\phi =\arcsin \left[\frac{B}{2R}\cos \left({\alpha }_o\right)\right]---\left(15\right)$

式中：B为基线距，α_o为入射角，α_p为投射角，R1为物点A与具有平均角分辨率的全景视觉传感器的视点O_m的距离，R2为物点A与彩色全景投影光源的实焦点O_p的距离，R为物点A与中央眼的距离，φ为空间物点相对于中央眼的入射角。

在所述的空间信息计算模块中，设置一张光编码表来实现某一光波长λ与某一投射角αp之间存在的映射关系，一张入射角计算表来实现某一个点的坐标数据与该点所对应的入射角αo之间存在的映射关系，投射角αp、入射角αo计算采用查表方式实现；首先在彩色全景投影光源的供电电源处于ON状态时按全景视觉传感器的成像平面的点坐标顺序读取某一个像素点的波长λ值，以点坐标值检索入射角计算表得到该点所对应的入射角αo，接着以该点的光波长λ值检索光编码表得到该光波长λ所对应的投射角αp；最后利用公式(12)或者公式(13)或者公式(14)计算得到空间上某一点的距离信息；

我们可以设计一张投射角αp与颜色波长λ值的关系表，如表2所示；

表2投射角αp与相应颜色波长λ值对应表

  投射角αp  北纬  50°  北纬  40°  北纬  30°  北纬  20°  北纬  10°  零纬  0°  南纬  10°  南纬  20°  南纬  30°  南纬  40°  颜色  蓝色  蓝绿  色  绿色  绿黄  色  浅绿  黄色  黄色  浅黄  橙色  浅红  深红  中心波长λ  (nm)  465  500  520  560  570  585  590  605  625  640

如果在成像平面的某个像素点上获得的色彩波长为540nm，根据查表，可以得到该颜色波长在绿色520nm和绿黄色560nm之间，可以通过插值计算得到在色彩波长为540nm时的投射角αp为北纬25°；

本发明中采用“中央眼”视觉方式来描述空间上某一物点A的信息(R，φ，β，r，g，b，t)，所谓的中央眼是立体视觉基线距的中点，是通过具有平均角分辨率的全景视觉传感器和全景彩色光源的视点之间的连线中心点来算得到，这里将中央眼的坐标作为高斯球面坐标的原点O，如附图9所示；空间上某一物点A的信息(R，φ，β，r，g，b，t)中的R用公式(14)的计算结果设置，φ用公式(15)的计算结果设置，β以全景彩色光源的方位起始角为标准来设置，r，g，b分别用当LED光源的供电电源处于OFF状态时全景视觉传感器的成像平面上该像素点的实际色彩分量值设置，t用微处理器的时钟进行设置；这样全景空间上的任何点的信息都能用(R，φ，β，r，g，b，t)7个分量值进行表达，如附图9所示。

实施例2

参照图1～图11，本实施例的LED光源的光谱范围的选择方面，在一些特殊场合，如需要彩色全景投影光源发出的是红外光谱，因此将LED器件的光谱范围选择在700nm～2000nm。本实施例的其他结构和工作过程与实施例1相同。