基于主动全景视觉传感器的机器人视觉系统

摘要

一种基于主动全景视觉传感器的机器人视觉系统，包括全方位视觉传感器、关键面激光光源以及用于对全方位图像进行三维立体摄像测量、障碍物检测、避障和导航的微处理器，所述全方位视觉传感器与所述关键面激光光源配置在同一根轴心线上；所述的微处理器中包括：视频图像读取模块、全方位视觉传感器标定模块、Bird-View变换模块、全方位面激光信息读取模块、障碍物特征点计算模块、关键面之间的障碍物空间分布估算模块、障碍物轮廓线生成模块和存储单元；将关键面激光扫描的空间数据点与全景图像中相应像素点进行数据融合，使得空间点同时具有几何信息和颜色信息，最终建立未知环境下的准三维全景地图，能减少计算机资源消耗、快速完成测量、方便机器人的避障和导航。

说明书

技术领域

本发明涉及激光光源、全方位视觉传感器以及计算机视觉技术在行走机器 人导航方面的应用。

背景技术

自主移动机器人系统需要通过传感器感知外界环境和自身状态，实现在有 障碍物环境中面向目标的自主运动，从而完成一定作业功能。其本身能够认识 工作环境和工作对象，能够根据人给予的指令和“自身”认识外界来独立地工 作，能够利用操作机构和移动机构完成复杂的操作任务。因此，要使移动机器 人具有特定智能，首先就必须具有多种感知功能，进而进行复杂的逻辑推理、 规划和决策，在作业环境中自主行动。移动机器人在行走过程中通常会碰到并 且要解决如下三个问题：(1)机器人现在何处？(2)机器人要往何处走？(3) 机器如何到达目的地？其中第一个问题是其导航系统中的定位及其跟踪问题， 第二、三个是导航系统的路径规划问题。移动机器人导航与定位技术的任务就 是解决上面的三个问题。对于第一个问题，在室外环境采用GPS定位、在室内 环境采用无线局域网定位已经能较好的解决。

对于移动机器人而言，机器人视觉系统正如人的眼睛一样，是机器人感知 局部环境的重要“器官”，同时依此感知的环境信息实现对机器人的导航。视觉 信息能否正确、实时地处理直接关系到机器人行驶速度、路径跟踪以及对障碍 物的避碰，对系统的实时性和鲁棒性具有决定性的作用。视觉信息的处理技术 是移动机器人研究中最关键的技术之一。

在许多移动机器人应用中，障碍物检测是一个很重要的任务。大多数依靠 从传感器获取范围数据来进行障碍物检测。通常用在基于范围的障碍物检测系 统中的传感器包括超声波传感器，激光测距仪，雷达，立体视觉等。由于这些 传感器能够测量障碍物到机器人的距离，所以可以用于障碍物的检测从而进行 避障。超声波传感器价格低廉，但是存在着易产生镜面反射并且角分辨率不高 等问题；激光测距仪和雷达的分辨率要好一些，但是更复杂并且很昂贵；另外， 上述这些距离传感器可以提供精确的关于障碍物的距离、朝向等信息，但是只 能检测位于扫描平面上的障碍物。视觉系统可以为移动机器人提供丰富和实时 的环境信息，但是目前立体视觉和光流的计算量非常大，实时性成为一个瓶颈。

中国发明专利申请号为201010189865.9公开了一种基于机器人双目立体视 觉的地面障碍物检测方法，根据双目的基线长度和焦距，利用已知图像的几何 构形解析出图像中各行的地面视差值；在地面视差值的基础上，通过反投影模 型计算出某像素对应场景点的三维坐标，从而初步判断该像素属于障碍物或是 地面点；对障碍物和地面点分别赋予不同的颜色；对上述结果进行后处理，去除 虚假的障碍物；消除立体误差，建立栅格地图。但是这种地面障碍物检测方法 存在着计算机资源消耗大、实时性能差、检测范围有限、在线实时标定困难等问 题。

由于全方位视觉具有大视场成像的优点，近年来在移动机器人研究领域逐步 得到广泛的应用；日本学者Yoshiro Negishi等人应用激光扫描仪和全景视觉实现 了移动机器人在未知环境下的导航。文献Yoshiro Negishi，Jun Miura，Yoshiaki  Shirai，Mobile Robot Navigation in Unknown Environments using Omnidirenctional  Stereo and Laser Range Finder[C].In Proceedings of 2004 IEEE/RSJ International  Conference on Intelligent Robots and Systems，pp：2737～2742，2004。但是这种机器人 视觉所获得的是某一高度的水平面上的障碍物信息，在未知环境下的障碍物并非 都是平面规则立体形状，具有三维立体特征；因此，在某一个高度的水平面上的 某一方向上没有检测到障碍物就不能简单推断在该方向上其他水平面上也不存在 障碍物。

发明内容

为了克服已有的机器人视觉的计算机资源消耗大、实时性能差、检测范围有 限、检测范围有限、在线实时标定困难等不足，本发明提供一种能够减少计算机 资源消耗、快速完成测量、实时性好、全方位立体检测的基于主动全景视觉传感 器的机器人视觉系统。

本发明解决其技术问题所采用的技术方案是：

一种基于主动全景视觉传感器的机器人视觉系统，包括全方位视觉传感器、 关键面激光光源以及用于对全方位图像进行三维立体摄像测量、障碍物检测、避 障和导航的微处理器，所述全方位视觉传感器与所述关键面激光光源配置在同一 根轴心线上；

所述全方位视觉传感器包括双曲面镜面、上盖、透明半圆形外罩、下固定座、 摄像单元固定座、摄像单元、连接单元和上罩；所述的双曲面镜面固定在所述的 上盖上，所述的连接单元将所述的下固定座和透明半圆形外罩连接成一体，所述 的透明半圆形外罩与所述的上盖以及所述的上罩固定在一起，所述的摄像单元固 定在所述的摄像单元固定座上，所述的摄像单元固定座固定在所述的下固定座上， 所述的摄像单元与所述微处理器连接；

所述关键面激光光源包括红光线激光发生单元、线激光发生组合单元、绿光 线激光发生单元、支撑杆和底盘；所述的绿光线激光发生单元固定在所述的线激 光发生组合单元的孔中形成一个发出绿光的全方位面激光光源单元，所述的红光 线激光发生单元固定在所述的线激光发生组合单元的孔中形成一个发出红光的全 方位面激光光源单元，所述的支撑杆垂直固定在所述的底盘上，所述的发出绿光 的全方位面激光光源单元和所述的发出红光的全方位面激光光源单元分别固定在 所述的支撑杆的两端；

所述微处理器包括：

视频图像读取模块，用于读取全方位视觉传感器的视频图像，并保存在所述 的存储单元中，其输出与全方位视觉传感器标定模块和Bird-View变换模块连接；

全方位视觉传感器标定模块，用于确定三维空间点和摄像机成像平面上的二 维图像点之间映射关系的参数，标定后的参数存放在所述的存储单元中；

Bird-View变换模块，用于读取存放在所述的存储单元中的全方位视觉传感器 的标定参数值，通过Bird-View变换来修正全方位视觉成像后严重扭曲变形，将 全方位图像变换为Bird-View视图，Bird-View视图为鸟类俯瞰着这个地面上所形 成的图像，变换后得到的Bird-View视图存放在所述的存储单元中；

全方位面激光信息读取模块，用于对Bird-View视图进行处理快速获取空间 或物体表面三维数据点的几何信息，其计算结果递交给障碍物特征点计算模块；

障碍物特征点计算模块，用于计算和标示移动机器人周围的障碍物特征点的 分布情况，其计算结果递交给关键面之间的障碍物空间分布估算模块；

关键面之间的障碍物空间分布估算模块，用于评估在全方位视场内两个关键 面之间存在的障碍物，估算结果递交给障碍物轮廓线生成模块；

障碍物轮廓线生成模块，用于自动生成以移动机器人为中心的周边障碍物轮 廓线；

避障路径的估算模块，用于判断机器人是否能通过非障碍物区域；首先要估 算出非障碍物区域的宽度值，根据没有障碍物存在的区域的方位信息以及该区域 离障碍物的距离值用公式(13)进行估算，

$P_{\mathrm{path}}=2\times R_m\times \tan \left(\frac{{\beta }_2-{\beta }_1}{2}\right)---\left(13\right)$

式中，P_path为没有障碍物存在的区域的宽度，β₁为左侧障碍物和没有障碍物 分界线的方位角，β₂为右侧障碍物和没有障碍物分界线的方位角，R_m为在β₁和 β₂方位角情况下的障碍物距离的平均值；

最后将机器人的最大宽度值乘上1.1倍得到Robot_W，如果Robot_W小于没有障 碍物存在的区域的宽度P_path就判断机器人可以通过该区域，否则判断不能通过该 区域。

进一步，所述的全方位视觉传感器标定模块，确定三维空间点和摄像机成像 平面上的二维图像点之间映射关系的参数的过程为：建立一个成像平面的像点与 入射光线之间的联系，即与入射角之间的对应关系，用公式(6)表示；

$\tan \alpha =\frac{\left|\right|u^{\prime \prime }\left|\right|}{f\left(\right|\left|u^{\prime \prime }\right|\left|\right)}=\frac{\left|\right|u^{\prime \prime }\left|\right|}{a_0+a_1\left|\right|u^{\prime \prime }\left|\right|+a_2{\left|\right|u^{\prime \prime }\left|\right|}^2+...+a_N{\left|\right|u^{\prime \prime }\left|\right|}^N}---\left(6\right)$

式中，α表示空间物点的入射角，||u″||为传感器平面点到该平面中心点的距离， a₀、a₁、a₂、a_N为标定的全方位视觉传感器的内外参数，通过公式(6)建 立一张成像平面任一像素点与入射角之间的对应关系表，表1为本发明使用的一 种单视点全方位视觉传感器的标定结果，

表1ODVS的标定结果。

再进一步，所述的Bird-View变换模块中，所述Bird-View变换可为全方位视 觉传感器成像过程的一种逆变换，利用公式(6)标定的结果进行Bird-View变换， 通过该标定结果将全方位图像转换成Bird-View图像，其中，空间物点P到观测 点Om在水平地面上的投影点之间的距离R用公式(7)进行计算，

$R=h\times \cos \beta /\tan \alpha =\frac{h\times |f\left(\right|\left|u^{\prime \prime }\right|\left|\right)\times \cos \beta }{\left|u^{\prime \prime }\right||}=$

$\frac{h\times \cos \beta \times (a_0+a_1|\left|u^{\prime \prime }\right||+a_2{\left|\right|u^{\prime \prime }\left|\right|}^2+...+a_N{\left|\right|u^{\prime \prime }\left|\right|}^N)}{\left|u^{\prime \prime }\right||}---\left(7\right)$

式中，R为空间物点P到观测点O_m在水平地面上的投影点之间的距离，h为 空间物点P到观测点O_m在垂直面上的投影点之间的距离，α为空间物点P到观 测点O_m的入射角，β为空间物点P到观测点O_m的方位角。

更进一步，所述的全方位面激光信息读取模块中，由所述关键面激光光源投 射在不同的两个关键面上，在接近地面水平面上产生一个平面投射绿色激光，在 离地面一定高度的水平面上产生一个平面投射红色激光；通过解析在Bird-View 视图上绿色激光和红色激光投射点；

解析在Bird-View视图上绿色激光和红色激光投射点的方法是根据绿色激光 和红色激光投射点的像素的亮度要大于成像平面上的平均亮度，首先是将 Bird-View视图的RGB颜色空间转化成HIS颜色空间，然后将成像平面上的平均 亮度的1.2倍作为提取绿色激光和红色激光投射点的阈值，在提取出绿色激光和 红色激光投射点后需要进一步区分绿色激光和红色激光投射点，本发明中根据 HIS颜色空间中的色调值H进行判断，如果色调值H在(0，30)之间就判断为 红色激光投射点，如果色调值H在(105，135)之间就判断为绿色激光投射点， 其余像素点就判断为干扰。

优选的，所述的障碍物特征点计算模块中，首先确定障碍物特征点，本发明 中的障碍物特征点是通过关键面的激光投射线与Bird-View变换图上的近似垂直 边缘线的交点来确定的；

Bird-View变换图上的近似垂直边缘线的求法是通过Sobel垂直方向模板遍历 Bird-View变换图得到Bird-View变换图上的近似垂直边缘线，Sobel垂直方向模 板由公式(8)给出；

$W_v=\frac{1}{4}\left(\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right)---\left(8\right)$

对于所求得的交点Pa和Pb的两个特征点，即障碍物特征点，可以用公式(9) 到观测点O_m在水平地面上的投影点之间的距离Ra和Rb，

R_a＝h_greenline×cosβ/tanα_a       (9)

R_b＝h_redline×cosβ/tanα_b

式中，R_a为特征点Pa到观测点Om在水平地面上的投影点之间的距离，h_greenline为 特征点Pa到观测点Om之间的距离，β为特征点Pa的方位角，α_a为特征点Pa 的入射角；R_b为特征点Pb到观测点Om在水平地面上的投影点之间的距离， h_greenline为特征点Pb到观测点Om之间的距离，β为特征点Pb的方位角，α_b为特 征点Pb的入射角。

所述的关键面之间的障碍物空间分布估算模块中，对于某一方位角β的存在 着红色激光和绿色激光投射的特征点，其行走机器人与障碍物的距离取最近投射 点距离作为障碍物距离，用公式(10)计算，

R_β＝min(Ra，Rb)                    (10)

式中，R_β为某一个方位角β情况下行走机器人与障碍物的距离，Ra为某一 个方位角β情况下行走机器人在接近地面的水平面高度时与障碍物的距离，Rb 为某一个方位角β情况下行走机器人在本身高度的水平面时与障碍物的距离；

对于某一方位角β的只存在着红色激光投射的特征点，表明这时只存在着凸 台型障碍物，以红色激光投射点的距离作为障碍物距离，某一个方位角β情况下 行走机器人与障碍物的距离用公式(11)计算，

R_β＝Rb                             (11)

对于某一方位角β的只存在着绿色激光投射的特征点，表明这时只存在着路 边型障碍物，以绿色激光投射点的距离作为障碍物距离，某一个方位角β情况下 行走机器人与障碍物的距离用公式(12)计算，

R_β＝Ra                             (12)

对于某一方位角β都不存在着红色激光和绿色激光投射的特征点的情况，就 判断该方位角方向没有障碍物。

所述的障碍物轮廓线生成模块中，在所述的关键面之间的障碍物空间分布估 算模块处理后得到了各个方位角的障碍物分布情况，将这些数据以方位角β为横 坐标、障碍物距离值为纵坐标绘制障碍物轮廓线曲线图。

所述的双曲面镜面构成的光学系统由下面5个等式表示；

((X²+Y²)/a²)-((Z-c)²/b²)＝-1  当Z＞0时  (14)

$c=\sqrt{a^2+b^2}---\left(15\right)$

β＝tan^-1(Y/X)                          (16)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ(17)

$\gamma ={\tan }^{-1}[f/\sqrt{(x^2+y^2)}]---\left(18\right)$

式中，X、Y、Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之 间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY投影 平面上与X轴的夹角，即方位角，α表示入射光线在XZ投影平面上与X轴的夹 角，这里将α称为入射角，α大于或等于0时称为俯角，将α小于0时称为仰角， f表示成像平面到双曲面镜的虚焦点的距离，γ表示折反射光线与Z轴的夹角； x，y表示在成像平面上的一个点。

本发明提出的上述方案，解决了一下三个核心问题：(1)实现一种扫描关键 平面的激光光源；(2)实现一种能快速获得实际物体深度信息的主动式全景视觉 传感器；(3)一种基于全方位视觉Bird-View变换的三维重建方法。

本发明的有益效果主要表现在：

1)将关键面激光扫描的空间数据点与全景图像中相应像素点进行数据融合， 使得空间点同时具有几何信息和颜色信息，最终能获得具有真实感的环境三维模 型；

2)不再需要繁琐的摄像机标定工作、特征提取、立体图像匹配等步骤，为快 速全景立体摄像测量提供了一种新的手段；

3)利用在不同高度情况下全景图像Bird-View变换所获得的二维全局地图并 参考Bird-View视图推算出在两个关键面之间的障碍物空间分布情况；

4)采用关键平面的激光扫描和障碍物特征点计算方法，能减少计算机资源 消耗、快速完成测量、方便机器人的避障和导航。

附图说明

图1为一种全方位视觉传感器的结构图；

图2为一种关键面激光光源的结构图；

图3为一种基于主动全景视觉传感器的机器人视觉系统原理图；

图4为一种关键面激光光源的部件说明图；

图5为全方位视觉传感器的成像原理图；

图6为一种配置有基于主动全景视觉传感器的机器人视觉系统的移动机器人；

图7为机器人视觉系统检测平面障碍物以及障碍物距离计算的说明正视图；

图8为机器人视觉系统检测平面障碍物以及障碍物距离计算的说明俯视图；

图9为单视点折反射全方位视觉传感器成像模型，图9(a)透视成像过程， 图9(b)传感器平面，图9(c)图像平面；

图10为单视点的全方位视觉传感器标定结果三维立体图；

图11为基于主动全景视觉传感器的机器人视觉系统自动生成的障碍物轮廓 线；

图12为移动机器人移动方向与方位角关系的说明图；

图13为基于主动全景视觉传感器的机器人视觉系统检测路边型障碍物的说明 图；

图14为基于主动全景视觉传感器的机器人视觉系统检测凸台型障碍物的说明 图；

图15为基于主动全景视觉传感器的机器人视觉系统检测不同高度面上的障碍 物的说明图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图15，一种基于主动全景视觉传感器的机器人视觉系统，包括全 方位视觉传感器、关键面激光光源以及用于对全方位图像进行三维立体摄像测量、 障碍物检测、避障和导航的微处理器，所述的全方位视觉传感器的中心与所述关 键面激光光源的中心配置在同一根轴心线上；所述全方位视觉传感器包括双曲面 镜面2、上盖1、透明半圆形外罩3、下固定座4、摄像单元固定座5、摄像单元6、 连接单元7、上罩8，如附图1所示；所述的双曲面镜面2固定在所述的上盖1 上，所述的连接单元7将所述的下固定座4和透明半圆形外罩3连接成一体，所 述的透明半圆形外罩3与所述的上盖1以及所述的上罩8通过螺钉固定在一起， 所述的摄像单元6用螺钉固定在所述的摄像单元固定座5上，所述的摄像单元固 定座5用螺钉固定在所述的下固定座4上，所述全方位视觉传感器中的所述的摄 像单元6的输出与所述微处理器连接；

所述关键面激光光源包括，红光线激光发生单元2-1、线激光发生组合单元 2-2、绿光线激光发生单元2-3、支撑杆2-4、底盘2-5，如附图2所示；所述的绿 光线激光发生单元2-3固定在所述的线激光发生组合单元2-2的孔中，如附图4 所示，经过这样组合后的线激光能形成一个发出绿光的全方位面激光光源单元； 所述的红光线激光发生单元2-1固定在所述的线激光发生组合单元2-2的孔中， 经过这样组合后的线激光能形成一个发出红光的全方位面激光光源单元；所述的 支撑杆2-4垂直固定在所述的底盘2-6上，所述的发出绿光的全方位面激光光源 单元和所述的发出红光的全方位面激光光源单元分别固定在所述的支撑杆2-4的 两端；

所述的全方位视觉传感器通过连接板安装在所述的导向支撑杆2-4，如附图3 所示；所述的全方位视觉传感器通过USB接口与所述的微处理器相连接；

所述的微处理器中包括：视频图像读取模块、全方位视觉传感器标定模块、 Bird-View变换模块、全方位面激光信息读取模块、障碍物特征点计算模块、关键 面之间的障碍物空间分布估算模块、障碍物轮廓线生成模块、避障路径的估算模 块和存储单元；

所述的视频图像读取模块，用于读取全方位视觉传感器的视频图像，并保存 在所述的存储单元中，其输出与所述的全方位视觉传感器标定模块和Bird-View 变换模块连接；

所述的全方位视觉传感器标定模块，用于确定三维空间点和摄像机成像平面 上的二维图像点之间映射关系的参数，本发明中采用了单视点的全方位视觉传感 器，由双曲面折反射镜面成像原理构成的全方位视觉传感器具有单视点成像特性； 其成像原理如图5所示；为了建立三维空间点与成像平面图像点上的映射关系， 这里采用Micusík的透视投影成像模型，如图9所示，在该成像模型中，考虑两 个不同的参考平面，图像平面(u′，v′)和传感器平面(u″，v″)，图像平面和摄像机的 CCD相关，用像素坐标系来表示。传感器平面是一个假设的和镜面光轴正交的平 面，其中心原点是光轴和该平面的交点；以双曲面镜面的焦点，即单视点Om为 原点建立坐标系，z″轴和镜面光轴对齐；设X＝[X，Y，Z]^T为空间中一点， u″＝[u″，v″]^T是X在传感器平面的投影，u′＝[u′，v′]^T是其对应的图像平面的像素 点；空间坐标点X先通过射影变换矩阵投射到镜面上A点处，A点由镜面反射聚 焦于摄像机光学中心点C，并交传感器平面上u″＝[u″，v″]^T点，u″点通过仿射变 换到图像平面上点u′＝[u′，v′]^T；整个单视点折反射摄像机成像模型描述的是由空 间点到折反射镜面点，折反射镜面点到传感器平面点，传感器平面点再到图像平 面点形成图像中的像素点的过程；

折反射镜面到传感器平面之间的转换用公式(1)表示；

${\mathrm{\lambda p}}^{\prime \prime }=\lambda \left(\begin{array}{c}{x}^{\prime \prime T}\\ z^{\prime \prime }\end{array}\right)=\lambda \left(\begin{array}{c}h\left(\right|\left|u^{\prime \prime }\right|\left|\right)u^{\prime \prime }\\ g\left|\right|u^{\prime \prime }\left|\right|\end{array}\right)=P·X,\lambda >0---\left(1\right)$

式中，x∈R⁴表示空间点X的次坐标，P＝[R|T]∈R^3×4为射影变换矩阵，R∈R^3×3为空间点到折反射镜面点的旋转矩阵，T∈R^3×1为空间点到折反射镜面点的平移矩 阵；

由传感器平面到图像平面之间的转换用公式(2)表示：

u″＝Au′+t                                      (2)

式中，A∈R^2×2，t∈R^2×1。

Scaramuzza在Micusik透视投影模型的基础上，用一个函数f＝g/h来代替公 式(1)中的函数g，h，即用函数f来表征三维空间点和二维平面点之间的关系， 得到公式(3)，

$\lambda p^{\prime \prime }=\lambda \left(\begin{array}{c}{u}^{\prime \prime }\\ f\left(\right|\left|u^{\prime \prime }\right|\left|\right)\end{array}\right)=\lambda \left(\begin{array}{c}{\mathrm{Au}}^{\prime }+t\\ f\left(\right||{\mathrm{Au}}^{\prime }+t|\left|\right)\end{array}\right)P·X,\lambda >0---\left(3\right)$

由于双曲面的旋转对称性，Scaramuzza用Taylor展开多项式来描述函数f，用 公式(4)表示：

f(||u″||)＝a₀+a₁||u″||+a₂||u″||²+…+a_n||u″||N (4)

式中，||u″||为传感器平面点到该平面中心点的距离；

Scaramuzza和Micusik的模型的前提都是理想折反射摄像机模型，由于在实 际加工组装全方位视觉传感器时会引入一些误差；这里假设标定的全方位视觉传 感器满足理想模型，将存在一定的误差的非理想模型代入Scaramuzza提出的简化 模型转换公式，得到公式(5)；

$\lambda p^{\prime \prime }=\lambda \left(\begin{array}{c}{u}^{\prime \prime }\\ f\left(\right|\left|u^{\prime \prime }\right|\left|\right)\end{array}\right)=\lambda \left(\begin{array}{c}{\mathrm{Au}}^{\prime }+t\\ f\left(\right||{\mathrm{Au}}^{\prime }+t|\left|\right)\end{array}\right)P·R·X,\lambda >0---\left(5\right)$

具体标定过程是将标定板绕全方位视觉传感器一周，拍摄若干组全景图像， 建立空间点和成像平面中像素点的若干等式，使用最优化算法求出最优解，计算 结果如1所示，即为本发明中使用的全方位视觉传感器的标定参数；

表2ODVS的标定结果

标定出全方位视觉传感器的内外参数后，就能建立一个成像平面的像点与入 射光线，即入射角之间的对应关系，如公式(6)表示；

$\tan \alpha =\frac{\left|\right|u^{\prime \prime }\left|\right|}{f\left(\right|\left|u^{\prime \prime }\right|\left|\right)}=\frac{\left|\right|u^{\prime \prime }\left|\right|}{a_0+a_1\left|\right|u^{\prime \prime }\left|\right|+a_2{\left|\right|u^{\prime \prime }\left|\right|}^2+...+a_N{\left|\right|u^{\prime \prime }\left|\right|}^N}---\left(6\right)$

式中，α表示空间物点的入射角，||u″||为传感器平面点到该平面中心点的距 离，a₀、a₁、a₂、a_N为标定的全方位视觉传感器的内外参数，通过公式(6) 建立一张成像平面任一像素点与入射角之间的对应关系表；关于标定公式的具体 推导和实现方法见参考文献，Yi-ping Tang，QingWang，Ming-li Zong，Jun Jiang，and  Yi-hua Zhu，Design of Vertically Aligned Binocular Omnistereo Vision Sensor，  EURASIP Journal on Image and Video Processing，2010，P1～24；标定后的结果可 以建立图像坐标和地面位置之间的映射关系，如图10所示；

所述的Bird-View变换模块，用于修正全方位视觉成像后严重扭曲变形，将全 方位图像变换为Bird-View视图，Bird-View视图类似于鸟类俯瞰着这个地面上所 形成的图像，通过这种变换将全景视频图像还原成水平面方向上无形变全景视频 图像，经过Bird-View变换得到的全景图像中成像的物体会随着高度增加而变大， 而水平方向上保持不变，越靠近全方位图像的中心区域，图像中的物体会显得越 大；这些特性是在移动机器人导航中具有十分重要的意义和作用；利用所述关键 面激光光源投射在不同的两个关键面上，即不同的水平面上，其中绿色激光光源 在接近地面水平面上产生一个平面投射绿色激光，红色激光光源在离地面一定高 度的水平面上产生一个平面投射红色激光，如图6所示；利用Bird-View变换是 从一个固定高度观察采集图像，其水平地面上和一定高度的水平面上物体的物理 形状保持不变的特性，即利用两个关键面上的物理形状保持不变的特性，能有效 地判断机器人周围360°范围内的障碍物的存在以及障碍物离移动机器人的距 离；通过两个关键面的激光扫描以及Bird-View变换可以得到接近地面的场景二 维地图和在一定高度的场景二维地图；

Bird-View变换可以看成全方位视觉传感器成像过程的一种逆变换，因此可以 利用公式(6)标定的结果进行Bird-View变换，通过该标定结果将全方位图像转 换成Bird-View图像，其中空间物点P到观测点Om在水平地面上的投影点之间 的距离R用公式(7)进行计算，

$R=h\times \cos \beta /\tan \alpha =\frac{h\times |f\left(\right|\left|u^{\prime \prime }\right|\left|\right)\times \cos \beta }{\left|u^{\prime \prime }\right||}=---\left(7\right)$

$\frac{h\times \cos \beta \times (a_0+a_1|\left|u^{\prime \prime }\right||+a_2{\left|\right|u^{\prime \prime }\left|\right|}^2+...+a_N{\left|\right|u^{\prime \prime }\left|\right|}^N)}{\left|u^{\prime \prime }\right||}$

式中，R为空间物点P到观测点O_m在水平地面上的投影点之间的距离，h为 空间物点P到观测点O_m在垂直面上的投影点之间的距离，α为空间物点P到观 测点O_m的入射角，β为空间物点P到观测点O_m的方位角；

在Bird-View变换图上空间物点的方位角β与全方位图像上的方位角β一致； 这样一幅全方位图像可以在不同的水平面上构建出若干不同高度的二维全局地 图；从Bird-View变换图像来看，其不但具有以机器人为中心的全局视觉，同时 也具有在不同高度水平面上的深度信息；

所述的全方位面激光信息读取模块，用于快速获取空间或物体表面的精确几 何信息；本发明中由所述关键面激光光源投射在不同的两个关键面上，在接近地 面水平面上产生一个平面投射绿色激光，在离地面一定高度的水平面上产生一个 平面投射红色激光；通过解析在Bird-View视图上绿色激光和红色激光投射点， 可以得到绿色激光和红色激光投射物点在全方位图像上像素坐标值，根据这些像 素坐标值通过公式(7)可以计算得到空间物点到观测点O_m在水平地面上的投影 点之间的距离和方位角β，因此可以得到关键面上的空间三维数据点，这里称为 关键面的点云数据；

解析在Bird-View视图上绿色激光和红色激光投射点的方法是根据绿色激光 和红色激光投射点的像素的亮度要大于成像平面上的平均亮度，首先是将 Bird-View视图的RGB颜色空间转化成HIS颜色空间，然后将成像平面上的平均 亮度的1.2倍作为提取绿色激光和红色激光投射点的阈值，在提取出绿色激光和 红色激光投射点后需要进一步区分绿色激光和红色激光投射点，本发明中根据 HIS颜色空间中的色调值H进行判断，如果色调值H在(0，30)之间就判断为 红色激光投射点，如果色调值H在(105，135)之间就判断为绿色激光投射点， 其余像素点就判断为干扰；

所述的障碍物特征点计算模块，用于计算和标示移动机器人周围的障碍物的 分布情况；为了进行快速计算，首先确定障碍物特征点，本发明中的障碍物特征 点是通过关键面的激光投射线与Bird-View变换图上的近似垂直边缘线的交点来 确定的；Bird-View变换图上的近似垂直边缘线的求法是通过Sobel垂直方向模板 遍历Bird-View变换图得到Bird-View变换图上的近似垂直边缘线，Sobel垂直方 向模板由公式(8)给出；

$W_v=\frac{1}{4}\left(\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right)---\left(8\right)$

求得的障碍物特征点，如附图7所示的Pa和Pb的两个特征点，可以用公式 (9)到观测点O_m在水平地面上的投影点之间的距离Ra和Rb，

R_a＝h_greenline×cosβ/tanαa     (9)

R_b＝h_redline×cosβ/tanα_b

式中，R_a为特征点Pa到观测点Om在水平地面上的投影点之间的距离， h_greenline为特征点Pa到观测点Om之间的距离，β为特征点Pa的方位角，α_a为特 征点Pa的入射角；R_b为特征点Pb到观测点Om在水平地面上的投影点之间的距 离，h_greenline为特征点Pb到观测点Om之间的距离，β为特征点Pb的方位角，α_b为特征点Pb的入射角；为了便于导航计算，这里规定以X坐标为起点逆时针方 向为正方向，机器人行走的正方向的方位角为90°，如附图16所示；

所述的关键面之间的障碍物空间分布估算模块，用于评估在全方位视场内两 个关键面之间存在的障碍物；行走机器人在行走过程中所遭遇的障碍物并非都出 现在两个关键面上，Bird-View变换图提供了一种从俯视角度观察在不同水平面上 全方位范围内障碍物的信息，具体做法是通过关键面的点云数据和实际环境中的 直线在Bird-View图像中仍然保持直线的特性，检测同一方位角的两个关键面的 点云数据，用表2来判断关键面之间的障碍物；

表2某一方位角β情况下两个关键面之间的障碍物以及距离判断方法

下面对表2的判断方法做一个说明，对于某一方位角β的存在着红色激光和 绿色激光投射的特征点，如附图7、附图15所示的情况，其行走机器人与障碍物 的距离取最近投射点距离作为障碍物距离，用公式(10)计算，

R_β＝min(Ra，Rb)           (10)

式中，R_β为某一个方位角β情况下行走机器人与障碍物的距离，Ra为某一 个方位角β情况下行走机器人在接近地面的水平面高度时与障碍物的距离，Rb 为某一个方位角β情况下行走机器人在本身高度的水平面时与障碍物的距离；

对于某一方位角β的只存在着红色激光投射的特征点，如附图14所示的情况， 表明这时只存在着凸台型障碍物，以红色激光投射点的距离作为障碍物距离，某 一个方位角β情况下行走机器人与障碍物的距离用公式(11)计算，

R_β＝Rb                    (11)

对于某一方位角β的只存在着绿色激光投射的特征点，如附图13所示的情况， 表明这时只存在着路边型障碍物，以绿色激光投射点的距离作为障碍物距离，某 一个方位角β情况下行走机器人与障碍物的距离用公式(12)计算，

R_β＝Ra                    (12)

对于某一方位角β都不存在着红色激光和绿色激光投射的特征点的情况，就 判断该方位角方向没有障碍物；当然对Bird-View变换图通过边缘检测方法确认 能进一步提高检测精度；

所述的障碍物轮廓线生成模块，用于自动生成以移动机器人为中心的周边障 碍物轮廓线；为了便于移动机器人避障和导航；在所述的关键面之间的障碍物空 间分布估算模块处理后得到了各个方位角的障碍物分布情况，将这些数据以方位 角β为横坐标、障碍物距离值为纵坐标绘制障碍物轮廓线曲线图，如图12所示； 从图12可以看出，在方位角β为140°～168°之间没有障碍物存在，由于在所 述的障碍物特征点计算模块中定义了机器人行走的正方向的方位角为90°，因此 这里需要调整机器人的行走方向，调整角度计算是140+(168-140)/2＝154，即需 要调整的调整机器人的行走方向角度为64°；

所述的避障路径的估算模块，用于判断机器人是否能通过非障碍物区域；从 图12所示的障碍物轮廓线能估算出机器人是否能通过非障碍物区域，这里，首先 要估算出非障碍物区域的宽度值，根据图12中没有障碍物存在的区域为140° ～168°可以得到28°的方位信息，以及在方位角小于140°和方位角大于168° 时障碍物的距离值用公式(13)进行估算，

$P_{\mathrm{path}}=2\times R_m\times \tan \left(\frac{{\beta }_2-{\beta }_1}{2}\right)---\left(13\right)$

式中，P_path为没有障碍物存在的区域的宽度，β₁为左侧障碍物和没有障碍物 分界线的方位角，如图12所示的140°，β₂为右侧障碍物和没有障碍物分界线的 方位角，如图12所示的168°，R_m为在β₁和β₂方位角情况下的障碍物距离的平 均值；

最后将机器人的最大宽度值乘上11倍得到Robot_W，如果Robot_W小于没有障 碍物存在的区域的宽度P_path就判断机器人可以通过该区域，否则判断不能通过该 区域；这里要说明的是，移动机器人每移动一个距离都会自动生成一条以其位置 相对应的障碍物轮廓线，移动机器人根据当前障碍物轮廓线的情况自动修正避障 和导航路线。

全方位视觉传感器的工作原理是：进入双曲面镜的中心的光，根据双曲面的 镜面特性向着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜中成像，在该 成像平面上的一个点P(x，y)对应着实物在空间上的一个点的坐标A(X，Y，Z)；

图5中的2-1-双曲线面镜，12-入射光线，13-双曲面镜的实焦点Om (0，0，c)，14-双曲面镜的虚焦点，即摄像单元6的中心Oc(0，0，-c)，15-反射光线， 16-成像平面，17-实物图像的空间坐标A(X，Y，Z)，18-入射到双曲面镜面上的 图像的空间坐标，19-反射在成像平面上的点P(x，y)。

图5中所示的双曲面镜构成的光学系统可以由下面5个等式表示；

((X²+Y²)/a²)-((Z-c)²/b²)＝-1  当Z＞0时   (14)

$c=\sqrt{a^2+b^2}---\left(15\right)$

β＝tan^-1(Y/X)                           (16)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ (17)

$\gamma ={\tan }^{-1}[f/\sqrt{(x^2+y^2)}]---\left(18\right)$

式中X、Y、Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间 的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY投影平 面上与X轴的夹角，即方位角，α表示入射光线在XZ投影平面上与X轴的夹角， 这里将α称为入射角，α大于或等于0时称为俯角，将α小于0时称为仰角，f 表示成像平面到双曲面镜的虚焦点的距离，γ表示折反射光线与Z轴的夹角；x，y 表示在成像平面上的一个点。