周围环境识别装置、使用其的自主移动系统以及周围环境识别方法

摘要

作为自主移动系统的清扫机器人(1)，将由朝向斜前下方配置的距离图像传感器(20)测量而得到的3维坐标数据进行坐标变换，生成地面基准的3维坐标数据。对该数据根据距离地面(F)的高度辨别台阶或障碍物等并进行标签附加，作成从清扫机器人主体的正上方观看的俯视图图像数据。仅在扫描俯视图图像数据、标签按特定的顺序排列的情况下，实施将未确定区域置换为台阶的处理。由此，能校正由于死角而产生的台阶的边缘的位置偏差，准确地掌握台阶位置。

说明书

技术领域

本发明涉及用于根据对作为对象的周围环境的距离进行了测 量的数据来正确地识别该测量范围所包括的地面和障碍物或台阶 等区域的周围环境识别装置、使用该周围环境识别装置的自主移动 系统以及周围环境识别方法。

背景技术

在机器人或无人搬运车等自主移动系统中，需要在移动时检测 位于前方的障碍物或台阶、防止碰撞或滚落。为了检测这样的障碍 物或台阶，正在开发使用传感器的周围环境识别装置。

在用于这种用途的传感器中，存在激光测距仪(LRF)或距离 图像传感器。

激光测距仪是一边对测量对象物投射激光一边进行角度扫描、 通过检测其反射光来测量到对象物的距离的结构。虽得到比较高的 测量精度，但角度扫描通常是一个方向，因此通过1次测量仅得到1 维的距离分布信息。为了得到2维的距离分布，需要设法并排配置 多个激光测距仪来测量、或者一边机械地移动一边测量多次等。

在距离图像传感器中，根据距离的测量方法存在图案光照射方 式、TOF(TimeOfFlight：飞行时间)方式、立体方式等几种方式， 其特征均是针对摄像元件的视野范围内的测量对象物输出用像素 的浓淡表现距离信息的距离图像，可通过测量一次得到2维的距离 信息。因而，适于用作迅速地取得到存在于周围的物体的距离、识 别它们是否是障碍物或台阶的周围环境识别装置的传感器。

在专利文献1(特开2006－260105号公报)所示的自主移动系 统中，使用以将行进方向的前方下方作为视野范围的方式安装的距 离图像传感器，来检测存在于前方的行走面上的凸状的障碍物和凹 状的台阶的有无。而且，在对距离图像进行了坐标变换后，用2个 不同的阈值实现2值化，由此辨别这些障碍物和台阶的形状是斜坡 状还是阶梯状。

现有技术文献

专利文献

专利文献1：特开2006－260105号公报

专利文献2：特开2010－287029号公报

发明内容

发明要解决的问题

但是，在专利文献1所示的自主移动系统中，在由于距离图像 传感器的配置而在台阶的一部分存在死角的情况下，存在无法正确 地检测该台阶的边界的课题。因此，当使自主移动系统快速盘转或 者快速前进等时，来不及进行回避台阶的动作，因此存在自主移动 系统在台阶处滚落的危险。另外，随着自主移动系统朝向台阶移动， 检测为台阶的位置会发生变化，因此无法进行将台阶位置作为目标 的行走控制或地图上的自己位置识别，使得使用自主移动系统的作 业效率有可能降低。

本发明是鉴于上述现有问题而完成的，提供通过可靠且准确地 检测存在于周围环境的台阶来提高安全性、进而提高作业效率的周 围环境识别装置、使用该周围环境识别装置的自主移动系统以及周 围环境识别方法。

用于解决问题的方案

为了解决上述问题，本发明的周围环境识别装置的特征在于， 具备：

距离传感器；

凹部辨别部，其基于从上述距离传感器得到的距离数据，至少 辨别比地面低的凹状区域；

俯视图数据作成部，其将上述距离数据以上述地面为基准进行 坐标变换后作成俯视图数据；以及

校正处理部，其在上述俯视图数据内校正由于上述距离传感器 的死角而产生的凹状区域与该凹状区域以外的区域的边界的位置 偏差。

在1个实施方式中，

上述校正处理部在上述俯视图数据中基于由上述凹部辨别部 辨别的数据是否按特定的顺序排列来确定可否校正上述边界位置 的偏差。

在1个实施方式中，

上述校正处理部基于上述距离传感器的安装角度、上述凹状区 域的深度信息、以及上述凹状区域的距离数据来计算上述距离传感 器的死角的大小，确定对凹状区域的校正量。

本发明的自主移动系统的特征在于，

具备上述周围环境识别装置，其一边识别行进方向前方的可移 动区域一边移动。

本发明的周围环境识别方法的特征在于，

通过朝向斜前下方配置的距离传感器测量地面并生成地面基 准的3维坐标数据，

基于该3维坐标数据辨别地面区域和比上述地面低的凹状区 域，进行3维坐标数据的标签附加，作成俯视图数据，

扫描上述俯视图数据，当上述标签按特定的顺序排列时，校正 由于距离传感器的死角而产生的凹状区域与该凹状区域以外的区 域的边界的位置偏差。

发明效果

如上所述，本发明的周围环境识别装置，即使在存在死角的情 况下，也能通过可靠且准确地检测出台阶，来提高周围环境的识别 精度。

另外，本发明的自主移动系统能通过可靠地检测出台阶来防止 在台阶处滚落。

另外，本发明的周围环境识别方法，即使在存在死角的情况下， 也能通过可靠且准确地检测出台阶，来提高周围环境的识别精度。

附图说明

图1表示作为使用了本发明的周围环境识别装置的自主移动系 统的1个实施方式的清扫机器人，(a)是外观图，(b)是截面图。

图2是表示上述清扫机器人的内部结构的框图。

图3是表示上述清扫机器人的距离图像传感器和激光测距仪的 安装位置和坐标系的图，(a)是立体图，(b)是截面图。

图4是上述清扫机器人的运算处理的流程图。

图5是表示上述清扫机器人的距离图像和俯视图的生成的图， (a)是示意截面图，(b)和(c)是表示距离图像的图，(d)是俯 视图。

图6是表示上述清扫机器人的由到台阶的距离造成的观察方法 的不同和测量误差的产生的图，(a1)、(a2)、(a3)是示意截面图， (b1)、(b2)、(b3)是表示距离图像的图，(c1)、(c2)、(c3)是 俯视图。

图7是表示上述清扫机器人的台阶边缘的校正方法的图，(a)、 (b)、(c)、(d)是俯视图。

图8是表示上述清扫机器人的路线图信息的图，(a)是表示由 路线图信息存储器存储的路线图信息的图，(b)是表示在(a)中 边缘被改写的路线图信息的图。

图9是作为使用了本发明的周围环境识别装置的自主移动系统 的1个实施方式的监视机器人的外观图。

图10是作为使用了本发明的周围环境识别装置的自主移动系 统的1个实施方式的自动搬运机器人的外观图。

图11表示作为使用了本发明的周围环境识别装置的自主移动 系统的1个实施方式的清扫机器人，(a)是外观图，(b)是表示激 光测距仪及其坐标系的图。

图12是表示上述清扫机器人所搭载的激光测距仪的测量对象 和测量数据的图，(a)是表示在将激光测距仪101的测量面作为截 面的状态下的测量对象的图，(b)是表示激光测距仪101的测量数 据的图，(c)是表示激光测距仪102的测量数据的图。

图13是表示上述清扫机器人的内部结构的框图。

图14是表示上述清扫机器人的俯视图的生成和校正的图，(a) 是校正前的俯视图，(b)是校正后的俯视图。

图15是说明上述清扫机器人的俯视图的校正量的计算的图。

图16是表示上述清扫机器人的台阶区域的提取的图，(a)、(b) 是没有校正的情况下的图，(a)是说明俯视图数据的改写更新的综 合的图，(b)是表示通过改写更新得到的台阶区域的图，(c)、(d) 是有校正的情况下的图，(c)是说明俯视图数据的改写更新的综合 的图，(d)是表示通过改写更新得到的台阶区域的图。

具体实施方式

以下，关于图示的实施方式详细地说明本发明。

(第1实施方式)

基于图1至图8说明本发明优选的第1实施方式。首先，在图1 (a)、(b)中表示作为包括本发明的周围环境识别装置的自主移动 系统的1个实施方式的清扫机器人1的外观图和截面图。

在图1(a)、(b)中，1是清扫机器人(自主移动系统)，2是配 置在清扫机器人1底部的左右的2个驱动轮，3是旋转自如地安装于 清扫机器人1底部的从动轮，4是对清扫机器人1供给工作电源的电 池。另外，5是存储清洗液的清洗液罐，6是与清洗液罐5连结的清 洗液喷出部，两者由圆筒形的管道连接，构成清洗液喷出单元。而 且，7是积存被吸入到清扫机器人1内部的废液(包括尘埃或灰尘等) 的废液罐，8是设于清扫机器人1底部的吸入废液的吸引口，它们也 同样地由管道连接，构成废液回收单元。9是设于吸引口8的附近的 清扫刷，被刷电机10驱动。11是覆盖这些机构整体的箱体，12是用 于防止清洗液的飞散或异物的卷入的保护构件。除此以外，具备： 用于进行各种模式的设定或自动行走/手动行走的切换、行走/停止 的切换等的操作面板13；非常时用于停止的紧急停止开关即非常停 止开关14；确定手动行走时的行走方向的行走控制手柄15；以及当 手动行走时操作者用于支撑清扫机器人主体的把手16等。

此外，清扫机器人1的方式不限于使用如上所述的清洗液进行 清洗的类型，也可以是如具备风扇、集尘室、吸入口等的所谓的家 庭用吸尘器那样的方式的清扫机器人。

在此，在图1(a)、(b)所示的清扫机器人1中，纸面右方向是 基本的行进(行走)方向。“基本的”的原因是，根据情况或者用 户的操作(也包括远程操作)存在向纸面左方向的行走(后退)、 或者向纸面跟前或进深方向移动的可能性。此外，以后将基本的行 进(行走)方向仅记载为行进方向。

在清扫机器人1中配置有距离图像传感器20。距离图像传感器 20安装于能从设于箱体11的开口部21掌握外部的状态的位置。

距离图像传感器20是红外图案光投射方式的距离图像传感器， 在其内部具有包括红外光的投射元件的投射光学系统和包括红外 光的摄像元件的摄像光学系统。将规定的具有规则的或者不规则的 图案(浓淡花纹)的红外光向外部投影照射，用摄像元件拍摄来自 外部物体的反射光，由此能测量到存在于摄像光学系统的视野范围 内的物体的距离。将距离测量结果作为距离图像(深度图像)来输 出，在距离图像中，到视野范围所包括的物体的距离表现为图像上 的像素的灰度值(浓淡)。此外，除了如上所述的红外图案光投射 方式以外，如果是能输出距离图像的传感器，则也可以是TOF(Time OfFlight)方式或立体测量方式等其它方式。

另外，在清扫机器人1中搭载有激光测距仪22，其以能从设于 箱体11前部的透明的窗21进行外部的测量的方式安装。

而且，在清扫机器人1的内部搭载有控制清扫机器人1整体动作 的运算装置30。运算装置30与上述的刷电机10、开关14，15之类、 距离图像传感器20等各部件电连接。

在图2中表示清扫机器人1的框图。运算装置30包括距离图像运 算模块31、行走控制模块32、清扫控制模块33、路线图信息存储器 34以及自己位置运算模块35。而且，在距离图像运算模块31内部存 在3维坐标运算部36、坐标变换部37、作为凹部辨别部的一例的障 碍物/台阶辨别部38、俯视图作成部39、作为校正处理部的数据校 正部40。

距离图像运算模块31接收来自距离图像传感器20的距离图像， 进行坐标变换等处理，提取障碍物/台阶信息并将其向自己位置运 算模块35发送。

行走控制模块32基于陀螺仪传感器或安装于驱动轮2的旋转编 码器43的信息掌握清扫机器人1的移动距离和目前的方向。向自己 位置运算模块35发送与该移动距离和方向有关的信息(以下称为 “测距信息”)。

自己位置运算模块35综合从距离图像运算模块31输出的障碍 物/台阶信息以及从激光测距仪22得到的障碍物信息。而且，对照 这些障碍物/台阶信息、与预先由路线图信息存储器34存储的周围 环境的形状有关的路线图信息、以及从行走控制模块32发送的测距 信息，计算清扫机器人1本身目前存在于路线图内的哪一位置。

以上所述的距离图像传感器20、距离图像运算模块31、激光测 距仪22、路线图信息存储器34以及自己位置运算模块35具有作为本 发明的“周围环境识别装置”80的作用。而且，存在于距离图像运 算模块31内部的障碍物/台阶辨别部38、俯视图作成部39、数据校 正部40分别与本发明的“凹部辨别部”、“俯视图数据作成部”、“校 正处理部”对应。此外，后面说明距离图像运算模块31和自己位置 运算模块35的动作的详细内容。

行走控制模块32从自己位置运算模块35接受与路线图上的自 己位置和到周围的障碍物或台阶的距离有关的信息，以回避障碍物 或台阶的方式确定行走路径，实际控制驱动轮2的驱动轮电机44。 另外，当接收来自操作面板13、确定手动行走时的行走方向的行走 控制手柄15和作为非常时用于停止的非常停止开关的紧急停止开 关14等控制开关的信号时，与其相应地进行非常停止或行走方向的 变更等必需的动作。与这些控制有关的信息被显示在操作面板13 中，被实时地更新。

清扫控制模块33接受来自行走控制模块32的命令，进行清扫刷 9、废液回收单元7、8以及清洗液喷出单元5、6的动作开始/停止切 换等与清扫有关的部分的控制。

在图3(a)中表示距离图像传感器20和激光测距仪22的安装位 置的详细内容。这些距离图像传感器20和激光测距仪22配设在清扫 机器人1从作为清扫对象的地面F(行走路面)垂直地离开规定距离 的位置。具体地，在清扫机器人1的上部的行进方向的前侧比水平 靠下方安装距离图像传感器20。在该第1实施方式中，距离图像传 感器20如图3(b)所示，在距离地面F的高度H_S＝980[mm]的位 置按相对于铅直轴的角度θ_S＝20[deg]向行进方向前方的斜下方 安装。另外，激光测距仪22在距离地面F的高度H_L＝350[mm]的 位置与地面F平行地、即以成为水平的方式安装。实际上安装位置 由于组装误差等发生一些变动。此外，距离图像传感器20或激光测 距仪22的配置或个数不限于上述内容，也可以排列多个来配置。

激光测距仪22的扫描范围即可测量范围如图3(a)、(b)所示 是距离地面F的高度为H_L的半圆状的区域。但是，为了在图3(a) 中易于观察，将半圆状的区域的半径方向的长度缩小显示。实际上， 激光投射光未被遮挡且只要到达就能测量相当远的距离(5～ 10m)。但是，距离地面F的高度比H_L低的高度的障碍物或者比地面 F低的台阶处于激光的扫描范围外，因此无法检测。另一方面，距 离图像传感器的可测量范围依存于传感器的视角。在该第1实施方 式中使用的距离图像传感器20的情况下，水平方向的视角是70deg， 垂直方向的视角是55deg程度。在地面F上投影的视野范围是图3(a) 的梯形A_SB_SC_SD_S的范围，虽然能检测出的范围本身比激光测距仪22 窄，但2维地取得高度信息，因此能无遗漏地检测存在于范围内的 障碍物或台阶。因而，通过并用这2者，能平衡良好地检测从附近 到远方的广范围的障碍物和台阶。

距离图像传感器20用距离图像传感器基准的坐标系输出作为 测量结果的距离图像。在图3(a)中表示坐标系的定义。将距离图 像传感器20的光学中心设为原点O_S，当朝向行进方向时将左右方向 设为X_S轴(以左方向为正)，将上下方向设为Y_S轴(以上方向为正)， 将前后方向、即传感器的光轴方向设为Z_S轴(以进深方向为正)。 而激光测距仪22的安装位置和角度不同，因此传感器基准的坐标系 也相互不同。在用这些坐标系表示的距离和从清扫机器人1主体沿 着地面F测量到的距离之间存在偏差，因此为了求出到对象物的正 确的距离，需要按地面基准的坐标系进行坐标变换，将距离图像传 感器20和激光测距仪22这2个数据进行综合。

因此，除了距离图像传感器20基准的X_SY_SZ_S坐标系以外，定义 作为清扫机器人1主体的坐标系的X_RY_RZ_R坐标系。将从清扫机器人 1主体前端向地面F垂下的垂线的脚设为原点O_R，将清扫机器人1的 行进方向设为Z_R轴，将地面F的法线方向设为Y_R轴，将与Z_R轴和Y_R轴垂直的方向设为X_R轴(以朝向行进方向的左方向为正)。

此外，在该第1实施方式中，行进方向即Z_R轴与作为距离图像 传感器20的光轴方向的Z_S轴朝向行进方向在左右方向上大致一致。 其意味着，即距离图像传感器20不是相对于地面F在左右方向上倾 斜安装，地面F和距离图像传感器20的倾斜度仅为进深方向的倾斜 度θ_S。严格地说，虽然发生由安装误差造成的角度偏差，但考虑即 使这样左右方向的倾斜度角与进深方向的倾斜度角θ_S相比也是充 分地小。

该第1实施方式的清扫机器人1的特征在于，在运算装置30内的 距离图像运算模块31中，对距离图像实施地面F基准的坐标变换， 根据该信息进行辨别障碍物或台阶的处理，校正此时由于死角而产 生的台阶的测量位置的误差。以下说明这些运算的详细内容。在图 4中，表示用距离图像运算模块31和自己位置运算模块35进行的处 理流程。

距离图像运算模块31内的3维坐标运算部36首先取得从距离图 像传感器20输出的距离图像(图4的步骤S101，以下相同)。如图5 (a)所示，在地面F的一部分存在凹状区域即台阶C的情况下，得 到的距离图像如图5(b)所示。该距离图像用像素的浓淡表示根据 距离图像传感器20的光学中心O_S测量到的距离D，距离越小(近) 显示为越白，距离越大(远)显示为越黑。

3维坐标运算部36根据该距离图像数据算出距离图像传感器基 准(X_SY_SZ_S坐标系)的3维坐标数据(X_S，Y_S，Z_S)(S102)。坐标 数据中的、Z_S是距离图像所包含的距离D其本身，如果知道距离图 像传感器20的光学系统的焦点距离f、像素间距p、光轴与摄像元件 中心的像素偏差量c等，则利用三角测量的原理根据Z_S能计算X_S和 Y_S。在该第1实施方式中，事先对距离图像传感器20进行校准，预 先求出这些参数。由此，如果得到距离图像，则关于该图像所包含 的全部像素能得到距离图像传感器基准的坐标数据(X_S，Y_S，Z_S)、 即3维点群(PointCloud)数据。

坐标变换部37针对距离图像传感器20基准的3维点群数据使用 地面信息进行坐标变换，转换为用清扫机器人主体基准的X_RY_RZ_R坐标系表示的3维点群数据(S111)。转换为清扫机器人主体基准的 坐标系的原因是为了易于辨别距离地面F的高度，另外为了之后综 合从激光测距仪22得到的障碍物数据。

地面信息基于距离图像传感器20的安装位置被预先设定在距 离图像运算模块31内部。例如，如图3(b)所示，在距离图像传感 器20以安装角度θ_S安装于距离地面F的高度H_S处的情况下，通过绕 X_R轴的角度－θ_S的旋转和绕Y_R轴的－H_S的平行移动来实现坐标变 换。

但是，由于地平面的倾斜度或起伏、清扫机器人1本身的振动、 距离图像传感器20的测量误差或经时变化等原因，地面F与距离图 像传感器20的位置关系有时在时间上、空间上发生变动。在这种情 况下，在如上所述的固定的坐标变换中产生误差，因此需要进行从 距离图像传感器20基准的3维点群数据提取构成地面F的点，每次求 出地面F距离此处的高度或角度的处理、即进行地面F的检测处理。 按取得距离图像的每一帧、或者每间隔一定帧或每间隔一定时间进 行这种处理，求出该时点最佳的地面F的参数，将其换算为上述旋 转角度和并进移动量。进行这种地面F的检测处理，求出最佳的旋 转角度和并进移动量后进行坐标变换，由此能转换为清扫机器人主 体基准的3维点群数据。

在这样得到的清扫机器人主体基准的3维点群数据(X_R，Y_R， Z_R)中，Y_R表示其原样距离地面F的高度，因此当用灰度等级表示 Y_R的值的大小时，得到如图5(c)那样的距离图像。可知该距离图 像由于地面F是一定的高度因此成为大致一样的灰度等级，比地面F 低的台阶的部分用比地面F暗的等级表示。

在用坐标变换部37进行的上述处理之后，作为凹部辨别部的一 例的障碍物/台阶辨别部38针对构成3维点群数据的各点(X_R，Y_R， Z_R)，根据比地平面高还是低来辨别障碍物和台阶(S121)。具体地， Y_R表示其原样距离地面F的高度，因此如图3(a)、(b)所示，设置 表示比地面F高的第1基准面的阈值t，如果Y_R比t大，则辨别为比地 面高的凸状区域K即“障碍物”，如果比表示比地面F低的第2基准 面的阈值－t小，则辨别为比地面低的凹状区域C即“台阶”，如果 位于t和－t之间，则辨别为地面区域即“地面”。考虑地平面的凹凸 的大小、距离图像传感器20的测量误差等预先确定阈值t。在该第1 实施方式中，设为t＝10mm。此外，表示第1基准面和第2基准面的 阈值的绝对值也可以不同。

此外，作为辨别“台阶”、“障碍物”以及“地面”的方法，除 了使用如上所述的相对于距离地面F的高度Y_R的阈值的方法以外， 还考虑使用如下所述的坡度的方法。

针对3维点群数据(X_R，Y_R，Z_R)，首先在应用了用于去除突 发噪声的平滑化过滤器后，计算在X_R轴方向和Z_R轴方向上相邻的2 点之间的坡度。

在坡度的绝对值

((ΔY_R/ΔX_R)²+(ΔY_R/ΔZ_R)²)^1/2

是规定的坡度界限值以上、且进深方向的坡度

ΔY_R/ΔZ_R

为正的情况下，看作是清扫机器人1无法跨越的上坡，将其前 方、即离清扫机器人1远的一侧的点辨别为“障碍物”。另外，如果 坡度的绝对值是规定的坡度界限值以上、且进深方向的坡度为负， 则看作是无法跨越的下坡，将其前方、即离清扫机器人1远的一侧 的点辨别为“台阶”。上述坡度界限值能根据清扫机器人1的驱动轮 电机44的驱动转矩、驱动轮2以及地面F的材质等算出清扫机器人主 体的攀登能力，基于此进行确定。

另外，还考虑使用与上述高度有关的阈值和坡度界限值两者进 行辨别的方法等。

上述辨别结果作为标签信息被分别附加到3维点群数据。在坐 标值是异常值等情况下，辨别为不是“台阶”、“障碍物”、“地面” 中的任一个的区域附加“未确定”的标签信息。此外，标签不限于 上述4种，也可以根据距离地面F的高度进一步细分化来涂色，或者 根据是否是清扫机器人主体可通行的大小来附加“不能进入”等新 的标签。通过该处理，关于距离图像传感器20的视野范围内的各像 素，除了该3维坐标以外还得到附加有“台阶”、“障碍物”、“地面”、 “未确定”的其它标签的3维点群数据。

俯视图作成部39将通过上述处理得到的附加了标签的3维点群 数据按每一“台阶”、“障碍物”、“地面”等标签涂色进行涂色后作 成在X_R－Z_R平面上反映的图像数据(图4的流程S122)。将该图像 在图5(d)中表示。其相当于以正好从清扫机器人1的正上方俯视 地面F方向的状态进行了转换的图，因此以下称为“俯视图”。可看 出通过距离图像传感器20测量在图5(a)中位于清扫机器人1主体 的前方的台阶即凹状区域C，并将其在图5(d)中显示。但是，在 图5(a)中存在于台阶的底面的P、Q、R点中的、从清扫机器人1 的距离图像传感器20观看时P－Q之间虽然可见，但Q－R之间成为 死角，因此无法测量距离。因此，在图5(d)中与P－Q之间相当 的部分由“台阶”标签色被正确地显示，但由于不存在与Q－R之 间相当的部分的测量数据，因此被显示为“未确定”标签色。

此外，在“未确定”标签的区域中，存在原来就不存在测量数 据的区域、即“漏测量”和由于取得距离图像时的噪声等而不能测 量或者成为测量异常值的区域、即“测量异常”这2种。但是，在 例如某点由于测量异常而被测量为从该点的真正的坐标值较大地 偏离的点的情况下，与真正的坐标值相当的点成为漏测量。因此， 根据俯视图无法辨别某“未确定”标签的区域是由于“漏测量”和 “测量异常”中的哪一个原因产生的。

在该第1实施方式中，为了易于说明，作为实际能显示的图像 而作成俯视图，但未必一定设为这种构成。如果无需在画面中显示 并确认，则可以不是俯视图图像而是与其等价的数值数据，即能通 过在运算装置内部生成“俯视图数据”来代替俯视图图像。在这种 情况下，如果对该“俯视图数据”的各要素进行标签的附加，进而 进行与以下说明的内容相同的处理，则能得到与该第1实施方式同 等的效果。

在此，在图6(a1)、(a2)、(a3)中表示清扫机器人逐渐地靠 近图5(a)所示的台阶C时的样子。首先，图6(a1)是表示清扫机 器人从台阶C离开一段距离的状态的位置关系的图，图6(b1)是表 示如果此时以距离图像摄像机20为视点则可看见怎样的图像，图6 (c1)是与图5(d)同样地将附加有台阶/障碍物信息的3维点群数 据在X_R－Z_R平面上涂色后反映而得到的俯视图。下面，图6(a2) 是表示清扫机器人1稍微靠近台阶C的状态的位置关系的图，图6 (b2)、(c2)是与该状态下的图6(b1)、(c1)相同的图。并且， 图6(a3)是表示清扫机器人1进一步靠近台阶C的状态的位置关系 的图，图6(b3)、(c3)是与该状态下的图6(b1)、(c1)相同的图。

在这些图6(a1)、(a2)、(a3)、(c1)、(c2)、(c3)中，为了易 于理解，除了清扫机器人主体基准的坐标系X_RY_RZ_R(与清扫机器 人主体一起移动)以外，还表示以地面F的某位置O_M为原点的固定 的坐标系X_MY_MZ_M。在该固定坐标系中，从原点O_M到台阶C的离清 扫机器人1近的一侧的边缘的距离是L。

随着清扫机器人1主体从图6(a1)到(a2)、进而到(a3)而 靠近台阶C，距离图像传感器20和台阶C的位置关系发生变化，因 此从距离图像传感器20观看的台阶C的死角也发生变化。该现象从 表示图6(b1)、(b2)、(b3)的变化的情况的图像也可明确。其结 果是，俯视图如图6(c1)、(c2)、(c3)所示发生变化。在该俯视 图上，从地面固定坐标系X_MY_MZ_M的原点O_M到台阶区域C的前端边 缘的距离在图6(c1)中为L₁，在图6(c2)中为L₂，在图6(c3) 中为L₃，可知随着清扫机器人1靠近台阶C而变化。这意味着距离图 像传感器20所识别的台阶C的边缘位置随着清扫机器人1的移动而 变化。

根据以上考虑，可知虽然到真正的台阶C的边缘位置的距离(从 原点O_M起测量)是L，但由于死角的影响测量到的边缘位置成为比 L大(远)的值，随着靠近台阶C，该值逐渐接近L。即，随着清扫 机器人1靠近台阶C，与最初测量时相比，边缘位置逐渐地靠近。

作为自主移动系统的例子的自主移动机器人(例如清扫机器人 等)为了在无人状态下安全地行走，需要准确地掌握周围的台阶的 位置。通常即使检测出的台阶的边缘的位置在移动中发生了变动， 通过行走控制模块每次修正移动速度和移动方向也能回避滚落。但 是，在进行快速盘转或快速前进等情况下，考虑台阶从到目前处于 距离图像传感器的视野范围外的区域突然出现在视野范围中，在这 种情况下有可能来不及进行回避动作。在自主移动机器人中，除了 如距离图像传感器那样的周围环境检测装置以外，还在箱体的下部 分别地设置地面检测传感器等来谋求双重三重的滚落防止对策，尽 管如此，如果频繁地发生由如上所述的死角造成的位置测量误差， 则也无法排除地面检测传感器过度地反应等而使状态变得不稳定 的可能性。

特别是如该第1实施方式那样的清扫机器人1，有时靠近离台阶 C的边缘最近的位置进行清扫，因此要求精度极其良好地进行台阶 C的位置检测。因而，即使只是发生极小的台阶C的边缘的位置测 量误差，也会发生清扫机器人1主体在台阶C处滚落的危险。

该第1实施方式的清扫机器人1的特征在于，为了防止如上所述 的不良状况，通过配置在俯视图作成部39的后段的作为校正处理部 的数据校正部40进行台阶C的位置的校正(图4的流程S131)。将由 数据校正部40进行的校正的步骤在图7(a)、(b)、(c)、(d)中示 出。

与图5(d)同样地，将附加有台阶/障碍物信息的3维点群数据 在X_R－Z_R平面上涂色后图示而得到的“俯视图”如图7(a)所示， 存在被赋予了由死角造成的“未确定”标签的区域U。此时，数据 校正部40向Z_R的正的方向(从离清扫机器人1近的一侧向远的一侧、 虚线箭头的方向)扫描距离数据，搜索按“地面(或者障碍物)” －“未确定”－“台阶”的顺序排列标签的部分。如果发现了这种 部分，则将附加有“未确定”的标签的点置换为“台阶”的标签。 由此得到如图7(b)那样的俯视图。可知排除了由死角造成的影响， 地面F与台阶C的边界、即台阶C的边缘被校正为正确的位置。

此外，在台阶C按相对于清扫机器人1主体倾斜的配置存在的如 图7(c)那样的情况下，通过进行同样的处理也得到如图7(d)那 样的已校正的俯视图。在这种情况下，也是台阶C的边缘被校正为 大致正确的位置。

此外，如前面所述的，在“未确定”标签区域中，除了由于死 角而产生的以外，还存在由于测量噪声等而产生的。因此，考虑例 如仅通过将俯视图内的“未确定”标签区域一律置换为“台阶”标 签区域，会发生将不是台阶的区域误辨别为台阶的现象。对此，该 第1实施方式的清扫机器人1仅在标签按上述规定的顺序排列的情 况下进行校正，因此即使在存在由于噪声等而不能测量的未确定区 域的情况下，也能将它们和由于死角而产生的未确定区域明确地区 别，能可靠地进行死角部分的校正。

通过作为校正处理部的数据校正部40如下所示进行针对该死 角部的校正量。参照图6(a2)具体地进行说明。如图6(a2)所示， 当将作为距离传感器的图像距离传感器20的包括扫描时的偏转角 的安装角度(相对于铅垂面的倾斜角)设为θS、将作为凹状区域的 台阶C的深度信息设为h、将从原点O_M到台阶C的外观距离数据设为 L₂、将从原点O_M到台阶C的边缘的真正的距离设为L时，成为

L₂－L＝h·tanθ_S

，因此校正量成为h·tanθ_S，从到台阶C的外观距离数据L₂减 去校正量h·tanθ_S，从原点O_M到台阶C的边缘的真正的距离L作为

L＝L₂－h·tanθ_S

被算出。

在此，能如下所示计算h和tanθ_S。

在图6(a2)中，将台阶的跟前侧边缘的地面侧端点设为E，将 直线O_SE与地面的交点设为Q。E和Q是从距离图像传感器可见(不 存在死角)的点，因此能取得该距离图像传感器基准(X_SY_SZ_S坐标 系)的3维坐标。将该E、Q以及距离图像传感器的原点O_S的3维坐 标变换为机器人主体基准(X_RY_RZ_R坐标系)而得到的3维坐标值分 别设为(X_E，Y_E，Z_E)、(X_Q，Y_Q，Z_Q)、(X_OS，Y_OS，Z_OS)。此时， h和tanθ_S作为

h＝Y_E－Y_Q

tanθ_S＝(Z_E－Z_OS)/(Y_E－Y_OS)

求出。由此，能计算校正量h·tanθ_S。

h即台阶的深度相对于某特定的台阶C是不变的，但tanθ_S随着 清扫机器人移动而变化。因此，校正量h·tanθ_S需要每次计算。

而且，数据校正部40能参照上述校正量h·tanθ_S并在上述“未 确定”标签区域的长度是比妥当的长度长或者短的情况下，判断为 不是由于死角而产生的“未确定”标签区域而不进行校正。由此， 在存在由于噪声等而成为不能测量的“未确定”标签区域的情况下， 也能准确地检测死角的大小，精度良好地进行校正。

此外，作为在移动体中根据3维信息生成俯视图从而进行由于 死角而产生的台阶位置的偏差的校正的方法，已知专利文献2(特 开2010－287029号公报)。

在专利文献2中，基于使用安装于移动体的立体摄像机取得的3 维信息作成从移动体的上方观看的俯视图。从立体摄像机观看时， 在前方的凹陷(台阶)的一部分存在死角的情况下，在俯视图上产 生不存在由于死角而产生的测量点的区域，因此将不存在该测量点 的区域判定为危险区域(参照该文献的图14和图15)。

但是，在专利文献2中，将不存在相当于该第1实施方式中的未 确定区域的测量点的区域一律判定为危险区域，因此在例如地面的 一部分由于噪声等而暂时成为未确定区域的情况下，也有可能将该 区域误判定为危险区域而无法向该区域移动。

而在该第1实施方式中，通过之前所述的步骤，仅在按特定的 顺序排列对3维点群数据赋予的标签的情况下进行校正，因此能明 确的区别由噪声等造成的未确定区域和由于死角而产生的未确定 区域，能可靠地进行台阶的边缘位置的校正。另外，基于距离数据 所包含的台阶的深度和距离传感器的安装角度的信息，计算台阶的 死角部分的校正量并按该量进行校正，因此与专利文献2的方法相 比能精度更好地进行台阶位置的校正。

另外，在专利文献2中，仅通过将不存在测量点的区域判定为 危险区域而不校正关于台阶的边缘位置的信息，而在该第1实施方 式中，还针对台阶的边缘位置进行校正，由此能得到正确的台阶的 边缘位置。由此，能将校正后的边缘信息用作自己位置识别的线索， 因此路线图上的自己位置识别的精度提高，能提高基于自主移动系 统的路线图信息的行走的可靠性。

数据校正部40从该校正后的俯视图提取离清扫机器人1主体近 的台阶和障碍物的信息，将其作为台阶/障碍物信息向自己位置运 算模块35发送(图4的流程S132)。

台阶/障碍物数据的形式以之后行走控制模块32易于处理的方 式能转换为任意的形式。数据的坐标系能在清扫机器人基准的 X_RY_RZ_R正交坐标系的原样下发送，也能转换为极坐标(R－θ坐标 系)。除了将检测出的全部障碍物/台阶实现数据化的方法以外，还 考虑进行数据的间拔/插值、噪声去除处理、或者仅提取离清扫机 器人1主体最近的障碍物/台阶数据的方法。

如前面所述的，自己位置运算模块35由激光测距仪22取得障碍 物信息(S141)。之后，将从距离图像运算模块31输出的障碍物/ 台阶信息和从激光测距仪22得到的障碍物信息进行综合(S142)。 例如，在由激光测距仪22测量到的障碍物A的前面存在由距离图像 传感器20测量到的其它障碍物B的情况下，能以距离近的障碍物B 的数据优先的方式综合数据。

之后，自己位置运算模块35从行走控制模块32取得测距信息 (S143)。

而且，自己位置运算模块35取出由路线图信息存储器34存储的 与周围环境的形状有关的路线图信息(S144)。将由路线图信息存 储器34存储的路线图信息的一例在图8(a)中表示。如图8(a)所 示，针对清扫机器人1进行清扫的区域整体，区分地面F、障碍物、 台阶以及进入禁止区域进行登录。清扫机器人1以仅清扫在该路线 图信息中设定的地面F的部分的方式被行走控制模块32控制。

自己位置运算模块35对照通过上述处理得到的障碍物/台阶信 息、路线图信息以及测距信息，计算清扫机器人1本身存在于目前 路线图内的哪一位置(S145)。当自己位置运算模块35进行自己位 置的运算时，如图8(b)所示，基于激光测距仪22检测出的障碍物 信息的边缘(粗实线)和基于距离图像传感器20检测出的障碍物/ 台阶信息的边缘(粗虚线)在路线图上被改写显示。以尽量缩小在 路线图上预先登录的障碍物或台阶的边缘与实际检测出的边缘的 不一致，且尽量缩小与测距信息的差异的方式用规定的算法进行自 己位置的推定。作为这种自己位置推定的算法，已知粒子过滤器、 扩展卡尔曼滤波器等方法。

当进行该自己位置推定处理时，如果存在由距离图像传感器20 的死角造成的台阶边缘测量误差，则在自己位置推定值中产生误 差，无法沿着路线图信息精度良好地行走。而该第1实施方式的清 扫机器人1通过进行上述台阶边缘的校正能得到正确的台阶位置， 因此能准确地进行自己位置推定，能进行基于路线图信息的高效的 行走控制。

自己位置运算模块35将作为计算结果而得到的目前路线图内 的自己位置信息向行走控制模块32发送(S146)。在行走控制模块 32中登录有预先确定的若干行走图案，选择其中之一。在行走图案 中存在例如“以在区域内转1圈的方式沿着墙壁行走”、“以涂抹被 墙壁包围的内侧的区域的方式行走”、“按规定的距离或者时间一边 随机地改变方向一边行走”等。行走控制模块32对照自己位置信息 和被设定的行走图案，确定要移动的方向和移动速度，进行清扫机 器人的行走控制。

如以上所述的，该第1实施方式的清扫机器人1在存在死角的情 况下也可靠且准确地检测出台阶C，由此能提高周围环境的识别精 度，能防止在台阶C处滚落。

另外，在测量距离图像时存在由于噪声等而不能测量从而产生 的未确定区域，在其与由于死角而产生的未确定区域混合存在的情 况下，也能准确地检测、校正死角的大小。而且，进行以台阶位置 为目标的行走控制或地图上的自己位置识别，由此能提高一边自主 移动一边进行清扫作业时的作业效率。

(第2实施方式)

下面，使用图9说明将本发明的周围环境识别装置应用于作为 自主移动系统的一例的监视用机器人的第2实施方式。对与第1实施 方式同样的部分附上相同的附图标记，省略说明。

作为自主移动机器人的监视机器人101与第1实施方式同样地， 搭载使用了红外图案光照射方式的距离图像传感器(虽未图示但具 有与第1实施方式的距离图像传感器20完全相同的构成、功能。)的 周围环境识别装置(虽未图示但具有与第1实施方式的周围环境识 别装置80完全相同的构成、功能。)。省略清扫刷、清洗液罐、废液 罐等与清扫有关的功能，代替地设有用于将状态向周围通知的显示 灯102、用于与外部的终端通过无线进行数据通信的天线103、全方 位摄像机104、照明灯105、扬声器106。全方位摄像机104常时间拍 摄监视机器人的周围360度的情况，经由天线103以无线向存在于远 处的管理用终端(未图示)发送。管理用终端的管理者确认接收到 的全方位摄像机104的图像数据，进行是否存在异常的检查。在管 理者不在的情况下，还能设定为在监视机器人101主体内部通过解 析全方位摄像机104的图像数据来自动地进行异常监视的模式。

监视机器人101在夜间等人不在的时间带内，一边长时间在办 公大楼内的预先设定的监视区域内移动一边进行监视。此时，一边 参照预先由监视机器人101主体存储的路线图信息一边在监视区域 内的通道上移动。与第1实施方式同样地，基于用距离图像传感器 测量到的信息进行自己位置识别和台阶/障碍物的回避。

在发现了任何异常的情况下，迅速行走向现场并点亮照明灯 105来拍摄现场的图像，将其以无线向管理者发送。在存在可疑的 人的情况下，能从扬声器106产生警告声，或者播放催促退出的讯 息。

如上所述，在该第2实施方式中，在办公大楼内应用监视机器 人101，由此能不依靠人手地安全地进行监视。使用本发明的周围 环境识别装置，由此在监视区域内的通道附近存在台阶等的情况 下，虽然有死角也能正确地识别该台阶的边缘，能防止滚落。另外， 在基于路线图信息一边识别自己位置一边在监视区域内行走的情 况下，作为自己位置识别的目标使用校正后的台阶的边缘信息，由 此能提高识别精度，能提高在监视区域内移动的效率。

(第3实施方式)

接下来，使用图10说明将本发明的周围环境识别装置搭载于工 厂用自动搬运机器人的第3实施方式。针对与第1和第2实施方式同 样的部分附上相同的附图标记，省略说明。

作为自主移动系统的一例的自动搬运机器人201与第1和第2实 施方式同样地搭载有使用了红外图案光照射方式的距离图像传感 器的周围环境识别装置(具有与第1和第2实施方式的周围环境识别 装置完全相同的构成、功能。)。省略清扫刷、清洗液罐、废液罐等 与清扫有关的功能，代替地具有用于一边搭载货物一边移动的货物 装载部202。在货物装载部202的底面安装有传送带203，成为能自 动地进行货物的载入和卸下的结构。另外，与第2实施方式同样地， 设有用于向周围通知状态的显示灯102和用于通过无线与外部的终 端进行数据通信的天线103。

自动搬运机器人201长时间在设置于工厂内的集货终点站处待 机，当货物到达时，使用底面的传送带203将货物保存于装载部202。 同时从集货终点站的终端以无线向自动搬运机器人201主体发送关 于货物的内容和收件方的信息。

在全部货物的载入完成后，自动搬运机器人201开始移动，一 边参照预先由机器人主体存储的路线图信息一边在工厂内的通道 上移动。与第1实施方式同样地，基于用距离图像传感器测量到的 信息进行自己位置识别和台阶/障碍物的回避。当到达作为配送目 的地的配货点时，向配货点的终端以无线发送关于货物的内容和发 件方的信息。之后，使用底面的传送带23进行货物的卸下。

当卸下完成时，开始向下一个货物的配送目的地的移动。这样 当全部货物向目的地的卸下完成时，一边参照路线图信息一边回到 原来的集货终点站。

在工厂内应用多台这种自动搬运机器人201，由此能不依靠人 手地安全地在工厂内搬运大量货物。使用本发明的周围环境识别装 置，由此在工厂内的通道附近存在台阶等的情况下，尽管有死角也 能正确地识别该台阶的边缘，能防止滚落。另外，在基于路线图信 息一边识别自己位置一边在工厂内行走的情况下，作为自己位置识 别的目标使用校正后的台阶的边缘信息，由此能提高识别精度，能 提高在工厂内移动的效率。

此外，在上述第1～第3实施方式中，作为在周围环境识别装置 中使用的距离传感器使用了红外图案光投射方式的距离图像传感 器20，但也能使用立体方式或TOF方式等其它方式的距离图像传感 器。在立体方式的距离图像传感器的情况下，针对从被立体配置的 左右摄像机得到的左右图像利用对应点搜索等方法计算视差。能根 据视差的值利用三角测量的原理求出到对象物的距离。

(第4实施方式)

接下来，使用图11到图16说明代替红外图案光照射方式的距离 图像传感器而将激光测距仪(LRF)作为距离传感器使用的第4实 施方式。针对与第1实施方式同样的部分附上相同的附图标记，省 略说明。

将作为该第4实施方式的自主移动系统的清扫机器人300的外 观在图11(a)中表示。该清扫机器人300代替第1实施方式的距离 图像传感器20而搭载有作为2台距离传感器的激光测距仪(LRF) 301和302。为了与水平方向上安装的LRF、即“水平LRF”22进行 区别，以下将它们称为“台阶用LRF”。水平LRF和台阶用LRF可以 是相同的机型，也可以是不同的机型。

上述台阶用LRF301和302在左右方向(清扫机器人基准坐标系 中的X_R轴方向)上相互隔开数十mm到100mm程度的距离，相对于 地面(机器人基准的X_RY_RZ_R坐标系中的X_RZ_R平面)朝向斜下方被 安装，通过扫描测量用红外激光而形成的面、即测量面在从安装位 置起数十cm～数m的距离处与地面交叉。水平LRF22的测量面与地 面是平行的，因此无法测量比地面低的台阶或地面附近的障碍物， 但台阶用LRF如上所述朝向斜下被安装，因此能检测比地面低的台 阶或地面附近的障碍物。

上述台阶用LRF301和302能分别在测量面内对从－90deg到+ 90deg的范围的半圆状的区域投射红外激光，进行物体的测量。在 此，将测量范围的中央即0deg方向定义为LRF的前方。另外，如图 11(b)所示，作为LRF301基准的坐标系，定义如下X_S1Y_S1Z_S1坐标 系，其将红外激光的出射位置即测量的原点设为O_S1，在前方取Z_S1轴，在与测量面垂直的方向上取Y_S1轴，在与Z_S1轴和Y_S1轴垂直的方 向上取X_S1轴。同样地，作为LRF302基准的坐标系定义X_S2Y_S2Z_S2坐 标系。

上述台阶用LRF301的Z_S1轴和302的Z_S2轴相对于机器人的行进 方向即Z_R方向以Y_R轴为中心在向相互相反的方向旋转θ_Y[deg]的 方向上安装。因此，台阶用LRF301和302的测量面与地面相交的线 成为相对于Z_R轴分别倾斜了θ_Y[deg]、－θ_Y[deg]的直线。此外， 在该第4实施方式中是θ_Y＝45deg，但不限于此。在图11(a)中， 分别用A₁B₁、A₂B₂表示这些直线。2个直线在机器人主体的前方约 1m的距离的点C₁₂处交叉。这些直线A₁B₁、A₂B₂表示地面上的台阶 用LRF301和302的能测量区域。LRF的投射光的扫描方向是1维，因 此如距离图像传感器那样无法一次测量2维状的区域，但如上所述 组合朝向斜下配置的2个LRF，由此能覆盖清扫机器人前方的比较 广的范围作为测量范围。

从上述清扫机器人300主体到台阶用LRF301、302的能测量区 域A₁B₁、A₂B₂的距离能通过调节台阶用LRF301、302的安装位置和 角度来进行某程度的调节。当能测量区域离清扫机器人300主体过 远时，有可能发生与能测量区域相比更近地存在的台阶或障碍物的 测量遗漏。相反地，当离清扫机器人主体过近时，即使在移动中检 测出台阶或障碍物，也会来不及进行回避动作，有可能发生碰撞或 滚落。考虑这些情况，优选在能进行回避动作的范围内按尽可能近 的距离设定能测量区域。

在图11(a)中，在清扫机器人300的前方的地面上存在台阶。 在这种情况下，使用图12(a)说明通过台阶用LRF301的测量而得 到的数据如何变化。图12(a)是由台阶用LRF301的测量面、即X_S1Z_S1平面截断后的图。在仅是不存在台阶的地面的情况下，来自LRF301 的投射光被照射到将A₁B₁连接的线上，测量该部分的距离，但在存 在台阶的情况下，测量从A₁到S₁(地面)、从Q₁到P₁(台阶的底面)、 从P₁到T₁(台阶的侧面)、从T₁到B₁(地面)的范围的距离。台阶 的底面中的从R₁到Q₁的范围从台阶用LRF301观看时成为死角，因 此未被测量。

上述台阶用LRF301将到测量面(X_S1Y_S1Z_S1坐标系的X_S1Z_S1平 面)内的测量对象物的距离信息以极坐标形式、即作为包括测量面 内的角度θ和距离θ的测量原点O_S1的距离r的一组数据向清扫机器 人300的运算装置330(参照图13)输出。

将该第4实施方式的清扫机器人300的框图在图13中表示。清扫 机器人300内的运算装置330代替第1实施方式的清扫机器人1的距 离图像运算模块31而具备LRF数据运算模块310。除此以外的构成 与第1实施方式相同。此外，380表示周围环境识别装置。

存在于上述LRF数据运算模块310内的数据取得部311将从台 阶用LRF301取得的极坐标数据转换为正交坐标后作成在X_S1Z_S1平 面上反映的数据。将其在图12(b)中表示。测量与从图12(a)的 A₁到S₁(地面)、从Q₁到P₁(台阶的底面)、从P₁到T₁(台阶的侧面)、 从T₁到B₁(地面)对应的点，而不测量从LRF301观看时成为死角 的台阶的底面R₁到Q₁，因此可知不存在数据。同样地，将从台阶用 LRF302接收到的测量数据转换为正交坐标，作成在X_S2Y_S2Z_S2坐标 系(在图11(b)中将O_S1，X_S1，Y_S1，Z_S1置换为O_S2，X_S2，Y_S2， Z_S2的坐标系)中的X_S2Z_S22平面上反映的数据。将其在图12(c)中 表示。

下面，存在于LRF数据运算模块310内的坐标变换部312针对由 数据取得部311作成的台阶用LRF301的数据实施坐标变换处理。使 用预先存储的针对机器人300主体的台阶用LRF301的安装位置和 角度的参数，将测量数据从LRF301基准的坐标系(X_S1Y_S1Z_S1坐标 系)下的坐标值转换为机器人300主体基准的坐标系(X_RY_RZ_R坐标 系)下的坐标值。同样地，关于台阶用LRF302的数据，也实施从 LRF302基准的坐标系(X_S2Y_S2Z_S2坐标系)下的坐标值转换为机器 人主体基准的坐标系(X_RY_RZ_R坐标系)下的坐标值的坐标变换处 理。由此，能根据台阶用LRF301和302的数据得到清扫机器人主体 基准的3维点群数据。

之后，向作为凹部判定部的数据综合/判定部313发送这些数 据。通过前段的坐标变换处理，台阶用LRF301和302的2个数据被 表示为同一机器人300主体基准的3维点群数据，因此能将其综合为 1个数据。而且，数据综合/判定部313与第1实施方式同样地根据机 器人主体坐标系中的Y_R即距离地面的高度的值对构成3维点群数据 的各点附加“台阶”、“障碍物”、“地面”、“未确定”等标签信息。

向作为俯视图数据作成部的俯视图作成部314发送附加有标签 信息的3维点群数据。俯视图作成部将3维点群数据反映到机器人主 体基准坐标系的X_RZ_R平面，由此作成从机器人主体的上方俯视的俯 视图图像。将该俯视图图像在图14(a)中表示。在该图中，将与 综合前的图12(b)和(c)中的A₁，B₁，P₁等对应的点分别如A₁’， B₁’，P₁’那样附上单引号来表示。

向作为校正处理部的数据校正部315发送俯视图图像，在此进 行台阶位置的校正。数据校正部在俯视图图像中搜索从存在测量数 据点的A₁’到B₁’和从A₂’到B₂’的范围。在测量数据点的标签信 息是“台阶”的情况下，将该台阶的位置按以下说明的校正量L校 正为离清扫机器人主体近的一侧。此时，标签采用“台阶”的原样。 该校正处理相当于，置换为在假定为在该台阶的位置存在非台阶的 地面的情况下的地面的位置。

使用图15说明台阶校正量的算出。关于台阶P₁’Q₁’上的点U₁’， 当将在假定为在该位置存在非台阶的地面的情况下的地面的位置 设为V₁’时，校正量L相当于U₁’V₁’。

关于L，当使用台阶的深度(相当于3维点群数据的Y_R坐标值) Y_E和图15所示的θ_E时，用

L＝Y_E/tanθ_E

表示。θ_E利用LRF301的安装角度θ_P、和在LRF301的测量面内 O_S1U₁’与Z_S1轴所成的角度θ由

sinθ_E＝cosθ_P·cosθ

表示，因此成为

L＝Y_E/tan(sin^－1(cosθ_P·cosθ))。

根据上式，当针对台阶上的任意的点赋予Y_E、θ_P和关于该点的 θ时，能计算该点处的台阶位置校正量L。

数据校正部315针对俯视图图像所包含的3维点群数据中的、具 有需要校正的“台阶”标签的所有点计算上述校正量L，新生成进 行了该距离L的校正的俯视图图像。将在数据校正部315中进行了校 正后的俯视图图像在图14(b)中表示。在图14(a)中，可知表示 台阶的P₁’Q₁’和P₁’T₁’的线段在比表示地面的线A₁’B₁’更远 的距离处显示，但在图14(b)中，台阶位置S₁’T₁’与地面A₁’ B₁’存在于同一直线上。

在没有进行校正的情况下，俯视图上的到台阶边缘位置的距离 由于死角的影响成为比到真正的台阶边缘位置的距离(图14(a) 所示的O_RS₁’)更远的值(该图的O_RQ₁’)，随着清扫机器人主体靠 近台阶，该值逐渐接近真正的值。即，随着清扫机器人靠近台阶， 台阶边缘的位置与最初测量时相比逐渐地靠近。

如清扫机器人那样的自主移动机器人为了在无人状态下安全 地行走需要准确地掌握周围的台阶的位置。通常即使检测出的台阶 的边缘的位置在移动中发生了变动，也能通过行走控制模块每次修 正移动速度和移动方向来回避滚落。但是，在进行快速盘转或快速 前进等情况下，考虑台阶从到目前处于距离图像传感器的视野范围 外的区域突然出现在视野范围中，在这种情况下有可能来不及进行 回避动作。在自主移动机器人中，除了如台阶用LRF那样的周围环 境检测装置以外，还在箱体的下部分别地设置地面检测传感器等来 谋求双重三重的滚落防止对策，尽管如此如果频繁地发生由如上所 述的死角造成的位置测量误差，则也无法排除地面检测传感器过度 地反映等而使状态变得不稳定的可能性。

而该第4实施方式的清扫机器人，通过数据校正部315实施如上 所述的台阶位置的校正，因此台阶的边缘总是成为正确的位置(图 14(b)所示的O_RS₁’)。

此外，即使不进行如上所述的台阶位置校正量L的计算和基于 其的校正，仅通过机械的置换处理也能得到同等的效果。例如，在 存在赋予了如图14(a)所示的“台阶”标签的P₁’Q₁’和P₁’T₁’ 的线段的情况下，考虑将其机械地置换为S₁’T₁’的线段的处理。 但是，在这种情况下，例如，在作为地面的一端的S₁’成为存在表 面的反射率或噪声等的问题的测量，其被测量为从S₁’离开的位置 S₁”(未图示)的情况下，线段不是被校正为S₁’T₁’而是被校正 为S₁”T₁’，因此台阶的边缘从真正的位置偏离。对此，在上述台 阶位置校正量L的计算中，L只是仅根据作为台阶的深度的Y_E和台 阶用LRF301、302的安装角θ_P以及测量角度θ计算的，因此，即使在 地面的一端S₁’的位置处存在误差，也不会对校正后的台阶数据带 来影响。即，每次计算台阶校正量L并按适当的量进行校正，由此 即使在地面的一端S₁’的测量值中存在一些测量误差也能求出适当 的台阶的边缘。

LRF301、302与距离图像传感器不同，仅能进行1维扫描，因 此能测量的区域成为地面上的直线状的区域，在清扫机器人300静 止的状态下，无法检测在该直线上不存在的台阶。但是，清扫机器 人300主体一边行走一边连续地进行测量，由此表示能测量区域的 直线在地面上移动，因此作为结果能在测量区域中包括地面上的整 个范围。

该第4实施方式的清扫机器人300根据测距信息和水平LRF22 取得的障碍物/台阶信息，使用与第1实施方式相同的自己位置识别 方法来计算清扫机器人300本身存在于目前路线图内的哪一位置。 将包括从台阶用LRF301、302得到的台阶信息的俯视图数据在该路 线图上重叠显示，与清扫机器人300的移动相应地将俯视图数据改 写在该时点的目前位置并进行更新。此时，在数据校正部315中， 如果台阶端的测量点Q1’被正确地校正为边缘的位置S1’，则通过 改写更新形成的“地面”标签的点与“台阶”标签的点的边界的点 的集合正确地表示台阶的边缘。

在图16的(a)～(d)中表示进行台阶位置校正的情况和不进 行台阶位置校正的情况的检测结果的比较。在不进行台阶位置校正 的情况下，俯视图上的表示台阶端的点比真正的台阶端偏向里侧 (远离清扫机器人主体的一侧)，并且随着清扫机器人300移动， LRF的死角发生变化，由此，偏差量发生变化。在图16(a)中表 示该情况。将这些数据在路线图上重叠而得到的台阶区域的信息成 为如图16(b)那样的形状，离清扫机器人主体近的边缘的位置从 实际的台阶边缘的位置处偏离。而在进行台阶位置校正的情况下， 如图16(c)所示在正确的位置得到俯视图上的表示台阶端的点， 因此通过使该数据在路线图上重叠而得到如图16(d)所示的正确 的台阶区域的信息。根据以上内容，可知进行台阶位置校正，使其 结果在路线图上重叠，由此能正确地检测存在台阶的区域及其边 缘。

将如以上所示被提取的台阶信息与同样被提取的比地面高的 障碍物的信息进行综合，作为台阶/障碍物信息向自己位置运算模 块35发送。台阶/障碍物数据的形式以之后行走控制模块32易于处 理的方式能转换为任意的形式。数据的坐标系既能按清扫机器人基 准的X_RY_RZ_R正交坐标系的原样发送，也能将其转换为极坐标(R－ θ坐标系)。除了将检测出的全部障碍物/台阶实现数据化的方法以 外，还考虑进行数据的间拔/插值、噪声去除处理、或者仅提取离 清扫机器人300主体最近的障碍物/台阶数据的方法。

关于自己位置识别或清扫等、清扫机器人300的其它部分的结 构或动作，与在第1实施方式中说明的相同，省略说明。

此外，在之前的第1实施方式中所述的专利文献2中，关于为了 校正台阶信息而作成俯视图数据这一点虽然与本发明类似，但在3 维信息的取得中使用立体摄像机，因此没有设想如该第4实施方式 那样根据台阶用LRF301、302的1维测量数据进行台阶信息的校正。 另外，在专利文献2中，仅将不存在测量点的区域判定为危险区域， 关于台阶的边缘位置的信息未被校正，而在该第4实施方式中，在 作为距离传感器使用台阶用LRF301、302的情况下，也能正确地校 正由于死角而产生的台阶的边缘位置的偏差。而且，通过针对台阶 的边缘位置进行校正能取得正确的台阶的边缘位置，由此能将校正 后的边缘信息作为自己位置识别的线索使用。因而，路线图上的自 己位置识别的精度提高，能提高基于自主移动系统的路线图信息的 行走的可靠性。

如上所示，在该第4实施方式中，在作为自主移动系统的清扫 机器人300的距离传感器使用台阶用LRF301、302的情况下，也能 通过正确地校正由于死角而产生的台阶的边缘位置的偏差，精度良 好地提取台阶的边缘，来防止在台阶处滚落，提高自主移动的精度。

另外，通过将该第4实施方式与第2实施方式或者第3实施方式 进行组合，由此能实现搭载有台阶用LRF的监视机器人或搭载有台 阶用LRF的自动搬运机器人。

(其它实施方式)

本发明的周围环境识别装置除了作为独立的装置在工业用、民 用的其它用途中使用以外，还能组装于通用的便携信息终端等的一 部分，或者将运算电路的一部分或者全部实现集成电路(IC)化后 应用。

在第4实施方式中，每次测量进行台阶边缘位置的校正处理， 但也可以在将多次测量的结果综合后进行台阶边缘位置的校正处 理。当综合多次测量结果时，如图16(a)和(b)所示，得到2维 的台阶信息，因此能通过与第1实施方式类似的处理进行由于死角 而产生的台阶边缘位置的校正。

在第1实施方式中，使用1台距离图像传感器20，在第4实施方 式中使用2台的台阶用LRF301、302，但也可以分别采用其它台数。 另外，在将第1实施方式和第4实施方式组合后搭载多个距离图像传 感器或LRF、一边并用它们一边得到距离信息的情况下，也能应用 本发明。

在上述第1～第4实施方式中，作为凹部辨别部的一例的障碍物 /台阶辨别部38，如图3(a)、(b)所示，将比地面高的凸状区域K 辨别为“障碍物”，将比地面F低的凹状区域C辨别为“台阶”，将地 面区域F辨别为“地面”，但本发明的凹部辨别部只要是至少能辨别 出比地面低的凹状区域即可。

在上述第1～第4实施方式中，说明了作为自主移动系统的一个 方式的清扫机器人、监视机器人以及自动搬运机器人，但除此以外， 也能应用于例如汽车行驶、看护用机器人、灾害救助用机器人、农 活用机器人、娱乐用机器人等其它自主移动系统。

如果总结本发明和实施方式，则为如下所示。

本发明的周围环境识别装置80、380的特征在于，具备：

距离传感器20、301、302；

凹部辨别部(障碍物/台阶辨别部38、数据综合/判定部313)， 其基于从上述距离传感器20、301、302得到的距离数据，至少辨别 比地面F低的凹状区域C；

俯视图数据作成部39、314，其将上述距离数据以上述地面F 为基准进行坐标变换后作成俯视图数据；以及

校正处理部40、315，其在上述俯视图数据内校正由于上述距 离传感器20的死角而产生的凹状区域与该凹状区域以外的区域的 边界的位置偏差。

在上述构成中，凹部辨别部(障碍物/台阶辨别部38、数据综 合/判定部313)基于从上述距离传感器20、301、302得到的距离数 据至少辨别凹状区域C，上述俯视图数据作成部39将上述距离数据 以上述地面F为基准进行坐标变换后作成俯视图数据，校正处理部 40、315校正由于上述距离传感器20、301、302的死角而产生的凹 状区域、与该凹状区域以外的区域的边界的位置偏差。例如，在显 示上述凹状区域C的俯视图数据内，将由于上述距离传感器20、301、 302的死角而产生的不存在距离数据的区域U作为凹状区域C进行 校正。

因而，根据本发明的周围环境识别装置80、380，在有死角的 情况下也能可靠且准确地检测出台阶，从而提高周围环境的识别精 度。

在1个实施方式中，

上述校正处理部40、315在上述俯视图数据中基于由上述凹部 辨别部(障碍物/台阶辨别部38、数据综合/判定部313)辨别的数据 是否按特定的顺序排列，来确定可否校正上述边界位置的偏差。

根据上述实施方式，由于基于由上述凹部辨别部(障碍物/台 阶辨别部38、数据综合/判定部313)辨别的数据是否按特定的顺序 排列来确定可否校正上述边界的位置偏差，确定可否校正缺少上述 数据的区域，因此即使在由于噪声等不能测量从而产生的未确定区 域和由于死角而产生的未确定区域混合存在的情况下，也能准确地 检测死角的大小。

上述特定的顺序可以设为例如按与距离传感器20、301、302近 的顺序，按凸状区域或者地面区域、未确定区域U、凹状区域C排 列的顺序。

在1个实施方式中，

上述校正处理部40基于上述距离传感器20的安装角度θ_S、上述 凹状区域C的深度信息h、以及上述凹状区域C的距离数据L-₂，计算 上述距离传感器20的死角的大小，确定对凹状区域C的校正量h· tanθ_S。

根据上述实施方式，能简单、准确地确定对凹状区域C的校正 量。

本发明的自主移动系统1、101、201、300的特征在于，

具备上述周围环境识别装置80、380，一边识别行进方向前方 的可移动区域一边移动。

本发明的自主移动系统1、101、201、300能利用上述周围环境 识别装置80、380准确且可靠地检测出凹状区域即台阶C的边缘，因 此能防止在台阶C处跌落。

1个实施方式的自主移动系统1、101、201、300，

保存有可更新的地图数据，基于来自上述周围环境识别装置 80、380的数据，一边进行上述地图数据上的自己位置的推定一边 移动。

根据上述实施方式，能将由上述周围环境识别装置校正后的凹 状区域C的边缘作为目标，准确地进行地图数据上的自己位置的推 定，能提高移动的效率。

本发明的周围环境识别方法的特征在于，

利用向前方斜下配置的距离传感器20、301、302测量地面F来 生成地面基准的3维坐标数据，

基于该3维坐标数据，辨别地面区域和比上述地面F低的凹状区 域C，进行3维坐标数据的标签附加，作成俯视图数据，

扫描上述俯视图数据，当上述标签按特定的顺序排列时，校正 由于距离传感器20的死角而产生的凹状区域与该凹状区域以外的 区域的边界的位置偏差。

根据本发明的周围环境识别方法，在存在死角的情况下也能可 靠且准确地检测出凹状区域C，因此能提高周围环境的识别精度。

除此以外，能在不违背本发明的宗旨的范围内施加各种变更。

工业上的可利用性

本发明涉及用于检测作为测量对象的图像数据所包括的障碍 物或台阶等的周围环境识别装置和使用该周围环境识别装置的自 主移动系统，除了将周围环境识别装置本身作为独立的装置用于清 扫、监视、自动搬送等的工业用、民用的其它用途以外，还能将其 组装为其它装置的一部分来使用，或者将装置的一部分或者全部实 现集成电路(IC)化来使用。

附图标记说明

1、101、300清扫机器人(自主移动系统)

2驱动轮

3从动轮

4电池

5清洗液罐

6清洗液喷出部

7废液罐

8废液吸引口

9清扫刷

10电机

11箱体

12保护构件

13操作面板

20距离图像传感器

21窗

22激光测距仪(LRF)

30、330运算装置

31距离图像运算模块

32行走控制模块

33清扫控制模块

34路线图信息存储器

35自己位置运算模块

363维坐标运算部

37坐标变换部

38障碍物/台阶辨别部(凹部辨别部)

39俯视图作成部

301、302台阶用激光测距仪(LRF)

310LRF数据运算模块