可提供环境信息的动态图资建立方法及系统

摘要

本发明为一种可提供环境信息的动态图资建立方法及系统，该系统包含有一云端伺服主机、多个架设在环境周围的中继主机、以及分别装设在不同车辆上的多台车端装置，各个车端装置包含有一光达(LiDAR)感测器及一摄影机，以感测车辆周围环境而产生点云(point cloud)数据及图像数据；相异车辆的点云数据传送至邻近的中继主机，由该中继主机执行一多车整合演算合并各车辆的点云数据，获得车辆周围环境物件的三维坐标信息，该云端伺服主机根据所述三维坐标信息建立动态图资信息，并回传予各车辆；通过共享不同车辆的感测数据，可提高车辆对周围的感知范围，减少感测遮蔽区(dark zone)或盲区(blind zone)。

说明书

技术领域

本发明为一种自动识别环境信息的方法，尤指一种结合光达信息及图像信息以识别障碍物的方法。

背景技术

由于当代人工智能(Artificial Intelligence，AI)与机械学习的发展进度相较于过去可说是一日千里，已有许多国际大厂利用此日新月异的学习技术投入自驾车研发。搭载在车辆上的自驾车系统，通过多元感测融合技术检测出车辆周围环境的情境，并根据感测结果执行决策判断，最终以决策结果控制车辆作出反应。

在感测部分，若感测信息全部是由车辆本身的感测器对环境周围进行感测后而获得，也就是说仅由单一车辆感测周围环境，当环境中存在多个障碍物且障碍物之间有相连或相互遮蔽的情形下，则受限于车辆本身的视角及行进方向，会存在无法感知的遮蔽区或盲区。举例来说，请参考图10所示，对A车本身而言，若在其前方存在有一第一障碍物O1及一第二障碍物O2，因为第二障碍物O2被该第一障碍物O1遮蔽，因此A车仅能感知该第一障碍物O1，于该第一障碍物O1的后方即相当于一遮蔽区Z而无法得知有第二障碍物O2存在。

光达(LiDAR)是自驾车系统中广泛采用的感测设备，通过光达可以快速地对周围环境进行感测，从而建立代表周围环境的点云数据，根据该点云数据即可得知环璄的三维几何信息；但光达感测存在有前段所述的问题，当物件被遮蔽或相连时，将无法完整获取该物件的几何信息，不利用于后续判断该物件是否为一障碍物。

发明内容

本发明的目的是提供一种“可提供环境信息的动态图资建立系统”，以提高车辆对位于遮蔽区或盲区中的物件的辨识能力。

为达成前述目的，该可提供环境信息的动态图资建立系统包含有：

多个车端装置，供分别装设于不同车辆，各车端装置包含有：

一光达感测器，用于感知车辆周围的环境以产生点云数据；

一摄影机，用于拍摄车辆周围的环境以产生图像数据；

一车载控制器，连接该光达感测器、该摄影机以及一数据传输单元，控制该点云数据及该图像数据通过该数据传输单元对外传送；

一人机界面；

多个中继主机，其中，各中继主机接收到在其周围的多个该车端装置所传送出来的点云数据及图像数据，并执行一多车整合演算以合并各车端装置的点云数据而获得车辆周围环境中的物件的三维坐标信息；

一云端伺服主机，与各车端装置及各中继主机连线通讯传输，接收各中继主机的多车整合演算的演算结果，并将各物件的三维坐标信息与一底图图资相互整合而建立动态图资信息；

其中，该云端伺服主机将该动态图资信息传输回车辆的人机界面。

本发明的另一目的是提供一种“可提供环境信息的动态图资建立方法”，该方法包含：

a.由设于车辆内部的一车端装置向一云端伺服主机发出一确认请求；

b.该云端伺服主机根据该确认请求，参照该车辆的所在位置选定邻近该车辆的一中继主机，并将该选定的中继主机回复予该车端装置；

c.该车端装置将本车的点云数据及图像数据传送至选定的该中继主机，其中该点云数据是由光达感测器感知车辆所在周围环境而产生，该图像数据是由摄影机拍摄车辆所在周围环境而产生；

d.当该中继主机接收到多个车端装置提供的点云数据及图像数据，该中继主机执行一多车整合演算以合并各车端装置的点云数据，获得车辆周围环境中的物件的三维坐标信息；

e.该云端伺服主机接收该中继主机执行多车整合演算后的演算结果，并将各物件的三维坐标信息与一底图图资相互整合而建立动态图资信息；

f.由云端伺服主机将该动态图资信息回传至各车端装置，其中，该动态图资信息包含有车辆周围环境中的物件的三维坐标信息。

本发明通过整合道路上不同车辆的光达感测信息，以提高车辆对周围物件的感知范围以辨识四周的物件，并将周围物件的坐标信息结合于环境图资以产生动态图资信息。此动态图资信息回传至不同车辆，达成资源共享。

当本发明应用于自驾车领域时，该动态图资信息可以是高精地图(HighDefinition Map,HD MAP)，供自驾车上的控制系统根据该高精地图(HD MAP)上呈现的讯息自动规划出安全的行驶路径，避开道路上所辨识出的障碍物。

附图说明

图1：本发明系统示意图。

图2：本发明系统电路方块图。

图3：本发明车端装置、中继主机及云端伺服主机的协作流程图。

图4：本发明利用两光达感测器所测得的两组点云数据PA、PB示意图。

图5：本发明采用的迭代最近点演算法(Iterative Closest Point,ICP)的流程图。

图6：图4中两组点云数据PA、PB利用迭代最近点演算法(ICP)计算后的叠合示意图。

图7A：本发明以光达感测器检测环境后所得到的点云数据示意图。

图7B：本发明以摄影机检测环境后所得到的图像数据示意图。

图8：本发明单车数据演算的流程图。

图9：本发明根据多车感测数据辨识出遮蔽区的示意图。

图10：车辆的感测盲区或遮蔽区的示意图。

附图说明

10车端装置 11光达感测器

12摄影机 13车载控制器

14数据传输单元 15人机界面

20中继主机 30云端伺服主机

31图资数据库

O1第一障碍物 O2第二障碍物

Z遮蔽区

具体实施方式

请参考图1及图2所示，为本发明的系统示意图，包含有装设各车辆上的一车端装置10、分散在道路环境中的中继主机20以及一云端伺服主机30。

每台车辆上的各个车端装置10包含有一光达感测器11、一摄影机12、一车载控制器13、一数据传输单元14及一人机界面15。该光达感测器11连接该车载控制器13，用于感知车辆周围的环境以产生点云数据。该摄影机12连接该车载控制器13，用于拍摄车辆周围的环境而产生图像数据。该车载控制器13将该点云数据及图像数据，通过该数据传输单元14对外发送，在该车载控制器13中预设有该车辆独有的车辆识别码(Identity,ID)，用以在多台车辆中识别该车辆。该数据传输单元14为无线通讯单元，具有移动通讯的功能，负责双向传输车端装置10的数据至中继主机20及云端伺服主机30。

该中继主机20建置在环境四周，与在其周围的车辆中的车端装置10建立车辆对建筑物间通讯(Vehicle-to-Infrastructure,V2I)，其中，该中继主机20具有一独有的主机识别码(Identity,ID)。该中继主机20亦与该云端伺服主机30通讯连线。

该云端伺服主机30中可向一图资数据库31进行存取，该图资数据库31中存储可作为底图的基础环境信息。该云端伺服主机30用于将中继主机20运算后的数据结合图资数据库31中的底图，以产生动态图资信息，并将该动态图资信息传送至各车端装置10的人机界面15。

请参考图3所示，前述车端装置10、中继主机20及云端伺服主机30的协作流程，步骤如下：

S31：由车辆的车端装置10向云端伺服主机30发出一确认请求，以询问在其周围是否有中继主机20。

S32：云端伺服主机30根据该车辆的所在位置，选定邻近该车辆的中继主机20，并将中继主机20的主机识别码(ID)提供给该车辆，该云端伺服主机30可根据车辆上的GPS定位信息，获知该车辆的所在位置。

S33：车端装置10接收该云端伺服主机30的回复后，将本车感测到的该点云数据、图像数据以及本车的车辆识别码(ID)，通过该数据传输单元14上传至云端伺服主机30选定的该中继主机20。

S34：该中继主机20根据从车端装置10接收到的各项数据，决定应执行一“单车数据演算”或是执行一“多车整合演算”，并将运算结果及中继主机20本身的主机识别码(ID)传送至该云端伺服主机30。当该中继主机20四周附近仅存在单一台车辆，则中继主机20仅会接收到该单一台车辆发送出来的数据，该中继主机20即执行该单车数据演算；若是该中继主机20四周存在有两台以上的车辆，则可分别接收到两台车辆发送出的数据，则选择执行该多车整合演算。关于该单车数据演算及该多车整合演算的流程，将于后文详细说明。

S35：云端伺服主机30接收该中继主机20送出的运算结果，并将该运算结果与图资整合以建立动态图资信息时。因为该运算结果包含有物件的三维坐标信息，当云端伺服主机30建立动态图资信息时，该动态图资信息中即具有车辆周围环境的物件的坐标信息。

S36：云端伺服主机30将该动态图资信息回传至车辆的人机界面15，在传输该动态图资信息时，可根据车辆的识别码(ID)而判断应将动态图资信息传送的车辆。

关于步骤S34中的“多车整合演算”，当该中继主机20接收到两台以上车辆的感测数据时，因为每台车辆的位置不完全相同，各车辆的光达感测器11针对同一物件所测得的点云数据的位置也会不一样。请参考图4所示，图上示意表现第一组点云数据PA及第二组点云数据PB，该第一组/第二组点云数据PA、PB是由两个位置不同的光达感测器11朝同一个物件检测而得到，可以看出两组点云数据的位置略有不同，每一组点云数据中存在有多个数据点；本发明利用迭代最近点演算法(ICP)，通过反复迭代方式，缩小两组点云数据中各数据点的距离，也就是将两群的数据点尽可能地对齐叠合。

请参考图5所示，该迭代最近点演算法(ICP)的演算流程并非本发明所独创，故其演算步骤简述如下：

S51：读取第一组点云数据PA及第二组点云数据PB；

S52：寻找该两组点云数据PA、PB中的对应点；

S53：根据对应关系计算出一转换矩阵；

S54：利用该转换矩阵更换第一组点云数据PA中各数据点的坐标；

S55：计算本次均方根值误差，并与前一次计算出的均方根值误差比较以得到一误差变化值；

S56：判断该误差变化值是否小于一预设阀值，若是，则代表该第一组点云数据PA与第二组点云数据PB已对齐完成而结束演算，若否，则回执行步骤S52。

请参考图6所示，前述第一组点云数据PA及第二组点云数据PB经过迭代最近点演算法(ICP)计算后，两组点云数据中的数据点可相互对齐。换言之，两台车辆上的光达感测器11所测得的数据若存在共同的感知区域便可相互合并，彼此之间的坐标位置误差也能缩减。因为不同车辆的感知范围有差异，当各车的感知区域合并后即能得到一更加广泛的感知范围，减少单一车辆的盲区或遮蔽区；当中继主机20完成多车整合演算后，合并后的点云数据可传送给该云端伺服主机30进行后续的图资运算，因为点云数据中的各数据点代表的是三维信息，因此合并后点云数据可表示物件的三维坐标信息。

另一方面，关于步骤S34中的“单车数据演算”，当该中继主机20接收到单一车辆的感测数据时，该中继主机20根据该车辆提供的点云数据及图像数据进行计算。请参考图7A、图7B所示，车辆上的光达感测器11与摄影机12针对相同环境感测后可分别得到环境的点云数据及图像数据，根据图像数据中可以看出在车辆后方有行人存在，但因为行人受到车辆部分遮蔽，导致不易直接由点云数据中判读行人是否存在，因此，为了能够正确判断出受到遮蔽的物件，该中继主机20执行如图8所示的单车数据演算，该演算的流程步骤如下：

S81：在图像数据中辨识出物件的定界框(bonding box)，举例而言，在图像数据中可以利用现有的图像辨识技术识别出车辆、行人、类行人(如机车及脚踏车骑士)等物件，进而框选出该等物件的位置。

S82：于点云数据中检测障碍物，获取物件定界框，并将定界框投影至图像上，整合点云数据及图像数据。

S83：判断点云数据中的定界框物件是否存在于图像数据中，若判断存在且为同一个物件，该物件属于明区物件，因为该点云数据中的各数据点代表的是三维信息，故可得到该明区物件的三维坐标信息。例如图像数据及点云数据中均存在有车辆，车辆属于明区物件，经判断为同一物件后，即可以从点云数据中得到该车辆的三维坐标信息。

S84：判断图像中是否存在点云数据中未检测到的定界框物件，若存在则此定界框物件为点云数据中的暗区物件，例如车辆后方的行人在点云数据中即属于暗区物件，若图像数据中在对应的位置确实辨识出有行人存在，即可确定该暗区物件为行人。

S85：将步骤S84取得的暗区物件的定界框投影至点云数据，取得该暗区物件的三维坐标信息。因为在步骤S84中可以确定有行人存在并取得其定界框位置，故参照图像数据中的定界框位置，投影至点云数据中的对应位置，从而确定该暗区物件在点云数据中的位置。

该中继主机20完成单车数据演算后，无论是明区物件或暗区物件，都可以从点云数据得到各物件的三维坐标信息，该些物件的三维坐标信息同样传送给该云端伺服主机30进行后续的图资运算。

该云端伺服主机30接收到该中继主机20运算出的物件三维坐标信息后，可将该三维坐标信息与基础图资相结合以得到动态图资信息，该动态图资信息传送回各车辆的人机界面15，以供该车辆应用。在一较佳实施例中，所产生的动态图资信息为供自驾车执行自动控制的高精地图(HD MAP)。在另一较佳实施例中，所产生的动态图资信息也可以是供驾驶者观看参考的地图。

综上所述，本发明通过整合多车的感测信息或单一车辆的感测信息，具有下列特点及较佳应用：

一、遮蔽区或盲区感知优化：请参考图9所示，对A车而言原本只能辨识第一障碍物O1，但无法辨识位在遮蔽区Z的第二障碍物O2，而通过本发明可进一步将多台车辆的光达点云数据相互整合，例如B车可以感知到该第二障碍物O2，当两车的点云数据相互整合后，可扩增原单一车辆的感知范围，此整合后的数据于提供至各车后，A车亦可顺利得知遮蔽区Z的第二障碍物O2，优化自驾车的感知能力，以利自驾车规划可行驶路线。

二、扩增HD MAP上的动态信息：通过车辆对建筑物间通讯(V2I)，各中继主机20可接收到不同车辆提供的即时动态信息(如盲区、障碍物辨识、可行驶的路线空间等)，令整合产生的动态图资信息具有即时性，可供自驾车系统参考以规划路径。而不同车辆皆可共享该动态图资信息，获得环境信息。

三、分散式运算：本发明以各地的中继主机20进行前端运算，借此可以降低云端伺服主机30的运算负担，使各车辆能快速获得更即时性的道路环境信息。