三维重建装置、三维重建系统、三维重建方法和三维重建程序

摘要

三维重建装置(60)具有：三维信息取得部(63)，其从检测对象物的第1传感器(10)取得第1三维信息，从被设置成能够移动且检测关注部位(A1)的第2传感器(50)取得第2三维信息；传感器信息取得部(62)，其取得第1传感器信息(I10)和第2传感器信息(I50)；位置姿态信息取得部(61)，其取得第1位置姿态信息(E10)并取得第2位置姿态信息(E50)；以及三维重建部(64)，其使用第1传感器信息、第2传感器信息、第1位置姿态信息和第2位置姿态信息，根据第1三维信息(D10)和第2三维信息(D50)重建表示关注部位的三维信息。

说明书

技术领域

本发明涉及三维重建装置、三维重建系统、三维重建方法和三维重建程序。

背景技术

已提出使用由多台传感器取得的多个现实空间信息对存在于现实空间内的对象物的三维信息进行重建的系统(例如参照非专利文献1)。多台传感器例如是多台体感器。体感器是微软公司的注册商标。体感器是运动捕捉器的一例。由传感器取得的现实空间信息例如是表示从传感器到对象物的距离的深度信息。被重建的三维信息是对由传感器取得的多个现实空间信息进行统合而生成的统合空间信息。

现有技术文献

非专利文献

非专利文献1：Marek Kowalski以及其他2人、“Livescan3D：A Fast andInexpensive 3D Data Acquisition System for Multiple Kinect v2 Sensors”

发明内容

发明要解决的课题

但是，为了准确地掌握现实空间内的状况，需要大致掌握整体，详细掌握关注部位。但是，关注部位也可能移动，因此，即使设置有多台传感器，关注部位也可能从可检测范围偏离，或者由于分辨率不足而使掌握所需要的信息缺失。为了减少产生这种状况，可考虑沿着关注部位的移动路径增设传感器，但是，存在由于增设传感器而使系统的成本增加这样的问题。

本发明正是为了解决上述现有技术的课题而完成的，其目的在于，提供能够低成本地重建表示关注部位的三维信息的三维重建装置和三维重建系统，以及为了低成本地重建表示关注部位的三维信息而使用的三维重建方法和三维重建程序。

用于解决课题的手段

本发明的一个方式的三维重建装置的特征在于，所述三维重建装置具有：三维信息取得部，其从第1传感器取得第1三维信息，从第2传感器取得第2三维信息，所述第1传感器配置于预先决定的位置，通过检测对象物而生成表示所述对象物的所述第1三维信息，所述第2传感器被设置成能够移动，通过检测所述对象物的关注部位而生成表示所述关注部位的所述第2三维信息；传感器信息取得部，其取得表示所述第1传感器固有的特性的第1传感器信息和表示所述第2传感器固有的特性的第2传感器信息；位置姿态信息取得部，其取得表示所述第1传感器的位置和姿态的第1位置姿态信息，并取得表示所述第2传感器的位置和姿态的第2位置姿态信息；以及三维重建部，其使用所述第1传感器信息、所述第2传感器信息、所述第1位置姿态信息和所述第2位置姿态信息，根据所述第1三维信息和所述第2三维信息重建表示所述关注部位的三维信息。

本发明的另一个方式的三维重建方法的特征在于，所述三维重建方法具有以下步骤：从第1传感器取得第1三维信息，所述第1传感器配置于预先决定的位置，通过检测对象物而生成表示所述对象物的所述第1三维信息；从第2传感器取得第2三维信息，所述第2传感器被设置成能够移动，通过检测所述对象物的关注部位而生成表示所述关注部位的所述第2三维信息；取得表示所述第1传感器固有的特性的第1传感器信息；取得表示所述第2传感器固有的特性的第2传感器信息；取得表示所述第1传感器的位置和姿态的第1位置姿态信息；取得表示所述第2传感器的位置和姿态的第2位置姿态信息；以及使用所述第1传感器信息、所述第2传感器信息、所述第1位置姿态信息和所述第2位置姿态信息，根据所述第1三维信息和所述第2三维信息重建表示所述关注部位的三维信息。

发明效果

根据本发明，可得到能够低成本地重建掌握空间的状况所需要的三维信息这样的效果。

附图说明

图1是概略地示出向本发明的实施方式1的三维重建装置提供作为现实空间信息的三维信息的多台传感器和存在于现实空间内的对象物的配置的例子的图。

图2是概略地示出向实施方式1的三维重建装置提供三维信息的多台传感器和存在于现实空间内的对象物的配置的另一个例子的图。

图3是概略地示出向实施方式1的三维重建装置提供三维信息的多台传感器和存在于现实空间内的对象物的配置的另一个例子的图。

图4是概略地示出向实施方式1的三维重建装置提供三维信息的多台传感器和存在于现实空间内的对象物的配置的另一个例子的图。

图5是概略地示出实施方式1的三维重建装置的结构的功能框图。

图6是示出实施方式1的三维重建装置的硬件结构的例子的图。

图7是示出实施方式1的三维重建装置的动作的流程图。

图8是示出图8中的三维信息的重建动作的流程图。

图9是概略地示出向本发明的实施方式2的三维重建装置提供作为现实空间信息的三维信息的多台传感器和存在于现实空间内的对象物的配置的例子的图。

图10是示出无人移动装置的结构例的概略图。

图11是概略地示出图10所示的无人移动装置的结构的功能框图。

图12是概略地示出实施方式2的三维重建装置的结构的功能框图。

图13是示出实施方式2的三维重建装置的动作的流程图。

图14是示出图13中的三维信息的重建动作的流程图。

图15是示出无人移动装置的另一个结构例的概略图。

图16是概略地示出图15所示的无人移动装置的结构的功能框图。

具体实施方式

下面，参照附图对本发明的实施方式的三维重建装置、三维重建系统、三维重建方法和三维重建程序进行说明。以下的实施方式只不过是例子，能够在本发明的范围内进行各种变更。此外，能够适当组合以下的实施方式的结构。

实施方式1

图1是概略地示出向实施方式1的三维重建装置60提供作为现实空间信息的三维信息的多台传感器10、20、30、40、50和存在于现实空间内的对象物A1的配置的例子的图。三维重建装置60对由传感器10、20、30、40、50取得的多个现实空间信息进行统合，由此生成统合空间信息。即，三维重建装置60对由传感器10、20、30、40、50取得的多个三维信息进行统合，由此重建被统合的三维信息。此外，三维重建装置60和传感器10、20、30、40、50构成三维重建系统1。

传感器10、20、30、40、50是取得现实空间的信息的装置。传感器10、20、30、40、50能够取得表示从传感器10、20、30、40、50到对象物A0的距离的深度信息。传感器10、20、30、40、50例如是深度摄像机。传感器10、20、30、40、50也被称作运动捕捉器。传感器10、20、30、40、50使用的测定原理例如是TOF(Time Of Flight：飞行时间)方式。但是，传感器10、20、30、40、50使用的测定原理只要能够生成表示现实空间信息的三维信息即可，可以是任意的。

传感器10、20、30、40配置于预先决定的位置。传感器10、20、30、40也被称作“第1传感器”。传感器10、20、30、40例如是固定于天花板、墙壁、其他构造物等的传感器。传感器10、20、30、40分别计测与位于检测范围R10、R20、R30、R40内的物体的表面之间的距离。传感器10、20、30、40例如通过检测对象物A0而生成作为表示对象物A0的现实空间信息的三维信息D10、D20、D30、D40。三维信息D10、D20、D30、D40也被称作“第1三维信息”。在图1中，对象物A0是作业员。但是，对象物A0也可以是运动的机械、移动的产品、加工中途的物品等。此外，配置于预先决定的位置的传感器的台数不限于4台，也可以是4台以外的台数。

传感器50被设置成能够移动。传感器50也被称作“第2传感器”。传感器50是能够改变自身的位置的传感器、能够改变自身的姿态的传感器或能够改变自身的位置和姿态双方的传感器。传感器的处理者保持传感器50，通过移动传感器50，能够变更传感器50的位置和姿态。传感器50也可以设置于以能够变更传感器50的位置和姿态的方式支承该传感器50的支承装置，处理者对传感器50的位置和姿态进行变更。

此外，传感器50的位置或姿态也可以不由传感器的处理者来变更，而通过对传感器50的位置和姿态进行变更的移动装置来变更。例如，传感器50也可以搭载于具有对自身的位置和姿态进行控制的自动跟踪功能的移动装置，以持续检测关注部位A1。该移动装置例如可以是无人行驶车、被称作“无人机”的无人飞行器、无人航行船舶等。具有自动跟踪功能的移动装置在后述的实施方式2和3中进行说明。

传感器50计测与位于检测范围R50内的物体的表面之间的距离。传感器50例如通过检测对象物A0的关注部位A1而生成作为表示关注部位A1的现实空间信息的三维信息D50。三维信息D50也被称作“第2三维信息”。关注部位A1是期望被传感器50持续检测的区域。例如，在对象物A0是作业员时，关注部位A1是由作业员的手组装出的制造中的物品。在图1中，关注部位A1被描绘成作为对象物A0的作业员前方的胸附近的大小预先决定的范围。但是，关注部位A1也可以是其他位置和其他大小的范围。

图2是概略地示出向实施方式1的三维重建装置提供作为现实空间信息的三维信息的多台传感器10、20、30、40、50和存在于现实空间内的对象物A0的配置的另一个例子的图。在图2中，对与图1所示的结构要素相同或对应的结构要素标注与图1所示的标号相同的标号。在图1中，对象物A0存在于传感器10、20、30、40的中间位置附近，但是，在图2中，对象物A0靠近传感器30，其结果是，关注部位A1靠近传感器30。此时，传感器50伴随着关注部位A1的移动而移动，持续检测关注部位A1。为了持续检测关注部位A1，对传感器50的位置、姿态或位置和姿态双方进行变更，以使关注部位A1持续存在于传感器50的检测范围R10内。

图3是概略地示出向实施方式1的三维重建装置提供作为现实空间信息的三维信息的多台传感器10、20、30、40、50和存在于现实空间内的对象物A0的配置的另一个例子的图。在图3中，对与图1所示的结构要素相同或对应的结构要素标注与图1所示的标号相同的标号。在图1中，作为对象物A0的作业员的面部朝向传感器40，但是，在图3中，作为对象物A0的作业员的面部朝向传感器30。其结果是，在图3中，处于关注部位A1朝向传感器30的状态。此时，传感器50伴随着关注部位A1的移动而移动，持续检测关注部位A1。即，对传感器50的位置、姿态或位置和姿态双方进行变更，以使关注部位A1持续存在于传感器50的检测范围R10内。

图4是概略地示出向实施方式1的三维重建装置提供作为现实空间信息的三维信息的多台传感器10、20、30、40、50和存在于现实空间内的对象物A0的配置的另一个例子的图。在图4中，对与图1所示的结构要素相同或对应的结构要素标注与图1所示的标号相同的标号。在图1中，在对象物A0的关注部位A1与传感器50之间不存在障碍物，但是，在图3中，示出障碍物B0进入对象物A0的关注部位A1与传感器50之间的状态。此时，传感器50按照障碍物B0的位置而移动，持续检测关注部位A1。对传感器50的位置、姿态或位置和姿态双方进行变更，以使关注部位A1持续存在于传感器50的检测范围R10内。

图5是概略地示出实施方式1的三维重建装置60的结构的功能框图。三维重建装置60是能够实施实施方式1的三维重建方法的装置。三维重建装置60例如是计算机。

如图5所示，三维重建装置60具有位置姿态信息取得部61、传感器信息取得部62、三维信息取得部63和三维重建部64。三维重建装置60也可以具有作为存储三维信息的存储装置的存储部65。存储部65也可以是与三维重建装置60连接的外部的存储装置。

三维信息取得部63从传感器10、20、30、40取得作为现实空间信息的三维信息D10、D20、D30、D40。此外，三维信息取得部63从传感器50取得作为表示关注部位A1的现实空间信息的三维信息D50。优选三维信息取得部63实时地取得作为表示关注部位A1的现实空间信息的三维信息D50。实时地取得是指取得三维信息而不进行暂时保存三维信息的处理。

传感器信息取得部62取得表示传感器10、20、30、40各自固有的特性的传感器信息I10、I20、I30、I40。传感器信息I10、I20、I30、I40也被称作“第1传感器信息”。传感器信息取得部62取得表示传感器50固有的特性的传感器信息I50。传感器信息I50也被称作“第2传感器信息”。事前取得传感器信息I10、I20、I30、I40。通过用户操作等而事前输入传感器信息I10、I20、I30、I40。但是，也可以从传感器10、20、30、40取得传感器信息I10、I20、I30、I40。通过用户操作等而事前输入传感器信息I50。但是，也可以从传感器50取得传感器信息I50。

在传感器10、20、30、40、50是摄像机的情况下，传感器信息I10、I20、I30、I40、I50能够包含摄像机的焦距等内部参数。

位置姿态信息取得部61取得表示传感器10、20、30、40各自的位置和姿态的位置姿态信息E10、E20、E30、E40。位置姿态信息E10、E20、E30、E40也被称作“第1位置姿态信息”。位置姿态信息取得部61取得表示传感器50的位置和姿态的位置姿态信息E50。位置姿态信息取得部61也可以根据由传感器50取得的三维信息所示的关注部位的移动信息(例如移动方向、移动量等)，估计传感器50的位置和姿态。位置姿态信息E50也被称作“第2位置姿态信息”。位置姿态信息E10、E20、E30、E40、E50是由世界坐标系表示的信息。事前取得位置姿态信息E10、E20、E30、E40。通过用户操作等而事前输入位置姿态信息E10、E20、E30、E40。但是，也可以从传感器10、20、30、40取得位置姿态信息E10、E20、E30、E40。从传感器50取得位置姿态信息E50。优选位置姿态信息取得部61实时地取得作为表示关注部位A1的现实空间信息的三维信息D50。

优选传感器10、20、30、40、50的位置由世界坐标系表示。传感器10、20、30、40、50的姿态由检测方向表示。根据位置姿态信息E10、E20、E30、E40、E50和传感器信息I10、I20、I30、I40、I50，决定传感器10、20、30、40、50的检测范围(即检测范围)R10、R20、R30、R40、R50。

三维重建部64使用传感器信息I10、I20、I30、I40、传感器信息I50、位置姿态信息E10、E20、E30、E40和位置姿态信息E50，根据三维信息D10、D20、D30、D40和三维信息D50重建表示关注部位A1的三维信息。存储部65存储由三维重建部64重建的三维信息。另外，被重建的三维信息也可以输出到显示装置。

图6是示出实施方式1的三维重建装置60的硬件结构的例子的图。三维重建装置60例如具有存储作为软件的程序即实施方式1的三维重建程序的作为存储装置的内存102、以及执行内存102中存储的程序的作为信息处理部的处理器101。三维重建装置60也可以是通用的计算机。处理器101是运算装置。运算装置是CPU(Central Processing Unit：中央处理单元)。运算装置也可以在CPU的基础上具有GPU(Graphics Processing Unit：图形处理单元)。运算装置也可以具有提供时刻信息的时刻提供功能。

实施方式1的三维重建程序从存储信息的存储介质经由介质读取装置(未图示)存储于内存102，或者经由能够与互联网等连接的通信接口(未图示)存储于内存102。此外，三维重建装置60也可以具有数据库等存储各种信息的存储装置即存储器103。存储器103也可以是存在于能够经由通信接口(未图示)连接的云上的存储装置。此外，也可以在三维重建装置60连接有鼠标和键盘等这样的用户操作部即输入装置104。进而，也可以在三维重建装置60连接有显示图像的显示器即显示装置105。输入装置104和显示装置105也可以是三维重建装置60的一部分。

图6所示的位置姿态信息取得部61、传感器信息取得部62、三维信息取得部63和三维重建部64能够通过执行内存102中存储的程序的处理器101来实现。此外，图5所示的存储部65也可以是存储器103的一部分。

图7是示出实施方式1的三维重建装置60的动作的流程图。但是，三维重建装置60的动作不限于图7的例子，能够进行各种变更。

在步骤S11中，传感器信息取得部62取得传感器10、20、30、40的传感器信息I10、I20、I30、I40。传感器信息I10、I20、I30、I40例如是能够进行三维计测的传感器中的内部参数。

在步骤S12中，位置姿态信息取得部61取得传感器10、20、30、40的位置姿态信息E10、E20、E30、E40。此时的传感器10、20、30、40的位置和姿态由世界坐标系表示。

在步骤S13中，三维信息取得部63从传感器10、20、30、40、50取得现实空间的三维信息D10、D20、D30、D40、D50。

在步骤S14中，三维重建部64使用传感器信息I10、I20、I30、I40、传感器信息I50、位置姿态信息E10、E20、E30、E40和位置姿态信息E50对现实空间的三维信息D10、D20、D30、D40、D50进行统合，由此重建三维信息。优选被统合的三维信息D10、D20、D30、D40、D50是在相同时刻被采样的三维信息。

在步骤S15中，被重建的三维信息存储于存储部65。对存储部65中存储的被重建的三维信息赋予作为表示时刻的附加信息的时间戳。被赋予时间戳后的三维信息能够作为动态图像或静态图像显示于图6所示的显示装置105。

例如按照一定的时间间隔反复进行步骤S13～S15的处理，直到被输入结束命令为止。

图8是示出图7中的三维信息的重建处理即步骤S14的动作的流程图。但是，三维信息的重建处理不限于图8的例子，能够进行各种变更。

在步骤S141中，位置姿态信息取得部61取得能够移动的传感器50的位置姿态信息E50。

在步骤S142中，传感器信息取得部62取得能够移动的传感器50的传感器信息I50。

在步骤S143中，三维重建部64进行传感器10、20、30、40、50的时刻同步。通过时刻同步，传感器10、20、30、40、50中的时刻与三维重建装置60的时刻同步。

在步骤S144中，三维重建部64进行用于将由传感器10、20、30、40、50各自的坐标系下的点群(Point Cloud)表示的三维信息转换成由作为公共坐标系的世界坐标系下的点群表示的三维信息的坐标转换。

在步骤S145中，三维重建部64进行用于对坐标转换后的三维信息进行统合的处理。此时，进行在彼此重复的三维信息的部分删除1个三维信息等处理。能够通过公知的方法进行该三维信息的删除。公知的方法的一例是使用体素过滤器的方法。

如以上说明的那样，如果使用实施方式1的三维重建装置60、三维重建系统1、三维重建方法或三维重建程序，则能够重建三维信息并将其存储于存储部65，而不会使关注部位A1的信息缺失。此外，即使在关注部位A1位于检测范围内的情况下，在从传感器到关注部位A1的距离较长的情况下，现实空间信息的信息量也可能降低(例如分辨率等也可能降低)。但是，如果使用实施方式1的三维重建装置60、三维重建系统1、三维重建方法或三维重建程序，则不仅不会产生关注部位A1的信息缺失，还能够持续取得详细表示关注部位A1的三维信息和表示包含关注部位A1的广泛空间的三维信息。

此外，在实施方式1中，不需要沿着对象物A0的移动路径追加大量的传感器，因此，能够抑制系统的成本增加。此外，能够低成本地重建更加详细地表示关注部位A1的三维信息或表示包含关注部位A1整体的空间的三维信息。

实施方式2

在上述实施方式1中，说明了传感器10、20、30、40、50与三维重建装置60直接连接的例子。但是，传感器10、20、30、40、50和三维重建装置也可以经由具有无线通信功能的传感器控制装置进行通信。

图9是概略地示出向实施方式2的三维重建装置70提供作为现实空间信息的三维信息的多台传感器10、20、30、40、50和存在于现实空间内的对象物A0的配置的例子的图。在图9中，对与图1所示的结构要素相同或对应的结构要素标注与图1所示的标号相同的标号。三维重建装置70是能够实施实施方式2的三维重建方法的装置。在实施方式2中，传感器10、20、30、40、50分别经由传感器控制装置11、21、31、41、51而与三维重建装置70进行通信。三维重建装置70、传感器10、20、30、40、50和传感器控制装置11、21、31、41、51构成三维重建系统2。

传感器控制装置11、21、31、41、51将由传感器10、20、30、40、50检测到的三维信息D10、D20、D30、D40、D50发送到三维重建装置70。此外，传感器控制装置11、21、31、41、51也可以将传感器10、20、30、40、50的传感器信息I10、I20、I30、I40、I50和位置姿态信息E10、E20、E30、E40、E50发送到三维重建装置70。

此外，在实施方式2中，传感器50和传感器控制装置51搭载于作为移动装置的无人移动装置200。无人移动装置200例如能够包含无人行驶车辆、无人飞行器、无人驾驶船、无人潜水艇等。此外，无人移动装置200也可以具有对传感器50的姿态进行变更的机构。无人移动装置200也可以具有如下的自动跟踪功能：根据传感器50的检测信息对传感器50的位置和姿态进行控制，以使传感器50持续检测关注部位A1。

图10是示出无人移动装置200的结构例的概略图。图11是概略地示出无人移动装置200的结构的功能框图。无人移动装置200具有从传感器50取得现实空间的三维信息D50的检测信息取得部210、根据三维信息D50生成传感器50的位置和姿态的变更指示信息的位置姿态变更指示部220、驱动控制部230、位置变更部240和姿态变更部250。优选检测信息取得部210实时地取得三维信息D50。检测信息取得部210也可以取得位置姿态信息E50。该情况下，优选检测信息取得部210实时地取得位置姿态信息E50。

无人移动装置200的位置变更部240具有作为在地面上沿彼此垂直的x方向和y方向行驶的行驶机构的x方向驱动部241和y方向驱动部242。x方向驱动部241和y方向驱动部242具有车轮、产生用于驱动车轮的驱动力的马达、将由马达产生的驱动力传递到车轮的齿轮等动力传递机构等。

此外，位置变更部240具有作为使传感器50沿z方向上下移动的升降机构的z方向驱动部243。z方向驱动部243具有指示传感器50等的支承台、产生用于使支承台上下移动的驱动力的马达、将由马达产生的驱动力传递到支承台的齿轮等动力传递机构等。

此外，无人移动装置200的姿态变更部250具有：θa方向驱动部251，其包含对传感器50的方位角θa进行变更的方位角变更机构；以及θe方向驱动部252，其包含对传感器50的仰角θe进行变更的仰角变更机构。θa方向驱动部251和θe方向驱动部252具有产生用于使传感器50或其支承台以水平轴线或垂直轴线为中心进行旋转动作的驱动力的马达、将由马达产生的驱动力传递到传感器50或其支承台的齿轮等动力传递机构等。

例如，位置姿态变更指示部220提取三维信息D50中的关注部位A1内的特征点，将用于对传感器50的位置和姿态进行控制以使特征点不会从预先决定的检测范围偏离的、位置和姿态的变更指示信息提供给驱动控制部230。但是，位置姿态变更指示部220也可以考虑传感器10、20、30、40的位置生成变更指示信息。例如，在关注部位A1位于传感器10、20、30、40的检测范围R10、R20、R30、R40中的任意范围内的情况下，位置姿态变更指示部220也可以容许关注部位A1暂时从传感器50的检测范围R50偏离。该情况下，无人移动装置200通过事前的输入操作来取得与传感器10、20、30、40的检测范围R10、R20、R30、R40有关的信息。此外，无人移动装置200也可以具有通信装置，该通信装置用于取得与传感器10、20、30、40的检测范围R10、R20、R30、R40有关的信息，进行与传感器10、20、30、40之间的通信。

驱动控制部230按照接受的变更指示信息，对位置变更部240和姿态变更部250进行控制。

此外，图10和图11所示的结构还能够应用于实施方式1。此外，与图6的结构同样，能够通过存储程序的内存和执行程序的处理器实现图11所示的无人移动装置200的结构。

此外，传感器50的位置和姿态的控制不限于由内向外的方式，也可以以由外向内的方式进行。例如，也可以是，无人移动装置200具有检测传感器50的位置和姿态的外部的检测器，位置姿态变更指示部220根据该外部的检测器的检测信号输出位置姿态变更指示。

图12是概略地示出实施方式2的三维重建装置70的结构的功能框图。在图12中，对与图5所示的结构要素相同或对应的结构要素标注与图5所示的标号相同的标号。三维重建装置70与实施方式1的三维重建装置60的不同之处在于具有接收部71。接收部71经由传感器控制装置11、21、31、41、51接收从传感器10、20、30、40、50发送的信息。

传感器控制装置11、21、31、41、51分别具有取得传感器的检测信息的检测信息取得部12、以及以无线方式将信息发送到接收部71的发送部13。

图13是示出实施方式2的三维重建装置70的动作的流程图。步骤S21、S22、S25中的处理与图6中的步骤S11、S12、S15中的处理相同。步骤S23、S24中的处理与图6中的步骤S13、S14中的处理相同。但是，在实施方式2中，三维重建装置70经由接收部71取得各种信息。

在步骤S23中，接收部71从传感器10、20、30、40、50经由传感器控制装置11、21、31、41、51接收现实空间的三维信息D10、D20、D30、D40、D50。三维信息取得部63从接收部71取得现实空间的三维信息D10、D20、D30、D40、D50。

图14是示出图11中的三维信息的重建处理即步骤S24的动作的流程图。在步骤S241中，接收部71接收能够移动的传感器50的位置姿态信息E50，位置姿态信息取得部61从接收部71取得位置姿态信息E50。

在步骤S242中，接收部71接收能够移动的传感器50的传感器信息I50，传感器信息取得部62从接收部71取得传感器信息I50。

步骤S243～S245的处理与图7中的步骤S143～S145的处理相同。

如以上说明的那样，如果使用实施方式2的三维重建装置70、三维重建系统2、三维重建方法或三维重建程序，则能够重建三维信息，而不使关注部位A1的信息缺失。

此外，不需要沿着对象物A0的移动路径追加大量的传感器，因此，能够抑制系统的成本增加。

关于上述以外的方面，实施方式2与实施方式1相同。

实施方式2的变形例

图15是示出无人移动装置300的结构例的概略图。图15是概略地示出无人移动装置300的结构的功能框图。无人移动装置300具有实时地从传感器50取得现实空间的三维信息D50的检测信息取得部310、根据三维信息D50生成传感器50的位置和姿态的变更指示信息的位置姿态变更指示部320、驱动控制部330、位置变更部340和姿态变更部350。

无人移动装置300包含无人飞行器。无人移动装置300的位置变更部340具有用于在空中沿彼此垂直的x方向、y方向、z方向移动的飞行驱动部341。飞行驱动部341具有螺旋桨、产生使螺旋桨旋转的驱动力的马达等。

此外，无人移动装置300的姿态变更部350具有：θa方向驱动部351，其包含对传感器50的方位角θa进行变更的方位角变更机构；以及θe方向驱动部352，其包含对传感器50的仰角θe进行变更的仰角变更机构。θa方向驱动部351和θe方向驱动部352具有产生用于使传感器50或其支承台以水平轴线或垂直轴线为中心进行旋转动作的驱动力的马达、将由马达产生的驱动力传递到传感器50或其支承台的齿轮等动力传递机构等。

例如，位置姿态变更指示部320提取三维信息D50中的关注部位A0内的特征点，将用于对传感器50的位置和姿态进行控制以使特征点不会从预先决定的检测范围偏离的、位置和姿态的变更指示信息提供给驱动控制部330。驱动控制部330按照接受的变更指示信息，对位置变更部340和姿态变更部350进行控制。

此外，图15和图16所示的结构还能够应用于实施方式1。此外，能够通过存储程序的内存和执行程序的处理器实现图15所示的无人移动装置300的结构。关于上述以外的方面，图15和图16的例子与图10和图11的例子相同。

进而，无人移动装置300也可以是在水上移动的无人航行船、在水中移动的无人潜水艇、在预先铺设的轨道上行驶的无人行驶车等。

上述各实施方式中说明的三维重建装置和三维重建系统能够应用于工厂中的作业员的作业监视、制造中途的产品监视等。

标号说明

1、2：三维重建系统；10、20、30、40：传感器；50：传感器；11、21、31、41、51：传感器控制装置；12：检测信息取得部；13：发送部；60、70：三维重建装置；61：位置姿态信息取得部；62：传感器信息取得部；63：三维信息取得部；64：三维重建部；65：存储部；71：接收部；200、300：无人移动装置；210、310：检测信息取得部；220、320：位置姿态变更指示部；230、330：驱动控制部；240、340：位置变更部；250、350：姿态变更部；A0：对象物；A1：关注部位；D10、D20、D30、D40：三维信息；D50：三维信息；E10、E20、E30、E40：位置姿态信息；E50：位置姿态信息；I10、I20、I30、I40：传感器信息；I50：传感器信息；R10、R20、R30、R40：检测范围；R50：检测范围。