同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统

摘要

一种同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统，包括两个位置固定的摄像头、至少一个图案投影器、摄影测量模块和三维扫描模块，所述的两个摄像头中的至少一个摄像头为既用于摄影测量也用于三维扫描的复用摄像头；所述摄影测量模块用于使用所述复用摄像头对被测物件进行全局摄影测量并得到物体表面的标记点的三维坐标；所述三维扫描模块用于利用得到的标记点作为被测物体的全局定位信息，使用所述两个摄像头和一个图案投影器对被测物体进行三维扫描并得到物体表面的三维轮廓数据。本发明兼有全局摄影测量和三维扫描功能、硬件集成度高、操作使用简便、性价比高。

说明书

技术领域

本发明属于三维测量扫描设备，尤其涉及一种手持式三维测量扫描仪系统。

背景技术

近年来随着计算机硬件性能的不断增加，以及通讯速度的不断提升，使得三维扫描技术也随之不断的迭代更新，从接触式，到固定拍照式再到手持式。手持三维扫描技术主要是从固定式扫描技术的基础上发展而来，手持式三维扫描仪区别于固定式三维扫描的主要特点是扫描仪和被扫描物体之间相对位置可以动态任意变化，即扫描仪需要实时知道自己与被扫描物体的相对空间位置，同时再利用立体视觉原理主动或被动的获得被测物体表面的三维轮廓数据。

目前市面上的手持三维扫描仪主要分为面向消费领域的手持白光式三维扫描仪和面向工业邻域的手持式激光三维扫描仪两大类，前者是利用记录和匹配物体表面的几何特征或者纹理特征来获得扫描仪和被扫描物体的相对空间位置(如专利200880119267.5《组合式目标捕获系统和显示设备以及相关方法》中所描述的系统)；后者是通过识别匹配贴附在扫描物体表面的标记点的拓扑来获得扫描仪和被扫描物体的相对空间位置。在专利US7912673《Auto-referenced system and apparatus for three-dimensional scanning》中提出了一种基于标记点拼接定位的双摄像头三维扫描系统就是一种手持式激光三维扫描仪的实现方法。该类方法利用实时拍摄获得的若干标记点信息与之前获得的标记点集合进行匹配、拼接、累积更新来实现在扫描仪和被测物体的位置变化后其获得的被测物体三维轮廓数据转换到原始的物体坐标系，从而实现手持方式的连续的三维扫描。从理论上而言，该方法可以扫描无限大的物体，但由于新获得的标记点在拼接时会产生误差导致在扫描的面积不断的增加时该误差被不断的累积。一般而言，这种手持三维扫描仪的每米的累积误差在0.1～0.3mm左右，因此在扫描的面积大于10m²的时候(比如汽车乃至飞机大小的物体)，累积的误差可能就到达毫米级别。在另一个专利201410794661.6《一种基于标记点轨迹跟踪的手持激光三维扫描方法及设备》中提出的一种基于标记点跟踪定位的单摄像头三维扫描系统也是一种形式的手持式激光三维扫描仪的实现方法，该专利提出了利用单个摄像头视野中跟踪已知的标记点来定位仪器与被测物体的空间位置关系，再识别获得未知标记点的三维坐标，并加入标记点库。该方法巧妙的实现了单相机的手持三维扫描，相比专利200680014069.3《三维扫描自动参考系统》的方法提高了系统的运行效率，降低了硬件的性能要求，但对于测量误差的累积却依旧没有改善——在新的标记点加入时误差也随即被引入了。这些基于扫描时标记点累积来定位仪器和被扫描物体的手持三维扫描仪在扫描大型物体时，必须要另外的手段来控制其的累积误差。

目前比较有效的方法是用全局摄影测量系统配合手持三维扫描仪来进行大尺度物体的三维扫描。在三维扫描前，利用全局摄影测量系统来获得物体表面所有标记点的三维坐标，再将该标记点集合导入到手持三维扫描仪的软件中。在扫描时扫描仪获得的标记点直接与该事先导入的标记点集合进行匹配，得到当时扫描仪与被扫描物体的空间位置关系，最后通过识别投影到物体表面的结构化光线来获得物体轮廓的三维数据。在上述过程中，被扫描物体的表面标记点库不是通过手持式扫描仪在扫描过程中不断的边识别拼接边添加，而是事先通过全局摄影测量而得到的，因此消除了通过持续的匹配拼接而导致的累积误差。

发明内容

为了克服已有三维扫描方式的全局摄影测量和三维扫描分离、测量过程繁杂的不足，本发明提供了一种兼有全局摄影测量和三维扫描功能、硬件集成度高、操作使用简便、高性价比的手持式大尺度三维测量扫描仪系统，实现大型工件的摄影测量和三维扫描的连贯进行，并最终获得既能保证精度又能实现大面幅三维轮廓数据。

本发明解决其技术问题所采用的技术方案是：

一种同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统，所述系统包括两个位置固定的摄像头、至少一个图案投影器、摄影测量模块和三维扫描模块，所述的两个摄像头中的至少一个摄像头为既用于摄影测量也用于三维扫描的复用摄像头；所述摄影测量模块用于使用所述复用摄像头对被测物件进行全局摄影测量并得到物体表面的标记点的三维坐标；所述三维扫描模块用于利用得到的标记点作为被测物体的全局定位信息，使用所述两个摄像头和一个图案投影器对被测物体进行三维扫描并得到物体表面的三维轮廓数据。

进一步，所述的两个摄像头中，一个摄像头为复用摄像头，另一个摄像头为仅用于三维扫描的单用摄像头。这是常用的选择方案，当然，如有必要，两个摄像头也可以都采用复用摄像头。

更进一步，所述摄影测量模块和三维扫描模块使用两种不同波段的补光光源对被测物体表面进行补光，用于照亮放置或者粘贴在物体表面的标记点；所述的摄影测量模块采用波段1的补光光源对被测物体进行补光，而所述的三维扫描模块采用波段2的补光光源对被测物体进行补光；所述的复用摄像头采用双波段滤光片滤除波段1和波段2之外的其他光线，所述的单用摄像头采用单通滤光片滤除波段2之外的其他光线；所述的图案投影器以波段2在被测物体表面投射出图案。

优选的，所述波段1为红外波段，所述波段2为红光波段。所述摄影测量模块采用红外波段，即复用摄像头相应的波段1补光光源和复用摄像头采用的双波段滤光片的波段1为红外波段；三维扫描模块采用红光波段，即复用摄像头相应的波段2补光光源和复用摄像头采用的双波段滤光片的波段2以及单用摄像头的补光光源和滤光片为红光波段。当然，也可以选择其他不同的波段。

再进一步，在所述摄影测量模块工作时，所述的复用摄像头采用相对较高的默认分辨率；在所述三维扫描模块工作时，所述复用摄像头采用与所述单用摄像头相同或相近的相对较低的分辨率。

优选的，所述复用摄像头通过像素合并的方式或感兴趣区域ROI的方式来对其分辨率进行调节。当然，也可以采用其他方式。

所述的摄影测量模块的工作步骤是：1)在被测物体的表面放置含有编码信息的编码标记点、不含编码信息的非编码标记点以及两端为编码标记点的已知长度的标尺；2)利用所述的复用摄像头从不同的位置和角度对被测物体进行拍摄获得一组原始图片；3)将原始图片输入至第一2D图像提取器，获得每幅图像中的编码标记点和非编码标记点的图像二维坐标；4)通过第一3D重构器对编码标记点及标尺信息进行三维重建，得到每个编码标记点的在统一的世界坐标系下的空间三维坐标以及每幅图像的外方位；5)利用第一2D图像提取器所获得的非编码标记点的图像二维坐标和该图像的外方位，通过第二3D重构器计算获得非编码标记点在所述世界坐标系下的三维坐标。

所述三维扫描模块的工作步骤是：1)将两个摄像头同时获得的二维图像输入至第二2D图像提取器，获得每幅图像中的非编码标记点的图像二维坐标以及图案投影器所投射到被测物体表面的特征点的图像二维坐标；2)将两幅同步获得的图像中的非编码标记点的图像二维坐标及已知的两个相机的位置关系输入至第三3D重构器以获得当前仪器坐标系下的当前非编码标记点的三维坐标；3)将上一步获得的仪器坐标系下的当前非编码标记点的三维坐标输入至标记点匹配器，所述标记点匹配器将输入的仪器坐标系下的标记点三维坐标拓扑特征与所述摄影测量模块获得的非编码标记点库进行匹配，从而得到所述世界坐标系下的当前非编码标记点的三维坐标，进一步获得当前仪器坐标系转换到世界坐标系RT转换矩阵；4)第二2D图像提取器所获得的图案投影器所投射到被测物体表面的特征点的图像二维坐标输入至第四3D重构器，计算获得被测物体表面在仪器坐标系下的三维点云坐标数据；5)利用步骤3得到的RT转换矩阵通过坐标转换器将上一步骤输出的三维点云从仪器坐标系转换到世界坐标系。

所述的三维扫描模块既可以利用所述的摄影测量模块所获得的物体表面标记点的三维坐标表信息作为已知的被测物体标记点库，在三维扫描时对拍摄获得的物体表面的标记点与标记点库进行匹配而获得扫描仪和被测物体的空间位置定位，再对图案投影器投射到被测物体表面的图案进行识别而获得被测物体表面的三维轮廓数据；三维扫描模块也可以使用两个摄像头通过不断的识别、拼接并添加标记点方式来实时动态构建标记点库，并同时将当前获得的标记点与标记点库进行匹配而获得扫描仪和被测物体的空间位置定位，再对图案投影器投射到被测物体表面的图案进行识别和坐标变换从而获得被测物体表面的三维轮廓数据。

本发明的技术构思为：最大程度的复用硬件资源，实现大型工件的摄影测量和三维扫描的连贯进行，并最终获得既能保证精度又能实现大面幅三维轮廓数据。最直接的方法是系统采用三个摄像头，其中两个用于三维扫描，另一个专门用于摄影测量，但这样会导致无论是在摄影测量阶段和三维扫描阶段，都会有摄像头空闲，整个系统的重量会因此变得不适合手持操作，也会增加整体的硬件成本。为采用更少的硬件来实现摄影测量和手持三维扫描的融合，两个摄像头是比价性价比很高的可行方案，但摄影测量和三维扫描对摄像头的要求并不十分一致。

由于摄影测量需要在每幅拍摄的图片中包含越多的编码标记点、每个标记点的分辨率越高就会有更好的整体精度，因此需要的很高分辨率的摄像头作为复用摄像头，一般需要300万像素以上会比较适合。但复用摄像头在三维扫描时却并不用如此高的分辨率，其原因一是因为手持扫描时离被测的距离较摄影测量近，二是现阶段数据传输和处理的硬件性能还很难达到两路均为较高的分辨率的要求，目前市面上的双摄像头的手持扫描仪的摄像头分辨率在200万以下。为实现摄影测量和三维扫描复用摄像头，可以利用复用摄像头在三维扫描的时候用像素合并的功能，即高分辨率的复用摄像头的分辨率调整成与单用摄像头相同或者相近的分辨率；而在摄影测量时使用其默认的高分辨率进行测量。

由于摄影测量通常需要离被测物体更远的距离以获得更大的拍摄面幅，一般在1.5m到4.5m之间；而手持三维扫描时却需要离被测物体相对近一些以获得更好的扫描细节，一般在0.2m到0.5m之间。也就是说复用摄像头在三维扫描时的对焦距离要小于摄影测量时的对焦距离，这对于扫描仪的摄像头必须在出厂前将其镜头对焦距离和光圈等参数都已经调节固定并标定出内参而言是很难通过机械、硬件或者软件的方式来实现在扫描测量时根据用途进行修改。为达到这个目的，一个很有效的方法是根据同一个镜头在定焦定光圈的前提下波长越长对焦的距离也越远的原理(当然，目前的镜头的制作工艺一定程度上消除了不同波段光线的偏移，但对于红外波段而言，补偿程度会小些)，利用两种不同波段来实现两种拍摄对焦距离，从而实现摄像头的复用。由于摄影测量通常需要更远的距离，在本实例中采用850nm的红外波段来进行拍摄，由850nm波段的LED对被扫描物体进行补光，而复用摄像头通过可以穿透850nm波段的滤光片来获得现场图片；而三维扫描时却需要离被测物体相对较近，因而本实例中采用660nm的红色激光器来作为图案投影器的光源，由660nm的LED对被扫描物体进行补光，而两个摄像头通过可以穿透660nm波段的滤光片来获得现场图片。由于复用摄像头既用于摄影测量，又用于三维扫描，因此其配置的滤光片需要是850nm和660nm双波段的双通滤光片，以及该两种波段的LED进行补光。

本发明的有益效果主要表现在兼有全局摄影测量的大尺寸精度保证和三维扫描的细节特征高还原度、简化测量扫描过程、硬件集成度高。

附图说明

图1是同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统的实现方式示意图。

图2是手持式大尺度三维测量扫描仪系统的功能模块框图。

图3是手持式大尺度三维测量扫描仪系统的工作时序图，其中，(A)是摄影测量时序；(B)是三维扫描时序。

图4是标记点匹配示意图，其中，(A)是仪器坐标系下的当前帧标记点集合；(B)是世界坐标系下的标记点库。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图4，一种同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统，所述系统包括两个位置固定的摄像头、至少一个图案投影器104、摄影测量模块和三维扫描模块，所述的两个摄像头中的至少一个摄像头为既用于摄影测量也用于三维扫描的复用摄像头101；所述系统具备既可以单独工作又可以关联工作的两个功能模块；所述摄影测量模块用于使用所述复用摄像头101对被测物件进行全局摄影测量并得到物体表面的标记点的三维坐标；所述三维扫描模块用于利用得到的标记点作为被测物体的全局定位信息，使用所述两个摄像头和一个图案投影器104对被测物体进行三维扫描并得到物体表面的三维轮廓数据。

进一步，所述的两个摄像头中，一个摄像头为复用摄像头101，另一个摄像头为仅用于三维扫描的单用摄像头102。这是常用的选择方案，当然，如有必要，两个摄像头也可以都采用复用摄像头。

更进一步，所述摄影测量模块和三维扫描模块使用两种不同波段的补光光源对被测物体表面进行补光，用于照亮放置或者粘贴在物体表面的标记点；所述的摄影测量模块采用波段1的补光光源对被测物体进行补光，而所述的三维扫描模块采用波段2的补光光源对被测物体进行补光；所述的复用摄像头采用双波段滤光片滤除波段1和波段2之外的其他光线，所述的单用摄像头采用单通滤光片滤除波段2之外的其他光线；所述的图案投影器以波段2在被测物体表面投射出图案。

优选的，所述波段1为红外波段，所述波段2为红光波段。所述摄影测量模块采用红外波段，即复用摄像头相应的波段1补光光源和复用摄像头采用的双波段滤光片的波段1为红外波段；三维扫描模块采用红光波段，即复用摄像头相应的波段2补光光源和复用摄像头采用的双波段滤光片的波段2以及单用摄像头的补光光源和滤光片为红光波段。当然，也可以选择其他不同的波段。

再进一步，在所述摄影测量模块工作时，所述的复用摄像头采用相对较高的默认分辨率；在所述三维扫描模块工作时，所述复用摄像头采用与所述单用摄像头相同或相近的相对较低的分辨率。

优选的，所述复用摄像头通过像素合并的方式或感兴趣区域ROI的方式来对其分辨率进行调节。当然，也可以采用其他方式。

固定两个摄像头以及图案投影器的骨架结构件103用于保证两个摄像头和图案投影器的相对位置固定不变；图案投影器104可以是工作在波段2上的单线或者多线的线状激光，多线激光可以在每一帧产生更多的轮廓条纹从而提高扫描的效率，但必须需要特定的校验机制来识别激光线的序号(关于手持激光三维扫描系统用于校验多条激光的方法在专利文献201610824489.3《三维传感器系统及三维数据获取方法》中有详细描述)；补光光源106为中心波段为波段2的LED，补光光源105为中心波段为波段1的LED，在摄影测量模块工作时仅启动复用摄像头的上的波段1的LED对现场进行补光操作，在三维扫描模块工作时，复用摄像头和单用摄像头上的波段2的LED同时对被测物体进行补光；107为波段1和波段2的双通滤光片，108为中心波段为波段2的单通滤光片。通过补光LED和滤光片以及图案投影器的配合，可以实现系统在全局摄影测量时工作在波段1，而在三维扫描时工作在波段2。

如图2所示，系统的摄影测量模块是通过如下步骤获得被测物体表面的非编码标记点的三维坐标：1)在被测物体的表面放置含有编码信息的编码标记点、不含编码信息的非编码标记点以及两端为编码标记点的已知长度的标尺；2)利用所述的复用摄像头从不同的位置和角度对被测物体进行拍摄获得一组原始图片201；3)将原始图片201输入至第一2D图像提取器，获得每幅图像中的编码标记点和非编码标记点的图像二维坐标211；4)通过第一3D重构器对编码标记点及标尺信息进行三维重建，得到每个编码标记点的在统一的世界坐标系下的空间三维坐标以及每幅图像的外方位213；5)利用第一2D图像提取器所获得的非编码标记点的图像二维坐标212和该图像的外方位213，通过第二3D重构器计算获得非编码标记点在所述世界坐标系下的三维坐标204。

如图2所示，三维扫描模块是通过如下步骤获得被测物体表面三维轮廓数据：1)将两个摄像头同时获得的二维图像202和203输入至第二2D图像提取器，获得每幅图像中的非编码标记点的图像二维坐标以及图案投影器所投射到被测物体表面的特征点的图像二维坐标221；2)将两幅同步获得的图像中的非编码标记点的图像二维坐标221及已知的两个相机的位置关系输入至第三3D重构器以获得当前仪器坐标系下的当前非编码标记点的三维坐标222；3)将上一步获得的仪器坐标系下的当前非编码标记点的三维坐标222输入至标记点匹配器，所述标记点匹配器将输入的仪器坐标系下的标记点三维坐标222的拓扑特征与所述摄影测量模块获得的非编码标记点库204(或者三维扫描模块在扫描时不断的识别、拼接并添加标记点方式来实时动态构建标记点库)进行匹配，从而得到所述世界坐标系下的当前非编码标记点的三维坐标，进一步获得当前仪器坐标系转换到世界坐标系RT转换矩阵223；4)第二2D图像提取器所获得的图案投影器所投射到被测物体表面的特征点的图像二维坐标输入224至第四3D重构器，计算获得被测物体表面在仪器坐标系下的三维点云坐标数据225；5)利用步骤3得到的RT转换矩阵223通过坐标转换器将上一步骤输出的三维点云225从仪器坐标系转换到世界坐标系。

如图3所示，摄影测量时由用户手动按一次按钮后触发复用摄像头抓取一帧图片，同时触发波段1的LED对被测物体进行闪烁补光，完成一次摄影测量的拍摄。三维扫描的工作时序是一个循环过程：首先系统根据设定的频率对两个摄像头进行同步触发，并同时触发波段2的LED对被测物体表面的非编码标记点进行补光以及触发图案投影器对被测物体表面投射纹理图案。

第一及第二图像提取器的一种实现方式是提取二维图像上的高光连通区域，再通过图像匹配算法对识别出编码标记点、非编码标记点、图案投影器所投射的轮廓线等特征，再获得图像上的标记点的中心坐标和轮廓线的中心线的坐标集合。这在很多文献可以找到详细的论述，比如专利申请号201610824489.3《三维传感器系统及三维数据获取方法》、利用专利号ZL201410794661.6《一种基于标记点轨迹跟踪的手持式激光三维道门方法及设备》都提到了相关的算法。

如图4所示，标记点匹配器中的标记点匹配算法的一种实现方式是将第三3D重构器所输入的在仪器坐标系下的每个标记点到周边一定距离范围内的相邻标记点的有向线段L1～Ln的关联参数(该实例中为距离一个参数)统计到一个数据结构中{D₁,D₂..D_n}，该数据结构的每个元素是按照其值的大小进行排列存储。将该数据结构与之前摄影测量获得的世界坐标系下的标记点集合{W₁,W₂..W_M}的各个标记点的关联参数按期值的大小进行排序的所有有序关联参数集合的集合{{D₁₁,D₁₂..D_1n}，{D₂₁,D₂₂..D_2n}..{D_m1,D_m2..D_mn}}的每个子集进行比对(由于是标量比较，所以可以在两个坐标系下进行对比)，找到一个相关性最大的标记点k作为匹配标记点。评估相关性的方法可以简单寻找最小的关联参数差值的统计值：最小的统计值说明这两个不同坐标系下的标记点与周围标记点的拓扑形态最为相近。当然，需要设置一个关联参数统计值的一个上限值H，如果则说明两者拓扑有明显差异，则判断为不关联。如果在摄影测量所获得的标记点集合{W₁,W₂..W_M}中无法找到任何的关联标记点，则判断当前帧无法匹配。在得到的可能的关联标记点后再对其周围的标记点进行同样的评估，获得其邻域关联标记点集合中的关联标记点的个数来校验该标记点是否确定为匹配标记点。为了提高匹配的准确性，关联参数也可以将标记点自身的向量或者与周围点的有向线段的角度也加入评估，但这样会增加实时扫描时的计算资源的消耗。

全局摄影测量是十分成熟技术，比如德国专利DE19925462《Meβ-und Prüfsystem sowie Meβ-und Prüfverfahren für einen dreidimensionalen in Zusammenhang mit dessen Fertigung》、中国专利200710195582.3《目标点全局自动定位方法》等都对其或其的改进形式有详细的描述。其主要的原理是利用相机从不同角度拍摄多幅照片，再对获得的照片中识别出编码标记点进行重构，获得拍摄对应的这张照片时的相机外方位，系统中的第一3D重构器就是对应完成该该项功能；在得到相机的外方位后就可以对该幅照片中的非编码标记点进行重建和匹配，系统中的第二3D重构器就是对应完成该功能。