用于行星表面探测的亚像素测量多源数据融合方法及系统

摘要

用于行星表面探测的亚像素测量多源数据融合方法及系统，基于安装在无人探测车上的飞行时间相机实现，所述方法包括：接收飞行时间相机采集的三维点云数据；经预处理及目标提取，得到场景三维点云数据和目标三维点云数据；对目标三维点云数据进行滤波处理，从去噪后的目标三维点云数据中提取对应同一区域的两组点云数据，分别设定为固定点云和移动点云，经FPFH特征匹配，利用对应点关系计算得到粗配准变换矩阵；使用粗配准变换矩阵对移动点云进行变换，并进行迭代最近点法配准，得到精配准变换矩阵；使用精配准变换矩阵对目标三维点云数据进行配准，经栅格化处理后和场景三维点云数据进行融合，得到融合后的三维点云数据。

说明书

技术领域

本发明涉及数据分析领域，尤其涉及用于行星表面探测的亚像素测量多源数据融合方法及系统。

背景技术

随着世界科学水平的发展和技术水平的进步，人类对太空的探索也越来越多。2016年我国自主研制的“长征五号”大推力运载火箭首次发射取得成功，标志着中国运载火箭实现升级换代，是由航天大国迈向航天强国的关键一步，使中国运载火箭低轨和高轨的运载能力均跃升至世界第二，也使得我国具有独立将探测器发射到火星等其他行星轨道的能力，使得独立探测火星成为可能。2020年7月，长征五号遥四运载火箭托举着我国首次火星探测任务“天问一号”探测器，在中国文昌航天发射场点火升空，中国人探测火星的梦想正在一步步实现。

行星探测的核心任务主要包括对行星磁层、电离层和大气的探测和环境科学，其中对火星地形地貌的探测，是一项非常重要的内容。由于地球与太阳系各个行星之间距离遥远，二者之间通信速度慢、带宽较低，使得探测器采集的数据需要先在本地处理后再传输回地球。又因为行星表面恶劣的自然环境和火箭发射时的起飞重量等因素的限制，探测器的数据处理能力不够强大。因此需要相应的处理算法具有算力要求低，处理速度快等特点。

行星探测能帮助我们探测人类生命能帮助我们了解宇宙的

发明内容

本发明的目的在于克服现有技术探测范围有限、探测分辨率等的缺陷，提出了用于行星表面探测的亚像素测量多源数据融合方法及系统。

为了实现上述目的，本发明提出了一种用于行星表面探测的亚像素测量多源融合方法，基于安装在无人探测车上的飞行时间相机实现，所述方法包括：

接收飞行时间相机采集的待测行星表面的图像和深度信息，经融合处理得到三维点云数据；

对三维点云数据进行预处理；

对预处理后的三维点云数据进行目标提取，得到场景三维点云数据和目标三维点云数据；

对目标三维点云数据进行滤波处理，得到去噪后的目标三维点云数据；

从去噪后的目标三维点云数据中提取对应同一区域的两组点云数据，分别设定为固定点云和移动点云，对两组点云数据分别提取FPFH特征，并进行FPFH特征匹配，利用对应点关系计算得到粗配准变换矩阵；

使用粗配准变换矩阵对移动点云进行变换，并进行迭代最近点法配准，得到精配准变换矩阵；

使用精配准变换矩阵对目标三维点云数据进行配准，经栅格化处理后和场景三维点云数据进行融合，得到融合后的三维点云数据。

作为上述方法的一种改进，所述接收飞行时间相机采集的待测行星表面的图像和深度信息，经融合处理得到三维点云数据；具体包括：

对图像进行畸变校正处理；

对深度信息进行初步校正和温度校准；

将处理后的图像和深度信息由深度图像坐标系转换到相机坐标系，再转换到世界坐标系，得到三维点云数据，其中，所述三维点云数据在X和Y方向的数据值表示平面坐标位置，在Z方向的数据值表示深度。

作为上述方法的一种改进，所述对三维点云数据进行预处理；具体包括：

提取三维点云数据中的每个数据点，将每个数据点的平面坐标位置与预设的全局图像的范围进行比较，当平面坐标位置不在全局图像的范围内，从三维点云数据中剔除该数据点；否则，保留该数据点，从而得到预处理后的三维点云数据。

作为上述方法的一种改进，对预处理后的三维点云数据进行目标提取，得到场景三维点云数据和目标三维点云数据；具体包括：

从预处理后的三维点云数据中提取数据点M，利用邻域中点的分布方法来计算该数据点M的法向量；

由数据点M的法向量，使用PCA法计算得到待拟合平面的法向量，进而得到待拟合平面Ax+By+Cz＝D中的三个系数A、B和C的初值，由预处理后的三维点云数据中所有点的均值计算得到D的初值；

利用预处理后的三维点云数据中的数据点对A、B、C和D的值进行迭代优化，得到优化后的拟合平面Ax+By+Cz＝D；

从预处理后的三维点云数据中依次取出每个数据点，代入优化后的拟合平面 Ax+By+Cz＝D，判断该数据点是否属于拟合平面，判断为是，将数据点提取到场景点云，否则，提取到目标点云；当完成对每个数据点的判断后，得到场景三维点云数据和目标三维点云数据。

作为上述方法的一种改进，所述对目标三维点云数据进行滤波处理，得到去噪后的目标三维点云数据；具体包括：

从目标三维点云数据中取出一个数据点，提取该数据点邻域内的若干个点，计算该数据点与若干个点的平均距离；

由目标三维点云数据中的所有点计算总平均距离；

将每个数据点的平均距离分别与总平均距离进行比较得到该数据点对应的深度差，当深度差大于预设全局阈值时，则该数据点测得的深度值为离群点，从去噪后的目标三维点云数据中剔除该点；否则，保留该数据点，从而得到去噪后的目标三维点云数据。

作为上述方法的一种改进，所述从去噪后的目标三维点云数据中提取对应同一区域的两组点云数据，分别设定为固定点云和移动点云，对两组点云数据分别提取 FPFH特征，并进行FPFH特征匹配，利用对应点关系计算得到粗配准变换矩阵；具体包括：

步骤1)从去噪后的目标三维点云数据中取出对应同一区域的两组点云数据，将其中一组点云数据设定为固定点云，另一组设定为移动点云；

步骤2)从固定点云和移动点云中分别取出每一个数据点，提取各自邻域内若干个数据点，并对其邻域信息建立快速直方图，提取FPFH特征；

步骤3)从移动点云中随机选择K个数据点，遍历固定点云，寻找与K个数据点中某个点的FPFH特征相似的点，得到一组对应点；

步骤4)利用对应点估计粗配准变换矩阵和配准误差；

步骤5)使用粗配准变换矩阵对移动点云进行变换；

步骤6)计算配准误差，当配准误差小于设定阈值时，转至步骤7)；否则转至步骤2)；

步骤7)得到确定的粗配准变换矩阵。

作为上述方法的一种改进，所述使用粗配准变换矩阵对移动点云进行变换，并进行迭代最近点法配准，得到精配准变换矩阵；具体包括：

步骤1)使用粗配准变换矩阵对移动点云进行变换得到粗配准的移动点云；

步骤2)从粗配准的移动点云和固定点云中分别取点集，根据点云数据的相似特征，从这两个点集中找到表征同一目标的点，组成两个集合，包括来自固定点云的集合p＝(p

步骤3)由集合p和q初步估算得到初始旋转矩阵R

步骤4)根据下式计算第i次迭代的旋转矩阵R

T

其中，R

步骤5)对q依次使用旋转矩阵R

步骤6)将当前的旋转矩阵R

作为上述方法的一种改进，所述使用精配准变换矩阵对目标三维点云数据进行配准，经栅格化处理后和场景三维点云数据进行融合，得到融合后的三维点云数据；具体包括：

采用精配准变换矩阵对移动点云进行配准；

将配准后的移动点云划分为不同的网格，对每个网格中的点进行处理：如果点云在这个网格内只有一个点，这个点即为合并后点云中的点，而如果同一个网格中存在多个点，将这多个点合并到这些点的质心；

将合并后的移动点云和场景点云进行合并，得到融合后的三维点云数据。

一种用于行星表面探测的亚像素测量多源数据融合系统，其特征在于，所述系统包括：点云数据获取模块、预处理模块、目标提取模块、滤波处理模块、粗配准变换模块、精配准变换模块和融合输出模块；其中，

所述点云数据获取模块，用于接收飞行时间相机采集的待测行星表面的图像和深度信息，经融合处理得到三维点云数据；

所述预处理模块，用于对三维点云数据进行预处理；

所述目标提取模块，用于对预处理后的三维点云数据进行目标提取，得到场景三维点云数据和目标三维点云数据；

所述滤波处理模块，用于对目标三维点云数据进行滤波处理，得到去噪后的目标三维点云数据；

所述粗配准变换模块，用于从去噪后的目标三维点云数据中提取对应同一区域的两组点云数据，分别设定为固定点云和移动点云，对两组点云数据分别提取FPFH 特征，并进行FPFH特征匹配，利用对应点关系计算得到粗配准变换矩阵；

所述精配准变换模块，用于使用粗配准变换矩阵对移动点云进行变换，并进行迭代最近点法配准，得到精配准变换矩阵；

所述融合输出模块，用于使用精配准变换矩阵对目标三维点云数据进行配准，然后和场景三维点云数据进行融合，得到融合后的三维点云数据。

与现有技术相比，本发明的优势在于：

1、本发明的方法对图像数据的采集能够不受外界照明光线的影响，即便是在星体黑暗的情况下也能采集到星体表面环境的图像数据；

2、本发明的方法使用粗配准和精配准结合，极大的提高了配准的精度；

3、本发明利用配准实现了多次采集的点云数据融合，提高了目标结构测量的精度。

附图说明

图1是本发明的实施例1用于行星表面探测的亚像素测量多源数据融合方法的流程图；

图2是本发明的实施例2用于行星表面探测的亚像素测量多源数据融合系统的组成图。

201、飞行时间相机 202、点云数据获取模块

203、预处理模块 204、目标提取模块

205、滤波处理模块 206、粗配准变换模块

207、精配准变换模块 208、融合输出模块

具体实施方式

针对现有技术存在的问题，本发明实施例的目的是提供一种用于行星表面探测的亚像素测量多源数据融合方法及系统，通过安装在无人探测车上的使用飞行时间(Time OfFlight，TOF)相机，按照预设频率采集行星表面的环境图像，生成三维点云数据发送，其对图像数据的采集不受外界照明光线的影响，即便是在星体黑暗的情况下也能采集到星体表面环境的图像数据。无人探测车对多个三维点云数据进行亚像素测量多源数据融合计算，从而得到高精度的点云图像，这些点云图像可以用来导航定位和三维重建等应用。

本方法具体方法包括：利用安装在无人探测车接收飞行时间相机定时采集的目标星体表面环境的图像和深度信息，对图像和深度信息进行融合，生成三维点云数据；对三维点云数据进行预处理，得到预处理后的三维点云数据作为初始点云数据，并把初始点云数据存入数据列表；使用基于主平面分析的面拟合目标提取算法对初始点云数据进行目标提取，分别得到场景的三维点云数据和目标点的三维点云数据，并把场景的三维点云数据存入数据列表；使用K近邻滤波方法对提取后的目标点的三维点云数据滤波处理，得到去噪后的目标三维点云数据，并把去噪后的目标三维点云存入数据列表；对数据列表中的两组相同目标的不同点云数据进行FPFH特征提取，得到目标的FPFH特征，对两组点云的FPFH特征进行匹配，利用对应点关系计算粗配准变换矩阵，并存入数据列表；对第二组点云使用粗配准变换矩阵变换；对两组点云使用法向量夹角点云采样算法进行点云采样，对采样后的点云数据进行迭代最近点法配准，得到精配准变换矩阵；从数据列表提取滤波后的三维点云，使用变换矩阵进行变换，得到精配准后的三维点云数据，并将其存入数据列表；提取场景的三维点云数据和配准后的三维点云数据进行融合，得到多源数据融合后的三维点云数据，并将其存入数据列表。

下面结合附图和实施例对本发明的技术方案进行详细的说明。

实施例1

如图1所示，本发明的实施例1提供了一种用于行星表面探测的亚像素测量多源数据融合方法，通过安装在无人探测车上的使用飞行时间相机，对行星的表面进行测量，生成三维点云数据。通过对三维点云数据进行分析计算，得到行星及小行星的表面结构信息。本发明实施例提供的用于行星表面探测的亚像素测量多源数据融合方法，在不受环境光线影响的情况下，实现了全自动化的行星表面信息融合，得到高精度的点云数据。

具体包括以下步骤：

步骤110，飞行时间(TOF)相机根据图像采集指令拍摄行星表面的环境图像信息，经过TOF相机的处理单元，对采集到的图像环境信息进行分析处理后生成三维点云数据。

其中，三维点云数据包括标记图形的三维点云数据，且三维点云数据具有对应的采集时间数据；TOF相机具有相机ID。

具体的，TOF相机接收无人探测车控制器发送的图像采集指令，拍摄多帧行星表面的环境图像，并生成三维点云数据。TOF相机拍摄区域的环境图像时，保存图像采集的采集时间数据。其中，对行星的表面进行多次拍摄，拥有更多的数据信息可以提取到更多的表面结构特征细节信息，使得本实施例采集到数据更丰富和符合需求。

本实施例采用的TOF相机通过内置激光发射模块发射光信号，并通过内置的互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)像素阵列来获取三维场景的距离景深数据，成像率可达上百帧每秒，同时结构紧凑，功耗低。对于目标场景的三维数据获取方式为：TOF相机使用振幅调制的光源，该光源主动地照射目标场景，并与锁定在同一频率的每个像素上的相关传感器耦合。其内置激光发射的发射光和发射光照射到场景物体上后发射的反射光具有相移，通过检测发射光和反射光之间的不同的相移量获得多次测量。内置激光发射器的振幅调制在 10-100MH的调制频率区间，而频率控制着TOF相机传感器深度范围和深度分辨率。同时TOF相机的处理单元在每个像素上单独地执行相位差进行计算，得出目标场景的深度数据，TOF相机的处理单元通过对反射光的反射强度进行分析计算，得出目标场景的强度数据，再结合获取的二维数据进行分析处理后得到目标场景的三维点云数据。

本实施例中，TOF相机采用固态激光器或者LED阵列发射波长在850nm附近的光波发射器作为内置激光发射器。发射光源为通过连续调制方式得到的连续方波或正弦波。TOF相机处理单元通过计算多个采样样本中的发射光与反射光的相位角以及目标物体的距离，并对反射光强度转换的电流强度进行分析计算得到强度数据，然后再结合光学相机得到的二维图像数据进行融合处理，得到目标场景的三维点云数据。

在对目标区域的环境图像进行拍摄过程中，由于是通过TOF相机主动发射的非可见光进行场景拍摄，所以即使在黑暗情况下也能得到清晰的目标区域环境图像的三维点云数据。因此，本方法在无光照环境中也适用。

步骤120，对TOF相机获取的三维点云数据进行预处理。

具体的，提取三维点云数据中的每个数据点，判断点(X,Y,Z)的位置，X、Y 和Z分别表示点的三个维度的坐标位置；

将每个点的位置与预设全局图像的范围，当坐标不在全局范围区域内时，则该点测得为错误点，从三维点云数据中剔除该像素点；否则，保留该点，从而得到预处理后的三维点云数据，并存储至数据列表。

步骤130，对三维点云目标提取，得到场景三维点云数据和目标的三维点云数据。

具体的，选用特定的目标提取方法对接收到的三维点云数据进行目标提取处理。例如，本实施例中，使用如下方法对三维点云数据进行目标提取处理：

1)从预处理后的三维点云数据中提取一个数据点M，利用邻域中点的分布方法来计算该数据点M的法向量；

2)由数据点M的法向量，使用PCA法计算得到待拟合平面的法向量，进而得到待拟合平面Ax+By+Cz＝D中的三个系数A、B和C的初值，利用预处理后的三维点云数据中所有点的均值计算得到D的初值；

3)利用预处理后的三维点云数据中每一个数据点对A、B、C和D的值迭代优化，得到优化后的拟合平面Ax+By+Cz＝D；

4)从预处理后的三维点云数据中取出一个数据点代入优化后的拟合平面 Ax+By+Cz＝D，判断该数据点是否属于拟合平面，判断为是，则将数据点提取到场景点云，否则，提取到目标点云；

5)重复4)直至完成对预处理后的三维点云数据中每个数据点的提取，进而得到场景三维点云数据和目标三维点云数据，并存入数据列表。

步骤140，使用滤波方法对提取后的目标点的三维点云数据滤波处理，得到去噪后的目标三维点云数据。

具体的，选用特定的目标提取方法对接收到的三维点云数据进行滤波处理。例如，本实施例中，使用如下方法对三维点云数据进行滤波处理：

从点云取出每一点q

计算所有点的平均距离

将每个点的与邻域内点的平均距离

步骤150，对数据列表中的两组相同目标的不同点云数据进行FPFH特征提取，得到目标的FPFH特征，对两组点云的FPFH特征进行匹配，利用对应点关系计算粗配准变换矩阵。具体包括：

1)从去噪后的目标三维点云数据中取出对应同一区域的两组点云数据，将其中一组点云数据设定为固定点云，另一组设定为移动点云；

2)从固定点云和移动点云中分别取出每一点，提取各自邻域内若干个点，并对其邻域信息建立快速直方图，提取FPFH特征；

3)从移动点云中随机选择K个点，遍历固定点云，寻找与K个点中某个点的 FPFH特征相似的点，得到一组对应点；

4)利用对应点估计粗配准变换矩阵和配准误差；

5)使用粗配准变换矩阵对移动点云进行变换；

6)重复2)至6)，当配准误差小于设定阈值时，转至7)；

7)得到确定的粗配准变换矩阵，存入数据列表。

步骤160，对目标进行迭代最近点法配准，得到变换矩阵和配准后的数据。

无人探测车控制器选用精配准算法对接收到的三维点云数据进行精配准运算，得到配准矩阵。例如，本实施例中，使用如下方法对三维点云数据进行迭代最近点运算：

将一组对应的点云数据分别规定为移动点云和固定点云。

在移动点云中取点集，找出固定点云中的对应点集数据。计算旋转矩阵和平移矩阵使得误差最小。对移动点云使用求得的旋转矩阵和平移矩阵进行旋转和平移变换，得到新的对应点集。

重复执行上述运算，直到得到符合所需精度要求的旋转矩阵和平移矩阵，并将旋转矩阵和平移矩阵合并为变换矩阵。

具体为：

1)使用粗配准变换矩阵对移动点云进行变换得到粗配准的移动点云；

2)从粗配准的移动点云和固定点云中分别取点集，根据点云数据的相似特征，从这两个点集中找到表征同一目标的点，组成两个集合，包括来自固定点云的集合p＝(p

3)由集合p和q初步估算得到初始旋转矩阵R

4)根据下式计算第i次迭代的旋转矩阵R

T

其中，R

5)对q依次使用旋转矩阵R

6)将当前的旋转矩阵R

利用粗配准变换矩阵和精配准变换矩阵分别对场景点云和移动点云进行变换；本方法使用粗配准和精配准结合，极大的提高了配准的精度。

步骤170，使用精配准变换矩阵对目标三维点云数据进行配准，经栅格化处理后和场景三维点云数据进行融合，得到融合后的三维点云数据；具体包括：

采用精配准变换矩阵对移动点云进行配准；

将配准后的移动点云划分为不同的网格，对每个网格中的点进行处理：如果点云在这个网格内只有一个点，这个点即为合并后点云中的点，而如果同一个网格中存在多个点，将这多个点合并到这些点的质心；

将合并后的移动点云和场景点云进行合并，得到融合后的三维点云数据，并将其存入数据列表。本方法利用配准实现了多次采集的点云数据融合，提高了目标结构测量的精度。

本发明实施例提供的一种用于行星表面探测的亚像素测量多源融合方法，通过安装在无人探测车上的使用飞行时间相机，对行星的表面进行测量，生成三维点云数据。通过对三维点云数据进行分析计算，得到行星及小行星的表面结构信息。本发明实施例提供的用于行星表面探测的亚像素测量多源数据融合方法，在不受环境光线影响的情况下，实现了全自动化的行星表面信息融合，得到高精度的点云数据。

实施例2

基于上述方法，如图2所示，本发明的实施例2提出了一种用于行星表面探测的亚像素测量多源融合系统。该系统包括：飞行时间相机201，点云数据获取模块 202、预处理模块203、目标提取模块204、滤波处理模块205、粗配准变换模块206、精配准变换模块207和融合输出模块208；其中，

飞行时间相机201，安装在无人探测车上，用于定时采集目标星体表面环境的图像和深度信息；

点云数据获取模块202，用于接收飞行时间相机采集的待测行星表面的图像和深度信息，经融合处理得到三维点云数据；

预处理模块203，用于对三维点云数据进行预处理，去除由于飞行时间相机多路径干扰等因素造成的误差；

目标提取模块204，用于对预处理后的三维点云数据使用主成分分析法进行目标的提取，得到移动点云数据和场景点云数据；

滤波处理模块205，用于对目标三维点云数据进行滤波处理，得到去噪后的目标三维点云数据；

粗配准变换模块206，用于从去噪后的目标三维点云数据中提取对应同一区域的两组点云数据，分别设定为固定点云和移动点云，对两组点云数据分别提取FPFH 特征，并进行FPFH特征匹配，利用对应点关系计算得到粗配准变换矩阵；

精配准变换模块207，用于使用粗配准变换矩阵对移动点云进行变换，并进行迭代最近点法配准，得到精配准变换矩阵；

融合输出模块208，用于使用精配准变换矩阵对目标三维点云数据进行配准，然后和场景三维点云数据进行融合，得到融合后的三维点云数据。

实施例3

一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例1的方法。

实施例4

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行实施例1的方法。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。