Android移动端室内场景三维重建及语义分割方法

摘要

本发明提出一种Android移动端室内场景三维重建及语义分割方法，通过Android的Renderscript框架完成三维重建中ICP部分、体素模型融合部分以及光线追踪算法部分的并行计算，利用移动端的IMU设备采集角速度以及加速度得到两帧之间的初始相机姿态变化估计，实现快速三维重建。通过设计轻量化的二维室内场景语义分割CNN网络，并根据三维重建中所计算得到的相机姿态将语义分割结果映射到三维体素空间从而完成对移动端三维重建模型的体素级别语义分割。由于仅仅使用了二维CNN使得整个网络模型参数大大减少，可以很方便的将语义分割的深度学习框架放置在普通的Android设备上，从而实现一整套的Android移动端三维重建与语义分割的解决方案。