基于双向跨模态交互的机器人室内场景语义理解方法

摘要

本发明公开了一种基于双向跨模态交互的机器人室内场景语义理解方法，涉及深度学习领域。本发明包括以下步骤：选取原始的室内场景RGB彩色图像、深度图图像以及所述原始的室内场景RGB彩色图像对应的真实语义分割图像，构成训练集；根据人眼视觉系统运作原理和跨模态信息的全局信息互补性构建卷积神经网络；将所述训练集输入到卷积神经网络进行多次训练，得到卷积神经网络分类训练模型。本发明从图像特征提取的完整性，人眼视觉系统运作原理等方面获取模型设计方向和思路，提升了全卷积神经网络，有效提高了图像分割性能。