一种人行道扫地机器人时空双流融合卷积神经网络动态避障方法

摘要

本发明公开了一种人行道扫地机器人时空双流融合卷积神经网络动态避障方法。首先通过双目摄像头实时获取人行道扫地机器人图像信息。利用Rank支持向量机将连续光流序列压缩总结成单幅有序光流图，实现对视频时域结构的建模。然后将处理好的图像输入神经网络模型，对于空间域，将视频的单帧RGB图像作为输入，送入VGGNet_16模型；对于时间域，将多帧叠加后的光流图像作为输入，送入C3Dnet模型。最后将两个模型的多帧Softmax输出加权融合作为输出结果，得到一个多模型融合的人行道扫地机器人动态避障方法。本发明能够使扫地机器人在人行道环境下更有效地利用动态障碍物的运动信息，减少与障碍物的碰撞概率，使扫地机器人能够更加自主地在环境中高速度、高效率地避障。