基于视触数据融合的多模态细分类系统

摘要

随着自动化时代的到来,机械臂已经越来越多的应用到了工业生产以及人们的日常生活中,利用机械臂进行物体的分类抓取更是广泛应用于有害物分拣、航天探索等重要领域,然而实现对物体的分类目前还存在着一些不足,如大部分的分类系统主要依靠机械臂结合视觉来实现,这种单一视觉的分类系统在光线不足或物体外观相似但分属不同的工作环境并不能起到很好的效果。针对多种外观类似物体的精细分类开展研究,通过深度相机与压敏传感器综合获取物体的外观、材质等信息,然后将这些信息数据传输到具有双输入的卷积神经网络模型,借助机械臂实现对具有相似外观不同材质物体的细分类。结果表明:所述系统在实际机械臂测试环境下对物体的正确识别率达到了98.5%,相较于AlexNet与VGG16两种传统的单一视觉分类模型分别提高了35.7%和24%,可见融合物体的视觉与触觉信息的神经网络模型能够完成物体的细分类任务。