基于注意力机制的增强特征描述子

摘要

传统手工获取特征描述子的方式不能保证特征点在非线性形变状态下进行正确匹配,无法有效解决图像存在较大形变时的特征描述问题.针对柔性生物组织MR影像特征点匹配问题,提出一种结合注意力机制的增强描述子.采用多层感知机对特征点位置信息进行编码并与特征点的初始描述子相结合,将图注意力神经网络中的自我注意与交叉注意的方法相结合,并运用消息传递方法传递节点信息.通过充分利用图注意力神经网络的层次性,以融合不同层次间的节点信息并最终获得特征描述子.在真实柔性生物组织MR影像数据集上的实验结果表明,该描述子相比SIFT、SURF、DAISY、GIH描述子的描述性能更优,且适用于真实MR影像的匹配任务.