基于特征复用和类时序注意力机制的三维场景字幕生成方法

摘要

本发明公开了一种基于特征复用和类时序注意力机制的三维场景字幕生成方法，它属于三维点云和图像字幕技术的联合领域，解决了传统的三维场景密集字幕方法中，点云特征信息丢失过多、未充分考虑上下文信息、以及隐藏状态信息量单一的问题。本发明首次提出了基于类时序注意力机制的模型架构用于三维场景字幕生成，它包括特征复用的上下文投票网络模型和类时序注意力机制的字幕生成网络模型。特征复用的上下文投票网络模型考虑到点云之间的上下文信息，根据点云之间的上下文信息来挖掘更完整的视觉特征，并恢复投票过程中有价值但未被关注的视觉特征，更加准确地将每个点投射到存在于物体表面的中心位置，进而为三维场景中每个对象生成三维对象提案，最后字幕生成模型通过采用类时序注意力机制为每个三维对象生成相应字幕。除此之外，模型训练时采用“两阶段”训练方法，有效过滤掉生成的低质量对象提案，类时序注意力机制增强描述效果。本发明在ScanNet和ScanRefer数据集上进行了大量的实验验证，取得了比较有竞争力的评价结果。