基于图的人-物交互识别

摘要

提出了一种基于图的人与物体的交互(Human-Object Interactions,HOIs)识别方法.为了对静态图像中人与物体间丰富的交互关系进行有效的表示,采用具有强大关系建模能力的图结构为图像生成对应的人-物交互关系图.为了对图像中上下文(context)信息加以利用,提出了引入注意力机制的特征处理网络(Feature Processing Network,FPNet).通过图注意力(Graph Attention Network,GAT)网络完成对真实的HOIs的检测和识别.该方法在V-COCO数据集与HICO-DET数据集上进行了验证,并与其他方法进行了比较,结果表明该方法具有较好的效果.