基于细粒度多模态共同表征的人-物体交互行为检测方法

摘要

一种基于细粒度多模态共同表征的人‑物体交互行为检测方法。通过整理样本图像中的人‑物体对及人‑物体交互行为，并借助三维人体重建方法及三维人体‑物体空间布局生成方法提取标记后的样本图像中的三维信息作为训练集，通过训练集对细粒度多模态共同表征模型进行训练后用于检测测试数据，得到人‑物体交互行为的检测分数实现交互行为检测。本发明能够准确地实现人‑物体交互行为进行检测，并同时获取到交互中的人与物体的二维和三维几何表征。