能够处理局部遮挡物的AR成像虚拟试鞋方法及装置

摘要

本发明公开了一种能够处理局部遮挡物的AR成像虚拟试鞋方法及实现该方法的装置。所述方法步骤主要包括：步骤1，通过Mask R‑CNN神经网络分割并识别脚部图像中的脚踝目标、脚面或鞋目标和遮挡物目标，以及脚踝目标、脚面或鞋目标和遮挡物目标的遮挡关系；利用PVnet算法计算脚面或鞋目标的预测6D位姿；基于试穿鞋子的3D模型生成对应预测6D位姿的试穿鞋子图像，将所述试穿鞋子图像覆盖在所述脚部区域图像中的脚面或鞋目标上，并维持遮挡关系。本方案能够对于识别拍摄图像中有意外物体进入遮挡脚部的情况进行有效处理，依然能够完整准确地在拍摄图像中脚部显示鞋子的AR三维模型，同时能够较好地还原裤子和脚踝这些部分的遮挡效果，提高用户试穿体验。