一种人手装配技能解析的方法及系统

摘要

本发明涉及一种人手装配技能解析的方法及系统。该方法包括：采集人手装配动作演示过程中的视频特征以及指尖力特征；根据所述视频特征构建装配场景图，并利用图网络模型提取所述装配场景图的空间特征；利用时间卷积网络提取连续的所述空间特征的全局时间信息，确定所述人手装配动作演示过程中的时空特征；在提取所述时空特征的同时，利用长短期记忆网络模型，根据所述指尖力特征确定分割点特征；将所述空间特征以及所述分割点特征进行空间‑分割点特征池化，确定空间‑分割点特征；对所述时空特征以及所述空间‑分割点特征进行加权融合，确定基元动作序列。本发明能够得到平滑无毛刺的基元动作序列，且能够精确地识别装配动作的分割点信息。