一种多模态健身知识图谱理解与构建方法

摘要

本发明专利提供了一种多模态健身知识图谱理解与构建方法，其特征在于：(1)采用健身视频和健身对应的解说文字作为多模态模型的输入，构建了一种基于深度神经网络的健身动作示范动作语义理解与提取的标准知识图谱三元组提取方法。该方法基于视频特征的提取识别动作种类，基于解说文字的词向量特征的提取识别动作名称，基于视频特征与词向量特征的提取与融合匹配两者是否对应，若一致则建立“运动动作名称：包含：对应演示动作视频”三元组。(2)基于健身知识图谱库的“学科——运动种类——运动项目——运动动作名称”的传统知识图谱架构，实现了对知识图谱的运动动作名称进一步添加“运动动作名称：包含：对应演示动作视频”这种三元组的方法，实现了一种多模态的健身知识图谱的构建。

说明书

一、技术领域

知识图谱、自然语言处理、计算机视觉、人工智能

二、背景技术

2.1通用技术方法介绍

知识图谱(Knowledge Graph)是人工智能的重要分支技术，它是结构化的语义知识库，用于以符号形式描述物理世界中的概念及其相互关系，其基本组成单位是“实体-关系-实体”三元组，以及实体及其相关属性-值对，实体间通过关系相互联结，构成树状的知识结构。

长短期记忆网络(LSTM，Long Short-Term Memory)是一种时间循环神经网络，是为了解决一般的循环神经网络存在的长期依赖问题而专门设计出来的，所有的循环神经网络都具有一种重复神经网络模块的链式形式。

卷积运算是深度卷积神经网络的重要模块，其本质是类似于神经元输出功能的一个权值共享的节点，用于提取特征。其中，一维卷积是仅对特征的某一个维度进行卷积的卷积运算。

2.2相似方法介绍

一种人体运动知识图谱构建方法及系统(申请号：202210085083.3)[1]是一种和本申请类似的体育知识图谱构建的方法。

本方法与其不同之处在于：(1)文献[1]采用人体骨骼关键点方法识别关键帧的人体姿态，并由一些列姿态构成动作，而本方法用基于I3D方法[2]的视频特征提取并直接对动作进行分类；(2)在生成知识图谱三元组数据的过程中，文献[1]采用杰拉德相似度度量的方法判断一个三元组是否已经存在于图谱中，而本方法采用了分级的知识谱图构建方式，即学科——运动种类——运动项目——运动动作名称——动作视频，动作视频仅在动作名——动作视频这一层级进行图谱的构建，若已经存在，则不构建，保证了体育知识谱图结构的唯一性。

三、发明内容

本发明专利提供了一种多模态健身知识图谱理解与构建方法，其采用健身视频和健身对应的解说文字作为多模态模型的输入，构建了一种基于深度神经网络的健身动作示范动作语义理解与提取的标准知识图谱三元组提取方法。该方法基于视频特征的提取识别动作种类，基于解说文字的词向量特征的提取识别动作名称，基于视频特征与词向量特征的提取与融合匹配两者是否对应，若一致则建立“运动动作名称：包含：对应演示动作视频”三元组。基于健身知识图谱库的“学科——运动种类——运动项目——运动动作名称”的传统知识图谱架构，实现了对知识图谱的运动动作名称进一步添加“运动动作名称：包含：对应演示动作视频”这种三元组的方法，实现了一种多模态的健身知识图谱的构建。

四、附图说明

图1是本申请方法生成“运动动作名称：包含：对应演示动作视频”三元组的流程图。其通过I3D方法[2]提取视频特征，并进一步通过全连接层识别动作的种类；同时通过词向量提取[4]生成词向量特征并通过长短期记忆网络识别文字的运动动作名称描述对象；最后通过视频、文字多模态特征判定两者描述的内容是否一致并确认所属关系。

图2是本申请方法为健身知识谱图库添加“运动动作名称：包含：对应演示动作视频”这种三元组的方法。健身知识谱图库采用了分级的知识谱图构建方式，即学科——运动种类——运动项目——运动动作名称——动作视频的图谱结构，每级每一个实体名称都是唯一的。当需要添加“运动动作名称：包含：对应演示动作视频”这种三元组时，基于健身知识图谱库的“学科——运动种类——运动项目——运动动作名称”的传统知识图谱架构，寻找唯一的运动动作名称，并加入三元组信息。

五、具体实施方式

本申请通过2个步骤，实现了一种多模态健身知识图谱理解与构建方法。

步骤一：识别“运动动作名称：包含：对应演示动作视频”三元组

通过I3D方法[2]提取视频特征，并进一步通过全连接层识别动作的种类；同时通过词向量提取[4]生成词向量特征并通过长短期记忆网络识别文字的运动动作名称描述对象；最后通过视频、文字多模态特征判定两者描述的内容是否一致并确认所属关系，即“运动动作名称：包含：对应演示动作视频”三元组。

步骤二：添加“运动动作名称：包含：对应演示动作视频”三元组

健身知识谱图库采用了分级的知识谱图构建方式，即学科——运动种类——运动项目——运动动作名称——动作视频的图谱结构，每级每一个实体名称都是唯一的。当需要添加“运动动作名称：包含：对应演示动作视频”这种三元组时，基于健身知识图谱库的“学科——运动种类——运动项目——运动动作名称”的传统知识图谱架构，寻找唯一的运动动作名称，并加入三元组信息。

参考文献：

[1]中国发明专利：一种人体运动知识图谱构建方法及系统，申请号：202210085083.3

[2]

[3]Jiefeng Li，Chao Xu，Zhicun Chen，Siyuan Bian，Lixin Yang，Cewu Lu：HybrIK：A Hybrid Analytical-Neural Inverse Kinematics Solution for 3D HumanPose and Shape Estimation.CVPR 2021： 3383-3393

[4]Tomas Mikolov，Kai Chen，Greg Corrado，and Jeffrey Dean.Efficientestimation of word representations in vector space.ICLR Workshop，2013。