一种多模态的心力衰竭的识别分类方法及装置

摘要

本发明涉及数据处理领域，公开了一种多模态的心力衰竭的识别分类方法及装置，包括：获取患者的胸部X光图片和电子健康记录数据并进行预处理，将预处理后的胸部X光图片输入到改进的VGG16网络模型中，提取图像特征数据并做初步分类；将预处理后的临床文本数据输入到LDA模型中，提取与患者有关的文本特征数据；将图像特征数据和文本特征数据传输到卷积神经网络中进行识别患者是或否患有心力衰竭症状。本发明利用VGG16网络模型从患者的胸部X光图片中获取心胸比率，并实现初步分类，然后使用LDA模型提取患者的临床文本数据，最后二者相结合运用文本分类的卷积神经网络来判断患者是否患有心力衰竭，进一步提升了对于心力衰竭患者诊断的效率。

说明书

技术领域

本发明涉及数据处理领域，特别涉及一种多模态的心力衰竭的识别分类方法及装置。

背景技术

心力衰竭是一种全球性流行病，部分原因是全球人口老龄化。胸部X光是最常见的非侵入性放射测试之一，可提供关于患者心脏状况的主要信息，然而，全科医生通常很难使用胸部X光图片对心力衰竭做出精确的诊断。

目前已有利用深度学习去使用胸部X光图片检测心脏肥大的技术，但市场上利用深度学习技术去使用胸部X光图片进行检测心力衰竭的研究仍然很少。

发明内容

为了解决现有技术缺乏利用深度学习技术在胸部X光图片的基础上对心里衰竭进行诊断的问题，本发明提供了一种多模态的心力衰竭的识别分类方法及装置。

本发明的技术方案如下：

一种多模态的心力衰竭的识别分类方法，包括以下步骤：

S1：获取患者的胸部X光图片和电子健康记录数据并进行预处理，得到调整为大小一致的胸部X光图片及整合好的临床文本数据；

S2：将预处理后的胸部X光图片输入到改进的VGG16网络模型中，提取图像特征数据并做初步分类；

S3：将预处理后的临床文本数据输入到LDA模型中，提取与患者有关的文本特征数据；

S4：将图像特征数据和文本特征数据传输到卷积神经网络中进行识别患者是或否患有心力衰竭症状。

进一步地，所述S1的预处理包括将胸部X光图片的大小调整和修剪为1024×1024像素，分辨率为72dpi的图片，并使用电子健康记录数据中的出院摘要作为文本数据源进行整合。

进一步地，所述S2中改进的VGG16网络模型包括15层网络，由若干组卷积层及最大池化层组成的卷积部分和分类器组成，前13层网络构成卷积部分，对胸部X光图片进行图像特征的提取，后2层网络构成分类器，对图像进行分类。

进一步地，所述S2中通过使用迁移学习的通用机器学习法提取数据集小的胸部X光图片中的图像特征。

进一步地，所述S2中的VGG16网络模型，在包含14197122个分类为1000个类别的图像的ImageNet数据集上进行了预训练，在训练期间，传输的卷积部分被冻结，分类器在胸部X光图片数据集上进行了训练，对图片进行放大或缩小或平移或旋转或数据增强的处理。

进一步地，所述S3的LDA模型是利用先验分布对文本特征数据进行似然估计然后得到后验分布的算法模型。

进一步地，所述S3通过采用词袋法，将每一篇文本视为一个词频向量，接着将文本信息转化为易于建模的数字信息。

进一步地，所述S4的卷积神经网络包括输入层、卷积层、最大池化层与完全连接层，卷积神经网络提取文本特征数据作为与卷积层连接的输入层。

本发明提供了一种多模态的心力衰竭的识别分类设备，所述识别分类设备包括：

存储器、处理器，通信总线以及存储在所述存储器上的识别分类程序，

所述通信总线用于实现处理器与存储器间的通信连接；

所述处理器用于执行所述识别分类程序，以实现如上述中任意一项所述的识别分类方法的步骤。

本发明还提供了一种计算机可读存储介质，存储有可执行指令，所述存储介质上存储有识别分类程序，所述识别分类程序被处理器执行时实现上述中任意一项所述的识别分类方法的步骤。

本发明的有益效果至少包括以下：

(1)基于卷积神经网络在识别正面或负面分类的文本中表现更优，可以显著提高判断心力衰竭症状的准备性；

(2)本发明首先利用VGG16网络从患者的胸部X光图片中获取心胸比率，并实现初步分类，然后使用LDA模型提取患者的临床文本数据，最后二者相结合运用文本分类的卷积神经网络来判断患者是否患有心力衰竭，进一步增强了对于心力衰竭患者诊断的效率。

附图说明

图1为本发明的多模态的心力衰竭的识别分类方法的整体结构示意图。

图2为本发明的VGG16网络模型的整体结构示意图。

图3为本发明的LDA模型的使用示意图。

图4为本发明的卷积神经网络的整体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1-4所示，本发明提供了

一种多模态的心力衰竭的识别分类方法，包括以下步骤：

S1：获取患者的胸部X光图片和电子健康记录数据并进行预处理，得到调整为大小一致的胸部X光图片及整合好的临床文本数据；

所述S1的预处理包括将胸部X光图片的大小调整和修剪为1024×1024像素，分辨率为72dpi的图片，并使用电子健康记录数据中的出院摘要作为文本数据源进行整合。

胸部X光图片在临床上具有重要的作用，医生可以通过图片观察病人的心脏是否有扩张的情况；同时获取得到的医院的电子健康记录数据，在不同的数据库上往往都存有较大的区别，且医生在临床记录患者的数据方式也大不相同，因此需要先对电子健康记录数据进行预处理，将患者的临床数据整合在一起，再从中获取所需要的指标，本发明获取电子健康记录数据中的出院摘要往往包括有患者的基本信息以及射血分数、血压等于患者疾病相关的数据。

S2：将预处理后的胸部X光图片输入到改进的VGG16网络模型中，提取图像特征数据并做初步分类；

所述S2中改进的VGG16网络模型包括15层网络，由若干组卷积层及最大池化层组成的卷积部分和分类器组成，前13层网络构成卷积部分，前13层网络由13层卷积层组成，从接收胸部X光图片一端开始起算，第二层卷积层、第四层卷积层、第七层卷积层、第十层卷积层和第十三层卷积层后面均连接有最大池化层，卷积部分对胸部X光图片进行图像特征的提取，后2层网络构成分类器，对图像进行分类，分类为“心脏正常”或“心脏肿大”。

鉴于存在有一些数据集小的情况，而要从数据集小的图片当做获取图像特征，可以通过使用迁移学习的通用机器学习法提取数据集小的胸部X光图片中的图像特征，迁移学习的概念是转移和使用在一项任务中学习的知识，以改进另一项任务的学习。

本发明中的VGG16网络模型，在包含14197122个分类为1000个类别的图像的ImageNet数据集上进行了预训练，在训练期间，传输的卷积部分被冻结，也可以称为没有更新，只有分类器在胸部X光图片数据集上进行了训练，对图片随机进行放大或缩小或平移或旋转或进行数据增强的处理。

因为胸部X线是不对称的，所以本发明没有进行深度学习中通常会进行的左右反转和剪切变形，而是应用二元交叉熵作为损失函数，随机梯度下降(SGD)作为优化器，并以0.0001的学习率作为150个时期训练模型，本发明使用验证数据集的准确性和对数损失作为评估指标，并计算灵敏度和特异性。

S3：将预处理后的临床文本数据输入到LDA模型中，提取与患者有关的文本特征数据；

隐含狄利克雷分布(Latent Dirichlet Allocation,LDA)是一种基于贝叶斯算法模型，利用先验分布对数据进行似然估计并最终得到后验分布的一种方式。LDA是一种比较常用的主题模型，LDA假设文档主题是多项分布，多项分布的参数(先验分布)是服从Dirichlet分布，其实LDA是一种三层的贝叶斯模型。

LDA是一种非监督机器学习技术，可以用来识别大规模文档集(documentcollection)或语料库(corpus)中潜藏的主题信息。它采用了词袋(bag of words)的方法，这种方法将每一篇文档视为一个词频向量，从而将文本信息转化为了易于建模的数字信息，它认为一篇文档是由一组词构成的一个集合，词与词之间没有顺序以及先后的关系，一篇文档可以包含多个主题，文档中每一个词都由其中的一个主题生成。

如图3所示，对于图上的θ、β、z的参数估计，基于贝叶斯算法可以得到如下分布式公式：

S4：将图像特征数据和文本特征数据传输到卷积神经网络中进行识别患者是或否患有心力衰竭症状。

所述S4的卷积神经网络包括输入层、卷积层、最大池化层与完全连接层，卷积神经网络提取文本特征数据作为与卷积层连接的输入层。

文本数据首先被表示为一系列单词嵌入，其中每个单词都被投影到分布式表示中。单词嵌入本质上是特征提取器，在它们的维度上编码单词的语义特征。单词嵌入在Google News的1000亿字上预先训练，改善了自然语言处理系统的结果，并减少了训练模型所需的数据量。在本发明中，嵌入的文本被用作卷积层的输入，并最初保持字向量不变，只学习模型的其他参数。

尽管对超参数的调整很少，但这个简单的模型在多个基准上取得了优异的结果，这表明预先训练的向量是“通用的”特征提取器，可以用于各种分类任务。

本发明提供了一种多模态的心力衰竭的识别分类设备，所述识别分类设备包括：

存储器、处理器，通信总线以及存储在所述存储器上的识别分类程序，

所述通信总线用于实现处理器与存储器间的通信连接；

所述处理器用于执行所述识别分类程序，以实现如上述中任意一项所述的识别分类方法的步骤。

本发明还提供了一种计算机可读存储介质，存储有可执行指令，所述存储介质上存储有识别分类程序，所述识别分类程序被处理器执行时实现上述中任意一项所述的识别分类方法的步骤。

基于卷积神经网络在识别正面或负面分类的文本中表现更优，可以显著提高判断心力衰竭症状的准备性。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。