一种通过拍照心电图获取心电ST段信息的系统

摘要

本发明公开了一种通过拍照心电图获取心电ST段信息的系统，包括心电图像读取模块、ST段异常诊断模块以及安卓手机APP功能模块；心电图像读取模块利用YOLOv5目标检测模型从手机拍摄的心电图报告中快速定位并提取出心电区域，得到无冗余信息的心电图像；ST段异常诊断模块利用卷积神经网络和ST段智能诊断算法判断ST段是否压低或抬高；安卓手机APP功能模块具有图像选取模块和结果反馈模块，图像选取模块通过手机摄像头拍摄或手机内置相册选取图片，帮助用户上传标准12导联心电图报告图像至平台；结果反馈模块输出ST段诊断结果；本发明能够根据用户所上传的标准12导联心电图报告，判断ST段有无异常，有效辅助患者综合考虑下一步的智能分析和医疗措施。

说明书

技术领域

本发明涉及移动医疗及医疗监护领域，具体涉及一种通过拍照心电图获取心电ST段信息的系统。

背景技术

心电图是一种通过追踪心电活动来检测心脏状况的无创医学检查方法，应用广泛。在常规心电图检查时，通常只安放4个肢体导联电极和V1～V66个胸前导联电极，记录为标准12导联心电图。由于心电信号由心电和结构变化产生，因此心电图包含大量直接反映心脏生理机能的信息，用于帮助诊断心电疾病如ST段压低或ST段抬高等疾病。

随着穿戴式心电设备的广泛普及，心电图成为了一种极其广泛且取得相对容易的医疗检查，而对心电图的诊断通常建立在心脏科医生的丰富医学知识和临床经验上。若患者通过家用穿戴式心电设备得到心电数据后前往医院问诊，繁琐的就医过程和高昂的时间成本将不利于患者进行心电疾病的实时诊断。因此，心电异常诊断APP的出现，不仅能帮助患者了解到心脏可能存在的疾病，还能帮助社会节约医疗资源。

目前，社会上流通量高的以图像存储的心电数据较少，且图片质量层次不齐，无法较好地为心电异常诊断神经网络模型的进一步究提供实用且充足的大型数据集，心电异常诊断神经网络的研究受阻。因此，将一维信号转变成二维图像，再运用旋转、背景叠加等图像增强方法创建心电图数据集能够很好地突破这一瓶颈。

目标检测是计算机视觉和数字图像处理的一个热门方向，也是近年来理论和应用的研究热点。运用目标检测技术提取出12导联心电图报告中的心电区域，并运用心电异常诊断算法提出一种算法简单、使用方便的通过拍照心电图获取心电ST段信息的系统，将是心电异常诊断领域的重要改进和突破。

发明内容

本发明正是针对现有技术中的问题，提供了一种通过拍照心电图获取心电ST段信息的系统，通过架构在安卓设备上的应用程序拍摄标准12导联心电图报告，利用YOLOv5目标检测模型快速定位并提取出心电区域，运用心电异常诊断算法判断ST段有无异常，有效辅助患者综合考虑下一步的智能分析和医疗措施，适用于移动医疗及医疗监护等领域。

为了实现本发明的目的，提供一种通过拍照心电图获取心电ST段信息的系统，其特征在于，包括心电图像读取模块、ST段异常诊断模块以及安卓手机APP功能模块，其中安卓手机APP功能模块包含图像选取模块和结果反馈模块；所述心电图像读取模块输出端连接ST段异常诊断模块输入端，所述图像选取模块的输出端连接心电图像读取模块输入端，ST段异常诊断模块输出端连接结果反馈模块的输入端。

具体地，所述心电图像读取模块用于处理患者用户所上传的标准12导联心电图图像数据，将采集到的数据经过预训练好的YOLOv5目标检测模型，进行心电图像部分的快速识别定位及提取，处理后传输至ST段异常诊断模块。

具体地，所述ST段异常诊断模块将经心电图像读取模块提取后的心电部分经过预训练好的卷积神经网络预测，使用ST段智能诊断算法诊断心电ST段是否有抬高或压低。

具体地，所述安卓手机APP功能模块包括图像选取模块和结果反馈模块；图像选取模块通过手机摄像头拍摄或手机内置相册选取图片，帮助用户上传标准12导联心电图报告图像至平台，传输至心电图像读取模块；结果反馈模块可根据由ST段异常诊断模块的结果反馈给用户相应的诊断信息。

具体地，所述心电图像读取模块包括数据集处理、模型训练和数据提取。

具体地，在所述数据集处理中，图像训练集来源于两部分，并通过LabelImg软件和Pycharm软件获取图像中心电部分的标签位置；所述第一部分图像为将2018年生理信号挑战赛中数据集的心电信号转化为以网格为背景的心电图图像，进行旋转、缩放等数据增强操作后，叠加在若干现实背景图片的随机位置中，使图像数据的真实性与手机拍摄心电图相近；所述第二部分图像为真实拍摄的心电图报告，增大数据集的实际样本量来提高模型的泛化能力。

具体地，在所述模型训练中，模型分为特征提取、特征融合和预测三个部分。

具体地，在所述特征提取中，包含下采样结构、跨阶段局部网络以及空间金字塔池化模块三个部分。

具体地，在所述下采样结构中，在心电图像进入主干网络前对其进行切片处理，提取关键点的信息，获得下采样特征图。

具体地，在所述跨阶段局部网络中，跨阶段局部网络由卷积层和残差网络拼接而成，以便增强网络学习能力，降低计算瓶颈，在轻量化的同时保持学习准确率。

具体地，在空间金字塔池化模块中，空间金字塔池化模块由多个多尺度最大池化层组成，实现了不同特征尺度的融合。

具体地，在所述特征融合部分，特征融合网络对特征提取中的主干网络输入的特征图通过跨阶段局部网络和卷积层模块做进一步特征提取，通过空间金字塔池化等操作对特征图进行处理，将处理得到的张量数据传递至预测层。

具体地，在所述预测部分，引进交并比的方法对损失函数进行定义，采用了GIoU损失函数作为物体识别预测框的损失函数。

具体地，训练模型算法主要根据处理效果调整模型参数训练YOLOv5目标检测模型，通过层层神经网络学习，细化心电图图像的关键信息，并与数据处理步骤中所得到的标签信息进行对比、不断优化校正，得到训练后的权重文件。

具体地，在所述数据提取中，根据用户传入的心电图像以及训练后模型，利用预测函数对心电图像的心电区域进行预测和提取，传输至ST段异常诊断模块。

具体地，在所述数据提取中，根据用户传入的心电图像以及训练后模型，利用预测函数对心电图像的心电区域进行预测和提取，传输至ST段异常诊断模块。

具体地，所述ST段异常诊断模块包括模型训练和结果诊断。

具体地，在所述模型训练中，用随机分类法将所述心电图数据集分为训练集、验证集和测试集，再经网络训练。

具体地，在所述网络训练中，卷积神经网络模型分为输入端、主干网络和输出端三个部分。

具体地，在所述主干网络中，主干网络共有八层，前七层由二维卷积层、批量处理化层、随机失活层和校正线性单元层组成，第八层由2个全连接层和1个校正线性单元层组成。

具体地，在前七层网络中，输入经由心电图像读取模块输出并经过ST段异常诊断模型预处理的张量，分别依次经过二维卷积层、批量处理化层、随机失活层，最后经校正线性单元层激活处理，对心电图像的特征进行多次提取，使获取的心电图像的特征更加准确。

具体地，在第八层网络中，将由第七层输出得到的数据作为全连接层的输入，后经RelU激活函数处理、全连接层处理，得到ST段信息的预测结果。

具体地，训练模型算法主要根据预测精度、测试不同学习率和卷积核下的ST段异常诊断模型性能，通过层层神经网络学习，不断优化校正，得到训练后的权重文件。

具体地，在所述结果诊断中，根据心电图像读取模块得到的心电区域图像及训练后模型，利用诊断预测函数对ST段进行异常诊断。

具体地，所述ST段诊断结果包括正常、ST段抬高和ST段压低。

具体地，所述安卓手机APP功能模块的图像选取模块通过手机摄像头拍摄或手机内置相册选取12导联心电图报告图片，帮助用户上传至平台，传输至心电图像读取模块。

具体地，所述安卓手机APP功能模块的结果反馈模块将输出ST段诊断结果。

与现有技术相比，本发明提供的通过拍照心电图获取心电ST段信息的系统的有益效果包括：

(1)采用本发明的心电图像读取模块，以数据增强和图像迁移技术模拟了心电图在真实背景下的图片，突破了心电图像报告数据不足的瓶颈，并以轻量级的目标检测网络结构完成了心电区域的定位和提取，配准精度可以达到95.3％以上。

(2)采用的ST段异常诊断模块，运用了卷积神经网络实现了心电ST异常诊断功能，可识别出ST段是否有抬高或压低状况，准确性可达86.9％、96.7％，该模块将允许对任何具有标准12导联心电图报告的患者进行辅助筛查心电异常。

(3)本发明架构在安卓手机APP上，距离用户更近，不需要远程服务器，个人手机即可完成心电报告的拍摄到深度学习模型推理的全部功能。

附图说明

图1为系统结构图。

图2为心电图像读取模块流程图。

图3为YOLOv5目标检测网络结构图。

图4为ST段异常诊断网络结构图。

图5为安卓手机APP页面图。

具体实施方法

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。

参考图1所示，图1为本实施例一的通过拍照心电图获取心电ST段信息的系统的结构示意图，包括心电图像读取模块、ST段异常诊断模块以及安卓手机APP功能模块，其中安卓手机APP功能模块包含图像选取模块和结果反馈模块；所述心电图像读取模块输出端连接ST段异常诊断模块输入端，所述图像选取模块的输出端连接心电图像读取模块输入端，ST段异常诊断模块输出端连接结果反馈模块的输入端。

如图1至图3所示，在所述数据集处理中，图像训练集来源于两部分，所述第一部分图像为将2018年生理信号挑战赛数据集，随机选取已知ST疾病类别标签的心电信号，将其转化为以网格为背景的心电图图像，进行旋转、缩放等数据增强操作后，叠加在若干现实背景图片的随机位置中，使图像数据的真实性与手机拍摄心电图相近；所述第二部分图像为真实拍摄的心电图报告，增大数据集的实际样本量来提高模型的泛化能力。将两部分图像通过LabelImg软件和Pycharm软件定位和获取图像中心电部分的标签位置，将图像及其标签对应命名，作为训练集。

如图1至图3所示，输入端采用Mosaic数据增强方法、自适应anchor计算、自适应图片缩放等方式处理输入图像，其中Mosaic数据增强方法通过将不同的图片进行拼接形成新的图片以增加鲁棒性。

如图1至图3所示，在所述模型训练中，用随机分类法将所述心电图数据集分为训练集、验证集和测试集，具体包括：(1)将图像所属标签的文件名设置与图像文件名相同，并分别放置于图像文件夹和标签文件夹；(2)获取文件夹中文件名列表；(3)根据设定好的比例和文件名列表长度计算出训练集、验证集和测试集中心电图像的数量；(4)通过函数打乱文件名列表；(5)根据从左至右的顺序按照步骤(3)计算出的不同数量将心电图像和相应标签分配到训练集、验证集和测试集中，训练集、验证集和测试集下各包含一个图像文件夹和标签文件夹；(6)重复(2)(5)操作，直至所有特征分类下的数据全部划分完毕。模型采用YOLOv5s模型，它具有较快的运行速度、较小的参数量和较好的检测精度，可以降低对计算机计算资源的要求。

YOLOv5s模型分为特征提取、特征融合、预测三个部分。

特征提取部分包括下采样结构、跨阶段局部网络以及空间金字塔池化模块。

下采样结构在心电图像进入主干网络前对其进行切片处理，即把图像数据切为4份，每份数据都是相当于2倍下采样得到的，然后在通道维度进行拼接，提取关键点的信息，获得下采样特征图。表现为：默认为3*640*640的输入，复制4份，通过切片操作将4个图片切成4个3*320*320的切片，从深度上将其连接起来输出为12*320*320的输出，最后通过卷积核数为32的卷积层，生成32*320*320的输出，最后经过批量处理化操作和激活函数，将结果传入至下一个卷积层。

跨阶段局部网络由卷积层和残差网络拼接而成，以便增强网络学习能力，降低计算瓶颈，在轻量化的同时保持学习准确率。主干网络中有4个跨阶段局部网络，由上层输入特征图为320的图像，经4个跨阶段局部网络，特征图由320变化为160、80、40、20。

空间金字塔池化模块由多个多尺度最大池化层组成，实现了不同特征尺度的融合，得到特征图大小为20*20*256。

在特征融合部分，特征融合网络对特征提取中的主干网络输入的特征图通过跨阶段局部网络和卷积层模块做进一步特征提取，然后通过空间金字塔池化等操作对特征图进行处理，这样可以更好地利用主干网络输出的图像特征矩阵，最后将处理得到的张量数据传递至预测层。

在预测部分，引进交并比的方法对损失函数进行定义，是衡量目标检测算法定位精度的重要参数，采用GIoU损失函数作为物体识别预测框的损失函数，

模型算法主要根据处理效果调整模型参数训练YOLOv5目标检测模型，需要说明的是，获取在YOLOv5预训练模型的权重参数作为心电图像识别模型的初始权重进行学习更新。使用优化算法对YOLOv5神经网络中的参数进行更新直至YOLOv5神经网络收敛。

经YOLOv5训练好的模型测试后，得到的测试结果与测试所设的置信度具有关联，调整置信度参数，使得YOLOv5对心电数据区域的识别达到最大效果；通过层层神经网络学习，细化心电图图像的关键信息，并与数据处理步骤中所得到的标签信息进行对比、不断优化校正，得到训练后的权重文件。

如图1至图3所示，在所述数据提取中，根据用户传入的心电图像以及训练后模型，利用预测函数对心电图像的心电区域进行预测和提取，得到无患者个人信息或拍摄背景等冗余物干扰的纯心电图像，将图像与2018年生理信号挑战赛数据集的对应疾病标签作匹配，并将标签值转换为one-hot编码，得到样本目标值Y＝{Y

如图1和4所示，在所述网络搭建和模型训练中，用随机分类法将所述心电图数据集分为训练集、验证集和测试集，具体包括：(1)将ST段抬高和ST段压低所对应的心电图像放置在对应文件夹中；(2)获取文件夹中文件名列表；(3)根据设定好的比例和文件名列表长度计算出训练集、验证集和测试集中心电图像的数量；(4)通过函数打乱文件名列表；(5)根据从左至右的顺序按照步骤(3)计算出的不同数量将心电图像分配到训练集、验证集和测试集中；(6)重复(2)(5)操作，直至所有特征分类下的数据全部划分完毕。

卷积神经网络模型分为输入端、主干网络和输出端三个部分。

主干网络共有八层，前七层由二维卷积层、批量处理化层、随机失活层和校正线性单元层组成，第八层由2个全连接层和1个校正线性单元层组成。

在前七层中，输入经由心电图像读取模块输出并经过ST段异常诊断模型预处理的张量675*1450*3，分别依次经过卷积核大小为5*5的二维卷积层、批量处理化层、随机失活层，随机失活层以0.4的概率随机删除一部分网络边缘，即使神经元数量保留60％以提高稳健型，最后经校正线性单元层激活处理。通过前七层，对心电图像的特征进行多次提取，使获取的心电图像的特征更加准确。

利用卷积层捕捉显著特征，它具有平移不变性、大小不变性和旋转不变性等特点。基于卷积的分布特性映射层处理正向传播和反向传播的变化，以下层命名为批量标准化向输出层在标准化中发挥作用，它可以保持稳定的梯度大小，不断采用新的改变。

校正线性单元层对于提高基于非线性变换的卷积神经网络模型的性能有重要作用，Relu函数可以用公式表示为：f(x)＝max(x；0),x为输入到Relu激活函数的值，该方法引入了稀疏性，通过降低参数之间的相互依赖性减少了过拟合的发生。

在第八层，将由第七层输出得到的2*8*512数据作为全连接层的输入，后再由RelU激活函数处理，最后再次经过一个全连接层，得到ST段信息的预测结果。预测结果可以是二分类的，即ST段抬高或ST段压低；也可以输出二分类的结果概率，例如输出结果为(p,q)，其p表示ST段抬高的分类的概率，q表示ST段压低的分类的概率，若输出结果为(0.2,0.8)，则说明该预测结果表征ST段压低。

训练模型算法主要根据预测精度、测试不同学习率和卷积核下的ST段异常诊断模型性能，通过层层神经网络学习，调整批大小、初始学习速率等，不断优化校正，得到训练后的权重文件。

如图1和4所示，将训练好的模型部署在安卓手机端，并嵌入到手机端内的APP。

如图1和4所示，在所述结果验证中，根据心电图像读取模块得到的心电区域图像及训练后模型，利用诊断预测函数对ST段进行异常诊断的验证。

如图1和5所示，所述安卓手机APP功能模块的图像选取模块分为“拍照”和“相册”，点击“拍照”按钮可以打开手机摄像头，通过手机摄像头拍摄12导联心电图报告图片，拍摄时应尽量选取杂物少的简单背景，尽量在光线充足且无影子的环境下拍摄，且尽量与图片呈平行角度拍摄；点击“相册”按钮可以选择手机本地存储的心电图片，通过此功能帮助用户将图片上传至平台，上传的心电图来源不受限制，可以是不同型号的心电图机所得的报告，但必须是标准12导联心电图报告。

如图1和5所示，在手机端APP上，原始图像经过心电图像读取模块得到特征增强的图像，做这一步的目的是为了凸显图像的关键信息，去除冗余信息如姓名、性别、年龄、报告完成时间或背景杂物的影响，让ST段异常诊断网络能更好地识别病症。

如图1和5所示，所述安卓手机APP功能模块的结果反馈模块将ST段的诊断结果呈现于前端。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

需要说明的是，本发明实施例所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

本发明实施例的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。