一种基于人工智能的便携式超声肺炎辅助诊断系统

摘要

本发明提供了一种基于人工智能的便携式超声肺炎辅助诊断系统，包括数据采集及成像模块、无线数据传输模块、图像分析分类模块和肺炎综合诊断模块。数据采集及成像模块用于发射并采集超声信号，以合成超声图像；无线数据传输模块用于发送超声图像数据；图像分析分类模块用于对超声图像中的病变区域进行分析和分类；肺炎综合诊断模块根据分析和分类的结果，判断并输出患有肺炎的可能性。本发明利用肺部发生病变时内部气液比发生变化，从而产生不同的超声特征，根据这些特征的超声图像，训练人工智能识别和分类算法，可用于肺部疾病尤其是肺炎的辅助诊断，配合5G网络和手持超声设备，可应用于各种场景，如ICU、急诊科、抢险救灾现场、战场等。

说明书

技术领域

本发明属于医学超声成像智能分析技术领域，特别涉及一种基于人工智能的便携式超声肺炎辅助诊断系统。

背景技术

肺炎又称下呼吸道感染，是呼吸科常见疾病，也是严重威胁人类健康的一类疾病。目前，肺炎的诊断主要依靠临床症状(如发热、咳嗽等)和胸部影像学检查(如X线胸片或胸部CT)。然而，X线胸片因具有辐射性，不能用于孕妇，且对诊断医生的经验要求较高。相对于X线胸片，胸部CT虽然更准确，能够很好的显示浸润影、脓肿、实变等，但由于辐射量更大，费用更高而受到限制。此外， X线胸片和胸部CT均不能实时显像。

近年来，肺部超声已经得到了越来越广泛的关注。与X线胸片相比，肺部超声在诊断肺实变、胸腔积液、气胸等肺部病变的敏感性与特异性均有着明显的优势；与胸部CT相比，肺部超声便于在床旁检查，且无辐射，更适合在ICU或急诊环境中应用。但是，由于ICU和急诊科医生均非超声专业出身，对超声图像的解读缺乏必要的理论知识和临床经验，且提高其诊断准确性的学习曲线较长，限制了肺部超声在临床中的应用，因此对基于人工智能的诊断辅助技术的需求显得更加迫切。

发明内容

有鉴于现有技术的上述缺陷，本发明的目的在于提供一种基于人工智能的便携式超声肺炎辅助诊断系统，利用肺部发生病变时内部气液比发生变化，从而产生不同的超声特征，根据这些特征的超声图像，训练人工智能识别和分类算法，可用于肺部疾病尤其是肺炎的辅助诊断，配合5G网络和手持超声设备，可应用于各种场景，如ICU、急诊科、抢险救灾现场、战场等。

为实现上述目的，本发明提供如下技术方案：一种基于人工智能的便携式超声肺炎辅助诊断系统，包括数据采集及成像模块、无线数据传输模块、图像分析分类模块、肺炎综合诊断模块。其中，数据采集及成像模块用于发射并采集超声信号，以合成超声图像；无线数据传输模块用于将超声图像数据发送至图像分析分类模块和肺炎综合诊断模块；图像分析分类模块用于对超声图像中的病变区域进行分析以及对肺炎超声典型特征进行提取，并根据肺炎超声典型特征对超声图像进行分类；肺炎综合诊断模块根据图像分析分类模块对多个部位的超声图像进行分析和分类的结果，判断并输出患有肺炎的可能性。以上四个模块相互协同，可以实现肺炎的人工智能辅助诊断。

进一步地，数据采集及成像模块主要包括超声换能器、信号发射模块、信号采集模块以及图像合成模块。其中，信号发射模块将一定间隔的脉冲信号发送至超声换能器，从而产生超声波，超声波通过耦合剂传播至人体胸腔，遇到肌肉、骨骼、气体等物质时发生反射，超声换能器接收反射信号并获取超声原始射频(RF) 信号，经由模数转换模块转换为数字信号，再经过数字滤波模块和数字放大模块最终获得可用于合成图像的数字信号。图像合成模块将获得的数字信号合成为数字图像，图像可以是二维图像也可以是三维图像。

进一步地，超声换能器可以是二维超声探头或三维超声探头。

进一步地，信号发射模块和信号采集模块可以是集成的一个模块，例如超声 AFE模块，其同时具有超声信号的发射和采集的功能。

进一步地，图像合成模块为ZYNQ模块，包括CPU处理器和FPGA处理器。

进一步地，图像合成模块与信号采集模块的连接方式可以是有线或无线。

进一步地，图像合成模块可以运行在移动终端中，如手机、平板等；也可以运行在便携式超声设备中，如手持式超声仪等。

进一步地，无线数据传输模块优选为5G网络数据传输模块，其将获得的图像经由5G网络送发送至移动终端进行显示，并由移动终端发送至云端服务器进行分析和分类；也可以直接发送至云端服务器进行分析和分类。由于5G网络的实时性和云端服务器强大的计算能力，可实现对采集图像的快速分析和分类。另外，该系统不受超声设备厂家的限制，可大规模应用于各类超声设备。同时，移动终端也可以通过无线数据传输模块将控制指令发送至数据采集及成像模块，以对其进行控制。

进一步地，图像分析分类模块包括图像预处理模块和AI分析模块；首先由图像预处理模块对图像进行降噪优化处理，随后由事先训练好的AI分析模块根据图像中的肺炎超声典型特征进行分析和分类，并输出为肺炎超声典型特征的可能性，包括正常、肺实变、支气管征、胸腔积液等，最后根据每个特征预测的概率进行评分，如概率越高，则评分越高。

进一步地，图像预处理模块采用小波变换技术，通过修改系数后重建图像的方法，在保留细节同时降低噪声影响；并采用直方图均衡，通过改变图像的动态范围达到对比度增强的效果。

进一步地，AI分析模块首先通过边界分割，可将病变区域从背景中分离出来。在现有技术的边界分割算法中，绝大多数依赖于医师手工选取ROI(Region of Interest，感兴趣区域)，对医师经验要求较高，因此自动化程度不高。由于很多形态学特征是基于目标区域的轮廓形态定义的，而纹理信息也蕴含着区域信息，本发明采用轮廓形态和纹理信息进行目标检测，定位病变区域，采用活动轮廓模型法结合分水岭或者利用机器学习算法实现边界自动分割，并结合人工审核完成最终的病变区域分割，使得自动化程度大大提高。AI分析模块还通过提取一组能有效区分病变/正常的特征参数集，并通过特征筛选，选出分类性能强的子集作为判定标准，这大大降低计算复杂度；同时采用纹理学和形态参数进行特征筛选，从纹理学和形态两个方面量化描述超声图像中的特征。上述特征的主要参数包括但不限于：目标与周围组织灰度比或方差、目标边缘内外灰度差异，边缘锐度、共生矩阵系列参数、小波变换分解系数系列参数、紧致度、病变区域面积和周长、纵横比、径向距离谱均值和方差、矩形度、椭圆度、凸壳度、针状度、傅里叶描述子、矩、轮廓线分形维数等。

进一步地，图像分析分类模块可以运行在移动终端中，如手机、平板等；也可以运行在便携式超声设备中，如手持式超声仪等；也可以运行在云端服务器中。优选地，图像分析分类模块运行在云端服务器中。

进一步地，肺炎综合诊断模块综合多个部位的图像分析及分类结果，并进行评分，最后输出为肺炎的可能性，分数越高表示为肺炎的可能性越大，当分数超过一定的阈值则高度怀疑为肺炎。

与现有技术相比，本发明的有益效果至少体现在以下方面：

1、由于超声成像的主要局限性表现在图像低对比度及斑点噪声严重，因此需要图像的预处理步骤。本发明通过图像预处理模块，在不影响特征前提下，提高图像质量，抑制斑点噪声；随后由事先训练好的AI分析模块根据图像中的肺炎超声典型特征进行分析和分类，并输出为肺炎超声典型特征的可能性，包括正常、肺实变、支气管征、胸腔积液等；最后根据每个特征预测的概率进行评分，如概率越高，则评分越高。本发明使得超声肺炎诊断的自动化和智能化程度得到很大的提高。

2、本发明通过提取一组能有效区分病变/正常的特征参数集，并通过特征筛选，选出分类性能强的子集作为判定标准，这大大降低计算复杂度；同时采用纹理学和形态参数进行特征筛选，从纹理学和形态两个方面量化描述超声图像中的特征。本发明使得超声肺炎诊断的准确率得到很大的提高。

3、本发明利用5G网络数据传输速度快、延时低的特点，可将计算任务转移至云端服务器中，配合手持超声设备，使得超声肺炎诊断的便携性和灵活性得到很大的加强，使得本发明可应用于各种场景，如ICU、急诊科、抢险救灾现场、战场等。

附图说明

图1是本发明一个较佳实施例的基于人工智能的便携式超声肺炎辅助诊断系统的一般结构示意图；

图2是本发明一个较佳实施例的基于人工智能的便携式超声肺炎辅助诊断系统的具体结构示意图；

图3是本发明一个较佳实施例的基于人工智能的便携式超声肺炎辅助诊断系统进行机器学习的流程结构示意图；

图4是本发明一个较佳实施例的基于人工智能的便携式超声肺炎辅助诊断系统进行机器学习的算法结构示意图；

图5是本发明一个较佳实施例的基于人工智能的便携式超声肺炎辅助诊断系统进行深度学习的流程结构示意图；

图6是本发明一个较佳实施例的基于人工智能的便携式超声肺炎辅助诊断系统进行深度学习的算法结构示意图；

图7是本发明一个较佳实施例的基于人工智能的便携式超声肺炎辅助诊断系统输出图像及诊断结果示意图。

具体实施方式

下面对本发明的实施例作详细说明，下述的实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

请参阅图1-2，在一个优选实施例中，本发明的基于人工智能的便携式超声肺炎辅助诊断系统，包括数据采集及成像模块1、无线数据传输模块2、图像分析分类模块3和肺炎综合诊断模块4。其中，数据采集及成像模块1用于发射并采集超声信号，以合成超声图像；无线数据传输模块2用于将超声图像数据发送至图像分析分类模块3和肺炎综合诊断模块4；图像分析分类模块3用于对超声图像中的病变区域进行分析以及对肺炎超声典型特征进行提取，并根据肺炎超声典型特征对超声图像进行分类；肺炎综合诊断模块4根据图像分析分类模块3对多个部位的超声图像进行分析和分类的结果，判断并输出患有肺炎的可能性。以上四个模块相互协同，可以实现肺炎的人工智能辅助诊断。

数据采集及成像模块1主要包括超声换能器11、信号发射模块12、信号采集模块13以及图像合成模块14。其中，信号发射模块12将一定间隔的脉冲信号发送至超声换能器11，从而产生超声波，超声波通过耦合剂传播至人体胸腔，遇到肌肉、骨骼、气体等物质时发生反射，超声换能器11接收反射信号并获取超声原始射频(RF)信号，经由模数转换模块转换为数字信号，再经过数字滤波模块和数字放大模块最终获得可用于合成图像的数字信号。图像合成模块14将获得的数字信号合成为数字图像，图像可以是二维图像也可以是三维图像。

超声换能器11可以是二维超声探头或三维超声探头。

如图2所示，信号发射模块12和信号采集模块13是集成的一个模块，即超声 AFE模块，其同时具有超声信号的发射和采集的功能。

图像合成模块14为ZYNQ模块，包括CPU处理器和FPGA处理器。图像合成模块14与信号采集模块13的连接方式可以是有线或无线。在本实施例中，图像合成模块14运行在便携式超声设备(即手持式超声仪)中。在另一个较佳实施例中，图像合成模块14也可以运行在移动终端中，如手机、平板等。

无线数据传输模块2为5G网络数据传输模块，其将获得的图像经由5G网络送发送至移动终端进行显示，并由移动终端发送至云端服务器进行分析和分类。本实施例中，图像分析分类模块3和肺炎综合诊断模块4均运行在云端服务器中，由于5G网络的实时性和云端服务器强大的计算能力，可实现对采集图像的快速分析和分类。另外，该系统不受超声设备厂家的限制，可大规模应用于各类超声设备。在另一个实施例中，图像分析分类模块3运行在移动终端中，而肺炎综合诊断模块4运行在云端服务器中。在又一个实施例中，图像分析分类模块3运行在手持式超声仪中，而肺炎综合诊断模块4运行在云端服务器中。同时，移动终端也可以通过无线数据传输模块2将控制指令发送至数据采集及成像模块1，以对其进行控制。

图像分析分类模块3包括图像预处理模块和AI分析模块；首先由图像预处理模块对图像进行降噪优化处理，随后由事先训练好的AI分析模块根据图像中的肺炎超声典型特征进行分析和分类，并输出为肺炎超声典型特征的可能性，包括正常、肺实变、支气管征、胸腔积液等，最后根据每个特征预测的概率进行评分，如概率越高，则评分越高。

图像预处理模块采用小波变换技术，通过修改系数后重建图像的方法，在保留细节同时降低噪声影响；并采用直方图均衡，通过改变图像的动态范围达到对比度增强的效果。

AI分析模块首先通过边界分割，可将病变区域从背景中分离出来。在现有技术的边界分割算法中，绝大多数依赖于医师手工选取ROI，对医师经验要求较高，因此自动化程度不高。由于很多形态学特征是基于目标区域的轮廓形态定义的，而纹理信息也蕴含着区域信息，本发明采用轮廓形态和纹理信息进行目标检测，定位病变区域，采用活动轮廓模型法结合分水岭或者利用机器学习算法实现边界自动分割，并结合人工审核完成最终的病变区域分割，使得自动化程度大大提高。 AI分析模块还通过提取一组能有效区分病变/正常的特征参数集，并通过特征筛选，选出分类性能强的子集作为判定标准，这大大降低计算复杂度；同时采用纹理学和形态参数进行特征筛选，从纹理学和形态两个方面量化描述超声图像中的特征。上述特征的主要参数包括但不限于：目标与周围组织灰度比或方差、目标边缘内外灰度差异，边缘锐度、共生矩阵系列参数、小波变换分解系数系列参数、紧致度、病变区域面积和周长、纵横比、径向距离谱均值和方差、矩形度、椭圆度、凸壳度、针状度、傅里叶描述子、矩、轮廓线分形维数等。

肺炎综合诊断模块4综合多个部位的图像分析及分类结果，并进行评分，最后输出为肺炎的可能性，分数越高表示为肺炎的可能性越大，当分数超过一定的阈值则高度怀疑为肺炎。肺炎综合诊断模块4运行在云端服务器中。

本实施例的基于人工智能的便携式超声肺炎辅助诊断系统的工作原理如下：

步骤1、移动终端通过无线数据传输模块2向数据采集及成像模块1中各子模块传输控制参数；

步骤2、ZYNQ模块的CPU处理器通过无线数据传输模块2接收到控制参数，进行扫描参数、处理参数的实时计算并输出到ZYNQ模块的FPGA处理器，FPGA 处理器在控制参数的控制下实现对超声AFE模块的超声波发射、接收处理；

步骤3、数字波束信号进入ZYNQ模块的FPGA处理器进行图像处理，处理后的图像数据进入机器视觉模块3的FPGA处理器进行数据识别处理；

步骤4、机器视觉模块3的FPGA处理器处理完成后的有效数据重新输入到 ZYNQ模块的FPGA处理器进行整合后生成图像，输入至CPU处理器处理再通过无线数据传输模块2传输到移动终端，最终展现在移动终端的显示装置上，形成二维和三维超声图像。

上述过程中，发射信号由发射波束形成器产生，通过高压MOSFET驱动为高压发射信号，通过T/R开关激励超声换能器11，超声换能器11对患者胸部发射超声波；完成发射后，超声换能器11进入接收周期，回波信号通过T/R开关进入可控增益放大器处理后，输入模数转换器完成数字化，然后进入接收波束形成器实现数字波束信号；无线数据传输模块2将处理后的图像上传至云端服务器进行图像分析，云端服务器中的图像分析分类模块3集成了事先训练好的AI分析模块和肺炎综合诊断模块4，将输入图像进行人工智能分析和分类。

上述AI人工智能模块和肺炎综合诊断模块4的训练可以通过机器学习和深度学习两个实施方案来实现：

方案一：主要按照图3-4所示流程图实现，其中关键的几个步骤分别是：图像预处理、肺炎病变区域分割、纹理特征提取、临床特征分类。

由于超声成像的主要局限性表现在图像低对比度及斑点噪声严重，因此需要图像的预处理步骤，使得在不影响特征前提下，提高图像质量，抑制斑点噪声。图像预处理模块采用小波变换技术，通过修改系数后重建图像的方法，在保留细节同时降低噪声影响；还采用直方图均衡，通过改变图像的动态范围达到对比度增强的效果。

AI分析模块首先通过边界分割，可将病变区域从背景中分离出来。已有的边界分割算法中，绝大多数依赖于医师手工选取ROI，对医师经验要求较高，因此自动化程度不高。由于很多形态学特征是基于目标区域的轮廓形态定义的，而纹理信息也蕴含着区域信息，采用轮廓形态和纹理信息进行目标检测，定位病变区域，采用活动轮廓模型法结合分水岭或者利用机器学习算法实现边界自动分割，并结合人工审核完成最终的病变区域分割。

AI分析模块接着提取一组能有效区分病变/正常的特征参数集，并通过特征筛选，选出分类性能强的子集作为判定标准，降低计算复杂度。采用纹理学和形态参数进行特征筛选，从纹理学和形态两个方面量化描述超声图像中的特征，主要参数有：目标与周围组织灰度比或方差、目标边缘内外灰度差异，边缘锐度、共生矩阵系列参数、小波变换分解系数系列参数、紧致度、病变区域面积和周长、纵横比、径向距离谱均值和方差、矩形度、椭圆度、凸壳度、针状度、傅里叶描述子、矩、轮廓线分形维数等。

AI分析模块基于前面选取的特征，通过使用分类器即可对可疑区域进行分类。在超声图像处理中，一般采用非线性分类器，以提高分类结果的准确性和稳定性；也可以采用反向传播的人工神经网络和支持向量机。上述两种分类器都需要耗时且有监督的训练过程，各有其优缺点。

方案二：方案2主要按照图5-6所示流程图实现，与方案一的主要区别在于，使用肺炎病变特征自动提取代替了方案一中的肺炎病变区域分割和特征提取。这就是深度学习区别于机器学习的主要地方。深度学习省去了目标分割和特征提取等繁琐的步骤，代替为计算机自己完成，可以提取的特征更多，但往往要求更大的数据量。深度学习可以在大数据样本情况下使用，随着诊断病例的增加，可以通过自学习来提升分类准确性。

图6显示了深度学习模型开发示意图。除了方案一中的图像预处理工作，方案二中的另一个重点就是数据增强。通过对数据进行旋转、反转、移动等操作，以增加训练集的数据，该部分其实就是深度学习模型的隐藏神经元部分。以深度学习模型(包括但不限于LeNet、AlexNet、VGGNet和GoogleLeNet)为基础，开发专门用于超声图像分析的模型，用于肺炎病变特征自动提取，并根据分类结果选取最佳方法。方案二采用常用的支持向量机进行分类。对分类结果进行分析，并反向优化模型，结果由图5所示综合多个部位采集的超声图像得到的分析及分类结果进行打分。例如，出现肺实变特征记10分，再乘以其对应的概率，综合多个部位评分最后给出综合得分。分数越高预示着为肺炎的概率越大。

本实施案例中，通过对600例样本图像数据进行训练后得到的准确性、敏感性、特异性分别为77％、81％、87％。图7显示了其中四例按照方案二进行自主开发的算法对肺部病变对应的典型超声特征(肺实变、支气管征、胸膜积水)识别所输出的图像及初步诊断结果。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的试验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。