一种持续自我学习多模型融合超声乳腺肿块精准鉴别系统

摘要

本发明涉及超声乳腺肿块鉴别技术领域，尤其是一种持续自我学习多模型融合超声乳腺肿块精准鉴别系统，包括中央数据处理系统、肿块病理结果反馈模块、持续自我学习多模型融合分类模块、肿块分类处理模块、图像获取模块、临床信息特征采集模块和随机森林分类模型建立模块，所述临床信息获取模块将采集的信息通过网关传递到临床信息特征采集模块，所述临床信息特征采集模块将信息进行处理并通过网关传递到随机森林分类模型建立模块，所述随机森林分类模型建立模块将建立的模型通过网关传递到持续自我学习多模型融合分类模块。本发明还提供一种持续自我学习多模型融合超声乳腺肿块精准鉴别方法，可以实现持续自我学习和鉴别准确性。

说明书

技术领域

本发明涉及超声乳腺肿块鉴别技术领域，尤其涉及一种持续自我学习多模型融合超声乳腺肿块精准鉴别系统。

背景技术

现有医学影像AI技术未能把图像诊断与患者临床信息紧密结合进行诊断并实现临床应用。随着人工智能技术的发展，一些学者把AI技术应用于超声乳腺肿块图像鉴别与诊断，但主要是单纯采用图像鉴别肿块的良恶性，也有采用多模态融合技术对肿块进行诊断,多模态融合机器学习就是各种模态的信息融合建立数据集训练机器学习模型，多模态融合技术需要综合多项检查的影像特征，只有在多项检查完成后才能获得这些特征，如果有患者只单做某项检查就无法对肿块进行多模态融合诊断，同时对疾病的诊断不能单纯依靠图像进行，需要结合患者临床信息，例如影像科医师当看了患者检查图像后，从图像结果中获得诊断印象，再通过询问病史和体格检查获得患者临床信息，经过综合分析来判断肿块是良性还是恶性，医师对疾病的诊断是一个综合分析过程，需要结合患者影像诊断结果，同时也需要结合患者的临床表现和体征，疾病诊断的准确性关系到患者的后续处理和治疗，最理想的模型应该是能给合图像诊断和患者临床特征，现有技术还没有良好的解决方案，现有技术对数据集的分类标注主要采用有经验的医师完成，但有的肿块图像是否为恶性，再有经验的医师也会误判，现有技术模型不能实现持续自我学习提高精准度。

发明内容

为解决上述背景技术中提出的问题。本发明提供了一种持续自我学习多模型融合超声乳腺肿块精准鉴别系统，解决了出现误判和不能持续自我学习的问题。

为了实现上述目的，本发明采用了如下技术方案：

设计一种持续自我学习多模型融合超声乳腺肿块精准鉴别系统，包括中央数据处理系统、肿块病理结果反馈模块、持续自我学习多模型融合分类模块、肿块分类处理模块、图像获取模块、临床信息获取模块、临床信息特征采集模块和随机森林分类模型建立模块，所述中央数据处理系统包括计算机集群，所述计算机集群包括信息接收模块、数据存储模块、数据处理模块、数据对比模块、数据整合模块和卫星通信与传输模块，所述中央数据处理系统通过卫星通信与传输模块与肿块病理结果反馈模块、图像获取模块和临床信息获取模块形成实时通信连接，所述肿块病理结果反馈模块包括数据收集模块、训练模块和模型建立模块，所述数据收集模块包括良恶性图像数据集、病理类型图像数据集和病理疾病图像数据集，所述训练模块包括肿块良恶性分类训练模块、肿块病理类型分类训练模块和肿块病理疾病分类训练模块，所述模型建立模块包括肿块良恶性图像数据集、肿块病理类型图像数据集和肿块病理疾病图像数据集，所述肿块病理疾病分类训练模块通过网关与持续自我学习多模型融合分类模块形成实时连接，所述持续自我学习多模型融合分类模块通过网关与肿块分类处理模块形成实时连接，所述图像获取模块通过网关与持续自我学习多模型融合分类模块形成实时连接，所述中央数据处理系统通过网关与临床信息获取模块形成实时连接，所述临床信息获取模块将采集的信息通过网关传递到临床信息特征采集模块，所述临床信息特征采集模块将信息进行处理并通过网关传递到随机森林分类模型建立模块，所述随机森林分类模型建立模块将建立的模型通过网关传递到持续自我学习多模型融合分类模块。

优选的，所述肿块病理结果反馈模块通过从电子病历和医学影像系统中获取患者临床信息和肿块特征信息，根据病理结果按BI-RADS分类，建立数据集。根据图像病理结果建立良恶性图像数据集、病理类型和病理疾病图像数据集。

优选的，所述临床信息获取模块为医师在超声检查过程中获得的信息，包括乳腺结构、乳腺回声、乳腺导管有无扩张、乳腺结节、结节数量、结节边界、结节边缘、结节形状、结节位置、结节回声、结节后方回声、结节方位、结节钙化灶、结节周围组织、结节彩流分布，腋窝淋巴结纵横比、边界回声及彩流分布等，患者有无乳腺肿块家族史、乳腺有无溢液、肿块硬度、手术史、乳腺有无疼痛等。

优选的，所述随机森林分类模型建立模块采用开源的sklearn库，导入RandomForestClassifier模块，通过该模块的fit方法构建随机森林模型，通过predict方法验证模型的准确率。

优选的，所述训练模块采用GitHub上开源的imageAI库，该库采用深度学习卷积神经网络算法，提供了4种算法包括SqueezeNet，ResNet，InceptionV3和DenseNet，训练过程生成一个JSON文件，用于映射图像数据集和许多模型中的对象类型。

优选的，所述图像获取模块有一个可显示乳腺超声图像的窗体，当图像需要进行鉴别时，用户只需点击“AI协助鉴别”按扭就可选择图像，可只选一幅图像，也可选取任意多幅图像，选择完成后模块自动把选取的图像提交给持续自我学习多模型融合分类模块，进行图像分类，获得分类结果，并把结果传递到中央数据处理系统。

优选的，所述持续自我学习多模型融合分类模块将肿块病理结果反馈模块中的数据进行融合，通过python编程构建一套可持续自我学习的系统并自动运行于服务器。

一种持续自我学习多模型融合超声乳腺肿块精准鉴别方法，包括，

S1、中央数据处理系统将从电子病历和医学影像系统中获取患者临床信息和肿块特征信息，然后传递到肿块病理结果反馈模块中，根据病理结果按BI-RADS分类，建立数据集，根据图像病理结果建立良恶性图像数据集、病理类型和病理疾病图像数据集，同时中央数据处理系统将在超声检查过程中获得的信息传递到临床信息特征采集模块，临床信息特征采集模块进行处理后传递到随机森林分类模型建立模块进行建模；

S2、随机森林分类模型建立模块将从肿块病理结果反馈模块接收的信息进行融合，并与随机森林分类模型建立模块输出的信息相融合，通过python编程构建一套可持续自我学习的系统并自动运行于服务器，实现对肿块的分类鉴别和自我训练学习；

S3、当对病人进行鉴别时中央数据处理系统通过图像获取模块将病例图像输入到持续自我学习多模型融合分类模块，经分类处理后通过肿块分类处理模块输入到中央数据处理系统中，经过信息接收模块、数据存储模块、数据处理模块、数据对比模块和数据整合模块的处理，通过卫星通信与传输模块输出肿块分类结果。

S4、中央数据处理系统根据临床信息和肿块图像分类结果完成对患者病情进行鉴别工作。

与现有技术相比，本发明的有益效果在于：本发明结合了患者临床信息和图像鉴别结果，符合疾病的诊断需结合患者临床表现的医学要求；有自我学习功能，能自动提高模型的鉴别诊断能力；把机器学习鉴别图像的优势与医师获取临床信息特征的优势结合起来，提高肿块鉴别诊断精准度；把相应技术构建成一套超声影像AI系统，方便协助医师提高肿块鉴别能力，同时因可自动生成规范的超声报告，可大大减轻医师的工作压力；通过肿块病理反馈结果构建数据集可提高数据集的质量和模型的鉴别诊断精准度；提高医师的诊断自信能力和诊断准确度，可为基层医院医师提供AI诊断协助，模型持续自我学习不断提AI诊断能力。

该装置中未涉及部分均与现有技术相同或可采用现有技术加以实现。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明提出的一种持续自我学习多模型融合超声乳腺肿块精准鉴别系统的系统框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，一种持续自我学习多模型融合超声乳腺肿块精准鉴别系统，包括中央数据处理系统、肿块病理结果反馈模块、持续自我学习多模型融合分类模块、肿块分类处理模块、图像获取模块、临床信息获取模块、临床信息特征采集模块和随机森林分类模型建立模块，所述中央数据处理系统包括计算机集群，所述计算机集群包括信息接收模块、数据存储模块、数据处理模块、数据对比模块、数据整合模块和卫星通信与传输模块，所述中央数据处理系统通过卫星通信与传输模块与肿块病理结果反馈模块、图像获取模块和临床信息获取模块形成实时通信连接，所述肿块病理结果反馈模块包括数据收集模块、训练模块和模型建立模块，所述数据收集模块包括良恶性图像数据集、病理类型图像数据集和病理疾病图像数据集，所述训练模块包括肿块良恶性分类训练模块、肿块病理类型分类训练模块和肿块病理疾病分类训练模块，所述模型建立模块包括肿块良恶性图像数据集、肿块病理类型图像数据集和肿块病理疾病图像数据集，所述肿块病理疾病分类训练模块通过网关与持续自我学习多模型融合分类模块形成实时连接，所述持续自我学习多模型融合分类模块通过网关与肿块分类处理模块形成实时连接，所述图像获取模块通过网关与持续自我学习多模型融合分类模块形成实时连接，所述中央数据处理系统通过网关与临床信息获取模块形成实时连接，所述临床信息获取模块将采集的信息通过网关传递到临床信息特征采集模块，所述临床信息特征采集模块将信息进行处理并通过网关传递到随机森林分类模型建立模块，所述随机森林分类模型建立模块将建立的模型通过网关传递到持续自我学习多模型融合分类模块。

具体的，所述肿块病理结果反馈模块通过从电子病历和医学影像系统中获取患者临床信息和肿块特征信息，根据病理结果按BI-RADS分类，建立数据集。根据图像病理结果建立良恶性图像数据集、病理类型和病理疾病图像数据集。

具体的，所述临床信息获取模块为医师在超声检查过程中获得的信息，包括乳腺结构、乳腺回声、乳腺导管有无扩张、乳腺结节、结节数量、结节边界、结节边缘、结节形状、结节位置、结节回声、结节后方回声、结节方位、结节钙化灶、结节周围组织、结节彩流分布，腋窝淋巴结纵横比、边界回声及彩流分布等，患者有无乳腺肿块家族史、乳腺有无溢液、肿块硬度、手术史、乳腺有无疼痛等。

具体的，所述随机森林分类模型建立模块采用开源的sklearn库，导入RandomForestClassifier模块，通过该模块的fit方法构建随机森林模型，通过predict方法验证模型的准确率。

具体的，所述训练模块采用GitHub上开源的imageAI库，该库采用深度学习卷积神经网络算法，提供了4种算法包括SqueezeNet，ResNet，InceptionV3和DenseNet，训练过程生成一个JSON文件，用于映射图像数据集和许多模型中的对象类型。

具体的，所述图像获取模块有一个可显示乳腺超声图像的窗体，当图像需要进行鉴别时，用户只需点击“AI协助鉴别”按扭就可选择图像，可只选一幅图像，也可选取任意多幅图像，选择完成后模块自动把选取的图像提交给持续自我学习多模型融合分类模块，进行图像分类，获得分类结果，并把结果传递到中央数据处理系统。

具体的，所述持续自我学习多模型融合分类模块将肿块病理结果反馈模块中的数据进行融合，通过python编程构建一套可持续自我学习的系统并自动运行于服务器。

一种持续自我学习多模型融合超声乳腺肿块精准鉴别方法，包括，

S1、中央数据处理系统将从电子病历和医学影像系统中获取患者临床信息和肿块特征信息，然后传递到肿块病理结果反馈模块中，根据病理结果按BI-RADS分类，建立数据集，根据图像病理结果建立良恶性图像数据集、病理类型和病理疾病图像数据集，同时中央数据处理系统将在超声检查过程中获得的信息传递到临床信息特征采集模块，临床信息特征采集模块进行处理后传递到随机森林分类模型建立模块进行建模；

S2、随机森林分类模型建立模块将从肿块病理结果反馈模块接收的信息进行融合，并与随机森林分类模型建立模块输出的信息相融合，通过python编程构建一套可持续自我学习的系统并自动运行于服务器，实现对肿块的分类鉴别和自我训练学习；

S3、当对病人进行鉴别时中央数据处理系统通过图像获取模块将病例图像输入到持续自我学习多模型融合分类模块，经分类处理后通过肿块分类处理模块输入到中央数据处理系统中，经过信息接收模块、数据存储模块、数据处理模块、数据对比模块和数据整合模块的处理，通过卫星通信与传输模块输出肿块分类结果。

S4、中央数据处理系统根据临床信息和肿块图像分类结果完成对患者病情进行鉴别工作。

本发明的使用原理及使用流程：病理结果反馈模块获取肿块病理结果，医师根据病理结果分类后系统自动建立图像分类数据集，包括图像良恶性分类数据集、病理类型分类数据集和病理疾病分类数据集，临床信息特征获取模块获取患者相关临床特征信息并构建临床信息数据集，采用随机森林算法构建患者临床信息分类模型进行乳腺肿块BI-RADS分类，获得肿块分类结果，通过图像获取模块显示肿块图像，医师把需要鉴别的图像提供给系统，系统首先通过良恶性分类模块对肿块进行良恶性分类，通过病理类型分类模块和病理疾病分类模块获得图像分类结果，把分类结果与患者临床信息融合构建多模型融合信息数据集，再次采用随机森林分类模型进行肿块BI-RADS分类，获得肿块多模型融合分类结果，通过持续自我学习多模型融合分类模块根据数据集的变化自动对数据集进行训练，实现模型持续自我学习

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。