首页> 中国专利> 一种基于多模态的慢性阻塞性肺病急性加重的预测装置

一种基于多模态的慢性阻塞性肺病急性加重的预测装置

摘要

本发明公开了一种基于多模态的慢性阻塞性肺病急性加重的预测装置,属于计算机辅助诊断技术领域,包括,引入了多模态建模方法,将呼吸科的结构化诊断、检查和检验数据和胸部CT影像的三维影像数据这两种模态的数据送入多基学习器模块、结构化数据分类模块、胸部CT影像分割模块、肺部分割影像特征提取模块、融合模块和预测模块,通过调整参数不断优化得到优化的慢性阻塞性肺病急性加重的预测系统,根据模态融合的特征信息进行预测。本发明应用于现实医学场景,能够减少各项繁复检查,仅使用患者个人信息数据、肺功能、血常规和胸部CT影像数据就能进行预测,提高慢性阻塞性肺病识别急性加重的效率,从而能有效地降低死亡风险。

著录项

  • 公开/公告号CN116612885A

    专利类型发明专利

  • 公开/公告日2023-08-18

    原文格式PDF

  • 申请/专利权人 浙江大学;

    申请/专利号CN202310461068.9

  • 发明设计人 应豪超;杜邦;徐红霞;吴健;

    申请日2023-04-26

  • 分类号G16H50/30(2018.01);G16H50/20(2018.01);G16H10/60(2018.01);G16H50/70(2018.01);G06F18/25(2023.01);G06F18/27(2023.01);G06F18/243(2023.01);G06F18/214(2023.01);G06F18/2415(2023.01);G06V10/40(2022.01);G06V10/82(2022.01);G06N3/0464(2023.01);G06N3/048(2023.01);G06N3/08(2023.01);G06V10/26(2022.01);

  • 代理机构杭州天勤知识产权代理有限公司 33224;

  • 代理人曹兆霞

  • 地址 310058 浙江省杭州市西湖区余杭塘路866号

  • 入库时间 2024-01-17 01:22:22

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2023-09-05

    实质审查的生效 IPC(主分类):G16H50/30 专利申请号:2023104610689 申请日:20230426

    实质审查的生效

  • 2023-08-18

    公开

    发明专利申请公布

说明书

技术领域

本发明属于计算机辅助诊断技术领域,具体地说,涉及一种基于多模态的慢性阻塞性肺病急性加重的预测装置。

背景技术

慢性阻塞性肺疾病(chronic obstructive pulmonary diseases,COPD)是一种具有气流阻塞特征的慢性支气管炎和或肺气肿,具有很高的致残率和病死率,现已成为一种较为常见的慢性病。慢性阻塞性肺疾病的急性加重(acute exacerbation of chronicobstructive pulmonary disease,AECOPD)是绝大多数慢性阻塞性肺疾病患者死亡的独立危险因素,如果能及时判断患者处于急性加重期,就能降低患者死亡的风险。然而,慢阻肺本身具有明显的异质性,其急性加重的诱因也复杂多样。50%~70%由感染引起,包括呼吸道细菌、病毒、非典型病原体等感染,也包括吸烟、环境污染、吸入过敏原、应用镇静药物、心律失常等肺内外合并症或并发症。

其中,上呼吸道病毒感染是慢性阻塞性肺疾病急性加重最早、最常见的诱发因素,约占50%左右,2020年的慢性阻塞性肺疾病急性加重抗感染治疗中国专家共识提到,一项纳入19项研究总共1728例AECOPD患者的系统综述显示鼻/肠病毒(16.39%)、呼吸道合胞病毒(9.90%)和流感病毒(7.83%)是最常见的病毒。2017年慢性阻塞性肺疾病全球倡议(global initia tive for chronic obstructive lung disease,GOLD)报告指出病毒感染是AE COPD的主要出发因素,而且比细菌感染诱发的AECOPD更严重,持续时间更长,且易反复发作。慢性阻塞性肺部疾病患者只要不注意上述的诱发源,就会从慢性肺阻性疾病平稳转至急性加重期。

慢性肺阻性疾病急性加重定义为呼吸症状急性恶化,是一种临床除外诊断,临床和/或实验室检查没有发现其他可以解释的特异疾病,它的主要症状是气促加重,常伴有喘息、胸闷、咳嗽加剧、痰量增加等,此外还包括心动过速、呼吸急促、失眠等非特异性症状。然而,目前慢性阻塞性肺疾病急性加重期的诊断完全依赖于临床表现。即患者主诉症状的突然变化超过日常变异范围。一般还需要通过常规实验室检查、胸部影像学检查、动脉血气分析、肺功能测定、心电图(ECG)和超声心动图(UCG)、血液生化检查以及痰培养及药物敏感试验等才能确定是否处于急性加重期。对于急需治疗的急性加重期患者,检查如此繁多的项目很困难,如何快速有效且准确的判断慢性阻塞性肺疾病患者是否处于加重期,是当前的极为重要的研究点。

人工智能是一种新兴的计算机技术,其研究目的在于使计算机能够承担过去只有人类才能完成的智能工作,并且能够做得更好。其中,使用人工智能中的计算机辅助诊断技术方法,可以快速准确地识别慢性阻塞性肺疾病急性加重期。该方法在患者仅提供较少的检查信息时,就能够得出有效准确的判断。相较于传统检查方式,该方法避免了多项检查的耗时和耗力的同时也降低了患者死亡风险。该发明对于医生来说,能够快速判断患者的状态,及时提出治疗方案,有效降低了慢性阻塞性肺疾病急性加重带来的死亡风险。

发明内容

鉴于上述,本发明的目的是提供一种基于多模态的慢性阻塞性肺病急性加重的预测装置,来提高慢性阻塞性肺病急性加重的预测效率和精度。

为实现上述发明目的,本发明提供了一种基于多模态的慢性阻塞性肺病急性加重的预测装置,包括存储器和处理器,所述存储器用于存储计算机程序,所述处理器执行所述计算机程序时,实现以下步骤:

将呼吸科患者的信息与诊疗数据、就诊数据、检查检验数据、个人信息数据、肺功能报告数据、血常规报告数据组成结构化数据,胸部CT影像数据为图像化数据;

构建慢性阻塞性肺病急性加重的预测系统,包括多基学习器模块、结构化数据分类模块、胸部CT影像分割模块、肺部分割影像特征提取模块、融合模块和预测模块,其中多基学习器模块用于采用结构化数据对多个不同模型进行训练输出预测向量,结构化数据分类模块用于将多基学习器模块输出的预测向量作为训练集、测试集,对元模型进行训练测试和调整参数,得到优化的结构化数据分类模型和输出相应的预测概率值作为结构化数据的特征,胸部CT影像分割模块用于根据胸部CT影像数据使用3D卷积神经网络进行卷积池化操作,并通过训练测试和调整参数,得到优化的胸部CT影像分割模型及相应的肺部分割影像的CT数据,肺部分割影像特征提取模块用于根据肺部分割影像的CT数据提取肺部分割影像特征,融合模块用于将优化的结构化数据分类模型所提取的结构化数据的特征与优化的胸部CT影像分割模型输出的肺部分割影像的CT数据所提取的肺部分割影像特征输入到融合模块的融合层进行融合拼接得到模态融合的特征信息,预测模块用于根据模态融合的特征信息进行慢性阻塞性肺病急性加重的预测,并通过训练调整参数不断优化,得到优化的慢性阻塞性肺病急性加重的预测系统;

利用参数优化的慢性阻塞性肺病急性加重的预测系统进行慢性阻塞性肺病急性加重的预测。

优选地,所述多基学习器模块包括基于最大似然法的逻辑回归模型、基于特征随机选择和样本随机选择方法的随机森林模型、基于贝叶斯定理和特征之间的独立性计算概率假设的朴素贝叶斯模型、使用树形结构进行分类的决策树模型和使用梯度提升方法训练多个决策树的XGBoost模型,将结构化数据作为多基学习器的输入,将这五个基学习器输出的预测向量作为集成学习STACKING的输入。

所述结构化数据分类模块将多基学习器输出的向量作为集成学习STACKING的输入,对所述多基学习器的五个基学习器分别采用交叉验证的方式进行模型训练,将每个基学习器模型的交叉验证的验证集结果合并作为元模型的训练集,将每个基学习器模型交叉验证的测试集结果合并作为测试集,来对元模型进行训练和测试,以实现STACKING的交叉验证,通过训练测试和调整参数,得到优化的结构化数据分类模型和输出相应的预测概率值,得到的概率值不使用激活函数,直接作为结构化数据的特征输入进融合层。

优选地,所述胸部CT影像分割模块采用3D-Unet卷积神经网络作为基础网络,将胸部CT影像的三维矩阵分patch后进行三层下采样,每次下采样之前经过两个卷积层,池化层采用自适应池化AdaptiveAvgPool操作,在最后的两层下采样中,卷积层使用可形变卷积Deformable Conv并通过注意力机制关注血管等细小部位,再经过三层的上采样输出维度是三的肺部分割影像的CT数据,通过训练测试和调整参数,得到优化的胸部CT影像分割模型。

优选地,所述肺部分割影像特征提取模块使用三维残差神经网络3D-Resnet将输入的肺部分割影像的CT数据转换成相同尺度的三维矩阵,并对该三维矩阵在3D-Resnet的全连接层FC前提取肺部分割影像特征。

优选地,所述融合模块用于将优化的结构化数据分类模型所提取的结构化数据的特征与优化的胸部CT影像分割模型所输出的肺部分割影像的CT数据所提取的肺部分割影像特征输入到融合模块的融合层,融合层将两个模态的特征通过Concat()操作进行拼接,得到模态融合的特征信息F

F

其中,F

优选地,所述预测模块包括使用ReLU激活函数根据模态融合的特征信息F

f(x)=max(0,x)

二分类结果0和1,结果0表示未发生慢性阻塞性肺疾病急性加重事件,结果1表示发生了慢性阻塞性肺疾病急性加重事件,对慢性阻塞性肺疾病急性加重预测系统进行训练,分别对每个训练周期epoch计算性能指标,通过比较所有epoch中的性能指标结果,根据实际应用场景选取一个性能优秀的慢性阻塞性肺疾病急性加重预测系统,通过调整参数不断优化,得到参数优化的慢性阻塞性肺疾病急性加重预测系统。

为实现上述发明目的,本发明还提供了一种基于多模态的慢性阻塞性肺病急性加重的预测装置,包括数据获取单元、模型构建单元和应用单元,

所述数据获取单元用于将呼吸科患者的信息与诊疗数据、就诊数据、检查检验数据、个人信息数据、肺功能报告数据、血常规报告数据组成结构化数据,胸部CT影像数据为图像化数据;

所述模型构建单元用于构建慢性阻塞性肺病急性加重的预测系统,包括多基学习器模块、结构化数据分类模块、胸部CT影像分割模块、肺部分割影像特征提取模块、融合模块和预测模块,其中多基学习器模块用于采用结构化数据对多个不同模型进行训练输出预测向量,结构化数据分类模块用于将多基学习器模块输出的预测向量作为训练集、测试集,对元模型进行训练测试和调整参数,得到优化的结构化数据分类模型和输出相应的预测概率值作为结构化数据的特征,胸部CT影像分割模块用于根据胸部CT影像数据使用3D卷积神经网络进行卷积池化操作,并通过训练测试和调整参数,得到优化的胸部CT影像分割模型及相应的肺部分割影像的CT数据,肺部分割影像特征提取模块用于根据肺部分割影像的CT数据提取肺部分割影像特征,融合模块用于将优化的结构化数据分类模型所提取的结构化数据的特征与优化的胸部CT影像分割模型输出的肺部分割影像的CT数据所提取的肺部分割影像特征输入到融合模块的融合层进行融合拼接得到模态融合的特征信息,预测模块用于根据模态融合的特征信息进行慢性阻塞性肺病急性加重的预测,并通过训练调整参数不断优化,得到优化的慢性阻塞性肺病急性加重的预测系统;

所述应用单元用于利用参数优化的慢性阻塞性肺病急性加重的预测系统进行慢性阻塞性肺病急性加重的预测。

与现有技术相比,本发明的技术效果至少包括:

本发明针对慢性阻塞性肺疾病急性加重的预测问题,引入了多模态的方法,丰富了场景数据和信息,从而提高了预测精准度。本发明系统只需要患者检查血常规、肺功能和胸部CT影像等比较方便获得的数据信息,能更有效的应用于现实场景,提高判断的效率,并在减少检查时间的同时,提高识别急性加重的效率,有效降低慢性阻塞性肺疾病急性加重带来的死亡风险。本发明通过将数据进行筛查,特征处理生成可应用于预测算法的数据,将其根据数据模态分别输入分为两层的预测算法模型和分割模型中。预测算法模型用于生成结构化数据的预测结果,分割模型用于生成胸部CT影像的预测结果,然后将两种模态的模型结果融合得到准确度更高的预测结果。本发明是一种让计算机使用人工智能的方式自主判断患者是否处于慢性阻塞性肺疾病急性加重期的方法,相比现有技术具有更高的精准度和更广泛的适用性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动前提下,还可以根据这些附图获得其他附图。

图1是本发明实施例提供的基于多模态的慢性阻塞性肺病急性加重的预测方法的流程图;

图2是本发明实施例提供的基于多模态的慢性阻塞性肺病急性加重的预测方法中胸部CT影像的分割结果;

图3是本发明实施例提供的基于多模态的慢性阻塞性肺病急性加重的预测系统结构图;

图4是本发明实施例提供的基于多模态的慢性阻塞性肺病急性加重的预测系统中肺部分割影像特征提取模块使用的3D-ResNet网络结构图;

图5是本发明实施例提供的基于多模态的慢性阻塞性肺病急性加重的预测装置的结构图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例对本发明进行进一步的详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不限定本发明的保护范围。

为了解决现有技术中对于慢性阻塞性肺疾病患者需要检查多个项目耗时耗力并增加死亡风险的问题,实施例提供了一种基于多模态的慢性阻塞性肺病急性加重的预测方法和装置。

如图1所示,实施例提供的一种基于多模态的慢性阻塞性肺病急性加重的预测方法和装置,包括以下步骤:

S110,将呼吸科患者的信息与诊疗数据、就诊数据、检查检验数据、个人信息数据、肺功能报告数据、血常规报告数据组成结构化数据,胸部CT影像数据为图像化数据。

实施例中,医院HIS系统内呼吸科的医疗诊疗数据、呼吸科患者就诊数据、检查检验数据、呼吸科患者个人信息数据都是通过医院伦理认证和数据脱敏的,不包含个人隐私。考虑到现实中,门诊对慢性阻塞性肺病急性加重的判断并不准确,因此对慢阻肺急性加重的数据进行假阳性的剔除,依据结合了慢阻肺GOLD指南和多位主治医生临床的判断经验。

实施例中,由多位专业医生根据呼吸科患者的既往史,就诊数据、检查检验数据对患者进行慢性阻塞性肺病急性加重的判定,慢性阻塞性肺病急性加重的最终判定标签由多位专业医生投票决定。

实施例中,对呼吸科患者的信息与诊疗数据、就诊数据、个人信息数据进行处理,先通过对病人的就诊信息和现病史内的关键词进行筛查,筛查的关键词包括:咳嗽、咳痰、呼吸困难、气促、气急、呼吸不畅、呼吸不顺、喘息、气喘、胸闷、发热、气紧、乏力、纳差、胃口不好、睡眠差、消瘦、体重下降,存在上述关键词的患者的数据会被纳入。

获取医院呼吸科患者的肺功能报告数据。对呼吸科患者的肺功能报告数据进行分析,肺功能报告数据的特征包含病人性别、年龄、身高、体重以及肺功能报告内的各项指标特征,根据肺功能报告内的结论,舒张试验阳性表示主要考虑支气管哮喘,因此结论不存在“舒张试验阳性”的患者的数据会被纳入。

肺功能报告数据的特征包含病人性别、年龄、身高、体重以及肺功能报告内的各项指标特征,根据肺功能报告内的结论,舒张试验阳性表示主要考虑支气管哮喘,因此结论不存在“舒张试验阳性”的患者的数据会被纳入。对呼吸科患者的胸部CT影像数据进行处理,胸部CT影像数据中出现损毁肺情况的患者的数据不会被纳入。

实施例中,胸部CT影像数据由医院的影像科处CT设备导出而获取,通过医院伦理认证和数据脱敏。先根据胸部CT影像的DICOM文件内的标签进行筛查。首先,根据DICO文件的(0018,5100)PatientPosition CS来确定患者做胸部CT影像的姿势,只有HFS标签的可以被纳入,H表示head,F表示foot,S表示supine,只有从头开始进入,仰卧的数据符合要求。考虑到实际情况,Patient Position CS并不能作为唯一标识,因为HFS有时候是默认值,因此需要参考DICOM第二个标签(0020,0037)Image Orientation(Patient)DS,符合HFS的编码是(100010),如果两个字段的编码都符合要求,这样的胸部CT影像会被纳入。当胸部CT影像的DICOM编码符合要求后,需要对胸部CT影像数据进行观察,如果胸部CT影像出现肺损毁,肺叶出现不同程度损毁,纤维化,空洞状或者支气管部位病变这些临床特征的,那么这些胸部CT影像不能被纳入。因为这些临床特征会影响慢性阻塞性肺病急性加重的判断,并且它们并不属于慢性阻塞性肺病急性加重的临床特征。

实施例中,由多位专业医生对独立的胸部CT影像样本进行标注并投票合并成最终标注结果,肺实质、肺部气管和支气管都是临床能够直接观测的特征,医生使用ITK-SNAP软件对胸部CT上的肺实质、肺部气管和支气管进行标注,标注的标签分别是2,3,4。

对呼吸科患者的信息与诊疗数据、就诊数据、检查检验数据、个人信息数据、肺功能报告数据、血常规报告数据和胸部CT影像数据进行数据清洗和数据处理。

对呼吸科患者的信息与诊疗数据、就诊数据、检查检验数据、个人信息数据、肺功能报告数据、血常规报告数据和胸部CT影像数据根据患者的UID进行匹配。呼吸科患者的信息与诊疗数据、就诊数据、检查检验数据、个人信息数据、肺功能报告数据、血常规报告数据组成结构化数据,胸部CT影像数据为图像化数据。

基于标注数据,以全量数据的30%作为验证集合,剩余70%作为训练集的划分比例,对匹配好的数据进行训练集和验证集的划分。对训练集和验证集中的结构化数据非数值数据进行量化,one_hot编码。对量化后的数据进行归一化处理,统一数据量纲。但不影响整体数据尺寸和数值范围。

如图1所示,针对训练集和验证集中的结构化数据通过数据特征工程,对缺失值作填充,对异常值作修改或者剔除。对训练集和验证集中的数据进行量化处理,对含有分类标签的文本数据做one_hot处理,进行一定程度上的数据变换和归一化处理,但不影响整体数据尺寸和数值范围。图像化数据的胸部CT影像,选取肺部组织的CT值范围,肺部组织的窗宽窗位的选取在窗宽1250,窗位650。在该数值下,肺部组织图像最明显。如果胸部CT影像的层厚thickness大于1.5毫米,对图像进行三线性插值,将层厚插值成1.5毫米。对胸部CT影像数据做数据增广。

S120,构建慢性阻塞性肺病急性加重的预测系统,包括多基学习器模块、结构化数据分类模块、胸部CT影像分割模块、肺部分割影像特征提取模块、融合模块和预测模块。

图3为实施例提供的基于多模态的慢性阻塞性肺病急性加重的预测系统结构图。

多基学习器模块包括现已公开的逻辑回归模型、随机森林模型、朴素贝叶斯模型、决策树模型和XGBoost模型,将结构化数据作为多基学习器的输入,将这五个基学习器输出的向量作为集成学习STACKING的输入。

结构化数据分类模块将多基学习器输出的向量作为集成学习STACKING的输入,对这五个基学习器分别采用交叉验证的方式进行模型训练,将每个基学习器模型的交叉验证的验证集结果合并作为元模型的训练集,将每个基学习器模型交叉验证的测试集结果合并作为测试集,来对元模型进行训练和测试,以实现STACKING的交叉验证,通过训练测试和调整参数,待模型收敛且优化到了一个极限的时候就可以停止模型的迭代,得到优化的结构化数据分类模型和输出相应的预测概率值。

如图3所示,胸部CT影像分割模块采用3D-Unet卷积神经网络作为基础网络,先将胸部CT影像转换成三维矩阵,尺寸是(z,512,512),z代表层数。分割模型以3D-Unet作为baseline,将三维矩阵切分成64*64*64的小patch,进行三层的下采样,每次下采样之前经过两个卷积层,池化层使用自适应池化AdaptiveAvgPool,在最后的两层下采样中,卷积层使用可形变卷积Deformable Conv,同时在最后两层加入注意力机制atten tion,用于对血管等细小位置进行注意。再经过三层的上采样输出维度是三的分割标签。将患者的胸部CT影像分割结果根据时间进行排序,对肺实质、肺部气管和支气管分割结果进行体素差异计算,分别对三种分割的计算结果赋予不同的权重,得到一个打分。通过训练测试和调整参数,得到优化的胸部CT影像分割模型。实际中分割的效果会受到CT设备的影响,为了解决该问题,对图像分割的时候可以在显存大小允许的情况下适当的提高三维矩阵切分的patch大小,可以是128*128*128甚至更大,这样能在一定程度上克服CT影像质量差的问题,图2为本发明实施例提供的基于多模态的慢性阻塞性肺病急性加重的预测方法中胸部CT影像的分割结果。

胸部CT影像分割模型输出结果是维度是三的肺部分割影像的CT数据,肺部分割影像特征提取模块根据肺部分割影像的CT数据使用分割模型输出的图象是尺度为512*512*Z的矩阵,矩阵内包含分割好的肺部信息,但是只有一部分的区域存在像素值,因为肺部信息在整个CT内的占比不高,如图4所示,使用3D-Resnet对分割结果进行特征提取,使用3D-CONV对分割结果做卷积操作,进过卷积和下采样得到尺度是1*1*C的肺部分割影像特征图。该特征图在3D-Resnet的FC全连接层之前。

融合模块用于将优化的结构化数据分类模型所提取的结构化数据的特征与优化的胸部CT影像分割模型所输出的肺部分割影像的CT数据所提取的肺部分割影像特征输入到融合模块的融合层,融合层将两个模态的特征通过Concat()操作进行拼接,得到模态融合的特征信息F

F

其中,F

预测模块包括使用ReLU激活函数根据模态融合的特征信息F

f(x)=max(0,x)

二分类结果0和1,结果0表示未发生慢性阻塞性肺疾病急性加重事件,结果1表示发生了慢性阻塞性肺疾病急性加重事件,对慢性阻塞性肺疾病急性加重预测系统进行训练,分别对每个训练周期epoch计算性能指标,通过比较所有epoch中的性能指标结果,根据实际应用场景选取一个性能优秀的慢性阻塞性肺疾病急性加重预测系统,通过调整参数不断优化,得到参数优化的慢性阻塞性肺疾病急性加重预测系统。

S130,利用参数优化的慢性阻塞性肺病急性加重的预测系统进行慢性阻塞性肺病急性加重的预测。

对于病患需要检查多个项目耗时耗力并增加死亡风险的问题,实施例中,引入了多模态的方法,丰富了场景数据和信息,对慢性阻塞性肺疾病急性加重会更加的精准,也更适合复杂的场景应用变化。本实施例数据获取环节只需要患者检查血常规、肺功能和胸部CT影像等比较方便获得的数据信息,能更有效的应用于现实场景,提高判断的效率,在减少检查时间的同时,提高识别急性加重的效率,从而能有效地降低慢性阻塞性肺疾病急性加重带来的死亡风险。同时,本实施例通过将数据进行筛查,特征处理生成可应用于预测算法的数据,将其根据数据模态分别输入分为两层的预测算法模型和分割模型中。再将两种模态的模型结果融合得到准确度更高的预测结果。

对于现有技术中胸部CT影像分割效果会受到CT设备的影响,为了解决该问题,对影像分割的时候可以在显存大小允许的情况下适当的提高三维矩阵切分的patch大小,可以是128*128*128甚至更大,这样能在一定程度上克服CT影像质量差的问题。

基于同样的发明构思,实施例还提供了一种基于多模态的慢性阻塞性肺病急性加重的预测装置,包括存储器和处理器,存储器用于存储计算机程序,其处理器执行计算机程序时,实现上述实施例提供的基于多模态的慢性阻塞性肺病急性加重的预测方法的步骤,包括以下步骤:

S110,将呼吸科患者的信息与诊疗数据、就诊数据、检查检验数据、个人信息数据、肺功能报告数据、血常规报告数据组成结构化数据,胸部CT影像数据为图像化数据;

S120,构建慢性阻塞性肺病急性加重的预测系统,包括多基学习器模块、结构化数据分类模块、胸部CT影像分割模块、肺部分割影像特征提取模块、融合模块和预测模块;

S130,利用参数优化的慢性阻塞性肺病急性加重的预测系统进行慢性阻塞性肺病急性加重的预测。

实施例中,存储器可以为在近端的易失性存储器,如RAM,还可以是非易失性存储器,如ROM,FLASH,软盘,机械硬盘等,还可以是远端的存储云。处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA),即可以通过这些处理器实现基于多模态的慢性阻塞性肺病急性加重预测装置方法的步骤。

基于同样的发明构思,实施例还提供了一种基于多模态的慢性阻塞性肺病急性加重预测装置500,包括数据获取单元510、模型构建单元520、应用单元530,

其中,数据获取单元510用于将呼吸科患者的信息与诊疗数据、就诊数据、检查检验数据、个人信息数据、肺功能报告数据、血常规报告数据组成结构化数据,胸部CT影像数据为图像化数据。

模型构建单元520用于构建慢性阻塞性肺病急性加重的预测系统,包括多基学习器模块、结构化数据分类模块、胸部CT影像分割模块、肺部分割影像特征提取模块、融合模块和预测模块,其中多基学习器模块用于采用结构化数据对多个不同模型进行训练输出预测向量,结构化数据分类模块用于将多基学习器模块输出的预测向量作为训练集、测试集,对元模型进行训练测试和调整参数,得到优化的结构化数据分类模型和输出相应的预测概率值作为结构化数据的特征,胸部CT影像分割模块用于根据胸部CT影像数据使用3D卷积神经网络进行卷积池化操作,并通过训练测试和调整参数,得到优化的胸部CT影像分割模型及相应的肺部分割影像的CT数据,肺部分割影像特征提取模块用于根据肺部分割影像的CT数据提取肺部分割影像特征,融合模块用于将优化的结构化数据分类模型所提取的结构化数据的特征与优化的胸部CT影像分割模型输出的肺部分割影像的CT数据所提取的肺部分割影像特征输入到融合模块的融合层进行融合拼接得到模态融合的特征信息,预测模块用于根据模态融合的特征信息进行慢性阻塞性肺病急性加重的预测,并通过训练调整参数不断优化,得到优化的慢性阻塞性肺病急性加重的预测系统;

应用单元530用于利用参数优化的慢性阻塞性肺病急性加重的预测系统进行慢性阻塞性肺病急性加重的预测。

需要说明的是,上述实施例提供的慢性阻塞性肺病急性加重的预测装置在进行慢性阻塞性肺病急性加重的预测时,应以上述各功能单元的划分进行举例说明,可以根据需要将上述功能分配由不同的功能单元完成,即在终端或服务器的内部结构划分成不同的功能单元,以完成以上描述的全部或者部分功能。另外,上述实施例提供的慢性阻塞性肺病急性加重的预测装置与慢性阻塞性肺病急性加重的预测方法实施例属于同一构思,其具体实现过程详见慢性阻塞性肺病急性加重的预测方法实施例,这里不再赘述。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明,应理解的是以上所述仅为本发明的最优选实施例,并不用于限制本发明,凡在本发明的原则范围内所做的任何修改、补充和等同替换等,均应包含在本发明的保护范围之内。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号