首页> 中国专利> 一种基于人工智能的智能辅助医学影像工作站

一种基于人工智能的智能辅助医学影像工作站

摘要

本发明公开了一种基于人工智能的智能辅助医学影像工作站,包括影像采集单元、AI智能模块和便携计算机主机,通过影像采集单元采集医学影像检查设备的视频和图像信息并将其转化为数字影像数据,在便携计算机主机的统一管控下,通过由AI接口单元、AI运算和处理单元组成的AI智能模块进行基于人工智能深度学习运算和处理,实现影像动态识别和智能分析辅助医生进行检查和诊断,同时实现影像工作站所具备的医院信息系统对接和报告管理等常见功能。本发明的特点在于将具有较强的边缘计算能力和较低功耗的嵌入式AI智能模块应用到影像工作站系统内,从而实现智能影像工作站的小型化、便携化和智能化,提升工作效率的同时提高诊断准确率,降低误诊率。

著录项

  • 公开/公告号CN112270974A

    专利类型发明专利

  • 公开/公告日2021-01-26

    原文格式PDF

  • 申请/专利权人 视隼智能科技(上海)有限公司;

    申请/专利号CN202011002611.1

  • 发明设计人 龚任;许尔蛟;

    申请日2020-09-22

  • 分类号G16H30/20(20180101);G16H30/40(20180101);G16H50/20(20180101);G16H50/70(20180101);G06K9/00(20060101);G06K9/62(20060101);G06N3/04(20060101);G06N3/08(20060101);

  • 代理机构11465 北京慕达星云知识产权代理事务所(特殊普通合伙);

  • 代理人符继超

  • 地址 200000 上海市奉贤区南奉公路8519号7K

  • 入库时间 2023-06-19 09:40:06

说明书

技术领域

本发明涉及医学影像技术领域,更具体的说是涉及一种基于人工智能的智能辅助医学影像工作站。

背景技术

随着医学影像技术的发展,医学影像检查在医疗诊断方面得到了广泛的应用。许多疾病通过医学影像检查,医生可以直观、准确的确定患者的病情。常见的医学影像检查有X光成像、CT、核磁共振成像和超声波检查等。当前,医院进行医学影像检查的方法是通过医学影像终端检查设备生成医学影像,再由影像科医生通过观察医学影像根据专业知识和经验判定病情和疑似病变及作出诊断,然后通过影像工作站出具检查报告,因此医学影像工作站在医院常规影像检查中得到了广泛的应用,但目前绝大多数的影像工作站主要功能是用于出具检查报告和对接医院的信息管理系统(例如:HIS和PACS系统),功能单一,通过医学影像进行病情诊断往往只能依靠影像科医生做出判断,但是仅仅通过人工判断有可能会出现误诊情况。此外,随着近年来涌现出大量的便携式影像设备,例如便携超声、便携DR、便携CT甚至便携核磁,目前的影像工作站还基本停留在通常由PC或PC工作站构成的固定式的工作站模式。

因此,如何扩展医学影像工作站功能,实现医学影像智能辅助,提高病情诊断的效率和准确率,以及利用现有影像设备实现工作站的小型化是本领域技术人员亟需解决的问题。

发明内容

有鉴于此,本发明提供了一种基于人工智能的智能辅助医学影像工作站,包括影像采集单元、AI智能模块单元和计算机主机;其中所述AI智能模块为一种独立的低功耗高运算能力的小型嵌入式系统,由AI接口单元、AI运算和处理单元组成。有别于目前常见的大型和固定式的影像工作站,通过嵌入式的所述AI智能模块结合计算机主机和影像采集单元,可以直接对接绝大多数常见的固定式或便携式医学影像终端设备视频或图像信号输出端;通过所述影像采集单元首先将输入的影像视频信息转化为数字影像数据输入到所述计算机主机,所述计算机主机根据其装载的智能应用模块将相关的数字影像数据以直接或间接的方式传输给所述AI智能模块,所述AI智能模块通过其已经部署的基于人工智能深度学习的神经网络对输入的所述数字影像数据进行目标物动态识别和提醒,同时根据智能应用模块的需求,对输入影像进行智能分析用以辅助医生做出诊断。

此外,通过结合AI智能模块单元和计算机主机,可以为临床医生提供大量的用于科研和临床分析的智能辅助工具,例如:智能数据采集和标注,影像数据对照和随访智能跟踪,智能培训等,这些智能辅助功能将可以充分发挥和扩展影像工作站在临床检查和后台诊断的特殊功效,有效的帮助临床影像医生提升工作效率和诊断准确率,降低误诊率。

为了实现上述目的,本发明采用如下技术方案:

一种基于人工智能的智能辅助医学影像工作站,包括影像采集单元、AI智能模块和计算机主机;

所述影像采集单元,连接医学影像检查终端设备,用于实时接收医疗影像检查获得的影像或图像信息,并转化为下一单元可接收的数字影像数据格式;

所述AI智能模块,由AI接口单元和AI运算和处理单元组成,用于人工智能网络算法模型的部署与执行;对影像工作站进行硬件加密;

所述便携计算机主机,为便携式计算机或平板电脑,通过对接所述影像采集单元和所述AI智能模块,实现该影像工作站的智能应用功能,例如:影像采集、智能识别、智能辅助分析、影像管理、数据标注、系统管理、并出具检查报告和对接医院的信息管理系统等。由于嵌入式AI智能模块体积较小且功耗较低,因此与所述影像采集单元和所述计算机主机构成的影像工作站体积小功耗低,便于使用和降低能耗,使用便携式计算机或平板电脑构成的影像工作站使得影像工作站具有便携化优势。

优选的,所述影像采集单元为视频和图像数据采集模块,设置有影像信号输入接口,包括HDMI、DVI、S-Video、VGA、RGB色差接口和DICOM专用接口等,还设置有数字影像数据输出接口通常采用PCI/E和USB方式。

优选的,所述AI接口单元,用于提供为所述计算机主机、所述AI运算和处理单元进行对接的硬件载板功能和通信接口及管理AI智能模块电源所需的电源管理模块;所述AI接口单元为6层2阶的硬件PCBA设计,提供的功能包括多种硬件接口和电源管理,其中所述硬件接口包括:AI运算和处理单元接口、若干USB2.x/3.x接口、网口、HDMI接口、PCIE接口、无线扩展接口(例如M.2Key E)、GPIO接口、和用于测试和调试用的Debug接口和测试接口,电源管理包括:7~19V输入电压转换为所述的AI运算和处理模块所需的5v和3.3v稳压电源及Rest键;

所述AI运算和处理单元,用于部署和执行人工智能神经网络算法模型以及进行运算,从而实现医学影像视频和数据的智能动态识别、图像智能分析和辅助诊断;所述AI运算和处理单元采用GPU和CPU及内存组合的嵌入式系统模块,例如:NVIDIA系列人工智能模块。

优选的,所述AI智能模块作为一个硬件加密方式用于所述医学影像工作站的加密,所述医学影像工作站的所述计算机主机通过特定的协议和所述AI智能模块的所述AI接口单元进行身份确认和通信,从而实现系统的硬件加密。

优选的,所述医学影像工作站为双操作系统,所述AI智能模块采用嵌入式的Linux或Ubanto系统,所述计算机主机采用Windows系统并装载智能应用模块。

优选的,由所述影像采集单元、所述AI智能模块和所述计算机主机构成的所述医学影像工作站采用两种运行构架模式;模式一为所述影像采集单元、所述AI智能模块和所述计算机主机采用依次串联方式运行;模式二为所述影像采集单元与所述计算机主机直接连接,而所述AI智能模块通过串联方式和所述计算机主机进行双向通讯并通过所述计算机主机间接与所述影像采集单元进行连接。

优选的,采用所述模式一运行时,所述医学影像工作站工作流程为:

步骤11:所述影像采集单元外接所述医学影像检查终端设备,将所述医学影像检查终端设备的输出影像信号通过接口接收到所述影像采集单元内并实时转化为所述数字影像数据用于后面的影像处理和显示;

步骤12:所述AI智能模块对输入的所述数字影像数据进行处理和运算,实现多种人工智能动态识别和智能分析功能,获得识别结果和分析结果;

步骤13:所述AI智能模块将所述识别结果和所述分析结果传输给所述计算机主机的主程序进行显示、提醒和辅助诊断。

优选的,采用所述模式二运行时,所述医学影像工作站工作流程为:

步骤21:所述影像采集单元与所述计算机主机通过USB或者总线直接连接,并将采集的数字影像数据通过所述计算机主机进行缓存、统一控制、调配和处理;控制将所述数字影像数据发送至所述AI智能模块;

步骤22:所述AI智能模块通过所述硬件接口和所述计算机主机进行对接通信,所述AI智能模块根据所述计算机主机的所述智能应用模块要求对数字影像数据进行智能分析、处理及运算,实现多种所述人工智能动态识别和智能分析功能,获得所述识别结果和所述分析结果,并实时回传送给所述计算机主机;

步骤23:所述计算机主机根据所述智能应用模块需求进行相应处理和显示。

优选的,所述智能应用模块控制和协调所述影像采集单元、所述AI智能模块单元和所述计算机主机进行影像数据采集、处理、运算和管理;所述AI智能模块中的所述AI运算和处理单元采用影像目标物动态识别方法、疑似病变智能辅助分析方法和神经网络优化方法进行智能医学影像辅助。

优选的,所述影像目标物动态识别方法采用大量特征目标物标注数据和数据增强预处理等技术结合深度学习中常用的神经网络算法模型,例如,CNN卷积层、leaky_relu激活层、batch_normalization批标准化、Sigmoid激活层、全连接层等的不同组合和构架,产生影像动态识别神经网络并将其部署到所述AI智能模块中,从而实现对医学影像的动态识别和提醒。

优选的,所述疑似病变智能辅助分析方法采用人工智能深度学习方法,对大量的病变阳性数据进行分类标注和特征标注,结合数据增强预处理技术和深度学习中常用的神经网络算法模型,例如,CNN卷积层、leaky_relu激活层、batch_normalization批标准化、Sigmoid激活层、全连接层等的不同组合和构架,产生图像智能分析网络并将其部署到所述AI智能模块中,从而实现对目标疑似病变的智能辅助分析从而协助医生进行诊断。

优选的,所述神经网络优化方法通过对神经网络进行真实数据测试,发现并标注那些被误报的假阳性和假阴性数据,将这些数据加入培训数据集进行网络再训练从而得到优化网络,该步骤将重复进行达到使神经网络持续进化的目的。

经由上述的技术方案可知,与现有技术相比,本发明公开提供了一种基于人工智能的智能辅助医学影像工作站,在传统医学影像工作站的基层上,通过将人工智能运算模块和便携计算机主机及影像采集单元结合,实现传统医学影像工作站的智能化和多功能化升级。通过大数据深度学习的神经网络算法模型训练和部署,结合计算机运算能力实现多种影像的动态识别提醒和智能分析功能,从而有效的辅助医生进行诊断,该系统可以作为一种智能辅助诊断工具,提升影像医师的工作效率和减轻医师的工作压力,并提升诊断准确性减少误诊。本发明解决了目前医学影像工作站主要为出具报告和医院信息管理对接的较为单一的功能,可以实现医学影像工作站的多种智能化功能扩展,例如:疑似病变的自动识别、勾画和跟踪,智能辅助分析和诊断,医师智能培训,远程智慧医疗等。帮助降低基层医疗对有经验的专业影像医师的依赖,解决医师诊断水平不均和有经验医师缺乏的窘境;实现协助对临床住院医师和基层医师进行智能化、规范化培训,节约培训资源和解决教学水平不均等问题。

此外,通过这种小型低功耗且兼具较强智能边缘计算能力的AI智能模块与便携计算机主机相结合的方式,提供了一种创新的便携式智能医学影像工作站实现方法,可以方便的对接各种便携医学影像终端设备,不需要远程或云计算的支持,实现随时随地的便携智能影像工作站边缘计算能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的智能辅助医学影像工作站模式一连接结构示意图;

图2附图为本发明提供的智能辅助医学影像工作站模式二连接结构示意图;

图3附图为本发明提供的AI智能模块结构示意图;

图4附图为本发明提供的AI接口单元接口示意图;

图5附图为本发明提供的实施例中深度网络1的结构A参量表;

图6附图为本发明提供的实施例中深度网络1的结构B参量表;

图7附图为本发明提供的实施例中深度网络2的结构A参量表;

图8附图为本发明提供的实施例中深度网络2的结构B参量表;

图9附图为本发明提供的实施例中ResBlock结构示意图;

图10附图为本发明提供的实施例中Batch_Normal结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明实施例公开了一种基于人工智能的智能辅助医学影像工作站,包括影像采集单元、AI智能模块和计算机主机;

影像采集单元,连接医学影像检查终端设备,用于实时接收医疗影像检查获得的数字影像数据,并转化为下一单元可接收数据格式;

AI智能模块,由AI接口单元和AI运算和处理单元组成,用于人工智能网络模型的部署与执行;作为一个硬件加密方式用于医学影像工作站的加密;

计算机主机,为便携式计算机或平板电脑,通过对接影像采集单元和AI智能模块,实现医学影像工作站的智能应用功能,例如:影像采集、智能识别、智能辅助分析、影像管理、数据标注、系统管理、并出具检查报告和对接医院的信息管理系统等。

为了进一步优化上述技术方案,影像采集单元为视频数据采集模块,设置有影像信号输入接口,包括HDMI、DVI、S-Video、VGA、RGB色差接口和DICOM专用接口等,还设置有数字影像数据输出接口通常采用PCI/E和USB方式。

为了进一步优化上述技术方案,AI接口单元,用于提供为计算机主机、AI运算和处理单元进行对接的硬件载板功能和通信接口及管理AI智能模块电源所需的电源管理模块;AI接口单元为6层2阶的硬件PCBA设计,提供的功能包括多种硬件接口和电源管理,其中硬件接口包括:AI运算和处理单元接口、若干USB2.x/3.x接口、网口、HDMI接口、PCIE接口、无线扩展接口(例如M.2Key E)、GPIO接口、和用于测试和调试用的Debug接口和测试接口,电源管理包括:7~19V输入电压转换为的AI运算和处理模块所需的5v和3.3v稳压电源及Rest键;。

AI运算和处理单元,用于部署和执行人工智能神经网络算法模型以及进行运算,从而实现医学影像视频和数据的智能动态识别、图像智能分析和辅助诊断;AI运算和处理单元采用GPU和CPU及内存组合的嵌入式系统模块,例如:NVIDIA系列人工智能模块。

为了进一步优化上述技术方案,AI智能模块作为一个硬件加密方式用于医学影像工作站的加密,指医学影像工作站的计算机主机通过特定的协议和AI智能模块的AI接口单元进行身份确认和通信,从而实现系统的硬件加密

为了进一步优化上述技术方案,医学影像工作站为双操作系统,AI智能模块采用嵌入式的Linux或Ubanto系统,计算机主机采用Windows系统并装载智能应用模块。

为了进一步优化上述技术方案,智能应用模块为控制和协调影像采集单元、AI智能模块单元和便携计算机主机进行影像数据采集、处理、运算和管理;AI智能模块中的AI运算和处理单元采用影像目标物动态识别方法、疑似病变智能辅助分析方法和神经网络优化方法进行智能医学影像辅助。

为了进一步优化上述技术方案,由影像采集单元、AI智能模块和便携计算机主机构成的医学影像工作站采用两种运行架构模式;模式一为影像采集单元、AI智能模块和计算机主机采用依次串联方式运行;模式二为影像采集单元与计算机主机直接连接,而AI智能模块通过串联方式和计算机主机进行双向通讯并通过计算机主机间接与影像采集单元进行连接。

为了进一步优化上述技术方案,采用模式一运行时,医学影像工作站工作流程为:

步骤11:影像采集单元外接医学影像检查终端设备,将医学影像检查终端设备的输出影像信号通过接口接收到影像采集单元内并实时转化为数字影像数据用于后面的影像处理和显示;

步骤12:AI智能模块对输入的数字影像数据进行处理和运算,实现多种人工智能动态识别和智能分析功能,获得识别结果和分析结果;

步骤13:AI智能模块将识别结果和分析结果传输给计算机主机的主程序进行显示、提醒和辅助诊断。

为了进一步优化上述技术方案,采用模式二运行时,医学影像工作站工作流程为:

步骤21:影像采集单元与便携计算机主机通过USB或者总线直接连接,并将采集的数字影像数据通过便携计算机主机进行缓存、统一控制、调配和处理;控制将数字影像数据发送至AI智能模块;

步骤22:AI智能模块通过硬件接口和便携计算机主机进行对接通信,AI智能模块根据计算机主机的智能应用模块要求对数字影像数据进行智能分析、处理及运算,实现多种人工智能动态识别和智能分析功能,获得识别结果和分析结果,并实时回传送给计算机主机;

步骤23:计算机主机根据智能应用模块需求进行相应处理和显示。

为了进一步优化上述技术方案,智能应用模块可以通过显示屏或按键输入需求指令,或者根据辅助诊断方法调用相应算法处理或显示。

为了进一步优化上述技术方案,智能应用模块控制和协调各的影像采集单元、的AI智能模块单元和的计算机主机进行影像数据采集、处理、运算和管理;AI智能模块中的AI运算和处理单元采用影像目标物动态识别方法、疑似病变智能辅助分析方法和神经网络优化方法进行智能医学影像辅助。

为了进一步优化上述技术方案,影像目标物动态识别方法采用大量特征目标物标注数据和数据增强预处理等技术结合深度学习中常用的神经网络算法模型,例如,CNN卷积层、leaky_relu激活层、batch_normalization批标准化、Sigmoid激活层、全连接层等的不同组合和构架,产生影像动态识别神经网络并将其部署到AI智能模块中,从而实现对医学影像的动态识别和提醒。

为了进一步优化上述技术方案,疑似病变智能辅助分析方法采用人工智能深度学习方法,对大量的病变阳性数据进行分类标注和特征标注,结合数据增强预处理技术和深度学习中常用的神经网络算法模型,例如,CNN卷积层、leaky_relu激活层、batch_normalization批标准化、Sigmoid激活层、全连接层等的不同组合和构架,产生图像智能分析网络并将其部署到AI智能模块中,从而实现对目标疑似病变的智能辅助分析从而协助医生进行诊断。

为了进一步优化上述技术方案,神经网络优化方法通过对神经网络进行真实数据测试,发现并标注那些被误报的假阳性和假阴性数据,将这些数据加入培训数据集进行网络再训练从而得到优化网络,该步骤可以重复进行达到使神经网络持续进化的目的。

实施例

(1)医学影像工作站中AI智能模块根据其部署的基于人工智能深度学习的神经网络算法模型对接收的数字影像数据进行识别运算和处理,其执行过程具体包括:

S11:获取数据的过程,包括S111、S112、S113三步,具体如下:

S111:输入病人的个人信息,此过程需要医生录入病人的姓名等个人信息,以便后续保存影像、识别结果、生成报告和病例。其方式有但不限于手动输入、语音输入、RFID或摄像头识别读取身份证或医保卡等方式;

S112:从医学影像终端设备(例如超声设备)获取病人相关视频或图像信息,其方式主要是通过影像终端设备的视频同步输出端口,如HDMI、DVI、S端子等。也可以通过网口、USB等其他方式同步或异步地传输影像视频;

S113:影像采集单元把接受到的影像视频信号转换为数字影像数据并传送给计算机主机。

S12:数据预处理:计算机主机对数字影像数据进行预处理;具体包含图像的缩放、灰度化、归一化等。

S13:构建算法模型:构建基于深度学习的疑似病变目标物动态识别神经网络算法模型,该网络算法模型是基于临床实践中的大量真实影像数据经过目标物勾画、筛选和分类后进行训练、测试和验证,并不断通过大量假阳性数据和假阴性数据的采集和优化训练使得该算法模型得到持续的优化和进化;

具体地,该网络主要采用深度学习中常用的CNN卷积层、leaky_relu激活层、batch_normalization批标准化、Sigmoid激活层等构成;基于深度学习的疑似病变动态识别神经网络结构如图5(结构A)和图6(结构B)所示,根据计算平台及算力的不同,可分别采用不同的网络结构;

该网络训练使用的是医学影像检查临床实践中积累的大量真实影像数据,经过脱敏处理后,采用矩形框框选、图像分割的多边形边沿标注两种标注方式,且所有标注图像均经过医院影像医生二次标注或确认,保证了数据标注的正确性;

在使用大量标注数据同时,还采用了缩放、平移、旋转、弹性拉伸、高斯模糊、调节亮度对比度等数据增强的方式对网络进行扩展训练以增强其网络识别的鲁棒性;

根据深度网络的深度和不同层的宽度,分别建立不同的网络版本,使用大量真实且经过数据增强处理后样本数据,对不同版本的网络分别进行训练,选择满足识别精度的下,网络规模最小的深度网络版本;

在经过网络裁剪后,还可以根据硬件平台的不同,使用TensorRT、SNPE、RKNN等工具,进一步压缩、优化网络模型,使其模型尺寸和所需计算量进一步减少,此部分模型的压缩转换主要是根据不同平台的硬件特性对深度网络对应的图进行了合并、优化,并不改变深度网络的计算结果;

将训练好的网络模型部署到嵌入式系统后,深度网络即可接收S12阶段输入的影像数据,并将其通过深度网络计算,推理出疑似病变的位置或边缘信息。

S14:此过程为疑似病变动态识别的后处理阶段,主要是根据S13的输出结果,程序将自动计算解析出疑似病变的实际位置或边沿。

S15:输出结果:将疑似病变的实际位置或边缘进行标注,输出疑似病变标记图像。根据系统需要,其输出可以转化为动态超声影像上的矩形框,或是边沿。也可以是文字、声音等信息。以上信息可根据S11输入的病人信息进行分类暂存,或永久存储。

(2)智能辅助医学影像工作站中疑似病变智能辅助分析的过程,具体包括:

S21:判断是否对疑似病变标记图像做进一步分析,在判断结果为是时,进行下述操作;

S22:数据预处理:根据用户请求,对疑似病变标记图像进行预处理;具体包含图像的缩放、灰度化、归一化等。

S23:构建模型(即深度网络2):构建基于深度学习的超声影像辅助分析网络,使用超声检查临床实践中的真实影像对超声影像辅助分析网络进行训练,并优化训练后的模型,得到辅助分析网络模型;

该网络训练同样使用的是超声检查临床实践中积累的大量真实影像,经过脱敏处理后,对疑似病变进行分类标注,以乳腺超声影像数据标注为例,其包含但不限于:形状(规则、欠规则、不规则)、方向(长轴与皮肤平行、长轴与皮肤不平行)、边界(清晰、尚清晰、欠清晰、不清晰)、边缘(光整、模糊、有毛刺、有分叶、有成角、未识别边缘)、回声(高回声、等回声、低回声、弱回声、无回声)、回声分布(均匀、欠均匀、不均匀)、强回声(粗大、细小、混合、不能识别)、后方回声(衰减、增强、未识别)、BI_RADS分级(1、2、3、4a、4b、4c、5、6)等维度。且所有标注图像均经过医院超声科医生标注或二次确认,保证了数据标注的正确性。

该网络主要采用深度学习中常用的CNN卷积层、leaky_relu激活层、batch_normalization批标准化、Sigmoid激活层、全连接层等构成。深度学习网络结构如图7(结构A)和图8(结构B)所示,根据计算平台及算力的不同,可分别采用不同的网络结构。

下面对本实施例中深度网络1和深度网络2的A、B两种结构做简要介绍:

首先A结构具有较大的输入tensor尺寸,整体较宽的深度网络,可以接收检测分辨率较大的图像;而B结构的输入尺寸相对较小,深度网络结构相对略窄。

其次A结构具有较多的residual_block,具有较深的网络结构,可以提取更深层次的特征;而B结构其网络结构则相对较浅

另外,A结构使用的卷积kernel多是3x3尺寸;而B结构则多采用3x3和1x1交替使用的kernel。

总之,以上内容都是为了A结构能充分利用算力较为丰富的平台,实现更准确特征检测;B结构则需要在兼顾嵌入式有限的算力的同时,保证检测的正确性。

在使用大量标注数据同时,还采用了缩放、平移、旋转、弹性拉伸、高斯模糊、调节亮度对比度等数据增强的方式对网络进行训练。

通过图9和图10可以清楚的了解深度网络的结构,如图9所示,残差结构就是在原先的多个“卷积、Batch Normal、leaky Relu”重复块层的常规层次连接的基础上,引入跳跃连接。这样在梯度反向传递的过程中,不仅可以使当前网络层收敛较好,也可以使更靠近输入端的网络层获得更准确的梯度约束,从而极大的避免了梯度消失的问题。不仅使网络变得更深,获取更准确的特征,也使网络变得更加稳定。

参见图10,bn就是在网络的每一层输入之前,通过尺度缩放和偏移,对当前层的输入做一个归一化处理,且在训练过程中需通过控制衰减系数来管理尺度缩放的系数和偏移量。不仅可以采用更高的学习率,降低初始化参数的敏感度,并且可以有效规避梯度的消失和爆炸。

根据深度网络的深度和不同层的宽度,分别建立不同的网络版本。使用大量真实且经过数据增强处理后样本数据,对不同版本的网络分别进行训练,选择满足识别精度的下,网络规模最小的深度网络版本。

在经过网络裁剪后,还可以根据硬件平台的不同,使用TensorRT、SNPE、RKNN等工具,进一步压缩、优化网络模型,使其模型尺寸和所需计算量进一步减少。

将以上深度学习网络模型部署到嵌入式系统后,深度网络即可接收S22阶段输入的图像,并将图像信息经过深度网络计算,推理出疑似病变各维度的的分类信息。如对于边界这一维度,则可以从清晰、尚清晰、欠清晰、不清晰四个可能性中选择推理概率最高的一个作为边界的描述。

S24:影像分析的后处理阶段,主要是根据S23的输出的分类信息,程序自动解析出疑似病变的形状、方向、边缘等分类信息。

S25:根据S24的输出,对各个维度的分类信息进行整理、汇总后,呈现给医生查看、分析。同时医生也可以根据自己的判断对各维度分类信息进行修改或补充。

(3)人工智能神经网络的再优化过程,具体包括:

S31:将培训好的神经网络部署到AI智能模块中;

S32:将医学影像工作站进行大量的临床测试或真实的影像视频数据测试,发现并保存被漏报的阳性数据(假阴性数据)和被误报的阴性数据(假阳性数据);

S33:对假阴性数据进行特征标注和目标物勾画;

S34:将标注后的假阴性数据和未标注的假阳性数据加入神经网络训练数据集进行网络优化训练以便增强网络对这些假阳性和假阴性图像的识别;

S35:将优化好的神经网络重新部署到AI智能模块中进行临床验证和数据验证,不断重复上述过程使神经网络持续进化。

本发明的有益效果:

(1)影像工作站智能化,通过将嵌入式人工智能模块和通用计算机或电脑相结合的软硬件接口装置,实现传统医学影像工作站的智能化和多功能化。

(2)影像工作站便携化,将小型低功耗且高运算能力的AI智能模块和便携计算机或平板电脑相结合,可以方便的连接各类便携式影像检查终端设备,实现传统影像工作站的小型化和便携化。

(3)双系统实现,即AI智能模块使用独立的嵌入式操作系统(如Linux等),而计算机主机系统采用最常见的智能操作系统(例如Windows等),AI智能模块可以独立工作运行,不受主机影响,运算效率和系统资源利用率大大的提高,提高了处理能力。

(4)采用的AI智能模块,可以根据不同的应用部署不同规模的神经网络和算法模型,该模块既可以单独使用也可以作为人工智能AI训练工作站进行网路训练和测试,灵活方便。

(5)采用独立的具有较强AI运算能力的GPU/CPU模块结合计算机主机CPU功能实现具有较强本地边缘计算能力的影像工作站,不受网路连接的制约,不受远程云计算和云服务制约,其系统的实时性、安全性和病人个人隐私有比较好的保障。

(6)AI智能模块采用的独立AI硬件模块,可以取代影像工作站常用的加密狗方式用于工作站系统的硬件加密,其更有效和更安全。

本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。

对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号