首页> 中国专利> 窄带成像放大胃镜下胃癌的人工智能诊断方法

窄带成像放大胃镜下胃癌的人工智能诊断方法

摘要

本发明涉及医疗技术辅助技术领域,具体为窄带成像放大胃镜下胃癌的人工智能诊断方法,包括如下步骤:S1、构建mini‑UNet神经网络模型;S2、构建UNet++图像分割神经网络模型,获得图像特征差异区面积占比Rabnormal;S3、采用生成式对抗网络GAN技术得到特征异常区的微血管形态图和微结构形态图;S4、由神经网络模型ResNet50识别微血管形态图和微结构形态图中的微血管形态异化度和微结构形态异化度;S5、用训练得到的随机森林模型进行识别判断,得到癌或者非癌的最终判断,对判断为癌的,其癌变位置范围即识别出的图像特征差异区Pabnormal。本发明对癌、非癌识别的灵敏度和特异度分别达到约93.4%、90.7%,可以有效的辅助临床医师进行癌、非癌的判别诊断,并给出癌变位置范围。

著录项

  • 公开/公告号CN112435246A

    专利类型发明专利

  • 公开/公告日2021-03-02

    原文格式PDF

  • 申请/专利权人 武汉楚精灵医疗科技有限公司;

    申请/专利号CN202011371330.3

  • 发明设计人 郑碧清;刘奇为;于天成;胡珊;

    申请日2020-11-30

  • 分类号G06T7/00(20170101);G06T7/62(20170101);

  • 代理机构31253 上海精晟知识产权代理有限公司;

  • 代理人莫冬丽

  • 地址 430000 湖北省武汉市东湖新技术开发区高新大道818号武汉高科医疗器械园B地块一期B10栋5层03号(自贸区武汉片区)

  • 入库时间 2023-06-19 10:03:37

说明书

技术领域

本发明涉及医疗技术辅助技术领域,具体为窄带成像放大胃镜下胃癌的人工智能诊断方法。

背景技术

胃癌是是胃黏膜上皮的恶性肿瘤,内镜检查是胃癌筛查的最重要手段,特别是窄带成像放大胃镜(Magnifying Endoscopy with Narrow Band Imaging,ME-NBI)技术可以拍摄到高清放大的胃粘膜图像,医生通过观察图像的病变区域范围、病变区的微血管和微结构形态,对准确诊断有较大帮助。

近年来,随着计算机人工智能技术快速发展,人工智能、深度学习、卷积神经网络等技术在医疗领域的应用逐渐增多,被用于辅助诊断、病灶目标识别等。在内镜下胃癌诊断的人工智能应用方面,也有公开的成果,但都是根据胃内窥镜全图进行的癌/非癌分类判断,或者病灶的识别,效果不太好。因为胃部各种病变较多,如溃疡、糜烂等,各种病变的特征界限并不明显,所以简单的进行分类、病灶识别容易产生漏诊和误诊。在应用人工智能技术识别胃内窥镜图片各种特征进行综合研判识别胃癌病变上,当前还没有相关的公开成果。

发明专利《一种基于深度学习和图像增强的NBI图像处理方法及其应用》提到了用深度学习技术增强胃内窥镜图像的微血管、微结构,通过增强显示的微血管、微结构图,医生通过观察增强微血管和微结构图,协助进行胃癌的诊断。但是该发明专利增强显示的微血管、微结构图不太明晰,而且还需要医生观察微血管和微结构图。

在该发明的基础上,本发明通过多种深度学习、机器学习技术的应用,识别内镜图像的病变区,并应用改进的GAN技术生成微血管和微结构形态图,然后识别形态图的异化度,最后用随机森林模型根据病变区面积占比、微血管形态异化度、微结构形态异化度,直接给出诊断结果。本发明提高了诊断准确度,能有效帮助了临床医生进行胃癌的诊断。为此,我们提出窄带成像放大胃镜下胃癌的人工智能诊断方法。

发明内容

本发明的目的在于提供窄带成像放大胃镜下胃癌的人工智能诊断方法,以解决上述背景技术中提出的问题。

为实现上述目的,本发明提供如下技术方案:窄带成像放大胃镜下胃癌的人工智能诊断方法,包括如下步骤:

S1、构建mini-UNet神经网络模型,用于识别窄带成像放大胃内窥镜静态图像有效图像区与黑色区域和文字区域特征差异,得到矩形的有效图像区P’;

S2、构建UNet++图像分割神经网络模型,用于识别窄带成像放大胃内窥镜图像中发生病变的区域与未发生病变的正常区域特征差异,获得图像特征差异区面积占比R

S3、对面积占比大于13%的图像特征异常区为输入,采用生成式对抗网络GAN技术得到特征异常区的微血管形态图和微结构形态图;

S4、由分别训练得到的神经网络模型ResNet50识别微血管形态图和微结构形态图中的微血管形态异化度和微结构形态异化度,异化度是形态图不规则程度的量化值,微血管和微结构的形态异化度分别表示为V

S5、用R

优选的,所述步骤S1中mini-UNet分割图像的特征图计算方法如下:

其中w

mini-UNet神经网络模型训练的损失函数为加权交叉熵损失函数,每个像素点都有权重:

mini-UNet输出的结果是输入图像每个像素是否为有效区域的置信度组成的矩阵,置信度越大表示该像素越有可能属于有效区域;以0.5阈值对该矩阵进行运算变换:

运算后结果为0、1构成的矩阵,1表示是有效区域,数值1会形成1个或多个连通域,取其中面积最大的连通域M

P

即得到不规则形状的有效图像区域,取其外切矩形,即得到矩形的有效图像区P’,其中宽w,高h。

优选的,所述步骤S2中,以0.5阈值对该矩阵进行运算变换:

1表示为特征差异区,取数值1组成的连通域中面积最大的连通域M

P

计算该连通域面积:

S

计算最大连通域面积占有效图像区域的比例,即图像特征差异区面积占比:

对面积占比R小于13%的特征差异区忽略处理,以过滤可能的噪声和识别错误。

优选的,所述步骤S3中,对图像特征异常区进行9宫格划分,得到9个子区域,模型训练的损失函数为:

其中:

其中:

S

P为原图像,A为生成的形态图像;G、D分别为GAN神经网络的生成模型和判别模型。

优选的,所述步骤S4中的模型训练过程为:先对胃粘膜微血管进行标记,分为正常、癌变2类形态图,对微结构形态图也标记为正常、癌变2类,分别用深度卷积神经网络ResNet50对微血管和微结构形态图进行学习训练,分别得到微血管形态异化度识别模型和微结构形态异化度识别模型。

与现有技术相比,本发明的有益效果是:本发明灵活运用UNet、UNet++、生成式对抗网络(GAN)、ResNet50、随机森林等多种人工智能技术,并针对本发明的应用场景:窄带成像放大胃镜下胃癌的人工智能诊断,对UNet网络模型进行了改进和优化,构建mini-UNet模型;并采用图像像素级置信度矩阵、阈值过滤方式,识别有效图像区、特征差异区,计算特征差异区面积占比;GAN训练学习的优化,对图像进行9宫格划分,得到9个子区域;用GAN技术获取窄带成像放大胃内窥镜图像的微血管形态图、微结构形态图,进一步得到微血管异化度、微结构异化度;最后由随机森林根据特征差异区面积占比、微血管异化度、微结构异化度最后识别出癌或者非癌。经过临床多次验证,本发明对癌、非癌识别的灵敏度和特异度分别达到约93.4%、90.7%,可以有效的辅助临床医师进行癌、非癌的判别诊断,并给出癌变位置范围。

附图说明

图1:胃内窥镜图像有效区识别及裁剪示意图。

图2:mini-UNet神经网络结构示意图。

图3:mini-UNet识别出的图像有效区示意图。

图4:mini-UNet训练图片标记及转换示意图。

图5:mini-UNet模型训练示意图。

图6:UNet++训练图片标记及转换示意图。

图7:UNet++模型训练示意图。

图8:GAN生成微血管形态图示意图。

图9:GAN生成微结构形态图示意图。

图10:微血管形态异化度识别模型训练示意图。

图11:微结构形态异化度识别模型训练示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明提供一种技术方案:窄带成像放大胃镜下胃癌的人工智能诊断方法,包括如下步骤:包括如下步骤:

S1、构建mini-UNet神经网络模型。根据窄带成像放大胃内窥镜静态图像有效图像区与黑色区域和文字区域特征差异非常显著的特点,对图像分割神经网络模型UNet进行简化和优化,以缩小模型文件大小、减少模型占用的GPU空间、加快推理速度,构建mini-UNet模型。如图1所示的胃内窥镜图像有效区识别及裁剪示意图。

识别胃内窥镜图像有效区域,如图3所示的mini-UNet识别出的图像有效区示意图。采用改进、简化后的UNet模型——mini-UNet模型,如图2所示的mini-UNet神经网络结构示意图。图像尺寸采用256*256,简化改进后的模型层数从原来的226层降低到28层,模型文件大小从418M减少到44.7M,推理时间减少了约30%。训练方法为先由人对各种内窥镜原始图像的有效区进行标记,把标记转换为黑白2色标记图片,白色为有效区,然后把原始图片、黑白2色标记图片都缩放到256*256尺寸,这2张图作为1个训练数据,多个这样的训练数据按4:1比例划分训练集和验证集,训练mini-UNet模型。如图4所示的mini-UNet训练图片标记及转换示意图。以及如图5所示的mini-UNet模型训练示意图。

mini-UNet神经网络模型,用于识别窄带成像放大胃内窥镜静态图像有效图像区与黑色区域和文字区域特征差异,得到矩形的有效图像区P’;

其中mini-UNet分割图像的特征图计算方法如下:

其中w

mini-UNet神经网络模型训练的损失函数为加权交叉熵损失函数,每个像素点都有权重:

mini-UNet输出的结果是输入图像每个像素是否为有效区域的置信度组成的矩阵,置信度越大表示该像素越有可能属于有效区域;以0.5阈值对该矩阵进行运算变换:

运算后结果为0、1构成的矩阵,1表示是有效区域,数值1会形成1个或多个连通域,取其中面积最大的连通域M

P

即得到不规则形状的有效图像区域,取其外切矩形,即得到矩形的有效图像区P’,其中宽w,高h。

S2、构建UNet++图像分割神经网络模型。窄带成像放大胃内窥镜图像中发生病变的区域与未发生病变的正常区域存在一定程度的特征差异,识别出其中的特征差异部分对胃癌的诊断有重要帮助。为提高图像特征差异识别的准确度,对发生病变的区域与未发生病变的正常区域的分割识别,采用图像分割效果更佳的神经网络模型UNet++实现,且以ResNet50为其backbone。由年资丰富的医师对癌变位置区域进行标记,如图6所示的UNet++训练图片标记及转换示意图。然后把标记转换为黑白2色标记图片,白色为癌变区,然后把原始图片、黑白2色标记图片都缩放到512*512尺寸,这2张图作为1个训练数据,多个这样的训练数据按4:1比例划分训练集和验证集,训练UNet++模型,如图7所示的UNet++模型训练示意图。UNet++图像分割神经网络模型,用于识别窄带成像放大胃内窥镜图像中发生病变的区域与未发生病变的正常区域特征差异,获得图像特征差异区面积占比R

以裁剪得到的有效图像区P’为UNet++网络的输入,输出的结果是输入图像每个像素差异置信度组成的矩阵,像素差异置信度表示该像素区别于其他像素的特异程度,值越大表示该像素区别于其他像素的特异程度越高。以0.5阈值对该矩阵进行运算变换:

1表示为特征差异区,取数值1组成的连通域中面积最大的连通域M

P

计算该连通域面积:

S

计算最大连通域面积占有效图像区域的比例,即图像特征差异区面积占比:

测试验证表明,对面积占比R小于13%的、面积太小的特征差异区忽略处理,以过滤可能的噪声和识别错误,可以得到最佳识别效果。

S3、在得到图像特征差异区后(未因R太小被过滤掉的区域),通过生成式对抗网络GAN(Generative Adversarial Networks生成性对抗网络)技术得到图像特征差异区的微血管和微结构形态图。如图8所示的GAN生成微血管形态图示意图。和如图9所示的GAN生成微结构形态图示意图。

针对胃癌变微血管、微结构变化的细微性,为了更准确地画出形态图,对输入图片进行9宫格划分,得到9个子区域,损失函数改进为:

其中:

其中:

S

P为原图像,A为生成的形态图像。G、D分别为GAN神经网络的生成模型(GenerativeModel)和判别模型(Discriminative Model)。

S4、由分别训练得到的神经网络模型ResNet50识别微血管形态图和微结构形态图中的微血管形态异化度和微结构形态异化度,异化度是形态图不规则程度的量化值,微血管和微结构的形态异化度分别表示为V

模型训练过程为:先对胃粘膜微血管进行标记,分为正常、癌变2类形态图,对微结构形态图也标记为正常、癌变2类,分别用深度卷积神经网络ResNet50对微血管和微结构形态图进行学习训练,分别得到微血管形态异化度识别模型和微结构形态异化度识别模型。如图10所示的微血管形态异化度识别模型训练示意图。如图11所示的微结构形态异化度识别模型训练示意图。

S5、采用随机森林机器学习技术,用图像特征差异区面积占比R

本发明灵活运用UNet、UNet++、生成式对抗网络(GAN)、ResNet50、随机森林等多种人工智能技术,并针对本发明的应用场景:窄带成像放大胃镜下胃癌的人工智能诊断,对UNet网络模型进行了改进和优化,构建mini-UNet模型;并采用图像像素级置信度矩阵、阈值过滤方式,识别有效图像区、特征差异区,计算特征差异区面积占比;GAN训练学习的优化,对图像进行9宫格划分,得到9个子区域;用GAN技术获取窄带成像放大胃内窥镜图像的微血管形态图、微结构形态图,进一步得到微血管异化度、微结构异化度;最后由随机森林根据特征差异区面积占比、微血管异化度、微结构异化度最后识别出癌或者非癌。经过临床多次验证,本发明对癌、非癌识别的灵敏度和特异度分别达到约93.4%、90.7%,可以有效的辅助临床医师进行癌、非癌的判别诊断,并给出癌变位置范围。

以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号