利用消化器官的内窥镜影像的疾病的诊断支持方法、诊断支持系统、诊断支持程序及存储了该诊断支持程序的计算机可读记录介质

摘要

本发明的一个实施方式的使用了卷积神经网络(CNN)的基于消化器官的内窥镜影像的疾病的诊断支持方法是使用上述消化器官的第1内窥镜影像以及与上述第1内窥镜影像相对应的确诊结果来训练CNN，该确诊结果为与上述消化器官的上述疾病的阳性或阴性、或者重症度等级相对应的信息中至少1者的确诊结果；上述经过训练的CNN基于消化器官的第2内窥镜影像，输出与该消化器官的疾病的阳性和/或阴性的概率、疾病的重症度等级、或疾病的侵袭深度(浸润深度)相对应的概率中的至少1者。根据本实施方式，能在短时间内以实质上与内窥镜专科医生相匹敌的精度来得到被检者的消化器官的疾病的阳性和/或阴性的概率、疾病的重症度等级、疾病的侵袭深度等，从而能在短时间内甄别出需要另外进行确诊的被检者。

说明书

技术领域

本发明涉及一种使用神经网络(neural network)的利用消化器官的内窥镜影像的疾病的诊断支持方法、诊断支持系统、诊断支持程序及存储了该诊断支持程序的计算机可读记录介质。

背景技术

针对消化器官例如喉、咽、食道、胃、十二指肠、胆道、胰管、小肠、大肠等，大多会进行内窥镜检查。为了筛检胃癌、食道癌、消化性溃疡、反流性胃炎等，经常进行上部消化器官的内窥镜检查，此外，为了筛检大肠癌、大肠息肉、溃疡性大肠炎等，经常进行大肠的内窥镜检查。特别是，上部消化器官的内窥镜检查对于下述各检查也非常有用：各种上腹部症状的详细检查，对胃病进行钡餐检查而得到阳性结果后所采取的精密检查，以及一般纳入日本定期体检的、对异常血清胃蛋白酶原等级的精密检查。此外，近年来，胃癌筛查正逐步从现有的钡餐检查向胃内窥镜检查过渡。

胃癌是最常见的恶性肿瘤之一，据推测，在数年前全世界已发病约100万例。在胃癌发病的根本原因中，幽门螺旋杆菌(Helicobacter pylori，以下也称为“H.pylori”)感染会诱发萎缩性胃炎、肠上皮化生，并最终导致胃癌发病。全世界非贲门胃癌中的98％被认为是H.pylori引起的。考虑到患者感染H.pylori后胃癌的危险性提高，而在H.pylori除菌后胃癌的发生率降低这一情况下，国际癌症研究机构(International Agency for Research on Cancer)将H.pylori归类于明确致癌物质。由此结果可知，为了降低胃癌发病的风险，H.pylori除菌是有用的，使用抗菌药物的H.pylori除菌也被纳入日本医保范围，且今后仍将在保健卫生方面大力推广这种疗法。事实上，日本厚生劳动省已于2013年2月批准推行用于根治H.pylori感染引起的胃炎患者的健康保险。

在对于是否存在H.pylori感染的鉴别诊断中，胃内窥镜检查会提供极其有用的信息。毛细血管清晰可见(RAC(regular arrangement of collectingvenules))、胃底腺息肉对于H.pylori阴性的胃黏膜而言是特征性的，而萎缩、发红、黏膜肿胀、皱襞肥大是H.pylori感染性胃炎的代表性特征。此外，斑状红斑是将H.pylori除菌过的胃黏膜的特性。H.pylori感染的准确内窥镜诊断是通过血液或尿中的抗H.pylori IgG等级测定、粪便抗原测定、尿素呼气试验或快速尿素酶试验等各种检查而确认，对于检查结果呈阳性的患者可以进行H.pylori除菌。内窥镜检查广泛应用于胃病变的检查，但如果不依据临床样本分析就能够在确认胃病变的同时确定H.pylori感染，则不需要统一进行血液检查、尿检查等，从而患者的负担会大幅减轻，此外，也可以期待医疗经济上的贡献。

此外，食道癌是第8常见的癌症，且是第6多的癌症死亡原因，据推测，在2012年新增456000例病例，将有40万人死亡。在欧洲及北美，食道腺癌的发生率急剧增高，其中扁平上皮癌(SCC)为占全世界食道癌80％的最普遍的肿瘤类型。进行性食道SCC患者的总生存率仍然低。但该癌症如果被作为黏膜癌或黏膜下癌检测出，则可期待良好的预后。

此外，全大肠内窥镜检查(colonoscopy，CS)能以高灵敏度及高特异度检测出结肠·直肠癌(colorectal cancer，CRC)、结肠·直肠息肉及炎症性大肠疾病等结肠·直肠疾病。通过这种疾病的早期诊断，患者能得到更佳的预后的早期治疗，因此，提供CS的充分的品质是重要的。

如此，上部消化器官及大肠的内窥镜检查而广泛进行，而对小肠的内窥镜检查由于难以将普通内窥镜插入至小肠内部，因此，很少进行。其原因是：普通内窥镜的长度为约2m左右，将内窥镜插入小肠必须要经口经由胃及十二指肠、或经肛门经由大肠才能插入到小肠，而且小肠自身也是6－7m左右的较长的器官，因此，普通内窥镜难以进行遍及小肠整体的插入和观察。因此，小肠的内窥镜检查使用双气囊内窥镜(参照专利文献1)或无线胶囊内窥镜(Wireless Capsule Endoscopy，以下，有时简称为“WC E”)(参照专利文献2)。

双气囊内窥镜是指如下方法，即，使设置于内窥镜的前端侧的气囊、以及设置于覆盖内窥镜的外套管的前端侧的气囊交替或同时鼓起或瘪下，从而穿过较长的小肠，由此一边短缩化·直线化一边进行检查的方法，但是，由于小肠长度较长，因此难以进行一次性遍及小肠全长的检查。因此，利用双气囊内窥镜的小肠检查通常分成经口的内窥镜检查、以及经肛门的内窥镜检查，即分成2次来进行。

此外，利用WCE的内窥镜检查是指如下方法，即，吞入内置有相机、快门、电池、发射机等的可经口摄取的胶囊，胶囊将在消化道内移动的同时拍摄的影像以无线方式发送至外部，并在外部接收及记录该影像，由此进行检查的方法，该方法能进行一次性遍及小肠整体的拍摄。

此外，咽癌偶尔会在进行阶段被检测出，但预后不良。进而，对于进行性咽癌患者，需采用外科切除与化学放射疗法，但存在容貌美观、吞咽及对话功能丧失这两个问题，其结果是会使生活品质大幅下降。之前，在食道胃十二指肠内窥镜(EGD)检查中，认为为了减轻患者的不适感，使内窥镜快速通过咽是重要的，没有确立对咽的观察。咽与食道的情况不同，存在误咽到气管的风险，因此内窥镜医生在咽中不能使用碘染色。因此，几乎检测不出浅表咽癌。

但近年来，开发了窄带成像(NBI)等图像增强内窥镜检查，并且内窥镜医生的意识也有提高，在食道胃十二指肠内窥镜检查中，检测出咽癌的现象也有增加。随着浅表咽癌(SPC)的检测的增加，从而可以得到通过作为局部切除浅表胃肠癌而确立的内镜下切除术(ER)、内镜黏膜下层剥离术(ESD)或内镜下黏膜切除术(EMR)来治疗浅表咽癌的机会。此外，作为维持浅表咽癌患者的功能与生活品质的理想低侵袭治疗，也报告了使用浅表咽癌的内镜黏膜下层剥离术而得到了短期及长期的优秀治疗效果。

现有技术文献

专利文献

专利文献1：日本特开2002-301019号公报

专利文献2：日本特开2006-095304号公报

专利文献3：日本特开2017-045341号公报

专利文献4：日本特开2017-067489号公报

非专利文献

非专利文献1：Bibault JE,Giraud P,Burgun A.Big Data and machinelearning in radiation oncology:State of the art and future prospects.CancerLett.2016；382(1):110-117.

非专利文献2：Esteva A,Kuprel B,Novoa RA,et al.Dermatologist-levelclassification of skin cancer with deep neural networks.Nature.2017；542(7639):115-118.

非专利文献3：Gulshan V,Peng L,Coram M,et al.Development and Validationof a Deep Learning Algorithm for Detection of Diabetic Retinopathy in RetinalFundus Photographs.JAMA.2016；316(22):2402-2410.

非专利文献4：Byrne MF,Chapados N,Soudan F,et al.Real-timedifferentiation of adenomatous and hyperplastic diminutive colorectal polypsduring analysis of unaltered videos of standard colonoscopy using adeeplearning model.Gut.2017.

非专利文献5：Chen PJ,Lin MC,Lai MJ,Lin JC,Lu HH,Tseng VS.AccurateClassification of Diminutive Colorectal Polyps Using Computer-AidedAnalysis.Gastroenterology.2018；154(3):568-575.

非专利文献6：Misawa M,Kudo SE,Mori Y,et al.Artificial Intelligence-Assisted Polyp Detection for Colonoscopy:Initial Experience.Gastroenterology.2018.

非专利文献7：Takiyama H,Ozawa T,Ishihara S,et al.Automaticanatomicalclassification of esophagogastroduodenoscopy images using deep convolutionalneural networks.Sci Rep.2018；8(1):7497.

非专利文献8：Hirasawa T,Aoyama K,Tanimoto T,et al.Application ofartificial intelligence using a convolutional neural network for detectinggastric cancer in endoscopic images.Gastric Cancer.2018.

非专利文献9：Shichijo S,Nomura S,Aoyama K,et al.Application ofConvolutional Neural Networks in the Diagnosis of Helicobacter pyloriInfection Based on Endoscopic Images.EBioMedicine.2017；25:106-111.

非专利文献10：Iakovidis DK,Koulaouzidis A.Automatic lesion detectionin capsule endoscopy based on color saliency:closer to an essential adjunctfor reviewing software.Gastrointestinal endoscopy 2014Nov；80(5):877-83.

非专利文献11：Boal Carvalho P,Magalhaes J,Dias DE Castro F,etal.Suspected blood indicator in capsule endoscopy:a valuable tool forgastrointestinal bleeding diagnosis.Arq Gastroenterol.2017；54(1):16-20.

非专利文献12：Muto M,Minashi K,Yano T,et al.Early detection ofsuperficial squamous cell carcinoma in the head and neck region and esophagusby narrow band imaging:a multicenter randomized controlled trial.J ClinOncol.2010Mar 20；28(9):1566-1572.

非专利文献13：Korman LY,Delvaux M,Hagenmuller F,Keuchel M,Friedman S,Weinstein M,Shetzline M,Cave D,de Franchis R:Capsule endoscopy structuredterminology(CEST):proposal of a standardized and structured terminology forreporting capsule endoscopy procedures.Endoscopy 2005,37(10):951-959.

发明内容

在这种消化器官的内窥镜检查中，会收集到较多内窥镜影像，但为了精细管理，内窥镜专科医生有义务进行内窥镜影像的双重检查。随着每年数万例的内窥镜筛查，在二次读片时，内窥镜专科医生所要读片的影像张数高达1人1小时约2800张，成为现场的巨大负担。

特别是在利用WCE的小肠检查中，WCE的移动不是借助WCE自身的活动而是借助肠的蠕动，因而无法从外部控制活动，因此，为了防止漏诊，要在一次检查中拍摄多张影像，而且，WCE在小肠中移动的时间为约8小时，因此在一次检查中拍摄得到的影像会非常多。例如，WCE以无线方式每1人发送约60000张影像，因而内窥镜专科医生会快进检查，但异常表现有可能仅出现1帧或2帧，因此，平均上WCE影像分析需要30－120分钟的高度注意与集中。

而且，这些基于内窥镜影像的诊断不仅需要对内窥镜专科医生的训练、为了检查保存影像所花费的大量时间，而且还是主观的，有可能会产生各种假阳性判断及假阴性判断。进而，内窥镜专科医生的诊断有时也会因疲劳而导致精度变差。这种现场的巨大负担、精度的降低有可能导致受诊者数量受限，进而也可以设想无法充分地提供符合需求的医疗服务的担心。

此外，与浅表咽癌(SPC)的检测及治疗相关的几乎所有报告均出自日本，这些方法中采用的窄带成像(NBI)或放大内窥镜(IEE)检查等影像增强内窥镜检查没有在全世界普及。其原因在于：如果内窥镜医生不接受充分的教育，不使用窄带成像或放大内窥镜，则难以检测出浅表咽癌。因此，强烈要求提供用食道胃十二指肠内窥镜检查影像来检测出浅表咽癌的高效的系统。

为了改善上述内窥镜检查的劳务负荷及精度降低，可以期待AI(人工智能：artificial intelligence)的有效利用。如果可以使用近年来影像识别能力已超越人类的AI作为内窥镜专科医生的辅助，则可以期待提高二次读片作业的精度和速度。近年来，采用了深度学习(deep learning)的AI在各医疗领域备受关注，有报告称，不仅是在放射线肿瘤学、皮肤癌分类、糖尿病性视网膜病变(参照非专利文献1－3)及消化器官内窥镜领域、特别是包含大肠内窥镜的领域(参照非专利文献4－6)，而且在各医疗领域中，代替专科医生来筛检医学影像。此外，也存在使用各种AI进行医用影像诊断的专利文献(参照专利文献3、4)。但对于AI的内窥镜影像诊断能力在实际医疗现场能否达到发挥作用的精度(准确性)与性能(速度)，还没有得到充分的验证，使用AI的基于内窥镜影像的诊断尚未实用化。

深度学习可以使用多层重叠而构成的神经网络，根据输入数据来学习高阶特征量。此外，深度学习可以使用后向传播算法，通过示出装置应如何变更，从而更新内部参数，其中，该内部参数是用于根据上一层的表现来计算各层的表现的。

在为医用影像建立关联时，深度学习能成为可以使用以往所积累的医用影像进行训练、可以根据医学影像直接得到患者的临床特征的强大的机械学习技术。神经网络是通过在计算机上的模拟来表现脑神经回路特性的数理模型，支持深度学习的算法途径为神经网络。卷积神经网络(CNN)是由Szegedy等开发、用于影像深度学习的最常见的网络架构。

在消化道内窥镜检查的内窥镜影像判定作业中，在维持较高精度的基础上实现效率化成为了重要的课题。此外，想要在该领域的影像解析中有效利用AI时，该AI技术的提高也成为了重要的课题。发明人等构建了一种可以根据解剖学部位对食道·胃·十二指肠的影像进行分类，从而能可靠地发现内窥镜影像中的胃癌的CNN系统(参照非专利文献7、8)。

进而，发明人等最近报告了CNN在基于内窥镜影像的H.pylori胃炎诊断中的作用，表明：CNN的能力可与经验丰富的内窥镜医生相匹敌，诊断时间会显著缩短(参照非专利文献9)。但是，在该CNN中，将进行过H.pylori除菌的症例排除，仅使用H.pylori阳性及阴性的症例作为训练/验证用数据集，从而不仅存在预先构建将进行过H.pylori除菌的症例排除的训练/验证用数据集需要耗费精力的课题，而且还存在无法评价是否能准确地鉴定出H.pylori阳性及阴性的症例以及进行过H.pylori除菌的症例的课题。

此外，在实施CS的情况下，执业医师通常会检查直肠、结肠及末端回肠的一部分，但疾病的临床特性会因结肠·直肠的解剖学部位而不同。例如，最近的若干研究指出，在结肠·直肠癌中，对于利用化学疗法的流行病学、预后及临床结果而言，右侧结肠及左侧结肠之间存在若干不同。同样，大肠的解剖学部位对于溃疡性大肠炎的治疗而言是重要的。其原因在于：溃疡性大肠炎的经口药剂或栓剂的适用性是基于大肠炎的存在位置的。因此，CS检查时准确地确定结肠·直肠疾病的解剖学部位具有临床意义。

CS一般用于粪便潜血阳性的情况、腹部症状的筛检，但为了使施术者自由地操作大肠内窥镜、识别异常区域并准确地诊断疾病，需要进行充分的特别训练。为得到这种技能而花费时间的理由之一在于，内窥镜检查中的解剖学识别的困难性。由于结肠各部位的解剖学差异性、结肠各部分的类似性，不仅CS初学者甚至CS专家也无法识别出该内窥镜观察镜前端的准确位置。

因此，执业医师为了进行CS并检测异常，需经由CS影像准确地识别出结肠的解剖学部分。最近有证据表明，要想得到足够的技能，学完全部CS试验的经验至少需要200例。实际上，在日本，仅在5年以上的内窥镜训练后，才能进行内窥镜专科的认定。

此外，通过WCE而发现的小肠中最普遍的症状为糜烂、溃疡等黏膜破损。它们主要由非甾体类消炎药(NSAID)引起，偶尔由克隆氏症或小肠恶性肿瘤引起，因此需要早期诊断与早期治疗。据从前的各种报告，由小肠的糜烂或溃疡而导致黏膜受损的部分与周围的正常黏膜之间色差小，因此就软件自动检测性而言，比检测血管扩张症的情况差(参照非专利文献10)。此外，关于对小肠的WCE影像应用CNN从而诊断小肠的各种疾病、出血或隆起性病变，尚未进行研究。

进而，被定义为黏膜或黏膜下癌的浅表食道扁平上皮癌(以下，也称为SCC)占在日本所诊断出的全部食道癌的38％。对于浅表食道SCC，可采用食道切除术及内窥镜下切除术(ER)，但两者在侵袭性方面存在较大差异。选择适当疗法时，如果考虑转移的危险性、ER的治愈可能性，则癌的侵袭深度(浸润深度)是最重要的因子。

癌的侵袭深度的内窥镜诊断需具备充分的专业知识来评价食道癌的术后经过、突出、硬度及微小血管的变化等各种内窥镜表现。浅表食道SCC的侵袭深度的诊断中，可以使用非放大内窥镜(非ME)检查、放大内窥镜(ME)检查、超声波内窥镜(EUS)检查。使用非放大内窥镜的诊断比较主观，其基于有可能受到观察者间的变动性影响的癌的突出、沉陷及硬度。放大内窥镜检查能明确观察到与食道癌的侵袭深度密接相关的微小血管结构。

利用超声波内窥镜与放大内窥镜的诊断比利用非放大内窥镜的诊断更为客观，但复杂，会受医生的专业知识影响。因此，超声波内窥镜与放大内窥镜所报告的癌的侵袭深度的准确精度相反，无法令人满意。因此，作为更客观且简单地诊断食道癌的癌侵袭深度的方法，追求革新性途径。

本发明是为了解决上述这样的现有技术的课题而完成的。即，本发明的第1目的在于：提供一种利用消化器官的内窥镜影像的疾病的诊断支持方法、诊断支持系统、诊断支持程序及存储了该诊断支持程序的计算机可读记录介质，它们通过使用消化器官的内窥镜影像，并使用CNN系统，例如不仅能准确地鉴定出H.pylori阳性及阴性的症例、还能准确地鉴定出进行过H.pylori除菌的症例。

此外，本发明的第2目的在于：提供一种利用消化器官的内窥镜影像的疾病的诊断支持方法、诊断支持系统、诊断支持程序及存储了该诊断支持程序的计算机可读记录介质，它们通过使用消化器官的内窥镜影像，并使用CNN系统，例如能准确地确定结肠·直肠疾病的解剖学部位。

此外，本发明的第3目的在于：提供一种小肠疾病的诊断支持方法、诊断支持系统、诊断支持程序及存储了该诊断支持程序的计算机可读记录介质，它们基于通过WCE而得到的小肠内窥镜影像，使用CNN系统，能准确地鉴定出小肠的糜烂/溃疡、出血的有无或隆起性病变。

进而，本发明的第4目的在于：提供一种浅表食道SCC的诊断支持方法、诊断支持系统、诊断支持程序及存储了该诊断支持程序的计算机可读记录介质，它们基于使用非放大内窥镜及放大内窥镜的食道内窥镜影像，能获取浅表食道SCC的侵袭深度并进行其分类。

进而，本发明的第5目的在于：提供一种利用消化器官的内窥镜影像的疾病的诊断支持方法、诊断支持系统、诊断支持程序及存储了该诊断支持程序的计算机可读记录介质，它们基于食道胃十二指肠内窥镜(EGD)检查影像，使用CNN系统，能准确地确定浅表咽癌的有无。

本发明的第1方式的使用卷积神经网络系统(以下，也称为“CNN系统”)的利用消化器官的内窥镜影像的疾病的诊断支持方法的特征在于：其是使用网络系统的利用消化器官的内窥镜影像的疾病的诊断支持方法，

使用上述消化器官的第1内窥镜影像、以及与上述第1内窥镜影像相对应的确诊结果来训练上述CNN系统，该确诊结果为上述消化器官的上述疾病的阳性或阴性、重症度等级或疾病的侵袭深度中至少一者的确诊结果；

上述经过训练的CNN系统基于消化器官的第2内窥镜影像，输出与该消化器官的疾病的阳性和/或阴性的概率、既往疾病的概率、疾病的重症度等级、疾病的侵袭深度或所拍摄的部位相对应的概率中的至少一者。

根据该方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法，则CNN系统可以基于第1内窥镜影像和确诊结果而得到训练，该第1内窥镜影像包含对多名被检者分别预先得到的多个消化器官的内窥镜影像，该确诊结果是对多名被检者分别预先得到的上述疾病的阳性或阴性、重症度等级或疾病的侵袭深度中至少一者的确诊结果，因此，能在短时间内以实质上与内窥镜专科医生相匹敌的精度来得到与被检者的消化器官的疾病的阳性和/或阴性的概率、既往疾病的概率、疾病的重症度等级、疾病的侵袭深度或所拍摄的部位相对应的概率中任一者以上，从而能在短时间内甄别出需要另外进行确诊的被检者。而且，能自动诊断出相对于包含多名被检者的多个消化器官的内窥镜影像的测试数据的概率中至少一者，该概率与疾病的阳性和/或阴性的概率、既往疾病的概率、疾病的重症度等级、疾病的侵袭深度或所拍摄的部位对应，因此，不仅能使内窥镜专科医生易于进行检查/修正，而且能使制作与疾病相关联的影像集合的作业省略化。

此外，本发明的第2方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法的特征在于：在第1方式的使用CNN的利用消化器官的内窥镜影像的疾病的诊断支持方法中，上述第2内窥镜影像与各自所拍摄的消化器官的部位相关联。

在未经训练的CNN系统中，存在难以识别出具体的消化器官的内窥镜影像为哪个部位的影像的情况。根据第2方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法，CNN系统已使用按各部位分类的内窥镜影像进行训练，因此能对CNN系统进行与各部位相应的精细训练，因此，相对于第2内窥镜影像的概率等的检测精度提高，该概率与疾病的阳性及阴性各自的概率、既往疾病的概率、疾病的重症度等级、所拍摄的部位对应。

此外，本发明的第3方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法的特征在于：在第2方式的使用CNN的利用消化器官的内窥镜影像的疾病的诊断支持方法中，上述消化器官的部位包含咽、食道、胃、十二指肠、小肠及大肠中至少一者。

根据第3方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法，能准确地按咽、食道、胃、十二指肠及大肠的部位分类，因此，相对于各部位的概率等的检测精度提高，该概率与疾病的阳性及阴性各自的概率、既往疾病的概率、疾病的重症度等级、所拍摄的部位对应。

此外，本发明的第4方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法的特征在于：在第3方式的使用CNN的利用消化器官的内窥镜影像的疾病的诊断支持方法中，上述消化器官的部位在咽、食道、胃、十二指肠、小肠及大肠中的至少一者处被分类为多个位置。

消化器官分别具有复杂的形状，因此如果部位的分类数较少，则存在难以识别出具体的内窥镜影像为该消化器官的哪个部位的影像的情况。根据第4方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法，在多个消化器官中分别被分类为多个位置，因此能在短时间内得到高精度的诊断结果。

此外，本发明的第5方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法的特征在于：在第3或第4方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法中，上述消化器官的部位为胃，上述至少一个确诊结果包含H.pylori感染阳性、H.pylori感染阴性及H.pylori除菌中的任一者，上述CNN输出H.pylori感染阳性的概率、H.pylori感染阴性的概率及H.pylori除菌的概率中至少一者。

根据本发明的第5方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法，不仅能在极短时间内以与日本消化器官内窥镜学会专科医生同等的精度输出被检者的H.pylori感染的阳性或阴性各自的概率，还能输出进行过H.pylori除菌的概率，从而能在短时间内准确地甄别出需要另外进行确诊的被检者。应予说明，确诊是通过对被甄别出的被检者进行血液或尿的抗H.pylori IgG等级测定、粪便抗原检查或尿素呼气检查而实施。

此外，本发明的第6方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法的特征在于：在第4方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法中，上述消化器官的部位为大肠，上述分类为末端回肠、盲肠、升结肠、横结肠、降结肠、乙状结肠、直肠及肛门中至少一者，上述CNN系统中，作为上述第2内窥镜影像所拍摄的上述分类，输出与末端回肠、盲肠、升结肠、横结肠、降结肠、乙状结肠、直肠及肛门中至少一者相对应的概率。

此外，本发明的第7方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法的特征在于：在第4方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法中，上述消化器官的部位为大肠，上述分类为末端回肠、盲肠、升结肠及横结肠、降结肠及乙状结肠、直肠及肛门，上述CNN中，作为上述第2内窥镜影像所拍摄的分类，输出与末端回肠、盲肠、升结肠及横结肠、降结肠及乙状结肠、直肠及肛门中至少一者相对应的概率。

此外，本发明的第8方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法的特征在于：在第4方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法中，上述消化器官的部位为大肠，上述分类为末端回肠、包含盲肠－升结肠－横结肠的右侧结肠、包含降结肠－乙状结肠－直肠的左侧结肠及肛门，上述CNN中，作为上述第2内窥镜影像所拍摄的分类，输出与末端回肠、包含盲肠－升结肠－横结肠的右侧结肠、包含降结肠－乙状结肠－直肠的左侧结肠及肛门中至少一者相对应的概率。

根据本发明的第6－8中任一方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法，能准确地按大肠的分类进行归类，从而易于了解需要进行精密检查的分类。应予说明，大肠的分类的选择可以考虑大肠疾病的出现倾向及出现频率等、以及CNN系统对于各分类的灵敏度及特异性来适当选择。

此外，本发明的第9方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法的特征在于：在第3方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法中，上述消化器官的部位为小肠，上述内窥镜影像为无线胶囊内窥镜(WCE)影像，上述疾病为糜烂及溃疡中至少一者或隆起性病变。

根据本发明的第9方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法，能针对通过对多名被检者的WCE而得到的小肠内窥镜影像，在短时间内以实质上与内窥镜专科医生相匹敌的精度来得到被检者的小肠的糜烂及溃疡中至少一者或隆起性病变的阳性和/或阴性区域及概率，从而能在短时间内甄别出需要另外进行确诊的被检者，从而使内窥镜专科医生易于进行检查/修正。应予说明，根据该方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法，虽然在小肠的WCE内窥镜影像中糜烂与溃疡的区别并不明确，但能准确地自动甄别出它们中至少一者。

本发明的第10方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法的特征在于：在第9方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法中，上述小肠的上述疾病的阳性或阴性的确诊结果作为上述疾病的阳性区域显示在上述第2内窥镜影像内，且上述CNN系统将所检测出的上述疾病的阳性区域显示在上述第2内窥镜影像内，并且将上述概率得分显示在上述第2影像内。

根据本发明的第10方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法，能在第2内窥镜影像内，将得到由内窥镜专科医生做出的确诊结果的区域与通过经过训练的CNN系统而检测出的疾病的阳性区域准确地进行对比，因此，能使CNN的灵敏度及特异度更良好。

此外，本发明的第11方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法的特征在于：在第10方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法中，通过作为上述小肠的上述疾病的阳性或阴性的确诊结果而显示在上述第2内窥镜影像内的上述疾病的阳性区域与通过上述经过训练的CNN系统而显示在上述第2内窥镜影像内的上述疾病的阳性区域的重叠，判定上述CNN系统的诊断结果的对错。

根据本发明的第11方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法，在第2内窥镜影像内，显示出了得到由内窥镜专科医生做出的确诊结果的区域及通过经过训练的CNN系统而检测出的疾病的阳性区域，因此能通过这些区域的重叠状态，立即与经过训练的CNN的诊断结果进行对比。

此外，本发明的第12方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法的特征在于：在第10方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法中，当上述重叠为如下情况时，则判定上述CNN系统的诊断正确：

(1)上述重叠是作为上述小肠的上述疾病的阳性或阴性的确诊结果而显示在上述第2内窥镜影像内的上述疾病的阳性区域的80％以上，或

(2)通过上述CNN系统而显示在上述第2内窥镜影像内的上述疾病的阳性区域存在多个，且任一个区域与作为上述疾病的阳性或阴性的确诊结果而显示在上述第2内窥镜影像内的上述疾病的阳性区域重叠。

根据本发明的第12方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法，能容易地判定CNN系统的诊断的对错，从而提高经过训练的CNN系统的诊断精度。

此外，本发明的第13方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法的特征在于：在第9－12中任一方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法中，上述经过训练的CNN系统将所检测出的上述疾病的阳性区域及上述概率得分显示在上述第2影像内。

根据本发明的第13方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法，内窥镜专科医生能在短时间内准确地掌握相对于通过对多名被检者的WCE而得到的小肠内窥镜影像的小肠疾病的阳性和/或阴性区域及概率得分，从而使内窥镜专科医生易于进行检查/修正。

本发明的第14方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法的特征在于：在第3方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法中，上述消化器官的部位为小肠，上述内窥镜影像为无线胶囊内窥镜影像，上述疾病为出血的有无。

根据第14方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法，能准确且高速地区别小肠的包含血液成分的影像与正常黏膜的影像，从而使内窥镜专科医生易于进行检查/修正。

此外，本发明的第15方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法的特征在于：在第3方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法中，上述消化器官的部位为食道，上述内窥镜影像为非放大内窥镜影像或放大内窥镜影像，上述疾病为扁平上皮癌(SCC)的侵袭深度。进而，本发明的第16方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法的特征在于：在第15方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法中，上述小肠的上述疾病的阳性或阴性的确诊结果是判定上述扁平上皮癌的侵袭深度属于黏膜上皮－黏膜固有层(EP－LPM)、黏膜肌层(MM)、黏膜下层表面附近(SM1)、黏膜下层中间部以下深度(SM2-)中的任一者。

根据本发明的第15或第16方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法，能在短时间内准确地掌握食道的浅表食道SCC的侵袭深度，因此能准确地进行内窥镜下切除术(ER)相对于浅表食道SCC的适用性的判断。

此外，本发明的第17方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法的特征在于：上述消化器官的部位为咽，上述内窥镜影像为食道胃十二指肠内窥镜检查影像，上述疾病为咽癌。

根据本发明的第17方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法，即使在普通食道胃十二指肠内窥镜检查时，也能高灵敏度且高精度地检知到咽癌的存在。

此外，本发明的第18方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法的特征在于：在第17方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法中，上述内窥镜影像为白色光内窥镜影像。

根据本发明的第18方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法，能通过由全世界广泛使用的白色光内窥镜而得到的影像检知到咽癌的存在，因此即使是熟练度较低的医生也能以较小误差准确地检知到咽癌的存在。

此外，本发明的第19方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法的特征在于：在第1－18中任一方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法中，上述CNN进一步与来自X射线计算机断层摄影装置、超声波计算机断层摄影装置或磁共振影像诊断装置的三维信息组合。

X射线计算机断层摄影装置、超声波计算机断层摄影装置或磁共振影像诊断装置能立体地展现各消化器官的结构，因此如果与第1－18中任一方式的CNN系统的输出组合，则能更准确地掌握内窥镜影像所拍摄的部位。

此外，本发明的第20方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法的特征在于：在第1－19中任一方式的使用CNN的利用消化器官的内窥镜影像的疾病的诊断支持方法中，上述第2内窥镜影像为使用内窥镜拍摄中的影像、经由通信网络发送的影像、由远程操作系统或云系统提供的影像、计算机可读记录介质中记录的影像或动态影像中至少一者。

根据第20方式的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法，能在短时间内输出相对于所输入的第2内窥镜影像的消化器官的疾病的阳性及阴性各自的概率或重症度，因此与第2内窥镜影像的输入形式无关，例如即使从远程位置发送来的影像、动态影像，也可以使用。应予说明，作为通信网络，可以使用周知的因特网、内网、外网、LAN、ISDN、VAN、CATV通信网、虚拟专用网络(virtual private network)、电话线路网、移动通信网、卫星通信网等。此外，构成通信网络的传输介质也可以使用周知的IEEE1394串列汇流排、USB、电力线载波、有线电视线路、电话线路、ADSL线路等有线、红外线、Bluetooth(注册商标)、IEEE802.11等无线、手机网、卫星线路、地面数字网络等无线等。由此，能以所谓的云服务或远程支持服务的形态进行使用。

此外，作为计算机可读记录介质，可以使用周知的磁带或盒式磁带等带系，包含软盘(Floppy(注册商标)disk)、硬盘等磁盘、压缩光盘-ROM/MO/MD/数码视盘/压缩光盘-R等光盘的盘系，IC卡、存储卡、光卡等卡系，或遮罩ROM/EPROM/EEPROM/快闪ROM等半导体存储器系等。由此，可提供能简便地将系统移植或设置在所谓的医疗机构、筛查机构的形态。

进而，本发明的第21方式的利用消化器官的内窥镜影像的疾病的诊断支持系统的特征在于：

具有内窥镜影像输入部、输出部及安装有CNN程序的计算机，

上述计算机具备：

第1存储区域，存储消化器官的第1内窥镜影像；

第2存储区域，存储与上述第1内窥镜影像相对应的确诊结果，该确诊结果为上述消化器官的上述疾病的阳性或阴性、既往疾病、重症度等级或疾病的侵袭深度中至少一者的确诊结果；以及

第3存储区域，存储上述CNN程序；

上述CNN程序基于上述第1存储区域中存储的上述第1内窥镜影像及上述第2存储区域中存储的确诊结果进行训练，并且基于自上述内窥镜影像输入部输入的消化器官的第2内窥镜影像，将相对于上述第2内窥镜影像的概率中至少一者输出至上述输出部，该概率与消化器官的疾病的阳性和/或阴性的概率、既往疾病的概率、疾病的重症度等级、疾病的侵袭深度或所拍摄的部位对应。

此外，本发明的第22方式的利用消化器官的内窥镜影像的疾病的诊断支持系统的特征在于：在本发明的第21方式的利用消化器官的内窥镜影像的疾病的诊断支持系统中，上述第1内窥镜影像与各自所拍摄的部位相关联。

此外，本发明的第23方式的利用消化器官的内窥镜影像的疾病的诊断支持系统的特征在于：在本发明的第22方式的利用消化器官的内窥镜影像的疾病的诊断支持系统中，上述消化器官的部位包含咽、食道、胃、十二指肠、小肠及大肠中至少一者。

此外，本发明的第24方式的利用消化器官的内窥镜影像的疾病的诊断支持系统的特征在于：在本发明的第23方式的利用消化器官的内窥镜影像的疾病的诊断支持系统中，上述消化器官的部位在咽、食道、胃、十二指肠、小肠及大肠的至少一者中被分类为多个位置。

此外，本发明的第25方式的利用消化器官的内窥镜影像的疾病的诊断支持系统，在本发明的第23或24方式的利用消化器官的内窥镜影像的疾病的诊断支持系统中，上述消化器官的部位为胃，上述CNN程序输出H.pylori感染阳性的概率、H.pylori感染阴性的概率及H.pylori除菌的概率中至少一者。

此外，本发明的第26方式的利用消化器官的内窥镜影像的疾病的诊断支持系统的特征在于：在本发明的第23或24方式的利用消化器官的内窥镜影像的疾病的诊断支持系统中，上述消化器官的部位为大肠，上述分类为末端回肠、盲肠、升结肠、横结肠、降结肠、乙状结肠、直肠及肛门中至少一者，上述CNN程序按上述第2内窥镜影像所拍摄的上述分类，输出与末端回肠、盲肠、升结肠、横结肠、降结肠、乙状结肠、直肠及肛门中至少一者相对应的概率。

此外，本发明的第27方式的利用消化器官的内窥镜影像的疾病的诊断支持系统的特征在于：在本发明的第23或24方式的利用消化器官的内窥镜影像的疾病的诊断支持系统中，上述消化器官的部位为大肠，上述分类为末端回肠、盲肠、升结肠、横结肠、降结肠、乙状结肠、直肠及肛门中至少一者，上述CNN程序按上述第2内窥镜影像所拍摄的部位，输出与末端回肠、盲肠、升结肠及横结肠、降结肠及乙状结肠、直肠及肛门中至少一者相对应的概率。

此外，本发明的第28方式的利用消化器官的内窥镜影像的疾病的诊断支持系统的特征在于：在本发明的第23或24方式的利用消化器官的内窥镜影像的疾病的诊断支持系统中，上述消化器官的部位为大肠，上述分类为末端回肠、包含盲肠－升结肠－横结肠的右侧结肠、包含降结肠－乙状结肠－直肠的左侧结肠及肛门，上述经过训练的CNN程序按上述第2内窥镜影像所拍摄的部位，输出与末端回肠、包含盲肠－升结肠－横结肠的右侧结肠、包含降结肠－乙状结肠－直肠的左侧结肠及肛门中至少一者相对应的概率。

此外，本发明的第29方式的利用消化器官的内窥镜影像的疾病的诊断支持系统的特征在于：在本发明的第23方式的利用消化器官的内窥镜影像的疾病的诊断支持系统中，上述消化器官的部位为小肠，上述内窥镜影像为无线胶囊内窥镜影像，上述经过训练的CNN程序输出自上述内窥镜影像输入部输入的无线胶囊内窥镜影像的糜烂及溃疡中至少一者或隆起性病变的概率得分。

此外，本发明的第30方式的利用消化器官的内窥镜影像的疾病的诊断支持系统的特征在于：在第29方式的利用消化器官的内窥镜影像的疾病的诊断支持系统中，上述经过训练的CNN程序将所检测出的上述糜烂及溃疡中至少一者或隆起性病变的概率得分显示在上述第2内窥镜影像内。

此外，本发明的第31方式的利用消化器官的内窥镜影像的疾病的诊断支持系统的特征在于：在第29方式的利用消化器官的内窥镜影像的疾病的诊断支持系统中，基于上述小肠的上述疾病的阳性或阴性的确诊结果，将上述疾病的阳性区域显示在上述第2内窥镜影像内，且上述经过训练的CNN程序通过上述第2内窥镜影像内显示的上述疾病的阳性区域与由上述经过训练的CNN程序而显示在上述第2内窥镜影像内的上述疾病的阳性区域的重叠，判定上述经过训练的CNN程序的诊断结果的对错。

此外，本发明的第32方式的利用消化器官的内窥镜影像的疾病的诊断支持系统的特征在于：在第31方式的利用消化器官的内窥镜影像的疾病的诊断支持系统中，

当上述重叠为如下情况时，则判定上述经过训练的CNN程序的诊断正确：

(1)上述重叠是作为上述小肠的上述疾病的阳性或阴性的确诊结果而显示在上述第2内窥镜影像内的上述疾病的阳性区域的80％以上，或

(2)通过上述经过训练的CNN程序而显示在上述第2内窥镜影像内的上述疾病的阳性区域存在多个，且任一个区域与作为上述疾病的阳性或阴性的确诊结果而显示在上述第2内窥镜影像内的上述疾病的阳性区域重叠。

此外，本发明的第33方式的利用消化器官的内窥镜影像的疾病的诊断支持系统的特征在于：在第29－32中任一方式的利用消化器官的内窥镜影像的疾病的诊断支持系统中，上述经过训练的CNN程序将所检测出的上述疾病的阳性区域及上述概率得分显示在上述第2影像内。

此外，本发明的第34方式的利用消化器官的内窥镜影像的疾病的诊断支持系统的特征在于：在第23方式的利用消化器官的内窥镜影像的疾病的诊断支持系统中，上述消化器官的部位为小肠，上述内窥镜影像为无线胶囊内窥镜影像，上述经过训练的CNN程序将作为上述疾病的出血的有无的概率显示在上述第2影像内。

此外，本发明的第35方式的利用消化器官的内窥镜影像的疾病的诊断支持系统的特征在于：在第23方式的利用消化器官的内窥镜影像的疾病的诊断支持系统中，上述消化器官的部位为食道，上述内窥镜影像为非放大内窥镜影像或放大内窥镜影像，上述经过训练的CNN程序将作为上述疾病的扁平上皮癌的侵袭深度显示在上述第2影像内。

此外，本发明的第36方式的利用消化器官的内窥镜影像的疾病的诊断支持系统的特征在于：在第35方式的利用消化器官的内窥镜影像的疾病的诊断支持系统中，上述经过训练的CNN程序将上述扁平上皮癌的侵袭深度属于黏膜上皮－黏膜固有层、黏膜肌层、黏膜下层表面附近、黏膜下层中间部以下中的任一者显示在上述第2影像内。

此外，本发明的第37方式的利用消化器官的内窥镜影像的疾病的诊断支持系统的特征在于：在第23方式的利用消化器官的内窥镜影像的疾病的诊断支持系统中，上述消化器官的部位为咽，上述内窥镜影像为食道胃十二指肠内窥镜影像，上述疾病为咽癌。

此外，本发明的第38方式的利用消化器官的内窥镜影像的疾病的诊断支持系统的特征在于：在第37方式的利用消化器官的内窥镜影像的疾病的诊断支持系统中，上述内窥镜影像为白色光内窥镜影像。

此外，本发明的第39方式的利用消化器官的内窥镜影像的疾病的诊断支持系统的特征在于：在本发明的第21－38中任一方式的利用消化器官的内窥镜影像的疾病的诊断支持系统中，上述CNN程序进一步与来自X射线计算机断层摄影装置、超声波计算机断层摄影装置或磁共振影像诊断装置的三维信息组合。

此外，本发明的第40方式的利用消化器官的内窥镜影像的疾病的诊断支持系统的特征在于：在本发明的第21－39中任一方式的利用消化器官的内窥镜影像的疾病的诊断支持系统中，上述第2内窥镜影像为使用内窥镜拍摄中的影像、经由通信网络发送的影像、由远程操作系统或云系统提供的影像、计算机可读记录介质中记录的影像或动态影像中至少一者。

根据本发明的第21－40中任一方式的利用消化器官的内窥镜影像的疾病的诊断支持系统，能分别实现与第1－20中任一方式的使用CNN的利用消化器官的内窥镜影像的疾病的诊断支持方法相同的效果。

进而，本发明的第41方式的利用消化器官的内窥镜影像的诊断支持程序的特征在于：所述诊断支持程序是用来使计算机作为第21－40中任一方式的利用消化器官的内窥镜影像的疾病的诊断支持系统中的各装置而运作。

根据本发明的第41方式的利用消化器官的内窥镜影像的诊断支持程序，可提供一种用来使计算机作为第21－40中任一方式的利用消化器官的内窥镜影像的疾病的诊断支持系统中的各装置而运作的、利用消化器官的内窥镜影像的诊断支持程序。

此外，本发明的第42方式的计算机可读记录介质的特征在于：记录有第41方式的利用消化器官的内窥镜影像的诊断支持程序。

根据本发明的第42方式的利用消化器官的内窥镜影像的计算机可读记录介质，可提供一种记录了第41方式的利用消化器官的内窥镜影像的诊断支持程序的计算机可读记录介质。

如上所述，根据本发明，安装有CNN的程序基于对多名被检者分别预先得到的多个消化器官的内窥镜影像、以及对多名被检者分别预先得到的上述疾病的阳性或阴性的确诊结果而进行训练，因此，能在短时间内以实质上与内窥镜专科医生相匹敌的精度来得到被检者的消化器官的疾病的阳性和/或阴性的概率、疾病的重症度等级、疾病的侵袭深度等，从而能在短时间内甄别出需要另外进行确诊的被检者。

附图说明

图1A是H.pylori感染阳性的情况下的胃内窥镜影像例子，图1B是H.pylori感染阴性的情况下的胃内窥镜影像例子，图1C是H.pylori除菌后的胃内窥镜影像例。

图2是表示胃的主要解剖学部位的图。

图3是表示GoogLeNet的运作的示意性概念图。

图4是表示用来构建实施方式1的CNN的验证用数据集用的患者的甄别的图。

图5是表示大肠的主要解剖学部位的图。

图6是实施方式2的CNN系统构建用的流程图的概要图。

图7是表示通过实施方式2的代表性大肠内窥镜影像与CNN而识别出的各部位的概率得分的图。

图8A－图8F分别为依次表示末端回肠、盲肠、升结肠、降结肠、乙状结肠、直肠及肛门的接收机工作特性(ROC)曲线的图。

图9A是表示被正确识别为肛门的影像与各部位的概率得分的图，图9B是表示被错误识别为肛门的末端回肠的影像与各部位的概率得分的图。

图10A是表示被正确识别为盲肠的影像与各部位的概率得分的图，图10B是表示被错误识别为末端回肠的盲肠的影像与各部位的概率得分的图。

图11是实施方式3的CNN系统构建用的流程图的概要图。

图12是表示通过实施方式3的CNN而得到的ROC曲线的一个例子的图。

图13A－图13D是表示被实施方式3的CNN正确诊断的代表性的小肠内窥镜影像与被CNN识别出的特定部位的概率得分的图。

图14A－图14E是被实施方式3的CNN分别依次基于昏暗、侧方性、泡、碎片、血管扩张而诊断为假阳性的影像的例子，图14F－图14H是虽然是真糜烂但被诊断为假阳性的影像的例子。

图15是实施方式4的CNN系统构建用的流程图的概要图。

图16是表示通过实施方式4的CNN而得到的ROC曲线的一个例子的图。

图17A－图17E分别为表示被实施方式4的CNN按息肉、结节、上皮肿瘤、黏膜下肿瘤及静脉结构5个范畴正确检测及分类的代表性区域的图。

图18A－图18C均为未能被实施方式4的CNN正确检测的一名患者的影像的例子。

图19是假阳性影像中被内窥镜专科医生诊断为真隆起性病变的影像的例子。

图20是实施方式5的CNN系统构建用的流程图的概要图。

图21是表示通过实施方式5的CNN而得到的ROC曲线的一个例子的图。

图22A是被实施方式5的CNN系统正确分类的代表性的包含血液的影像，同样地，图22B是表示正常黏膜影像的影像。

图23A是被SBI正确分类为包含血液成分者的影像，图23B是被疑似血液显示功能(SBI)错误分类为正常黏膜者的影像。

图24是对应用实施方式6的CNN的食道浅表扁平上皮癌(SCC)的侵袭深度与其分类的关系进行说明的概要截面图。

图25A－图25D分别为被实施方式7的CNN系统正确分类为咽癌的代表性影像的例子。

图26A－图26F分别为被实施方式7的CNN系统分类为假阳性的代表性影像的例子。

图27是表示通过实施方式7的CNN系统而得到的WLI及NBI的灵敏度及阳性命中率的曲线图。

图28A－图28D分别为被实施方式7的CNN系统分类为假阴性的影像的例子。

图29是实施方式8的使用神经网络的利用消化器官的内窥镜影像的疾病的诊断支持方法的框图。

图30是实施方式9的利用消化器官的内窥镜影像的疾病的诊断支持系统、利用消化器官的内窥镜影像的诊断支持程序及计算机可读记录介质的框图。

具体实施方式

以下，关于本发明的利用消化器官的内窥镜影像的疾病的诊断支持方法、诊断支持系统、诊断支持程序及存储了该诊断支持程序的计算机可读记录介质，以H.pylori感染性胃炎的情况和按大肠的部位识别的情况为例子，详细地进行说明。但以下所示的实施方式仅示出用来将本发明的技术思想具体化的例子，并不是想要将本发明限定在这些情况。即，本发明也可同等地适应专利申请范围中包含的其他实施方式。此外，在本发明中，影像这一术语不仅包含静态图像，也包含动态影像。

[实施方式1]

在实施方式1中，关于本发明的利用内窥镜影像的疾病的诊断支持方法、诊断支持系统、诊断支持程序及存储了该诊断支持程序的计算机可读记录介质，对应用于H.pylori感染性胃炎的情况下的例子进行说明。在一名发明人所属的医院，总计33名内窥镜检查医生使用利用白色光的通常倍率内窥镜进行了食道胃十二指肠内窥镜(以下，也称为“EGD”)检查。EGD的适应症为各种上腹部症状、对胃病进行钡餐检查而得到的阳性结果、异常血清胃蛋白酶原等级、胃或十二指肠的既往病症或与筛检相关的来自初级保健医师的建议。

通过标准EGD用内窥镜(EVIS GIF-XP290N、GIF-XP260、GIF-XP260NS、GIF-N260；东京Olympus Medical Systems公司制)使用白色光拍摄影像，进行EGD。所得到的影像为通常倍率的影像，没有使用放大的影像。

全部患者均接受了用来检测有无H.pylori感染的检查。该检查为血液或尿中的抗H.pylori IgG等级测定、粪便抗原测定及尿素呼气试验中至少一者。而且，在这些检查任一者中表现出阳性反应的患者被分类为H.pylori阳性。未被诊断为H.pylori阳性的患者中，从未接受过H.pylori除菌治疗的患者被分类为H.pylori阴性。此外，以往曾接受过H.pylori除菌治疗且已成功除菌的患者被分类为H.pylori除菌。图1表示所得到的典型胃部内窥镜影像。应予说明，图1A是被诊断为H.pylori阳性的影像的例子，图1B是被诊断为H.pylori阴性的影像的例子，图1C是H.pylori除菌后的影像的例子。

[关于数据集]

通过回溯式地审查2015年12月－2017年4月拍摄的5236人的EGD影像，准备了用于训练及验证基于CNN的诊断系统的数据集(分别称为“训练用数据集”及“验证用数据集”，将两者合并称为“训练/验证用数据集”。此外，有时将训练及验证两者合并称为“训练/验证”)。患有胃癌、溃疡或黏膜下肿瘤、或者具有相关病史的患者的数据已从训练/验证用数据集排除。对于被诊断为H.pylori阳性、H.pylori阴性或H.pylori除菌的胃的影像，为了将由胃内的食物残渣、出血及光晕导致的不清晰影像排除，由内窥镜专科医生进一步进行了筛检。此外，也准备了作为评价对象的内窥镜影像数据集(称为“测试数据集”)。应予说明，该“训练/验证用数据”对应于本发明的“第1内窥镜影像”，“测试数据”对应于本发明的“第2内窥镜影像”。

如表1所示，制作了从被判定为H.pylori阳性的742名患者、被判定为H.pylori阴性的3469名患者及被判定为H.pylori除菌的845名患者处得到的98564张影像供训练用数据集使用。使98564张内窥镜影像在0～359°之间随机旋转，修整、删除周围的黑框部分，并适当以0.9～1.1倍的比例进行缩小或放大，使影像数增加。这种影像数的增加包含旋转、放大、缩小、像素数的变更、明暗部的提取或色调变化部位的提取中至少一者，可通过工具自动进行。应予说明，也可将窄带影像等经过增强的影像排除，仅包含具有通常倍率的普通白色光影像。接下来，使用按照胃的7个位置(贲门部、胃底部、胃体部、胃角部、前庭部、幽门窦及幽门，参照图2)分类的影像构建CNN系统。

[验证用数据集的准备]

为了评价使用上述训练用数据集而构建的实施方式1的CNN系统与内窥镜检查医生的诊断精度，准备了验证用数据集。在一名发明人所属的医院中，于2017年5月至6月接受过内窥镜检查的871名患者的影像数据中，排除了H.pylori感染状况不明的22人及接受过胃切除术的2人的影像数据，最终得到了来自847名患者(分别为H.pylori阳性70人、H.pylori阴性493人及H.pylori除菌284人)的合计23699张影像(参照图3)。

这些患者的人口统计学特征及影像的特征见表1所示。

表1

SD：标准差23，699

就临床诊断而言，通过粪便抗原检查的有264人(31％)，通过尿中的抗H.pyloriIgG等级的有126人(15％)。在63人(7％)的症例中，进行了多个诊断检查。训练数据集与验证用数据集之间没有重复。

[训练/验证·算法]

为了构建基于CNN的诊断系统，使用伯克利视觉学习中心(BVLC)最早开发的Caffe框架作为由Szegedy等人开发的最先进的深度学习神经网络的开发平台，并使用包含22层的GoogLeNet(https：//arxiv.org/abs/1409.4842)作为卷积神经网络(CNN)架构。

如图4所示，本实施方式1中使用的CNN系统采用误差反向传播算法(Backpropagation)进行训练。CNN的各层使用AdaDelta(https：//arxiv.org/abs/1212.5701)以0.005的全局学习率进行了概率最优化。为了使全部影像与GoogLeNet具有相容性，各影像的尺寸被调整为244×244像素。此外，使用通过ImageNet学习到自然影像特征量的已经过训练的模型作为训练开始时的初始值。ImageNet(http：//www.image-net.org/)是于2017年初便收载有1400万件以上的影像的数据库。该训练方法被称为转移学习法，可以确认即使在教师数据较少的情况也有效。应予说明，在实施方式1的CNN系统中，使用INTEL公司的Core i7-7700K作为CPU，使用NVIDEA公司的GeForce GTX 1070作为图形处理装置用GPU。

[评价算法]

作为相对于所输入的影像的H.pylori阳性、H.pylori阴性及H.pylori除菌的诊断结果，经过训练/验证的实施方式1的CNN系统输出0至1之间的概率值(PS)。如果将H.pylori阳性的概率得分设为Pp，将H.pylori阴性的概率得分设为Pn，将H.pylori除菌的概率得分设为Pe，则Pp+Pn+Pe＝1。选择取得这3个概率值中的最大值者作为最准确的“CNN的诊断”。

全部患者信息在用来维持患者匿名性的数据分析前已被删除。该研究的实施得到了日本医师会制度审查委员会(ID JMA-IIA00283)的批准，且符合赫尔辛基宣言。

将实施方式1中测定的利用CNN系统得到的诊断结果与通过临床检查得到的诊断结果的关系汇总示于表2。

表2

在合计23699张影像中，CNN系统将418张影像诊断为H.pylori阳性，将23034张影像诊断为H.pylori阴性，进而将247张影像诊断为H.pylori除菌。对于被CNN系统诊断为全部影像均为H.pylori阴性的655人，在临床检查中，466人(71％)同样被诊断为H.pylori阴性，22人(3％)被诊断为H.pylori阳性，167人(25％)被诊断为H.pylori除菌。

此外，对于被CNN系统诊断为至少一张影像是“H.pylori阳性或除菌”的192人，在临床检查中，48人(25％)被诊断为H.pylori阳性，117人(61％)被诊断为H.pylori除菌，合计165人(86％)同样被诊断为“H.pylori阳性或除菌”，但27人(14％)被诊断为H.pylori阴性。进而，对于被CNN系统诊断为至少一张影像为H.pylori除菌的119人，在临床检查中，83人(70％)同样被诊断为H.pylori除菌，16人(13％)被诊断为H.pylori阴性，20人(17％)被诊断为H.pylori阳性。应予说明，CNN系统诊断23669张影像所花费的时间为261秒。

由表2所示的结果可知以下内容。即，使用CNN通过胃内窥镜影像诊断H.pylori感染状态时，作为CNN构建用的训练/验证用数据集，不仅包含通过临床检查被诊断为H.pylori阳性及阴性的影像，也包含被诊断为H.pylori除菌的影像而进行构建，由此有助于在短时间内提取“H.pylori阳性或除菌”的症例。其进一步示出：基于该CNN的筛检系统具有足以导入至临床实践的灵敏度与特异度，能显著降低内窥镜专科医生筛检内窥镜检查时拍摄得到的影像(测试数据)的作业负荷。

根据该实施方式1的CNN，能轻松地大幅缩短H.pylori感染的筛检时间，从而能在内窥镜检查后立即得到报告结果。由此，能对全世界亟待解决的重大课题即减轻内窥镜检查医生诊断H.pylori感染的负担与削减医疗费用做出贡献。进而，在该实施方式1的通过CNN的H.pylori诊断中，只要输入内窥镜检查时的影像便能立即得到结果，因此完全可以在“线上”进行H.pylori诊断辅助，从而可以作为所谓的“远程医疗”来解决地域引起的医生分布不均问题。

在日本，高龄H.pylori感染者特别多，于2013年2月，对H.pylori感染引起的胃炎患者的H.pylori除菌疗法被纳入健康保险，实际上，该H.pylori除菌疗法以H.pylori感染患者为对象已被广泛采用。进而，于2016年开始的通过内窥镜影像的胃癌群体筛检中，大量内窥镜影像被处理，急需更高效的影像筛检法。实施方式1中得到的结果启示：对大量的保存影像使用该CNN，即使无内窥镜检查者的评价，也能大大帮助H.pylori感染的筛检，通过进一步的试验，有可能实现H.pylori感染的确认并最终实现H.pylori除菌。而且，如果增加胃的各部位的分类，则CNN对H.pylori感染状况的诊断能力将提高，通过追加H.pylori感染状况的信息，胃癌的诊断能力也可以得到改善。

应予说明，在实施方式1中示出了使用GoogLeNet作为CNN的架构的例子，但CNN的架构在不断发展，存在如果采用最新架构则能得到更良好的结果的情况。此外，同样地，虽然使用开源的Caffe作为深度学习框架，但也可以使用CNTK、TensorFlow、Theano、Torch、MXNet等。进而，使用Adam作为最优化方法，但也可适当选用周知的SGD(StochasticGradient Descent：概率梯度下降法)、对SGD附加动量(Momentum)而成的MomentumSGV法、AdaGrad法、AdaDelta法、NesterovAG法、RMSpropGraves法等。

如上所述，实施方式1的使用CNN系统通过胃内窥镜影像确定H.pylori感染的诊断精度已与内窥镜检查医生相匹敌。因此，实施方式1的CNN系统基于筛检或其他理由，从而有助于从得到的内窥镜影像甄别出H.pylori感染患者。此外，由于使CNN系统学习了H.pylori除菌后的影像，因此也可将其用于H.pylori是否已被除菌的判定。

[诊断支持系统]

安装有实施方式1的作为诊断支持系统的CNN的计算机基本上具备内窥镜影像输入部、存储部(硬盘或半导体存储器)、影像解析装置、判定显示装置、判定输出装置。除此之外，也可直接具备内窥镜影像摄影装置。此外，该计算机系统可远离内窥镜检查设备设置，从远程得到影像信息，作为中央诊断支持系统而运转，也可作为经由因特网的云计算机系统而运转。

该计算机在内部的存储部中具备：第1存储区域，存储对多名被检者分别预先得到的多个消化器官的内窥镜影像；第2存储区域，存储对多名被检者分别预先得到的上述疾病的阳性或阴性的确诊结果；及第3存储区域，存储CNN程序。在该情况下，对多名被检者分别预先得到的多个消化器官的内窥镜影像数庞大、数据量多，且CNN程序运行时要进行大量数据处理，因此，优选采取并行处理，此外，优选具有大容量的存储部。

近年来，CPU及GPU的能力显著提高，对于实施方式1中使用的安装有作为诊断支持系统的CNN程序的计算机而言，在使用一定程度上的高性能的市售个人计算机的情况下，即使是作为H.pylori感染性胃炎诊断系统，也能在1个小时处理3000件以上症例，对于1张影像能以约0.2秒进行处理。因此，通过将使用内窥镜拍摄中的影像数据提供给实施方式1中使用的安装有CNN程序的计算机，能即时判定H.pylori感染，而且，不仅是从全世界或偏僻地区发送来的胃内窥镜影像能远程进行诊断，即使是动态影像，也能远程进行诊断。特别是，近年来，计算机的GPU性能已非常优异，因此通过安装实施方式1的CNN程序，能高速且高精度地进行影像处理。

此外，向安装有实施方式1的作为诊断支持系统的CNN程序的计算机的输入部输入的被检者消化器官的内窥镜影像可以是使用内窥镜拍摄中的影像、经由通信网络发送的影像或计算机可读记录介质中记录的影像。即，安装有实施方式1的作为诊断支持系统的CNN程序的计算机能在短时间内输出相对于所输入的被检者消化器官的内窥镜影像的消化器官疾病的阳性及阴性各自的概率，因此使用时被检者消化器官的内窥镜影像的输入形式不限。

应予说明，作为通信网络，可以使用周知的因特网、内网、外网、LAN、ISDN、VAN、CATV通信网、虚拟专用网络(virtual private network)、电话线路网、移动通信网、卫星通信网等。此外，构成通信网络的传输介质也可以使用周知的IEEE1394串列汇流排、USB、电力线载波、有线电视线路、电话线路、ADSL线路等有线、红外线、Bluetooth(注册商标)、IEEE802.11等无线、手机网、卫星线路、地面数字网络等无线等。此外，作为计算机可读记录介质，可以使用周知的磁带或盒式磁带等带系，包含软盘(Floppy(注册商标)disk)、硬盘等磁盘、压缩光盘-ROM/MO/MD/数码视盘/压缩光盘-R等光盘的盘系，IC卡、存储卡、光卡等卡系，或遮罩ROM/EPROM/EEPROM/快闪ROM等半导体存储器系等。

[实施方式2]

在实施方式2中，关于本发明的利用内窥镜影像的疾病的诊断支持方法、诊断支持系统、诊断支持程序及存储了该诊断支持程序的计算机可读记录介质，对应用于大肠的各部位分类的例子进行说明。大肠的各部位包含末端回肠、盲肠、升结肠、横结肠、降结肠、乙状结肠、直肠及肛门。应予说明，大肠的主要解剖学分类示于图5。在实施方式2中，为了能自动分类出这些部位各自的影像，对CNN系统进行了训练及验证。

在一名发明人所属的医院中，于2017年1月至2017年11月，回顾式地审查了接受过大肠内窥镜检查(CS)的患者的临床数据。实施CS的理由有腹痛、腹泻、阳性粪便免疫化学检查、在同一医院的既往CS的复查、单纯的筛检等。为了准确地确定结肠·直肠的解剖学部位，仅使用了充分地吹入空气、能确定结肠·直肠的部位的正常结肠·直肠影像。被排除的影像中，结肠·直肠息肉、癌及活检瘢痕等占大部分，也排除了患有重度炎症或存在出血的影像。此外，仅包含通常倍率的白色光影像或增强影像。

采用该CS法拍摄得到的影像是使用标准的大肠内窥镜(EVIS LUCERAELITE、CFTYPE H260AL/I、PCF TYPE Q260AI、Q260AZI、H290I及H290ZI；Olympus Medical Systems、日本、东京)拍摄的。在CS中拍摄回肠、盲肠、升结肠、横结肠、降结肠、乙状结肠、直肠及肛门的影像，各CS中平均得到了24张影像。

应予说明，为了训练/验证CNN系统，在开发算法前对随附于影像的全部患者信息进行了匿名化处理。参与实施方式2的CNN的内窥镜医生也都无法访问可识别的患者信息。该CNN系统的训练/验证是使用经匿名化处理后的数据的回顾性调查，因此对于患者同意书，采用了预设默许(Opt-out)方式。该研究得到了日本医师会伦理审查委员会(ID：JMA-IIA00283)的批准。

实施方式2的CNN系统的流程图的概要见图6所示。在此，为了按末端回肠、盲肠、升结肠和横结肠、降结肠和乙状结肠、直肠、肛门以及无法分类的7个范畴训练/验证CNN系统，由内窥镜专科医生对影像进行了分类。用于训练/验证的全部影像在训练/验证CNN系统前，至少由2名内窥镜专科医生检查了分类。训练/验证用数据集被分类为末端回肠、盲肠、升结肠及横结肠、降结肠及乙状结肠、直肠及肛门6个范畴。训练/验证用数据集中不含无法分类的影像。

至今为止，为了构建对于结肠·直肠息肉的AI系统所需的影像数据是通过5000张以下影像进行了训练。因此，为了确保充分的数据量，当初计划基于约10000张影像构建实施方式2的CNN系统。准备了2017年1月至2017年3月收集的409人的9995张影像作为训练用影像，使用2017年11月取得的118人的5121张影像作为验证用影像集(参照表3)。两个影像集的各解剖学部位的影像数示于表4。

表3

表4

为了使如此得到的实施方式2的训练/验证用数据集与GoogLeNet具有相容性，全部影像的尺寸被调整为244×244像素。而且，实施方式2中使用的CNN系统使用与实施方式1的CNN系统同样的影像进行了训练。

实施方式2的CNN系统相对于训练/验证用影像，输出各影像的各部位的概率得分(PS)。概率得分为0－1(0－100％)的范围，表示影像所属的大肠的部位的概率。CNN系统相对于各影像，算出7个部位各自(末端回肠、盲肠、升结肠和横结肠、降结肠和乙状结肠、直肠、肛门以及无法分类)的概率得分。得到概率得分最高值的解剖学部位被分配为影像的部位。应予说明，关于大肠的部位，有时也根据各组织的类似性，将盲肠、升结肠及横结肠合并为右侧结肠，将降结肠、乙状结肠及直肠合并为左侧结肠，从而分类为末端回肠、右侧结肠、左侧结肠及肛门4个部位。

例如，图7的左侧的大肠内窥镜影像是升结肠－横结肠影像的例子，示出如下例子：CNN系统判断升结肠－横结肠的概率得分为95％，但也判断降结肠－乙状结肠的概率得分为5％。作为结果，CNN系统将图7的左侧的大肠内窥镜影像分配为升结肠－横结肠。

利用实施方式2的CNN系统的主要目的在于：求出大肠内窥镜影像的利用CNN系统的解剖学分类的灵敏度及特异度。对各部位绘制了接收机工作特性(ROC)曲线，并通过GraphPad Prism 7(GraphPad software,Inc,California,U.S.A)算出了ROC曲线的下侧部分的面积(AUC)。通过实施方式2的CNN系统而制作的大肠各部位的ROC曲线示于图8。应予说明，图8A－图8F分别为依次表示末端回肠、盲肠、升结肠、降结肠、乙状结肠、直肠及肛门的ROC曲线的图。

实施方式2中所构建的CNN系统正确识别出了验证用数据集的影像的66.6％(3410张/5121张)。表5表示CNN系统对影像分配的不同概率得分下的正确识别率。

表5

*：平均值

CNN系统对于概率得分超过99％的影像，分配了全部影像(5121张)中的10％(507张)，其中465张(被正确分类的影像的14％)为通过临床诊断被正确分类的影像，精度为91.7％。

同样地，CNN系统对于概率得分超过90％且为99％以下的影像，分配了全部影像中的25％(1296张)，其中1039张(被正确分类的影像的30％)为通过临床诊断被正确分类的影像，精度为80.2％。同样地，CNN系统对于概率得分超过70％且为90％以下的影像，分配了全部影像中的30％(1549张)，其中1009张(被正确分类的影像的30％)为通过临床诊断被正确分类的影像，精度为65.1％。

同样地，CNN系统对于概率得分超过50％且为70％以下的影像，分配了全部影像中的27％(1397张)，其中761张(被正确分类的影像的22％)为通过临床诊断被正确分类的影像，精度为54.5％。进而，CNN系统对于概率得分为50％以下的影像，分配了全部影像中的7％(372张)，其中136张(被正确分类的影像的4％)为通过临床诊断被正确分类的影像，精度为36.6％。

表6表示通过临床诊断而分类的各解剖学部位的CNN系统的输出分布。在此，没有被分类到“无法分类”的影像。

表6

实施方式2中所构建的CNN系统以91.4％的最高灵敏度识别出了肛门的影像，接下来，以90.0％的次高灵敏度识别出了降结肠及乙状结肠，以69.4％的灵敏度识别出了末端回肠，以51.1％的灵敏度识别出了升结肠及横结肠，进而，以49.8％的灵敏度识别出了盲肠，而仅以23.3％的最低灵敏度识别出了直肠。此外，关于对各解剖学部位的特异度，除了降结肠及乙状结肠的部位(60.9％)以外，其他均为90％以上。应予说明，实施方式2中所构建的CNN系统中，对各解剖学部位识别出了具有超过0.8的AUC值的影像。

表7表示将盲肠、升结肠及横结肠表示为“右侧结肠”，将降结肠、乙状结肠及直肠表示为“左侧结肠”时，实施方式2中所构建的CNN系统的末端回肠、右侧结肠、左侧结肠及肛门的输出分布。对于左侧结肠而言，表现出91.2％的高灵敏度及63.％的较低的特异性，对于末端回肠、右侧结肠及肛门而言，则表现出相反的结果。

表7

其次，对于各解剖学部位，按照各特定概率得分，即70％≥PS>60％、80％≥PS>70％、90％≥PS>80％及PS>90％这4个分类，计算出灵敏度及特异度。计算结果见表8所示。

表8

由表8所示的结果可知，对于除了直肠以外的所有部位而言，在全部概率得分中，均为概率得分越高则灵敏度及特异度越高。但是，对于直肠而言，概率得分越高则特异度越高，但灵敏度与概率得分的倾向并不一致。

对被实施方式2的CNN系统错误识别的1711张(全部影像数－正常判定数＝5121－3410＝1711，参照表5)影像进行了审查。实施方式2的CNN系统错误识别了全部影像的17.5％(299张/1711张)，概率得分为0.9以上。图9及图10示出被实施方式2的CNN系统错误识别的影像的典型例。图9A表示被正确识别为肛门的内窥镜影像的例子，图9B表示被错误识别为肛门的末端回肠的影像。图9B的内腔的轮廓与肛门的轮廓类似。图10A表示被正确识别为盲肠的内窥镜影像的例子，图10B表示被错误识别为末端回肠的盲肠的影像的例子。图10A中可以看见作为盲肠的特征之一的阑尾口，但在图10B中被错误识别为末端回肠。

如上所述，在实施方式2中，基于409人的9995张大肠内窥镜影像而构建了CNN系统。该CNN系统使用大规模独立验证用数据集来识别解剖学部位，结果在临床上表现出有用的性能。该CNN系统能以60％以上的精度识别出结肠的影像。因此，在不久的未来，该CNN系统将成为大肠内窥镜检查用AI系统的开发基础。

要想开发用于结肠疾病的AI系统，影像的高效解剖学部位识别能力是最为重要的一步。至今为止，已知有用于结肠息肉识别的AI系统，灵敏度处于79％－98.7％的范围内，特异度处于74.1％－98.5％的范围内。但现有的系统并不具备识别息肉的解剖学部位的能力。众所周知，息肉或大肠癌的出现频率因结肠的解剖学部位而异。如果实施方式2的CNN系统能基于其解剖学部位来改变检测结肠病变的灵敏度，则能开发出更有效的AI系统。

实施方式2中所构建的CNN系统的精度因概率得分的值而异。一般而言，具有高概率得分的影像能以高精度被识别，因此CNN系统通过仅限定于具有高概率得分的影像，能更良好地发挥功能。为了实现在临床上有用的应用，需具备使识别结果为可靠的概率得分的适当值。

与构建出能分类胃肠影像的CNN系统的发明人等的以往报告相比，实施方式2中所构建的CNN系统的结果并不良好。关于现有的用来识别胃肠的解剖学部位的灵敏度及特异度，喉为93.9％及100％，食道为95.8％及99.7％，胃为98.9％及93.0％，十二指肠为87.0％及99.2％。

但是，即使对于临床医生而言，将大肠内窥镜影像的解剖学部位与胃肠内窥镜影像的解剖学部位同样准确地识别出来也是更为困难的。例如，临床医生有时无法分类升结肠－横结肠的影像与降结肠－乙状结肠的影像。各部位间存在裕度的影像尤其难以识别。进而，临床医师通常能通过结合影像的连续顺序或临床现场与以往的影像或以后的影像的关系，而识别出大肠内窥镜的影像属于哪个部分。因此，关于CNN系统的基于单张影像的66％的精度，如果综合考虑与前影像和后影像的关系，则能实现更好的性能，因此不能对其评价过低。

实施方式2中所构建的CNN系统的灵敏度及特异性因解剖学部位而异。降结肠－乙状结肠的部位具有90％以上的高灵敏度，但特异性最低，仅为69.9％。对照而言，末端回肠、盲肠、升结肠－横结肠及直肠具有高特异性，但灵敏度为23.3－69.4％的低灵敏度。此外，实施方式2的CNN系统以90％以上的高灵敏度与特异度识别出了肛门。有趣的是，在从具有高概率得分的影像中算出的情况下，直肠的识别灵敏度会下降。

在实施方式2的CNN系统中，对于直肠影像没有可靠且正确地输出，直肠影像被识别为降结肠－乙状结肠。直肠被以低灵敏度识别的原因可能在于没有特征部分。然而，在实施方式2的CNN系统中，虽然末端回肠及盲肠具有回盲瓣、阑尾口等特征部分，但识别灵敏度仍然较低。得到这种结果的原因可通过实施方式2的CNN系统无法识别出属于各部位的这种特征部分来进行说明。其原因为：实施方式2的CNN系统仅能基于影像整体的结构识别出影像，而不是将影像内的基于各部位的特征部分分别教示给CNN系统，只是将全部影像按各部位进行分类。只要能将影像的典型部分教给实施方式2的CNN系统，这些部位的识别精度便会提高。

即，如果将内窥镜靠近部位的表面、或内腔被不充分地吹入空气，则难以捕捉内腔的形状。在食道·胃·十二指肠的影像中，食道、胃及十二指肠的上皮互不相同，因此需要基于表面的微细结构来识别影像。例如，在胃中，上皮因解剖学部位而异。例如，幽门腺分布于胃幽门，胃底腺存在于其他区域。

另一方面，盲肠、升结肠、横结肠、降结肠、乙状结肠及直肠的微细结构图案大致相同。因此，就将表面微细结构教给CNN系统来分类结肠·直肠的影像而言，是没有效率的。但在实施方式2的CNN系统中，为了识别末端回肠或肛门，教导表面微细结构是有用的。

进而，在实施方式2的CNN系统中，为了提高影像的准确定位能力，可将大肠内窥镜检查与计算机断层拍摄或能显示透视影像等三维信息的其他的X射线CT(ComputedTomography，计算机断层摄影装置)、USCT(Ultrasonic Computer Tomography，超声波计算机断层摄像装置)、MRI(Magnetic Resonance Imaging，磁共振影像诊断装置)等医疗用影像摄像装置(modality：模态)组合。如果能在训练用数据集中使用具有这些模态的影像，则CNN系统能更准确地识别出大肠内窥镜影像的位置。

自动识别出结肠的解剖学部位的能力对诊断与治疗两个方面均有较大影响。第1，识别结肠疾病位于何处。例如，对于溃疡性大肠炎的治疗，能基于大肠炎的存在部位进行治疗或给予适当种类的药剂。此外，对于结肠·直肠癌，癌所处的解剖学部位将成为用于手术的重要信息。

第2，与结肠的解剖学部位相关的信息对大肠内窥镜的插入与排出两者之间的准确检查有用。特别是，对于正处在训练阶段的研习医生或初诊医生而言，插入内窥镜观察镜的最难因素之一在于识别内窥镜观察镜正插入何处。如果能通过CNN系统客观地识别出内窥镜观察镜位于何处，则能帮助正处在训练阶段的研习医生或初诊医生插入大肠内窥镜。如果将识别解剖学部位的功能用于影音影像，则完成大肠内窥镜的插入所需的时间及难度将降低。

[实施方式3]

在实施方式3中，对利用无线胶囊内窥镜(WCE)影像的与小肠的糜烂/溃疡相关的疾病的诊断支持方法、诊断支持系统、诊断支持程序及存储了该诊断支持程序的计算机可读记录介质进行说明。应予说明，由于糜烂与溃疡难以区别，因此，实施方式3中将两者合并表述为“糜烂/溃疡”。即，该说明书中所谓的“糜烂/溃疡”的术语并非仅包含“糜烂”、“溃疡”、“糜烂及溃疡”的含义，也包含“不确定是糜烂及溃疡中哪一者，但至少不是正常黏膜”的含义。

[关于数据集]

在一名发明人所属的医院，于2009年10月至2014年12月期间，从接受过WCE的115名患者处收集了5360张小肠的糜烂/溃疡影像作为训练用数据集。此外，为了验证实施方式3的CNN系统，于2015年1月至2018年1月，准备了来自65名患者的10440张独立影像作为验证用数据集使用。据3名内窥镜专科医生诊断，这些验证用数据集中，45名患者的440张影像具有小肠的糜烂/溃疡，20名患者的10000张影像为小肠的正常黏膜影像。作为WCE，使用Pillcam(注册商标)SB2或SB3WCE装置(Given Imaging、Yoqneam、Israel)。

应予说明，为了训练/验证实施方式3的CNN系统，在开发算法前对随附于影像的全部患者信息进行了匿名化处理。参与了实施方式3的CNN系统的内窥镜医生也都无法访问可识别的患者信息。该CNN系统的训练/验证是使用经匿名化处理后的数据的回顾性调查，因此对于患者同意书，采用了预设默许(Opt-out)方式。该研究得到了东京大学伦理委员会(No.11931)及日本医师会(ID：JMA-IIA00283)的批准。实施方式3的CNN系统的流程图的概要见图10所示。

WCE的适应症主要为不明原因消化道出血(OGIB：Obscure Gastroint estinalBleeding)，除此之外还有使用其他医疗器械观察到异常小肠影像的症例、腹痛、既往小肠症例的复诊、与腹泻筛检相关的来自初级保健医师的建议等。作为病因，多为非甾体性抗炎症，其次以炎症性肠疾病、小肠恶性肿瘤、吻合口溃疡为主，但也有较多无法确定病因的症例。用来训练及验证CNN系统的数据集的患者特性示于表9。

表9

*：包含小肠癌及恶性淋巴瘤

**：瘘孔(n＝1)及双气囊内窥镜(n＝2)所致的伤害

***：移植物抗宿主病(GVHD)(n＝3)

[训练/验证·算法]

为了构建实施方式3的CNN系统，没有变更算法，使用被称为Single ShotMultiBox Detector(SSD，https：//arxiv.org/abs/1512.02325)的深度神经网络架构。首先，由2名内窥镜专科医生手动给训练数据集的影像内的糜烂/溃疡的全部区域标注具有长方形边界框的注释。这些影像通过伯克利视觉学习中心(Berkeley Vision and LearningCenter)最早开发的Caffe框架导入至SSD架构。Caffe框架是最早开发、应用最为普及广泛的框架之一。

实施方式3的CNN系统被训练为：边界框内侧的区域为糜烂/溃疡区域、其他区域为背景。然后，实施方式3的CNN系统自己提取了边界框区域的特定特征，并经由训练数据集“学习”了糜烂/溃疡的特征。对于CNN的所有层，以0.0001的全局学习率进行了概率最优化。各影像的尺寸被调整为300×300像素。据此，边界框的尺寸也得到了变更。为了保证全部数据与SSD具有相容性，这些值通过试错而设定。使用INTEL公司的Core i7-7700K作为CPU，使用NVIDEA公司的GeForce GTX 1070作为图形处理装置用GPU。

[结果的测定及统计]

首先，以粗线手动给验证用数据集的影像内的全部糜烂/溃疡标上长方形边界框(以下，称为“真框”)。此外，实施方式3的经过训练的CNN系统以细线给验证用数据集的影像内的检测出的糜烂/溃疡的区域标上长方形边界框(以下，称为“CNN框”)，并且输出了糜烂/溃疡的概率得分(范围为0－1)。概率得分越高，表示实施方式3的经过训练的CNN系统判断在该区域包含糜烂/溃疡的概率越高。

发明人等对实施方式3的CNN系统判别各影像是否包含糜烂/溃疡的能力进行了评价。为了实行该评价，使用以下定义。

1)当CNN框与真框80％以上重叠时，为正确答案。

2)在1张影像内存在多个CNN框时，只要这些框中的一者正确检测出了糜烂/溃疡，便可得出影像被正确地识别的结论。

应予说明，对于被如此判断为正确答案的WCE内窥镜影像，将其信息添加至影像而在所拍摄影像的双重检查现场作为诊断辅助有效利用，或者，在WCE内窥镜检查时以动态影像的形式即时显示信息，将其作为诊断辅助有效利用。

此外，通过改变概率得分的临界值，绘制了接收机工作特性(ROC)曲线，为了评价使用实施方式3的经过训练的CNN系统对糜烂/溃疡的识别，计算曲线下面积(AUC)。使用相对于包含依照Youden指数的得分在内的概率得分的各种临界值，计算实施方式3的CNN系统检测糜烂/溃疡的能力即灵敏度、特异度及精度。应予说明，Youden指数是用来决定以灵敏度与特异度计算出的最优临界值的标准方法之一，能求出“灵敏度+特异度－1”的数值达到最大时的临界值。在此，使用STATA软件(13版；Stata Corp,College Station,TX,USA)对数据进行了统计学分析。

验证用数据集包含来自65名患者(男性＝62％，平均年龄＝57岁，标准偏差(SD)＝19岁)的10440张影像。实施方式3的经过训练的CNN系统评价这些影像花费了233秒。这相当于每秒44.8张影像的速度。检测糜烂/溃疡的实施方式3的经过训练的CNN系统的AUC为0.960(95％可信区间[CI]、0.950-0.969；参照图11)。

根据Youden指数，概率得分的最优临界值为0.481，概率得分为0.481的区域被CNN识别为糜烂/溃疡。在该临界值下，CNN的灵敏度、特异度及精度为88.2％(95％CI(可信区间)、84.8-91.0％)、90.9％(95％CI、90.3-91.4％)及90.8％(95％CI、90.2-91.3％)(参照表10)。应予说明，表10示出使概率得分的临界值从0.2每次增加0.1地提高至0.9而计算出的各灵敏度、特异度及精度。

表10

*：根据Youden指数的计算值

如此，概率得分的临界值＝0.481时由实施方式3的经过训练的CNN系统分类的糜烂/溃疡的分类结果与由内窥镜专科医生分类的糜烂/溃疡的分类结果的关系汇总示于表11。

表11

灵敏度＝88.2％特异度＝90.9％

此外，图12A-图12D分别示出被CNN系统正确检测出的代表性区域，图13A-图13H分别示出被CNN系统错误分类的典型区域。如表12所示，假阴性影像被分类为边界不清(参照图13A)、颜色与周围的正常黏膜类似、过小、无法观察到整体(侧方性(患部位于侧面，难以看到)或部分性(仅部分可见))(参照图13B)4个原因。

表12

*：昏暗、碎片或脱焦所致

另一方面，如表13所示，假阳性影像被分类为正常黏膜、泡(图13C)、碎片(图13D)、血管扩张(图13E)、真糜烂(图13F-图13H)5个原因。

表13

**：在CNN指出病变后，

被内窥镜专科医生认定为真糜烂的情况

如上所述，根据实施方式3的经过训练的CNN系统，构建了用来自动检测出WCE小肠影像中的糜烂及溃疡的基于CNN的程序，明确了其能以90.8％的高精度(AUC为0.960)检测出独立试验影像中的糜烂/溃疡。

[实施方式4]

在实施方式4中，对利用无线胶囊内窥镜(WCE)影像的与小肠的隆起性病变相关的疾病的诊断支持方法、诊断支持系统、诊断支持程序及存储了该诊断支持程序的计算机可读记录介质进行说明。应予说明，隆起性病变的形态学特征从息肉、结节、肿块/肿瘤到静脉结构，是多种多样的，这些病变的病因包含神经内分泌肿瘤、腺癌、家族性腺瘤性息肉、黑斑息肉(Peutz-Jeghers)综合征、滤泡性淋巴瘤及胃肠间质瘤。这些病变需要早期诊断与治疗，因此需要避免WCE检查的漏诊。

[关于数据集]

在一名发明人所属的医院，于2009年10月至2018年5月，从接受过WCE的292名患者处收集了30584张隆起性病变的影像作为训练用数据集。此外，在验证中，与用来训练CNN的影像无关地使用了包含无隆起性病变的10000张影像以及有隆起性病变的7507张影像的来自93名患者的合计17507张影像。隆起性病变基于CEST分类定义(参照非专利文献13)，被形态学分类为息肉、结节、上皮肿瘤、黏膜下肿瘤及静脉结构5个范畴。其中，CEST分类定义中的肿块/肿瘤病变被分成上皮肿瘤与黏膜下肿瘤，从而进行了分类。

[训练/验证·算法]

实施方式4的CNN系统的流程图的概要示于图15。在实施方式4的CNN系统中，与实施方式3的情况同样地使用了SSD深度神经网络架构及Caffe框架。首先，由6名内窥镜专科医生手动给训练数据集的影像内的隆起性病变的全部区域全部区域标注具有长方形边界框的注释。注释由各内窥镜专科医生分别实行，其后决定出会诊意见。这些影像通过Caffe框架导入至SSD架构。

实施方式4的CNN系统被训练为：边界框内侧为隆起性病变、其他区域为背景。然后，实施方式4的CNN系统自己提取了边界框区域的特定特征，并经由训练数据集“学习”了隆起性病变的特征。对于CNN的所有层，以0.0001的全局学习率进行了概率最优化。各影像的尺寸被调整为300×300像素。据此，边界框的尺寸也得到了变更。为了保证全部数据与SSD具有相容性，这些值通过试错而设定。使用INTEL公司的Core i7-7700K作为CPU，使用NVIDEA公司的GeForce GTX 1070作为图形处理装置用GPU。应予说明，作为WCE，与实施方式3的情况同样地使用Pillcam SB2或SB3 WCE装置实施。使用STATA软件(13版；Stata Corp,College Station,TX,USA)对数据进行了分析。

应予说明，为了训练/验证实施方式4的CNN系统，在开发算法前对随附于影像的全部患者信息进行了匿名化处理。参与了实施方式4的CNN系统的内窥镜医生也都无法访问可识别的患者信息。该CNN系统的训练/验证是使用经匿名化处理后的数据的回顾性调查，因此对于患者同意书，采用了预设默许(Opt-out)方式。该研究得到了日本医师会伦理委员会(ID：JMA-IIA00283)、仙台厚生医院(No.30-5)、东京大学医院(No.11931)、广岛大学医院(No.E-1246)的批准。

[结果的测定及统计]

首先，以粗线手动给验证用数据集的影像内的隆起性病变的全部区域标上长方形边界框(以下，称为“真框”)。此外，实施方式4的经过训练的CNN系统以细线给验证用数据集的影像内的检测出的隆起性病变的区域标上长方形边界框(以下，称为“CNN框”)，并且输出了隆起性病变的区域的概率得分(PS：范围为0－1)。概率得分越高，表示实施方式4的经过训练的CNN系统判断在该区域包含隆起性病变的概率越高。

发明人等对于实施方式4的CNN系统判别各影像是否包含隆起性病变的能力，按照各影像的概率得分的降序评价CNN框。在CNN框明确包围隆起性病变时，CNN框、隆起性病变的概率得分及隆起性病变的范畴被决定为CNN的结果。

绘制有多个CNN框从而视觉上难以进行判断的情况、以及CNN框与真框的重叠等于或大于0.05Intersection over Unions(IoU)的情况将被决定为CNN的结论。应予说明，IoU是测定目标检测器的精度的评价方法，通过2个框的交叠区域除以2个框的合并区域来进行计算。

IoU＝(重叠区域)/(两者合并区域)

当CNN框不符合上述规则时，依次评价概率得分次低的CNN框。

在1张影像中显示有多个真框时，如果CNN框之一与真框重叠，则该CNN框被决定为CNN的结果。在没有隆起性病变的影像的情况下，概率得分最大的CNN框被决定为CNN的结果。3名内窥镜专科医生对全部影像均实行了这些任务。

通过改变概率得分的临界值，绘制了接收机工作特性(ROC)曲线，为了评价实施方式4的经过训练的CNN系统对隆起性病变的识别程度，计算曲线下面积(AUC)(参照图16)。然后，与实施方式3的情况同样地进行，使用相对于包含依照Youden指数所得到分在内的概率得分的各种临界值，计算实施方式4的CNN系统检测隆起性病变的能力即灵敏度、特异度及精度。

实施方式4中的二次结果是通过CNN将隆起性病变归类于5个范畴、以及在各患者分析中检测出隆起性病变。对于分类精度，对CNN与内窥镜专科医生的分类的一致率进行了调查。在与隆起性病变的检测出率相关的各患者分析中，如果CNN通过同一名患者的多张影像检测出了至少一个隆起性病变影像，则定义为利用CNN的检测是正确的。

进而，实行CNN程序之后，对验证数据集内的10000张被在临床上认定为正常的影像进行了再评价。从被认定为正常影像的影像中，提取到了若干疑似为真隆起性病变的CNN框。该病变有可能被医生漏诊了。这是基于3名内窥镜专科医生的会诊意见。

此外，用来训练及验证实施方式4的CNN系统的数据集的患者特性、以及训练用数据集与验证用数据集的详情示于表14。验证用数据集包含来自73名患者(男性＝65.8％，平均年龄＝60.1岁，标准偏差＝18.7岁)的有隆起性病变的7507张影像、以及来自20名患者(男性＝60.0％，平均年龄＝51.9岁，标准偏差＝11.4岁)的无病变的10000张影像。

表14

实施方式4中所构建的CNN以530.462秒完成了全部影像的分析，每1张影像的平均速度为0.0303秒。用来检测隆起性病变的实施方式4的CNN的AUC为0.911(95％可信区间(CI)、0.9069－0.9155)(参照图16)。

根据Youden指数，概率得分的最优临界值为0.317。因此，概率得分为0.317以上的区域被识别为通过CNN而检测出的隆起性病变。如果使用该临界值，则CNN的灵敏度与特异度分别为90.7％(95％CI、90.0％－91.4％)与79.8％(95％CI、79.0％－80.6％)(表15)。

表15

在隆起性病变范畴的小组分析中，就息肉、结节、上皮肿瘤、黏膜下肿瘤及静脉结构的检测而言，CNN的灵敏度分别为86.5％、92.0％、95.8％、77.0％及94.4％。图17A－图17E分别示出通过实施方式4的CNN在息肉、结节、上皮肿瘤、黏膜下肿瘤及静脉结构5个范畴内被正确检测及分类的代表性区域。

在各患者的分析中，隆起性病变的检测率为98.6％(72/73)。按隆起性病变的范畴分，息肉、结节、上皮肿瘤、黏膜下肿瘤及静脉结构的每名患者的检测率分别为96.7％(29/30)、100％(14/14)、100％(14/14)、100％(11/11)及100％(4/4)。但是，图18A－图18C所示的1名患者的3张息肉影像均未能被实施方式4的CNN检测出。在该影像中，CNN框的全部概率得分均小于0.317，因此未被CNN作为隆起性病变检测出。此外，在虽然看似未患隆起性病变、但CNN却提供了概率得分为0.317以上的CNN框的假阳性影像(n＝2,019)中，有2张影像被内窥镜专科医生提示为真隆起性病变(图19)。

CNN及专科内窥镜医生对隆起性病变的标注示于表16。CNN及内窥镜医生对息肉、结节、上皮肿瘤、黏膜下肿瘤及静脉结构的标注的一致率分别为42.0％、83.0％、82.2％、44.5％及48.0％。

表16

如上所述，在实施方式4的CNN中，应用了基于CEST的范畴，明确了：虽然息肉、结节、上皮肿瘤、黏膜下肿瘤、静脉结构等范畴间的灵敏度存在差异，但仍然能以高灵敏度及良好的检测出率进行检测及分类。

[实施方式5]

无线胶囊内窥镜(以下，简称为“WCE”)已成为用来调查小肠疾病的不可或缺的工具，主要适应症为未找到明确出血源的不明原因消化道出血(OGIB)。筛检WCE影像时，医生要花费30－120分钟对每一名患者的10000张影像进行读片。因此，能否在WCE影像解析时自动检测出血液成分至关重要。作为这种自动检测出WCE影像中的血液成分的手段，例如，已知有“疑似血液显示功能”(Suspected Blood Indicator。以下，简称为“SBI”)(参照非专利文献11)。SBI是搭载于RAPID CE读片软件(Medtronic、明尼苏达州、明尼阿波利斯、美国)的影像选择工具，以红色像素给有可能出血的区域贴上标签。

在实施方式5中，与上述SBI相对比，对使用CNN系统的利用WCE影像的小肠出血的诊断支持方法、诊断支持系统、诊断支持程序及存储了该诊断支持程序的计算机可读记录介质进行说明。应予说明，检测小肠的血液成分时，可以进行血液量的推测，在该情况下，也可以从血液的分布范围等推测血液量。但是，以下例示对血液成分的有无、即出血的有无进行检测的情况。

[关于数据集]

在部分发明人所属的单一机构(东京大学医院、日本)，于2009年11月至2015年8月回溯式地取得了WCE影像。在该期间中，WCE与实施方式3的情况相同，使用Pillcam SB2或SB3 WCE装置实施。2名内窥镜专科医生以不考虑SBI的结果的方式，对内腔包含血液成分的影像及正常小肠黏膜的影像进行了分类。内腔的血液成分被定义为活动性出血或凝血块。

收集了27847张影像(29名患者的包含血液成分的6503张影像、以及12名患者的正常小肠黏膜的21344张影像)作为实施方式5的CNN系统的训练用数据集。同样地，在训练用数据集以外，准备了来自25名患者的10208张影像作为CNN系统的验证用数据集。这些影像中，来自5名患者的208张影像显示小肠出血，来自20名患者的10000张影像为正常小肠黏膜的影像。实施方式5的CNN系统的流程图的概要示于图20。

应予说明，为了训练/验证实施方式5的CNN系统，在开发算法前对随附于影像的全部患者信息进行了匿名化处理。参与实施方式5的CNN的内窥镜医生也都无法访问可识别的患者信息。该实施方式5的CNN系统的训练/验证是使用经匿名化处理后的数据的回顾性调查，因此对于患者同意书，采用了预设默许(Opt-out)方式。该研究得到了东京大学伦理委员会(No.11931)及日本医师会(ID JMA-IIA00283)的批准。

[训练/验证·算法]

实施方式5中使用的CNN系统的算法是使用50层的深度神经网络架构即ResNet50(https://arxiv.org/abs/1512.03385)而开发的。之后，为了训练/验证新开发的CNN系统，使用伯克利视觉学习中心最早开发的Caffe框架进行了训练。然后，网络的所有的层使用SGD(Stochastic Gradient Descent)以0.0001的全局学习率进行了概率最优化。为了具有与ResNet50的相容性，全部影像的尺寸被调整为224×224像素。

[结果的测定及统计]

实施方式5的CNN系统中的主要结果包含接收机工作特性(ROC)曲线的曲线下面积(AUC)、灵敏度、特异度、以及血液成分的影像与正常黏膜的影像之间的CNN系统的识别能力的精度。经过训练的实施方式5的CNN系统输出了0至1之间的连续数值作为每张影像的血液成分的概率得分。概率得分越高，表示CNN系统判断在影像中包含血液成分的概率越高。实施方式5中的CNN系统的验证测试使用单张静态图像而实行，通过改变概率得分的阈值来绘制ROC曲线，为了评价其识别程度，计算AUC。

在实施方式5中，为了利用CNN系统进行最终分类，将概率得分的阈值单纯设定为0.5，并计算包含血液成分的影像与正常黏膜的影像之间的CNN系统的识别能力的灵敏度、特异性及精度。进而，在验证集中，通过研究10208张影像，对包含血液成分的影像与正常黏膜的影像之间的SBI的识别能力的灵敏度、特异性及精度进行评价。对于实施方式5的CNN系统与SBI的能力的差异，使用麦克纳马拉检验进行比较。使用STATA软件(13版；Stata Corp,College Station,TX,USA)对得到的数据进行了统计学分析。

验证用数据集包含来自25名患者的10208张影像(男性＝56％，平均年龄＝53.4岁，标准偏差＝12.4岁)。实施方式5的经过训练的CNN系统评价这些影像花费了250秒。这相当于每秒40.8张影像的速度。识别包含血液成分的影像的实施方式5的CNN系统的AUC为0.9998(95％CI(可信区间)、0.9996－1.0000；参照图21)。此外，表15示出通过使概率得分的临界值从0.1每次增加0.1地提高至0.9而计算出的各灵敏度、特异度及精度。

表17

在概率得分的临界值为0.5时，实施方式5的CNN系统的灵敏度、特异度及精度分别为96.63％(95％CI、93.19－98.64％)、99.96％(95％CI、99.90－99.99％)及99.89％(95％CI、99.81－99.95％)。应予说明，表15的概率得分的临界值0.21是依照Youden指数而计算出的最优临界值，在该验证用数据集中，Youden指数的临界值下的精度低于0.5的单纯临界值下的精度。此外，图22示出被实施方式5的CNN系统正确分类的代表性的包含血液的影像(图22A)与正常黏膜影像(图22B)。应予说明，图22A及图22B各自的通过实施方式5的CNN系统而得到的概率值示于下表18。

表18

CNN的概率值

另一方面，SBI的灵敏度、特异度及精度分别为76.92％(95％CI、70.59-82.47％)，99.82％(95％CI、99.72-99.89％)及99.35％(95％CI、99.18-99.50％)。它们均显著低于CNN系统(p＜0.01)。表19示出实施方式5的CNN系统与SBI的分类的不同。

表19

CNN的概率值

图23示出被实施方式5的CNN分类为正常黏膜的7张假阴性影像。其中，图23A所示的4张影像被SBI正确分类为包含血液成分的影像，图23B的3张影像被SBI错误分类为正常黏膜的影像。应予说明，图23A及图23B各自的通过实施方式5的CNN系统及SBI而得到的分类示于下表20，同样地CNN系统与SBI的分类的关系示于表21。

表20

灵敏度：96.6特异度：99.96％

灵敏度：76.9特异度：99.82％

表21

如上所述，根据实施方式5的经过训练的CNN系统，能以99.9％的高精度分类出包含血液成分的影像与正常黏膜的影像(AUC为0.9998)。此外，经与SBI直接比较后表明，实施方式5的经过训练的CNN系统能比SBI更准确地进行分类。在单纯临界点0.5下，实施方式5的经过训练的CNN系统在灵敏度及特异性两方面比SBI优异。该结果表明，实施方式5的经过训练的CNN系统能作为WCE的非常准确的筛检工具来使用。

[实施方式6]

在实施方式6中，对利用普通内窥镜(非放大内窥镜、非ME)、超声波内窥镜(EUS)及放大内窥镜(ME)诊断扁平上皮癌(SCC)的侵袭深度的诊断支持方法、诊断支持系统、诊断支持程序及存储了该诊断支持程序的计算机可读记录介质进行说明。

首先，使用图24，对食道的SCC的侵袭深度与其分类的关系进行说明。食道自食道的内面侧起包含黏膜上皮(EP)、黏膜固有层(LPM)、黏膜肌层(MM)、黏膜下层(SM)、固有肌层及外膜。在SCC停留在黏膜上皮(EP)内的情况下，表示为“EP”，并归类于“Tis”。在SCC到达黏膜上皮的下部的黏膜固有层(LPM)的情况下，表示为“LPM”，同样地，在到达黏膜肌层(MM)的情况下，表示为“MM”，且两者均归类于“T1a”。

这些黏膜上皮、黏膜固有层及黏膜肌层是通常被称为“黏膜”的部位。根据日本的指导方针及欧洲的指导方针，ER被期望应用于到达上皮(EP)/黏膜固有层(LPM)、黏膜筋(MM)/200μm左右的SCC。

到达黏膜固有层的下部的黏膜下层的SCC根据其深度，依次表示为“SM1”、“SM2”及“SM3”，并全部归类于“T1b”。应予说明，“SM1”、“SM2”及“SM3”的分类的边界并不明确，但基本可凭感觉分成黏膜下层表面附近、黏膜下层中间部及黏膜下深部3个分类。

在上述指导方针中，对于被归类于比T1a到达更深的T1b的SCC，没有指出ER的适用性。然而，据报告，在SCC的侵袭深度为T1a(MM及SM1)的情况下，癌转移概率小于10％，因此基于食道切除术的高死亡率及实质罹患率，特别是当患者为老人或身体虚弱者的情况下，ER被视为最适于T1a(MM及SM1)的初期治疗。由于转移风险超过25％，因此食道切除术通常适于T1b(黏膜下层中间部(SM2)或黏膜下深部(SM3))的情况。因此，用于SCC的侵袭深度的术前诊断的最重要工作在于：将T1a(EP及SM1)与T1b(SM2或SM3)进行区别。

[关于数据集]

使用在一名发明人所属的医院日常拍摄得到的内窥镜影像，进行了CNN系统的训练。所使用的内窥镜系统为高分辨率或高精细上部胃肠内窥镜(GIF-XP290N、GIF-Q260J、GIF-RQ260Z、GIF-FQ260Z、GIF-Q240Z、GIF-H290Z、GIF-H290、GIF-HQ290及GIF-H260Z；Olympus制、东京、日本)及影音处理器(CV260；Olympus制)、高精细放大胃肠内窥镜(GIF-H290Z、GIF-H290、GIF-HQ290、GIF-H260Z；Olympus制)及影音处理器(EVIS LUCERA CV-260/CLV-260及EVIS LUCERA ELITE CV-290/CLV-290SL；Olympus Medical Systems制)、高分辨率内窥镜(EG-L590ZW、EG-L600ZW及EG-L600ZW7；富士胶片制、东京、日本)及影音内窥镜系统(LASEREO：富士胶片制)。

训练影像为标准白色光影像、窄带光(NBI)影像及使用蓝色激光(BLI)的影像，但排除了符合以下排除基准的患者的影像。该被排除的影像包含患有重度食道炎的患者、具有化学疗法病史的患者、食道接受过放射线照射、溃疡或与溃疡的瘢痕邻接的病变、空气吹入过少导致的低品质的影像、出血、光晕、模糊、焦点偏移或黏液。

选择后，收集了来自804名患者的经过病理学证明的浅表食道SCC的8660张非放大内窥镜影像及5678张放大内窥镜影像作为训练影像数据集。这些影像以JPEG(JointPhotographic Experts Group)格式保存，并基于切除标本的病理诊断，被病理学分类为pEP、pLPM、pMM、pSM1、pSM2及pSM3癌。之后，由日本消化器官内窥镜学会的指导医生手动标上了四角框的标识。癌的全部区域由于是pEP－pSM1癌因而被标识，仅pSM2及pSM3自身由于是SM2及SM3癌因而被特别标识。

关于内窥镜影音处理器的结构强化，窄带成像(NBI)被设定为B模式8级，蓝色激光成像(BLI)的等级被设定为5－6级。为了在放大观察时确保内窥镜变焦透镜的前端与黏膜面之间的距离恰当，在内窥镜的前端安装了黑色软质滤罩。进行了利用非放大白色光影像、NBI或BLI的初期例行检查，评价了癌的突出程度、沉陷程度及硬度。

接下来，放大NBI，对表面血管结构的外观、特别是毛细血管的毛细血管循环的变化进行了评价。最后，为了描写癌的扩散，进行了碘染色。

[训练/验证·算法]

实验形态6的CNN系统没有变更算法，而使用了实质上与实施方式3的情况相同的被称为单发多框检测器(SSD)的CNN架构、Caffe框架。

训练采用全局学习率为0.0001的概率梯度下降法而进行。各影像的尺寸被调整为300×300像素，四角框也以进行最优CNN分析的方式变更了尺寸。为了保证全部数据与SSD具有相容性，这些值通过试错而设定。

[结果的测定及统计]

基于实验形态6的经过训练的CNN系统的评价通过浅表食道SCC的独立验证试验数据而进行。在一名发明人所属的医院，于2017年1月至2018年4月，从接受过内镜黏膜下层剥离术或食道切除术的患者收集了影像。将符合与训练数据集相同的排除基准的患者排除后，选择了155名患者。从一名患者选择了3－6张代表性影像(非放大内窥镜及放大内窥镜)，利用CNN系统进行了诊断。

实验形态6的经过训练的CNN系统产生与该诊断的概率相对应的、具有0与1之间的连续数的EP-SM1或SM2/SM3癌的诊断。在被诊断为病变的全部区域均限定于EP-SM1的情况下，病变被诊断为EP-SM1癌。在被诊断为病变的一部分已侵入至SM2或SM3的情况下，病变被诊断为SM2/3癌。对非放大内窥镜、放大内窥镜及最终诊断(非放大内窥镜+放大内窥镜)的结果进行了分析。

为了将实验形态6的经过训练的CNN系统与医生的判断的准确性进行比较，邀请了日本消化器官内窥镜学会的16名认定内窥镜专科医生作为内窥镜专家。内窥镜专科医生作为医生，具备9-23年的专业知识，且拥有3000-20000次的内窥镜检查经验。或者，对他们来说，进行术前诊断及胃肠癌的内窥镜下切除已经是一种日常。为他们提供了与CNN系统相同的验证测试数据，让他们进行了EP-SM1或SM2/SM3癌的诊断。

主要输出指标为诊断精度、灵敏度、特异性、阳性预测值(PPV)、阴性预测值(NPV)及诊断时间。在实验形态6的经过训练的CNN系统与内窥镜专科医生之间，将这些值进行了比较。为了评价癌的侵袭深度的诊断中观察者间的变动，使用了κ统计。κ值＞0.8表示基本完全一致，κ值＝0.8-0.6表示实质一致，κ值＝0.6-0.4表示中度一致，κ值＝0.4-0.2表示低度一致，κ值＜0.2表示少许一致，κ值＝0表示偶然一致，κ值＜0表示不一致。所有计算均使用统计软件EZR进行。

该调查的进行得到了大阪国际癌症研究所(No.2017-1710059178)及日本医师会(ID JMA-IIA00283)的批准。

为了调查实验形态6的经过训练的CNN系统的诊断妥当性，选择了来自155名患者的合计405张非放大内窥镜影像、509张放大内窥镜影像。所选择的患者的人口统计汇总示于表22。

表22

Ce：颈部食道，Ut：上部食道，Mt：中部食道，Lt：下部食道

EP：上皮，LPM：黏膜固有层，MM：黏膜肌层，SM：黏膜下层

用于诊断全部影像所需要的时间为29秒。如表23所示，在pEP-SM 1癌(非放大内窥镜+放大内窥镜)的最终诊断中，得到了：灵敏度90.1％、特异度95.8％、阳性预测值99.2％、阴性预测值63.9％、精度91.0％。

表23通过CNN系统的诊断

PPV：阳性预测值，NPV：阴性预测值，ME：放大内窥镜检查

在pEP-SM1癌的非放大内窥镜诊断中，得到了：灵敏度95.4％、特异度79.2％、阳性预测值96.2％、阴性预测值76.0％、精度92.9％。在pSM1癌的放大内窥镜诊断中，得到了：灵敏度91.6％、特异度79.2％、阳性预测值96.0％、阴性预测值63.3％、精度89.7％。

为了调查实验形态6的经过训练的CNN系统的分类M癌与SM癌的性能，从155名患者选择了相同的妥当性检查试验数据，即405张非放大内窥镜影像及509张放大内窥镜影像。用于诊断全部影像所需要的时间为29秒。在pM癌的最终诊断中，得到了：特异性89.0％(95％CI、82.2％-93.8％)、92.9％(95％CI、76.5％-99.1％)、阳性预测值98.3％(95％CI、48.3％-79.4％)、精度89.7％(95％CI、83.8％-94.0％)。

在pM癌的非放大内窥镜诊断中，得到了：灵敏度93.7％(95％CI、88.0％-97.2％)、特异度75.0％(95％CI、55.1％-89.3％)、阳性预测值94.4％(95％CI、88.9％-97.7％)、阴性预测值72.4％(95％CI、52.8％-87.3％)、精度90.3％(95％CI、84.5％-94.5％)。在放大内窥镜的pM癌诊断中，得到了：灵敏度93.7％(95％CI、88.0％-97.2％)、特异度85.7％(95％CI、67.3％-96.0％)、阳性预测值96.7％(95％CI、56.6％-88.5％)、精度92.3％(95％CI、86.9％-95.9％)。

相同的有效性试验数据的SCC的侵袭深度由16名内窥镜专科医生诊断(表23)。整体上，得到了灵敏度89.8％、特异性88.3％、阳性预测值97.9％、阴性预测值65.5％、精度89.6％。在具备长期(16年以上)及短期(小于16年)专业知识的内窥镜专家的小组分析中，诊断精度分别为91.0％及87.7％。用于诊断的观察者间的一致度为0.303(Fleiss的κ是数，z＝41.1，p值＝0.000)。为了评价全部验证试验数据所需要的时间为115分钟(范围为70-180分钟)。

与病变的特征相应的实验形态5的经过训练的CNN系统的诊断精度示于表24及表25。实验形态6的经过训练的CNN系统及内窥镜专科医生的准确度包含病变的性质，例如癌浸润深度、形态及病变的大小。

表24

P：病理学，EP：上皮，LPM：黏膜固有层，MM：黏膜肌层SM：黏膜下层

表25

实验形态6的经过训练的CNN系统的非放大内窥镜诊断表现出较高性能。大部分非放大内窥镜影像为白色光影像。使用白色光成像的非放大内窥镜为全世界可以使用的现有最普通的内窥镜成像方式。使用现有的非放大内窥镜的癌侵袭深度的诊断比较主观，其基于有可能受观察者间的变动影响的癌的突出、沉陷及硬度。

使用这种现有的非放大内窥镜的癌侵袭深度的诊断的差异源自于低客观性，其可靠性受损，阻碍了非放大内窥镜作为用来诊断癌侵袭深度的工具的应用。然而，通过实验形态6的经过训练的CNN系统进行的诊断能提出明确诊断，因此能提供客观诊断，从而解决变动性。另一方面，放大内窥镜的诊断能力在实验形态6的经过训练的CNN系统中不利。该不优选的性能是由于放大内窥镜影像的训练影像量少而导致的。通过积累用于放大内窥镜的更多训练数据集，有望得到进一步改善。

如上所述，实验形态6的经过训练的CNN系统表现出用于诊断浅表食道SCC的侵袭深度的良好性能，最终诊断精度为91.0％，与具备长期专业知识的内窥镜专家的精度相匹敌。

[实施方式7]

在实施方式7中，对使用普通食道胃十二指肠内窥镜(EGD)利用白色光成像(WLI)及窄带成像(MBI)诊断浅表咽癌(SPC)的诊断支持方法、诊断支持系统、诊断支持程序及存储了该诊断支持程序的计算机可读记录介质进行说明。

[关于数据集]

使用在一名发明人所属的医院通过为了日常筛检或术前检查而实行的EGD拍摄得到的内窥镜影像，进行CNN系统的训练。所使用的内窥镜系统为高分辨率的内窥镜(GIF-H290Z、GIF-H290、GIF-XP290N、GIF-H260Z、GIF-H260；Olympus Medical Systems、东京、日本)及标准的内窥镜影音系统(EVIS LUCERA CV-260/CLV-260、EVIS LUCERA ELITE CV-290/CLV-290SL；Olympus Medical Systems制)。

回溯式地收集了咽癌的5109张影像作为训练数据集。其中包含2109张标准WLI影像及含有247例咽癌病变部的3294张NBI影像。这些影像的症例经组织学证明，为包含202例浅表咽癌与45例进行性癌的扁平上皮癌(SCC)。从训练影像中排除了由光晕、焦点模糊、黏液、唾液等引起的低品质影像，也排除了由于放大内窥镜检查而产生的放大影像。此外，也排除了相同影像中存在2个以上病变的影像。浅表咽癌的全部症例使用在适用内窥镜下切除术(ER)的时间点的碘染色、以及在治疗后进行复诊内窥镜检查，确认没有其他癌。咽癌病变的全部影像由拥有6年以上经验、在大型癌症中心进行过6000件检查的经验丰富的内窥镜医生手动标记。

[训练/验证·算法]

实验形态6的CNN系统没有变更算法，而使用了实质上与实施方式3的情况相同的被称为单发多框检测器(SSD)的CNN架构，并且使用了Caffe框架。Caffe框架是由BerkeleyVision and Learning Center最早开发的、应用最为广泛的框架之一。

训练采用全局学习率为0.0001的概率梯度下降法而进行。各影像的尺寸被调整为300×300像素，边界框也以进行最优CNN分析的方式变更了尺寸。为了保证全部数据与SSD具有相容性，这些值通过试错而设定。

[结果的测定及统计]

为了评价实验形态7的经过训练的CNN系统，准备了咽癌与非癌患者的独立验证数据集。这些影像中包含含有35例浅表咽癌及5例进行性咽癌的来自35名患者的40例咽癌病变部的影像(928张咽癌部分的影像及732张非癌部分的影像)、未患癌的40名患者的影像(252张无癌影像)。35名咽癌患者中，30名患者分别具有1个病变，5名患者同时具有2个病变。这些咽癌患者已全部于2015年至2018年在一名发明人所属的医院通过内镜黏膜下层剥离术或咽切除而得到了治疗。进而，为了验证筛检检查，全部症例选择了使用WLI及NBI的一系列咽的筛检影像。

该研究得到了公益财团法人癌症研究会有明医院的治验审查委员会(No.2016－1171)及日本医师会制度审查委员会(ID JMA－II A00283)的批准。

[结果的测定及统计]

使用训练数据集构建出实验形态7的经过训练的CNN系统后，使用独立验证影像对性能进行了评价。如果CNN系统从验证影像的输入数据检测出咽癌，则基于CNN系统的诊断可靠得分基准值60，分配咽癌的疾病名，并在内窥镜影像中以包围相关病变的方式显示长方形虚线框。在此，为了对用来检测咽癌的CNN系统的诊断性能进行评价，选择了若干基准。

只要实验形态6的CNN系统能识别出癌的一部分，便视为CNN系统做出了正确诊断。其理由在于：存在难以使用1张影像便确定癌的整个边界的情况，癌的检测是本实施方式的主要目的。但是，即使是在由实验形态6的经过训练的CNN系统进行判断后的影像中存在癌，如果其中包含占据影像80％以上的较大的非癌性部位，则同样视为未做出正确诊断。在存在癌的影像中，当CNN系统将非癌性部位识别为癌性时，其被判断为假阳性的识别。

病变的通过肉眼检查的分类遵照日本头颈部癌症学会编辑的头颈部癌症相关临床研究的一般规则的日本分类而决定。此外，为了更好地了解作为验证数据集而使用的症例，使用了来自国际抗癌联盟(UICC)的恶性肿瘤的TNM分类的T因子。

关于T因子的简单说明，就下咽而言，如下所述。

T1：限定于下咽的1个部位，最大径为2cm以下；

T2：扩大至下咽的邻接部位，或最大径为2cm以上且4cm以下，没有单侧咽的固定；

T3：最大径超过4cm的肿瘤，或者，伴有单侧咽的固定或朝向食道的扩大；

T4a/T4b：肿瘤已浸润至邻接脏器中任一者。

就中咽而言，如下所述。

T1：肿瘤为2cm以下；

T2：肿瘤为2cm以上且4cm以下。

全部连续变量均以范围的中间值(median值)表示。使用利用了医用统计解析软件GraphPad Prism(GraphPad Software,Inc,La Jolla,CA)的Fisc her的准确度检验，实施了统计分析。在P＜0.05的情况下，视为具有统计显著性。

肿瘤尺寸的中间值为22.5mm，病变的72.5％位于梨状窝，病变的17.5％位于下咽的后壁。在通过肉眼的分类中，47.5％为0-IIa，40％为0-IIb。全部病变经组织病理学确认，为扁平上皮癌(SCC)(参照表26)。

表26

验证影像的一个例子示于图25。应予说明，图25A－图25D示出被实施方式7的CNN系统正确检测出咽癌的影像。实施方式7的CNN系统以方形虚线框显示出被识别为咽癌的区域。应予说明，方形实线框为被内窥镜专科医生作为癌区域而标示的区域。

在图25A中，梨状窝可见泛白表面隆起病变。实施方式7的CNN系统正确识别出病变，并以与内窥镜专科医生所绘制的正方形实线框实质上一致的方形虚线框将其包围。此外，实施方式7的CNN系统也识别出通过窄带成像(NBI)的被以泛有褐色的区域显示的咽癌(图25B)、通过白色光成像(WLI)的隐约泛红的不清晰病变(图25C)及窄带成像NBI的切线方向的病变(图25D)等一般难以检测出的病变。

实施方式7的CNN系统通过WLI与NBI的综合诊断，正确检测出咽癌(40/40)的全部病变。关于其检测出率，WLI时为92.5％(37/40)，NBI时为100％(38/38)。实施方式7的CNN系统将尺寸小于10mm的3个咽癌全部检测出。进而，实施方式7的CNN在28秒内能分析1912张影像。

此外，实施方式7的CNN系统在利用NBI的各影像中以85.6％的灵敏度正确检测出咽癌，但在利用WLI的各影像中以70.1％的灵敏度检测出。为比NBI的情况显著性低的灵敏度(参照表27、图27A)。WLI与NBI的PPV(阳性命中率)实质上相同(参照表27、图27B)。此外，实施方式7的CNN系统的特异度、PPV及NPV(阴性命中率)分别为57.1％、60.7％及77.2％(参照表24)。

表27

95％CI：95％可信区间PPV：正的预测值NPV：负的预测值

实施方式7的CNN系统的假阳性与假阴性的原因按照频率降序，汇总示于表28及表29。假阳性的最多原因在于：将正常结构误诊为癌的情况占51％(参照表28)。实施方式7的CNN系统存在对咽的正常的舌、开裂、会厌及正常黏膜的凹凸做出误诊的情况。被实施方式7的CNN系统误诊为假阳性的影像的例子示于图26。例如，存在由小囊胞导致的凹凸的情况(图26C)，舌根的影像(图26B)和开裂的影像(图26C)的例子均被误诊为癌。此外，将伴有炎症的正常黏膜误诊为癌的情况占23％(表3)，正常黏膜的WLI的局部泛红的区域、NBI的泛有褐色的区域等均被误诊为癌(图26D)。泡与血液无法在咽内用水清洗，因此残留在验证影像中，存在被误诊为癌的情况(图26E)。关于良性病变，淋巴滤泡最为常见(图26F)。

表28

表29

通过实施方式7的CNN系统被认定为假阴性的影像的例子示于图28。通过实施方式7的CNN系统被认定为假阴性的影像的一半是由病变过远的情况(图28A)、仅存在病变的一部分的情况(图28B)或切线取景的病变的情况(图28C)等困难条件(参照表29)导致的。实施方式7的CNN系统也忽略了WLI的若干不清晰病变(图28D)。这是内窥镜专科医生也难以诊断的例子。

如上所述，实施方式7的CNN系统于咽癌的检测上表现出良好的性能，在各状况下检测出咽癌的全部病变。全部影像的灵敏度为79.7％，其中NBI影像的灵敏度为85.7％。即，在实施方式7的CNN系统中，在咽癌的检测上，NBI比WLI更优异。这一点与通过目视的内窥镜专科医生的检测结果一致，至今为止，据报告，WLI时为8％，NBI时为100％，两者在检测率上存在显著差异(参照非专利文献12)。其原因在于：在WLI的影像中，浅表癌与正常黏膜的对比性较弱。但是，实施方式7的CNN系统即使对于WLI的影像也是69.8％的检测出率。这比以往报告的内窥镜专科医生的检测率高出很多。因此可知，实施方式7的CNN系统即使在没有NBI的条件下，也能帮助检测出咽癌。

[实施方式8]

对于实施方式8的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法，使用图20进行说明。在实施方式8中，可以使用实施方式1－6的使用CNN系统的利用消化器官的内窥镜影像的疾病的诊断支持方法。在S1中，使用消化器官的第1内窥镜影像及与第1内窥镜影像相对应的确诊结果，训练/验证CNN系统，该确诊结果为与消化器官的上述疾病的阳性或阴性、既往疾病、重症度等级、疾病的侵袭深度或所拍摄的部位相对应的信息中至少一者的确诊结果。在将该CNN系统用于诊断胃内窥镜影像中的H.pylori相关疾病的情况下，不仅包含H.pylori阳性及H.pylori阳性的情况，也包含H.pylori除菌后的影像数据。

在S2中，在S1中经过训练/验证的CNN系统基于消化器官的第2内窥镜影像，输出与该消化器官的疾病的阳性和/或阴性的概率、既往疾病的概率、疾病的重症度等级或与所拍摄的部位相对应的概率中至少一者。该第2内窥镜影像表示新观察的内窥镜影像。

在S1中，第1内窥镜影像也可以与各自所拍摄的部位相关联。作为部位，可以包含咽、食道、胃、十二指肠、小肠及大肠中至少一者，该部位也可以在多个消化器官中至少一者被分类为多个位置。

在第1内窥镜影像包含胃内窥镜影像的情况下，在S1中，作为疾病，不仅包含H.pylori感染阳性或阴性，也可以包含H.pylori除菌的有无，在S2中，也可以输出H.pylori感染阳性的概率、H.pylori感染阴性的概率及H.pylori除菌的概率中至少一者。

在第1内窥镜影像包含大肠内窥镜影像的情况下，在S1中，作为分类，也可以包含末端回肠、盲肠、升结肠、横结肠、降结肠、乙状结肠、直肠及肛门，在S2中，按第2内窥镜影像的大肠的分类，例如可以输出与末端回肠、盲肠、升结肠、横结肠、降结肠、乙状结肠、直肠及肛门中至少一者相对应的概率，也可以输出与末端回肠、盲肠、升结肠及横结肠、降结肠及乙状结肠、直肠及肛门中至少一者相对应的概率，进而可以输出与末端回肠、包含盲肠－升结肠－横结肠的右侧结肠、包含降结肠－乙状结肠－直肠的左侧结肠及肛门中至少一者相对应的概率。

此外，在S2中，第2内窥镜影像也可以为使用内窥镜拍摄中的影像、经由通信网络发送的影像、由远程操作系统或云系统提供的影像、计算机可读记录介质中记录的影像或动态影像中至少一者。

[实施方式9]

关于实施方式9的利用消化器官的内窥镜影像的疾病的诊断支持系统、利用消化器官的内窥镜影像的诊断支持程序及计算机可读记录介质，参照图21进行说明。在实施方式9中，可以使用实施方式8中所说明的利用消化器官的内窥镜影像的疾病的诊断支持方法。

该利用消化器官的内窥镜影像的疾病的诊断支持系统1具有内窥镜影像输入部10、输出部30、安装有CNN程序的计算机20、以及输出部30。计算机20具备：第1存储区域21，其存储消化器官的第1内窥镜影像；第2存储区域22，其存储与第1内窥镜影像相对应的确诊结果，该确诊结果为与消化器官的疾病的阳性或阴性、既往疾病、重症度等级或所拍摄的部位相对应的信息中至少一者的确诊结果；以及第3存储区域23，其存储CNN程序。第3存储区域23中存储的CNN程序基于第1存储区域21中存储的第1内窥镜影像及第2存储区域22中存储的确诊结果而受到训练/验证，并基于从内窥镜影像输入部10输入的消化器官的第2内窥镜影像，将相对于第2内窥镜影像的概率中至少一者输出至输出部30，该概率与消化器官的疾病的阳性和/或阴性的概率、既往疾病的概率、疾病的重症度等级或所拍摄的部位相对应。

第1存储区域21中存储的第1内窥镜影像也可以与各自所拍摄的部位相关联。作为部位，可以包含咽、食道、胃、十二指肠、小肠或大肠中至少一者，该部位也可以在多个消化器官中至少一者被分类为多个位置。

在第1存储区域21中存储的第1内窥镜影像包含胃内窥镜影像的情况下，作为第2存储区域22中存储的确诊结果，不仅包含H.pylori感染阳性或阴性，也可以包含H.pylori除菌的有无，对于第3存储区域中存储的第2内窥镜影像，也可以从输出部30输出H.pylori感染阳性的概率、H.pylori感染阴性的概率及H.pylori除菌的概率中至少一者。

在第1存储区域21中存储的第1内窥镜影像包含大肠内窥镜影像的情况下，作为第2存储区域22中存储的确诊结果的分类，也可以包含末端回肠、盲肠、升结肠、横结肠、降结肠、乙状结肠、直肠及肛门，按第3存储区域中存储的第2内窥镜影像的大肠的分类，例如自输出部30输出与末端回肠、盲肠、升结肠、横结肠、降结肠、乙状结肠、直肠及肛门中至少一者相对应的概率，也可以从输出部30输出与末端回肠、盲肠、升结肠及横结肠、降结肠及乙状结肠、直肠及肛门中至少一者相对应的概率，进而可以从输出部30输出与末端回肠、包含盲肠－升结肠－横结肠的右侧结肠、包含降结肠－乙状结肠－直肠的左侧结肠及肛门中至少一者相对应的概率。

此外，第3存储区域中存储的第2内窥镜影像也可以为使用内窥镜拍摄中的影像、经由通信网络发送的影像、由远程操作系统或云系统提供的影像、计算机可读记录介质中记录的影像或动态影像中至少一者。

实施方式9的利用消化器官的内窥镜影像的疾病的诊断支持系统具备利用消化器官的内窥镜影像的诊断支持程序，该诊断支持程序用来使计算机作为各装置而运作。此外，利用消化器官的内窥镜影像的诊断支持程序可存储在计算机可读记录介质中。

符号说明

10 内窥镜影像输入部

20 计算机

21 第1存储区域

22 第2存储区域

23 第3存储区域

30 输出部