首页> 中国专利> 程序、学习模型、信息处理装置、信息处理方法、信息显示方法和学习模型的制造方法

程序、学习模型、信息处理装置、信息处理方法、信息显示方法和学习模型的制造方法

摘要

本发明提供对选择显微授精成功可能性高的精子的作业进行支援的信息处理装置等。程序使计算机执行下述处理:取得拍摄图像,该拍摄图像拍摄有要使用于显微授精的候选精子,将取得的拍摄图像输入学习模型(53),该学习模型接受拍摄有精子的拍摄图像、输出关于使用了所述精子的显微授精成功与否的预测,输出由所述学习模型(53)根据所输入的拍摄图像输出的预测。

著录项

  • 公开/公告号CN112889088A

    专利类型发明专利

  • 公开/公告日2021-06-01

    原文格式PDF

  • 申请/专利权人 合同会社予幸集团中央研究所;

    申请/专利号CN201980068885.X

  • 发明设计人 山下英俊;川﨑佑季;

    申请日2019-10-31

  • 分类号G06T7/00(20170101);G06N20/00(20190101);G16H50/20(20180101);G01N33/50(20060101);

  • 代理机构11201 北京清亦华知识产权代理事务所(普通合伙);

  • 代理人杜德海

  • 地址 日本东京都

  • 入库时间 2023-06-19 11:11:32

说明书

技术领域

本发明涉及程序、学习模型、信息处理装置、信息处理方法、信息显示方法和学习模型的制造方法。

背景技术

辅助生殖技术(Assisted Reproductive Technology)作为不孕不育症治疗方法之一被实施。作为临床实施的一种辅助生殖技术,有在显微镜观察下将精子注入卵子进行授精的显微授精。

显微授精由辅助生殖技术胚胎培养师或临床胚胎师等(以下称为培养师)通过显微镜观察将目视选择的精子在显微镜观察下注入卵子进行授精。此时,会进行ICSI(Intracytoplasmic Sperm Injection)或IMSI(Intracytoplasmic Morphologicallyselected Sperm Injection)。

ICSI中,培养师利用倍率为200倍至400倍的显微镜对精子进行观察和提取。IMSI中,培养师利用1000倍以上的高倍率显微镜对精子进行详细观察和提取。

显微授精,因为有可能由一个精子和一个卵子获得受精卵,所以作为对少精子症、无精子症和精子无力症等男性不育症尤为有效的治疗方法而备受期待。但是,通过显微授精确实获得正常受精卵的方法、进一步确实获得受精后的正常胚胎成长的方法还没有被建立。

通过进行显微授精的培养师,能够比体外受精高效地得到受精卵,而且与自然妊娠和人工授精相比,能够得到高效的着床率或妊娠率、或者低流产率(非专利文献1)。因此,作为不限于男性不育的不孕不育症治疗法,显微授精已被灵活运用。

已知的是:在形态或活动能力上有异常的精子,由于存在精子的成熟性或DNA(Deoxyribonucleic Acid)片段化等遗传学方面的问题,所以不适合授精,并且在受精后的胚胎成长方面也有问题。于是提出了一种检测精子形态异常的方法(专利文献1)。

另外,WHO(World Health Organization)公布的、关于精子评价方法的实验室手册(非专利文献2)中,也介绍了对精子提供者的精液中所含的多个精子进行了统计学评价的指标。根据该指标,在形态正常的精子的比例不足4%的情况下,辅助生殖技术的成功率(这里也称为成功概率或预测成功概率)低。

基于这样的背景,市场上销售的诸多装置中,作为一种在实施显微授精等不孕不育症治疗时实施的简易精液品质评价法,其对精液中的多个精子以低分辨率进行简易评价,并对其中未能检测到异常的精子的比例进行数值评价(例如,确认正常形状精子的比例是否不足4%)。而且,提出了通过对精子的形状利用规则库进行评价来客观地进行精子选择的技术(非专利文献3)。

先行技术文献

专利文献

专利文献1:韩国公开专利第2011-0049606号公报

非专利文献

非专利文献1:A.Hazout et al,"High-magnification ICSI overcomespaternal effect resistant to conventional ICSI",Reproductive BiomedicineOnline,VOL.12,NO.1,pp19-25,2006

非专利文献2:World Health Organization,Department of ReproductiveHealth and Research,"WHO laboratory manual for the examination and processingof human semen Fifth edition",2010

非专利文献3:V.Chang et al,"Automatic classification of human spermhead morphology",Computers in Biology and Medicine,VOL.84,pp205-216,2017。

发明内容

发明要解决的课题

但是,专利文献1和非专利文献1至3公开的方法,并不能照搬到需要对精子一个一个进行区别评价的显微授精中加以技术上的应用。即便是能在技术上应用,精子评价也会花较多的时间和工夫,其间对精子和卵子的损伤会变大,因此没有实用性。并且,不能用于支援从看不到形态异常和活动能力异常的精子中选择显微授精后和受精后的胚胎成长等正常度过的可能性高的精子。

本发明的一个目的在于提供一种信息处理装置等,其对选择显微授精成功可能性高的精子、或选择授精后正常经过胚胎形成等的可能性高的精子提供支援。

用于解决课题的手段

程序使计算机执行下述处理:取得拍摄图像,该拍摄图像拍摄有要使用于显微授精的候选精子,将所取得的拍摄图像输入学习模型,该学习模型接受拍摄有精子的拍摄图像、输出与使用了所述精子的显微授精成功与否有关的预测,输出由所述学习模型根据所输入的拍摄图像输出的预测结果。

发明的效果

本发明的一个效果在于,能够提供一种信息处理装置等,其对选择显微授精成功可能性高的精子、或选择授精后正常经过胚胎形成等的可能性高的精子提供支援。

附图说明

图1是说明使用了信息处理系统的处理流程的说明图。

图2是说明信息处理系统结构的说明图。

图3是说明直到分娩的过程的说明图。

图4是说明成功概率的频数分布的说明图。

图5是说明从拍摄精子得到的静止图中提取图像特征量的图像编码器的作成方法的说明图。

图6是说明从动图像文件提取图像特征量的说明图。

图7是说明过程学习模型的说明图。

图8是说明训练数据DB的记录结构的说明图。

图9是说明预备拍摄DB的记录结构的说明图。

图10是表示信息处理系统显示的画面的说明图。

图11是表示信息处理系统显示的画面的说明图。

图12是表示信息处理系统显示的画面的说明图。

图13是表示第一准备阶段使用的程序的处理流程的流程图。

图14是表示第二准备阶段和精子选择阶段使用的程序的处理流程的流程图。

图15是表示抽样分布计算子程序的处理流程的流程图。

图16是说明实施方式2的预备拍摄DB的记录结构的说明图。

图17是表示实施方式2的抽样分布计算子程序的处理流程的流程图。

图18是表示实施方式3的信息处理装置显示的画面的说明图。

图19是说明实施方式4的信息处理系统的结构的说明图。

图20是说明正常精子判定DB的记录结构的说明图。

图21是表示正常精子判定模型的结构的说明图。

图22是表示实施方式4的信息处理装置显示的画面的说明图。

图23是表示实施方式4的信息处理装置显示的画面的说明图。

图24是表示实施方式4的信息处理装置显示的画面的说明图。

图25是表示实施方式4的程序的处理流程的流程图。

图26是表示精子图像取得子程序的处理流程的流程图。

图27是表示实施方式5的信息处理装置显示的画面的说明图。

图28是说明实施方式6的信息处理装置的功能框图。

图29是表示实施方式7的信息处理系统结构的说明图。

图30是表示伴性劣性(隐性)遗传疾病的发病率和携带率的表。

图31是表示伴性优性(显性)遗传疾病的发病率和携带率的表。

图32是表示通过Y染色体遗传的伴性遗传疾病的发病率和携带率的表。

图33是说明性别训练数据DB的记录结构的说明图。

图34是说明性别判定学习模型的说明图。

图35是表示实施方式8的信息处理装置显示的画面的说明图。

图36是表示实施方式8的程序的处理流程的流程图。

图37是表示实施方式9的信息处理装置显示的画面的说明图。

图38是表示实施方式9的信息处理装置显示的画面的说明图。

图39是表示实施方式9的程序的处理流程的流程图。

图40是表示发病率和携带率计算子程序的处理流程的流程图。

具体实施方式

[实施方式1]

图1是说明使用了信息处理系统10的处理流程的说明图。图1A表示处理与过去的显微授精相关的信息的第一准备阶段。

说明显微授精的概要。如前所述,显微授精中,培养师使用光学倍率为200倍至400倍、或1000倍以上的高倍率显微镜41(参照图2)观察精液中的精子。培养师为每一个卵子选择一个形状正常且进行正常运动的精子。此外,培养师也可以观察在照相机48、拍摄I/F28或显示I/F25使用数字倍率将显微镜图像再放大数倍后显示在显示装置15上的图像。

培养师拍摄显微镜图像,该显微镜图像包含通过动图像或静止图等选择出的精子。对显微镜图像也可以通过图像处理等剪切出拍摄有精子的部分。以下的说明中,有时将所拍摄的显微镜图像记为拍摄图像。培养师使用微吸管提取所选择的精子。

培养师将微吸管的尖端插入卵子中注入所选择的精子。由此进行显微授精。然后,培养师在规定的条件下培养卵子。受精完成并开始成长的卵子被称为胚胎。产科医生将例如4-细胞胚或囊胚等成长到规定阶段的胚胎移植到母体内。胚胎在子宫着床后,妊娠完成。以后,与通常的自然妊娠同样,胎儿在子宫内成长,只要正常的话,可直至分娩。

受精完成的有无、正常成长到4-细胞胚、桑葚胚、囊胚等各成长阶段的成功与否、妊娠完成的有无、孕检中异常的有无、分娩成功与否等,这些与显微授精后的胚胎成长有关的时间过程,与拍摄图像相关联地被记录。

从选择精子时拍摄的图像提取的图像特征量和运动特征量(以下统称为特征量)、精子提供者的临床个人资料(年龄、既往病史、当前病史、治疗史和基因突变等基因组信息等)与显微授精后的受精卵或胚胎的成长过程相关联地记录在训练数据DB51中。训练数据DB51将在后面详述。

根据训练数据DB51进行有监督机械学习,作成预测受精卵或胚胎的成长过程的机械学习模型(以下称为“过程学习模型”)53。过程学习模型53是一种已学习模型,其在被输入了对精子拍摄的拍摄图像的特征量的情况下,输出正常成长到从受精到分娩的过程中各阶段的成功概率。特征量和过程学习模型53将在后面详述。

通过1减去成功概率,能够容易地算出不成功概率。因此,上述成功概率也可以替换为不成功概率。这对后面出现的所有成功概率都适用。

根据从受精到分娩各阶段的成功与否的数据的频数分布和频数分布的归一化等统计处理,作成图1右下和图4曲线图中以实线示出的第一分布f(X)。图1右下和图4所示的曲线图对各阶段分别做成一幅。第一分布f(X)表示正常成长到各阶段的成功概率的概率密度分布,相当于贝叶斯推断中的所谓先验概率分布。第一分布f(X)将在后面详述。

图1A所示的第一准备阶段中,使用对多个病例拍摄的精子拍摄图像、以及受精卵或胚胎的成长过程的数据。在第一准备阶段作成的过程学习模型53和第一分布f(X)可对以后实施的病例使用。

图1B和图1C分别表示对新进行显微授精的病例分别实施的、第二准备阶段和精子选择阶段。优选的是,培养师在收到从精子提供者提取的精液后连续实施第二准备阶段和精子选择阶段。

图1B所示的第二准备阶段中,基于从精子提供者提取的精液所含精子的特性作成抽样分布g(X)。培养师在进行精液的清洗和稀释等前处理之后进行精子的预备拍摄。通过将从拍摄图像提取出的特征量输入对受精卵或胚胎的成长过程进行预测的过程学习模型53,能取得与该精子有关的、在从受精到分娩的各阶段正常成长的概率(以下称为“预测成功概率”)。

根据对多个精子取得的预测成功概率,作成图1右下和图4曲线图中以虚线所示的抽样分布g(X)。抽样分布g(X)表示对精子提供者个人的精液所含的精子进行了取样评价的预测成功概率的分布,相当于贝叶斯推断中的所谓似然分布。抽样分布g(X)将在后面详述。

根据第一分布f(X)和抽样分布g(X),生成第二分布h(X)。第二分布h(X)相当于贝叶斯推断中的所谓后验概率分布。第二分布h(X)将在后面详述。

图1C所示的精子选择阶段中,从精子提供者的精液中选择要使用于显微授精的精子。培养师对候选精子的图像进行拍摄。通过将从拍摄图像提取的特征量输入过程学习模型53,能取得与候选精子有关的、正常成长到从受精到分娩的各阶段的预测成功概率。

预测成功概率在第二分布h(X)内的定位例如通过偏差值等评价指标显示。培养师能够将所显示的评价指标用于判断是否将候选精子使用于显微授精。在判断为使用于显微授精的情况下,培养师在显微镜观察下提取候选精子,注入卵子。在判断为不使用于显微授精的情况下,培养师对其它候选精子进行评价。

由此,培养师能够从所提取的精液中选择显微授精的成功可能性高的精子。以下的说明中,将各阶段的评价指标满足规定基准的精子,也就是能期待显微授精成功到正常分娩的可能性足够高的精子,记为“品质优的精子”。

正常的精子通过鞭毛运动在溶液中短时间内高速移动。在进行显微授精时,调整溶液的粘性和溶液中的精子浓度等观察条件,使精子的移动缓慢。由此,培养师能够充分观察精子。但是,在精子移动到显微镜41的视野外的情况下,难以追踪或发现同一精子。

因此,培养师通过显微镜观察来判断精子好坏的现有方法中,即使是培养师对多个精子进行了比较研究,作为用于显微授精的精子也难以确保是同一精子。本实施方式中,由于能够实时显示对各个候选精子的评价,所以培养师能够在容易地判断是否使用候选精子的同时提取作为对象的候选精子。

在挑选精子时,当精液中含有多数品质优的精子的情况下,在得到了这样的精子的时刻、或者在根据第二分布h(X)得到了更好的指标的时刻提取精子,过渡到显微授精。由此,能提高培养师的工作效率,同时能将对精子和卵子的损伤抑制在最小限度。

在精液中所含的适合显微授精的精子少的情况下,也优选在有限的时间内在可能的范围挑选品质最优的精子。例如,能想到如下方法:每当发现评价结果比较好的精子都进行捕捉,取出保管,在最终阶段使用保管的精子中品质最优的精子。作为取出保管的方法,有用毛细管吸引特定精子并转移到微孔板上的方法、和在载玻片上的无溶液区域单独保持含有特定精子的液滴的方法。

另一方面,由于时间的限制和劳动力的限制而放弃了选择品质最优的精子后,优选采用使能选择品质最优的精子的可能性最高的方法。

在其它领域中,已知数学上的最优解,即,对候选一个一个进行评价,在发现好的候选时结束评价。这是最佳停止问题的一种,被称为秘书问题。对秘书问题的最优解计算过程进行说明。当全部候选数(精液中的全部精子数)n为足够大的值时,对最初的n/e个(e为自然常数)候选只进行评价不进行选择。对此后评价的候选(候选精子),在判断出某个候选比此前评价的各候选都好的情况下,判定该候选为最佳候选。

进一步具体来说,由于1/e相当于约37%,所以精液中所含的全部精子中约37%的精子在确认评价值之后不予采用。在剩下的精子中,一旦获得评价值比已评价过的所有精子都好的精子,就采用该精子。

在使用这种秘书问题的最优解的情况下,不需要取出保管精子,并且能够期待统计学上品质最优的工作效率。另一方面,即使使用秘书问题的最优解,也不一定总能选择精液中所含的评价值最高的精子。例如,能想到以下两种情况。一种情况是最优候选包含在最初的约37%的候选中。另一种情况是:最初的约37%的候选的品质非常低,虽然在其后的候选中发现了品质高的候选,但未评价的候选中还有品质更好的候选。

虽然这两种情况在统计学上的发生频数都低,但还是希望避免这类现象。为此,希望根据第二分布h(X)得出的偏差值、可靠度等指标为基准来选择精子。在这种情况下,与秘书问题的最优解相比,在统计学上工作效率低,但能够选择品质优的候选。

另外,在精液中的精子数非常多的情况下,观察约37%的精子并不现实。因此,根据第二分布h(X)选择候选是现实的方法。在完全无视工作效率的情况下,能够在获得品质更优的精子后将其取出保管,在评价过全部精子之后,从保管的精子中采用品质最优的精子。

已知的是,即便是同一精子提供者,精液所含的精子数和特征量等特性也会因提取精液的时期而异。因此,使用图1B说明的第二准备阶段和使用图1C说明的精子选择阶段优选使用同一精液并连续实施。但是,例如在由于少精子症等原因使得精子数极少等的情况下,在第二准备阶段和精子选择阶段,也可以使用对同一精子提供者在不同时期提取的精液。

此外,在精子提供者有精液中不含精子的无精子症等症状的情况下,取代提取精液,通过附睾精子抽吸术或睾丸精子抽吸术等手术提取精子。在可提取的精子少的情况下,有时第二准备阶段和精子选择阶段都难以实施。这样的情况下,也可以省略第二准备阶段,使用有类似症状的精子提供者的抽样分布g(X)实施精子选择阶段。

图2是说明信息处理系统10结构的说明图。信息处理系统10包括信息处理装置20、显示装置15和显微镜41。

信息处理装置20包括控制部21、主存储装置22、辅助存储装置23、通信部24、显示I/F(Interface)25、拍摄I/F28和总线。控制部21是运行本实施方式的程序的运算控制装置。控制部21由一个或多个CPU(Central Processing Unit)、多核CPU或GPU(GraphicsProcessing Unit)等构成。控制部21通过总线与构成信息处理装置20的硬件各部分连接。

主存储装置22是SRAM(Static Random Access Memory)、DRAM(Dynamic RandomAccess Memory)、闪存等存储装置。主存储装置22中,可临时保存控制部21执行的处理过程中所需的信息和正在控制部21上运行的程序。

辅助存储装置23是SRAM、闪存或硬盘等存储装置。辅助存储装置23中,可保存训练数据DB51、预备拍摄DB52、过程学习模型53、图像编码器546、控制部21运行的程序、以及程序运行所需的各种数据。

此外,训练数据DB51、预备拍摄DB52、过程学习模型53和图像编码器546也可以保存在与信息处理装置20连接的外部大容量存储装置等中。

通信部24是进行信息处理装置20和网络之间通信的接口。显示I/F25是连接液晶显示装置或有机EL(Electro Luminescence)显示装置等显示装置15和信息处理装置20的接口。拍摄I/F28是连接后述的照相机48和信息处理装置20的接口。

显示I/F25例如是VGA端子、DVI(Digital Visual Interface)端子、HDMI(注册商标)(High-Definition Multimedia Interface)端子、或USB(Universal Serial Bus)端子等。拍摄I/F28例如为USB端子。显示I/F25与显示装置15之间、以及拍摄I/F28与照相机48之间也可以分别以无线的方式连接。

显微镜41例如是微分干涉显微镜、明视野显微镜、偏光显微镜、相差显微镜或倒立型显微镜等。显微镜41包括载物台42、目镜43、物镜47和照明部44。载物台42上可载置观察容器421,观察容器421中放有进行了清洗和稀释等前处理的精液。观察容器421例如为浅底盘、孔板或载玻片等。

观察容器421被照明部44照射的照明光照亮。作为用户的培养师通过物镜47和目镜43对观察容器421内的精子进行观察。

在物镜47和目镜43之间配置有光路分割部45。利用与光路分割部45连接的照相机48,能够以动图像或静止图拍摄培养师正在观察的精子。所拍摄的图像通过拍摄I/F28记录到辅助存储装置23中,并且通过显示I/F25实时显示到显示装置15上。

例如在寻找候选精子确认评价时,培养师观察显示装置15上显示的精子。在用微吸管提取候选精子时,培养师使用目镜43目视确认候选精子和微吸管的尖端。这样,由于培养师可以灵活运用显示装置15和目镜43,所以能够提供培养师的疲劳少、并能正确提取精子的信息处理系统10。

本实施方式的信息处理装置20是通用的个人电脑、平板电脑、大型计算机或在大型计算机上动作的虚拟机。信息处理装置20也可以通过多个个人电脑、平板电脑或大型计算机等硬件构成。信息处理装置20也可以通过量子计算机构成。信息处理装置20也可以内置于显微镜41中。信息处理装置20也可以通过省略图示的医院内网络系统连接至网络。

图3是说明直到分娩的过程的说明图。从卵子提供者提取几个至几十个程度的卵子。所提取的卵子中,有变形等异常的卵子和尚未成熟至可受精阶段的卵子被废弃。从精子提供者提取几万个至几千万个精子。选择精子并将其注入卵子,进行显微授精。在规定的条件下培养卵子。

受精成功后,胚胎开始细胞分裂,经历2-细胞胚、4-细胞胚等,成长为桑葚胚、囊胚。胚胎的成长过程被适宜地观察,是否正常成长到各个成长阶段被记录下来。通过观察发现异常的胚胎被废弃。

成长到规定阶段的胚胎被移植到母体,其余的胚胎被冷冻保存。此外,也有进行冷冻胚胎移植的情况,即,暂时将所有胚胎冷冻保存,在母体状态好的时期进行胚胎移植。

胚胎在子宫着床从而妊娠成功之后,胎儿与自然妊娠同样地成长。进行孕检,胎儿的成长过程被记录下来。如果过程正常的话,将会分娩,新生儿诞生。

在胚胎没有在子宫着床的情况下、流产的情况下、或者希望分娩第二胎及以上的情况下等,可使用冷冻保存的胚胎再次进行胚胎移植。在不孕不育症治疗结束后等,冷冻保存的胚胎被废弃。

图4是说明成功概率的分布的说明图。横轴X表示作为概率变量的成功概率,纵轴Y表示与概率变量X对应的概率。成功概率为0时,表示没有成功事例,成功概率为1时,表示所有事例都成功。

图1右下所示的曲线图也显示与图4相同的分布,但纵轴X表示作为概率变量的成功概率,横轴Y表示与概率变量X对应的概率。

成功概率按受精、囊胚形成、着床和分娩等各种发生阶段算出。例如,受精和囊胚形成的成功概率,分别通过正常成长至受精和囊胚形成的卵子数相对于进行了显微授精的卵子数的比算出。着床和分娩的成功概率,分别通过着床成功和分娩成功的胚胎数相对于向母体进行了移植的胚胎数的比算出。

也可以对2-细胞胚、4-细胞胚、桑葚胚、妊娠初期、妊娠中期等各种发生阶段算出成功概率。也可以算出分娩后的乳幼儿正常成长到各种成长阶段的成功概率。

对各个阶段进行是否正常成长的二选一评价。实线所示的第一分布f(X)是用贝塔分布表现了有记录的所有事例的成功与否的概率密度分布。第一分布f(X)由式(1)表示。

【数1】

Y=f(X)=C

p表示正常成长到各成长阶段的事例数。

q表示未正常成长到各成长阶段的事例数。

C

虚线所示的抽样分布g(X)表示在使用图1B说明的第二准备阶段由预备拍摄的图像预测的成功概率的分布。例如,在根据预备拍摄的图像进行能否正常成长到各成长阶段的二选一预测的情况下,抽样分布g(X)基于二项分布由式(2)表示。

【数2】

a表示预测为正常成长到各成长阶段的预备拍摄图像的数。

b表示预测为不能正常成长到各成长阶段的预备拍摄图像的数。

C

单点划线所示的第二分布h(X)是通过将第一分布f(X)用作先验概率分布、将抽样分布g(X)用作似然分布的贝叶斯推断求得的后验概率分布,表示对精子提供者提供的精子的成功概率的概率密度分布进行预测的结果。第二分布h(X)由式(3)表示。

【数3】

Y=h(X)=C

C

对各个候选精子使用过程学习模型53算出的成功概率,越靠近第二分布h(X)的右端,该精子在所提供的精子中成功概率越高。例如,图4中A所示的成功概率0.55左右的精子,在由第一分布f(X)表示的全部数据中是成功概率比较低的精子,但在由第二分布h(X)表示的被提供精子中则是成功概率比较高的精子。培养师基于该信息判断是将观察中的精子使用于显微授精、还是寻找成功概率更高的精子。

图5是说明从对精子拍摄的静止图中提取图像特征量的图像编码器546的作成方法的说明图。

使用图5说明使用了自编码器的图像特征量提取方法。图像特征量模型54是包括输入层541、中间层542和输出层543的CNN(Convolution Neural Network:卷积神经网络)。

CNN是使用ReLU(Rectified Linear Unit)函数或归一化指数函数等作为活性化函数、在重复卷积层和池化层之后将全连接层多次重复的神经网络。卷积层和池化层的图示省略。

输入层541和输出层543具有与作为训练数据的拍摄图像的像素数相同数量的神经元。中间层542的神经元数在中央层545最少。输入层541被输入拍摄图像的静止图。具体来说,输入层541的各神经元被输入拍摄图像各像素的像素值。

控制部21进行使用反向传播算法等对中间层542的参数进行运算的有监督机械学习,以使从输出层543输出与输入层541相同的拍摄图像。有监督机械学习结束后的中央层545的各神经元表示拍摄图像的图像特征量。

控制部21在进行有监督机械学习之前,将作为训练数据的拍摄图像分为训练用数据和验证数据。控制部21使用验证数据验证使用训练用数据进行了有监督机械学习的图像特征量模型54的精度。由此,可确认图像特征量模型54没有发生过度训练等问题。学习和验证的流程是在有监督机械学习中通常进行的流程,因此,在以后说明的有监督机械学习中省略说明。

已学习的图像特征量模型54中,从输入层541到中央层545的部分被用作从拍摄图像提取图像特征量的图像编码器546。控制部21从图像特征量模型54中提出图像编码器546记录在辅助存储装置23中。由此,在输入了对精子拍摄的拍摄图像的情况下输出图像特征量的图像编码器546完成。

对作成图像编码器546时的训练数据,优选使用对熟练的培养师等专家判断为正常的精子拍摄的图像。这样,能够实现提取表示正常的精子间区别的特征量的图像编码器546。

作成图像编码器546时的训练数据,优选只拍摄有一个精子。在使用拍摄有多个精子或异物等的图像的情况下,将通过图像的剪切处理等加工成不包含目标精子以外部分的图像用作训练数据。

图像编码器546也可以使用任意计算机作成。作成的图像编码器546通过网络等发送到显微授精实施机构使用的信息处理装置20,记录在辅助存储装置23中。在这样做的情况下,优选在作成图像编码器546的信息处理系统10和使用图像编码器546的信息处理系统10中使用同一规格或类似规格的显微镜41。

图6是说明从动图像文件提取图像特征量的说明图。使用图6说明显微授精时的拍摄图像以动图像记录时的图像特征量提取。

以时间在时刻t1到时刻t5的动图像被记录在动图像文件中的情况为例进行说明。通过对动图像文件进行帧分割,作成多个静止图。各个静止图被输入预先准备的判定用CNN,判定是否拍摄有整个精子。在由判定用CNN判定为多个帧中拍摄有整个精子的情况下,通过任意手法选择一个帧。

在图6所示的例子中,判定为时刻t3的帧中拍摄有整个精子。被判定为拍摄有整个精子的静止图被输入使用图5说明的图像编码器546,静止图的特征量被提取。

精子的移动速度、直线移动距离、尾部的鞭毛运动周期等动图像特征量被从动图像文件中提取出来。动图像特征量根据例如拍摄图像上定义的多个特征点在帧间的移动量算出。动图像特征量也可以使用RNN(Recurrent Neural Network:循环神经网络)提取。此外,也可以使用现有的任意动图像解析手法提取动图像特征量。静止图的特征量和动图像的特征量与显微授精后的过程相关联地记录在训练数据DB51中。

在显微授精时的拍摄图像以动图像和静止图这两种方式记录的情况下,控制部21不从动图像文件切取帧,取而代之的是,使用静止图提取图像特征量。

图7是说明过程学习模型53的说明图。过程学习模型53是包括输入层531、中间层532和输出层533的神经网络。图7中,例示出过程学习模型53为CNN的情况。关于卷积层和池化层,其图示省略。

过程学习模型53按受精、囊胚形成、着床和分娩等各种发生阶段作成。过程学习模型53的输入为拍摄图像的图像特征量,即,使用图5说明的静止图的图像特征量和使用图6说明的动图像的图像特征量。过程学习模型53的输出为正常成长到各个阶段的概率(成功概率)和不能正常成长到各个阶段的概率(不成功概率)。

过程学习模型53在输入层531被输入静止图和动图像的特征量的情况下输出成功和不成功的概率到输出层533。在学习阶段,控制部21使用将静止图及动图像的特征量与显微授精后的过程相关联记录的训练数据DB51,通过使用反向传播算法等对中间层532的参数进行运算,来进行有监督机械学习。

有监督机械学习例如可通过逻辑回归、SVM(Support Vector Machine)、随机森林、CNN、RNN或XGBoost(eXtreme Gradient Boosting)等任意的手法进行。

输入层531也可以仅被输入静止图特征量或动图像特征量中的一者。输入层531也可以被追加输入精子提供者和卵子提供者的年龄、既往病史、包含健康状态的当前病史、家族史、过去的不孕不育症治疗经历等图像特征量以外的项目。输入层531也可以被输入由低倍率的显微镜观察或市售的精子评价装置等取得的精子浓度、总精子数、精子运动率、运动精子浓度、直线速度、曲线速度、平均速度、直线性、前向性、头侧摆幅度和鞭打频率等有关精子质量的项目。

控制部21也可以例如在判定受精成功与否的过程学习模型53的学习结束后,通过迁移学习作成判定囊胚阶段等后面阶段成功与否的过程学习模型53。其中,该迁移学习利用了已完成的过程学习模型53。从受精到分娩,越到后面的阶段,训练数据的数越少。但是,通过利用迁移学习,对后面的阶段也能做成合适的过程学习模型53。

过程学习模型53也可以用任意的计算机作成。作成的过程学习模型53通过网络等被发送到显微授精实施机构使用的信息处理装置20,并被记录在辅助存储装置23中。在这样做的情况下,优选在作成图像编码器546和过程学习模型53的信息处理系统10、以及使用图像编码器546和过程学习模型53的信息处理系统10中使用同一规格或类似规格的显微镜41。

图8是说明训练数据DB51的记录结构的说明图。训练数据DB51是将对使用于显微授精的精子拍摄的拍摄图像和显微授精后的过程相关联地记录的DB。训练数据DB51具有精子ID字段、图像数据字段、精子图像特征量字段和过程信息字段。

精子图像特征量字段具有静止图字段和动图像字段。静止图字段和动图像字段分别具有第一特征量字段、第二特征量字段等。过程信息字段具有受精字段、囊胚形成字段、着床字段、分娩字段和健康状态字段。训练数据DB51对显微授精中所使用的一个精子具有一个记录。

精子ID字段记录有对精子赋予的特有的精子ID。图像数据字段记录有对精子拍摄的图像数据。图8示出了记录有扩展名为“mpg”的动图像文件的例子,但图像数据的形式是任意的。图像数据字段也可以记录有动图像文件和静止图文件等多个文件。

静止图字段的各子字段记录有将图像数据输入图像编码器546得到的静止图的特征量。动图像字段的各子字段记录有解析图像数据得到的动图像的特征量。

受精字段记录有受精成功与否,囊胚形成字段记录有囊胚形成成功与否,着床字段记录有着床成功与否,分娩字段记录有分娩成功与否。“OK”表示正常到达了各个阶段,“NG”表示没有正常到达各个阶段。“-”表示不能判定各个阶段成功与否。

健康状态字段表示新生儿的健康状态。“OK”表示新生儿是健康的。“NG”表示是健康方面有问题的新生儿,例如极早产儿等。

过程信息字段可以具有记录胚胎任意成长阶段的字段,例如,2-细胞胚字段、4-细胞胚字段、桑葚胚字段等。过程信息字段也可以具有记录孕检结果的字段,例如,妊娠第二十周字段等。过程信息字段还可以具有记录羊水检查或NIPT(Non-Invasive PrenatalGenetic Testing:孕妇外周血胎儿游离DNA产前筛查)等出生前診断结果的字段。

过程信息字段的各子字段记录的信息也可以根据精子ID字段记录的精子ID等从电子病历等取得。

图9是说明预备拍摄DB52的记录结构的说明图。预备拍摄DB52是在使用图1B说明的第二准备阶段记录使用了过程学习模型53的预测结果的DB。预备拍摄DB52具有患者ID字段、拍摄日字段和预测结果字段。预测结果字段具有受精字段、囊胚形成字段、着床字段、分娩字段和健康状态字段。预备拍摄DB52对一次预备拍摄具有一个字段。

患者ID字段记录有对精子提供者赋予的特有的患者ID。拍摄日字段记录有拍摄图像的拍摄日。预测结果字段的各子字段记录有是否正常到达各阶段的预测结果。“OK”表示预测出正常到达各个阶段,“NG”表示预测出不能正常到达各个阶段。

控制部21从照相机48拍摄的拍摄图像提取精子图像特征量,输入对各阶段作成的过程学习模型53,取得成功概率。控制部21在成功概率为规定的阈值以上的情况下记录“OK”,在小于规定的阈值的情况下记录“NG”。

图10至图12是表示信息处理系统10显示的画面的说明图。图10示出在使用图1B说明的第二准备阶段中当对精子提供者提供的精液所含的精子进行预备拍摄时控制部21在显示装置15上显示的画面例。

画面上显示有图像栏61、目标数栏62、已拍摄数栏63、拍摄按钮66和结束按钮67。在图像栏61,照相机48拍摄的显微镜图像被实时显示。在目标数栏62显示预备拍摄的目标数。根据前述秘书问题的最优解,预备拍摄的目标数相当于所提取的精子数的约37%。但是,这个数通常是不现实的大值,因此设定为可操作的值。已拍摄数栏63显示已预备拍摄的精子的数。

在用户选择了拍摄按钮66的情况下,控制部21提取图像栏61中正在显示的图像的静止图特征量和动图像特征量。控制部21将所提取的特征量输入对各阶段作成的过程学习模型53,取得成功概率。控制部21根据规定的阈值确定是否正常成长到各阶段的预测结果。控制部21在预备拍摄DB52作成新的记录,记录预测结果。

用户根据目标数栏62、已拍摄数栏63和观察中的精液所含的精子的状态,判断是否过渡到使用图1C说明的精子选择阶段。在用户选择了结束按钮67的情况下,控制部21结束预备拍摄,过渡到精子选择阶段。控制部21也可以在进行了预备拍摄的精子的数达到了目标数的情况下自动地过渡到精子选择阶段。

图11表示在使用图1C说明的精子选择阶段控制部21在显示装置15上显示的画面例。画面上显示有图像栏61、判定按钮68和结束按钮67。在图像栏61中,照相机48拍摄的显微镜图像被实时显示。

在用户选择了判定按钮68的情况下,控制部21提取图像栏61中正在显示的图像的静止图特征量和动图像特征量。控制部21将特征量输入过程学习模型53,取得从受精到分娩的各阶段的预测成功概率。在用户选择了结束按钮67的情况下,控制部21结束处理。

图12示出在接受了对判定按钮68的选择的情况下控制部21在显示装置15上显示的画面例。画面上显示有图像栏61、评价栏65和下一步按钮69。评价栏65包括第一评价栏651、第二评价栏652、第三评价栏653、第四评价栏654和综合评价栏659。

在图像栏61,在使用图11说明的画面上接受了判定按钮68时在图像栏61显示的显微镜图像以静止的状态被显示。用户能够通过图像栏61确认判定中的候选精子。

控制部21在第一评价栏651显示对成功概率的评价,该成功概率通过将判定中的候选精子的图像特征量输入关于受精成功与否的过程学习模型53而取得。评价由使用图4说明的第二分布h(X)内的偏差值表现。

同样,控制部21在第二评价栏652显示对成功概率的评价,该成功概率是通过将候选精子的图像特征量输入有关囊胚形成成功与否的过程学习模型53而得到的。控制部21在第三评价栏653显示对成功概率的评价,该成功概率是通过将候选精子的图像特征量输入有关着床成功与否的过程学习模型53而得到的。控制部21在第四评价栏654显示对成功概率的评价,该成功概率是通过将候选精子的图像特征量输入关于分娩成功与否的过程学习模型53而得到的。

控制部21在综合评价栏659显示对候选精子的综合评价,该综合评价综合了从第一评价栏651到第四评价栏654显示的评价。综合评价是例如根据从第一评价栏651到第四评价栏654显示的评价的平均值或最小值等将候选精子分类为“良好”、“普通”、“不良”等的结果。

在综合评价在规定的阈值以上的情况下,控制部21可以通过发出声音等任意方法提醒用户注意。

用户判断是否将候选精子使用于显微授精。在判断为使用的情况下,用户一边通过目镜43确认候选精子一边用微吸管提取候选精子。在判断为不使用的情况下,或者在提取结束了的情况下,用户选择下一步按钮69。

在用户选择了下一步按钮69的情况下,控制部21使显示装置15上显示的画面返回使用图11说明的画面。用户能够选择新的候选精子。

控制部21也可以在图像栏61显示实时的显微镜图像。用户能够同时看着候选精子的运动状态和评价栏65来判断是否使用候选精子。另外,在候选精子就要移动到显微镜视野外的情况下,用户可通过适宜地操作载物台42而将候选精子留在显微镜视野内。

也可以使用画面分割或子画面显示等在图像栏61显示候选精子的静止图和实时的显微镜图像这两者。

图13是表示在第一准备阶段使用的程序的处理流程的流程图。使用图13说明在使用图1A说明的第一准备阶段进行的处理流程。此外,在初始状态,训练数据DB51的精子ID字段、图像数据字段和过程信息字段记录有过去的显微授精的拍摄图像和过程信息,精子图像特征量字段为空栏。

控制部21从训练数据DB51提取一个处理对象记录。控制部21从图像数据字段取得图像(步骤S501)。控制部21提取图像特征量(步骤S502)。具体来说,控制部21像例如使用图6说明的那样从图像切取静止图并且提取动图像特征量。控制部21将切取的静止图输入图像编码器546,取得静止图特征量。

控制部21将图像特征量记录在处理对象记录的精子图像特征量字段的各子字段(步骤S503)。控制部21判定训练数据DB51中记录的拍摄图像的处理是否已结束(步骤S504)。在判定为处理未结束的情况下(步骤S504中的否),控制部21返回步骤S501。

在判定为处理已结束的情况下(步骤S504中的是),控制部21将记录在精子图像特征量字段和过程信息字段的一个子字段的数据用作训练数据,进行有监督机械学习,对从受精到分娩的过程中的一个阶段作成过程学习模型53(步骤S511)。

使用图7继续说明。在输入层531输入了精子图像特征量等输入数据的情况下,控制部21使用反向传播算法等对中间层532的参数进行运算,使得规定的值被输出到输出层533。在过程子字段记录有“OK”的情况下,规定的值在“成功”的神经元为“1”、在“不成功”的神经元为“0”,在过程子字段记录有“NG”的情况下,规定的值在“成功”的神经元为“0”、在“不成功”的神经元为“1”。

控制部21将作成的过程学习模型53保存在辅助存储装置23中(步骤S512)。控制部21对处理中的过程信息子字段分别取得“OK”的数和“NG”的数(步骤S513)。

通过将“OK”的数代入式(1)的p、“NG”的数代入q,可得到使用图4说明的第一分布f(X)。控制部21将“OK”的数和“NG”的数与处理中的过程信息子字段相关联地存储在辅助存储装置23中(步骤S514)。

控制部21判定对过程信息字段的所有子字段的处理是否已结束,即,判定从受精到分娩的所有阶段的处理是否已结束(步骤S515)。

在判定为未结束的情况下(步骤S515中的否),控制部21返回步骤S511。此外,如前所述,第二次以后的步骤S511中,控制部21可以进行使用了已作成的过程学习模型53的迁移学习。在判定为已结束的情况下(步骤S515中的是),控制部21结束处理。

图14是表示在第二准备阶段和精子选择阶段使用的程序的处理流程的流程图。使用图14说明在使用图1B说明的第二准备阶段和使用图1C说明的精子选择阶段进行的处理流程。

控制部21启动抽样分布计算子程序(步骤S521)。抽样分布计算子程序是对精子提供者提供的精液所含的精子进行预备拍摄并算出抽样分布g(X)的子程序。抽样分布计算子程序的处理流程将后述。

控制部21对从受精到分娩的各个阶段取得在图13的步骤S514中记录的OK数和NG数(步骤S522)。控制部21算出第二分布h(X)(步骤S523),所述第二分布h(X)通过将第一分布f(X)和抽样分布g(X)代入式(3)得到,所述第一分布f(X)通过在式(1)的p中代入“OK”的数、q中代入“NG”的数得到,所述抽样分布g(X)通过抽样分布计算子程序算出。

控制部21将使用图11说明的画面显示在显示装置15上。用户移动载物台42寻找使用于显微授精的精子候选。用户在如使用图11说明的那样只有一个正常精子显示在图像栏61的状态下选择判定按钮68。

在接受了对判定按钮68的选择的情况下,控制部21通过照相机48取得对精子拍摄的拍摄图像(步骤S524)。控制部21提取精子图像特征量(步骤S525)。控制部21将精子图像特征量输入从受精到分娩的各个阶段的过程学习模型53,算出在各个阶段正常成长的预测成功概率(步骤S526)。

控制部21算出对在步骤S523中算出的第二分布h(X)内的、在步骤S526中算出的预测成功概率的评价指标(步骤S527)。评价指标例如为预测成功概率的偏差值。

控制部21根据对从受精到分娩的各个阶段的评价指标判定对候选精子的综合评价(步骤S528)。例如,控制部21根据各个阶段的预测成功概率的偏差值的平均值或最小值等判定候选精子属于“良好”、“普通”、“不良”中的哪一种。控制部21在显示装置15上显示使用图12说明的画面(步骤S529)。

控制部21判定是否接受了对下一步按钮69的选择(步骤S530)。在判定为接受了对下一步按钮69的选择的情况下(步骤S530中的是),控制部21在显示装置15上显示使用图11说明的画面,并且返回步骤S524。

在判定为即使经过规定的时间也没有接受对下一步按钮69的选择的情况下,或者在判定为接受了结束指示的情况下(步骤S530中的否),控制部21结束处理。

图15是表示抽样分布计算子程序的处理流程的流程图。抽样分布计算子程序是对精子提供者提供的精液所含的精子进行预备拍摄并算出抽样分布g(X)的子程序。

控制部21将使用图10说明的画面显示在显示装置15上。此外,控制部21将使用图11说明的画面显示在显示装置15上。用户移动载物台42寻找能使用于显微授精的正常的精子。用户在如使用图10说明的那样只有一个正常精子显示在图像栏61的状态下选择拍摄按钮66。

在接受了对拍摄按钮66的选择的情况下,控制部21通过照相机48取得对精子拍摄的拍摄图像(步骤S541)。控制部21提取精子图像特征量(步骤S542)。控制部21在预备拍摄DB52作成新的记录(步骤S543)。

控制部21将精子图像特征量输入从受精到分娩的阶段中的一个阶段的过程学习模型53,取得预测成功概率(步骤S544)。控制部21判定预测成功概率是否在规定的阈值以上(步骤S545)。

在判定为在阈值以上的情况下(步骤S545中的是),控制部21在步骤S543中作成的记录的与处理中的阶段对应的字段记录“OK”(步骤S546)。在判定为小于阈值的情况下(步骤S545中的否),控制部21在步骤S543中作成的记录的与处理中的阶段对应的字段记录“NG”(步骤S547)。

控制部21判定对从受精到分娩的所有阶段的处理是否已结束(步骤S548)。在判定为未结束的情况下(步骤S548中的否),控制部21返回步骤S544。

在判定为已结束的情况下(步骤S548中的是),控制部21判定是否结束预备拍摄(步骤S549)。例如,在使用图10说明的画面上接受了对结束按钮67的选择的情况下,控制部21判定为结束预备拍摄。

在判定为不结束预备拍摄的情况下(步骤S549中的否),控制部21返回步骤S541。在判定为结束预备拍摄的情况下(步骤S549中的是),控制部21对预测结果字段的处理中的子字段取得“OK”的数和“NG”的数(步骤S550)。

通过对式(2)的a代入“OK”的数、对b代入“NG”的数,可得到使用图4说明的抽样分布g(X)。控制部21将“OK”的数和“NG”的数与处理中的预测结果子字段相关联地记录在辅助存储装置23中(步骤S551)。

控制部21判定对预测结果字段的所有子字段的处理是否已结束,即,判定对从受精到分娩的所有阶段的处理是否已结束(步骤S552)。在判定为未结束的情况下(步骤S552中的否),控制部21返回步骤S550。在判定为已结束的情况下(步骤S552中的是),控制部21结束处理。

按照本实施方式,能够提供对选择显微授精成功可能性高的精子进行支援的信息处理系统10。

按照本实施方式,通过使用贝叶斯推断,能够对精液中所含的精子高精度地预测受精成功与否、是否正常成长到4-细胞胚、桑葚胚、囊胚等各阶段、妊娠成功与否、孕检中异常的有无、分娩成功与否等显微授精后的胚胎正常成长的概率(成功概率)的后验概率分布。其中,上述贝叶斯推断,将第一分布f(X)用作先验概率分布,将对精液中的精子取样而预测的成功概率用作似然分布。上述第一分布f(X)基于记录了过去进行的使用了IMSI的显微授精的过程的数据。

按照本实施方式,由于实时显示与精液中所含的精子有关的各种成功概率在分布内的、各个精子的评价,能够对培养师判断是否将观察中的精子使用于显微授精进行支援。因此,即使是经验比较少的培养师,也能和老练的培养师同样地正确选择精子。

按照本实施方式,由于对受精阶段、囊胚形成阶段等各个阶段分别评价成功概率,所以,培养师能够考虑患者的临床特征和状态来选择精子。例如,在能提取的卵子的数多的情况下,即便受精成功概率低,培养师也能选择着床以后的成功概率高的精子。

通过使用图像编码器546提取拍摄图像的特征量,能够削减过程学习模型53的输入维数。由此,能够提供实时对精子进行评价的信息处理系统10。由于能够通过图像编码器546以高精度将拍摄图像分类,所以能提供高精度评价精子的信息处理系统10。

图像编码器546也可以与过程学习模型53一体化。一体化后的过程学习模型53将图像编码器546的输出与过程学习模型53的输入层531连结而生成。

通过与图像编码器546一体化,能够实现在输入了对精子拍摄的拍摄图像的情况下输出从受精到分娩的过程中各阶段的成功概率的过程学习模型53。此外,在图像编码器与过程学习模型53一体化的情况下,优选的是,在使用图8说明的训练数据DB51中,取代记录静止图特征量的子字段,设置记录从动图像文件提取的精子图像的字段。

也可以使图像编码器546和从动图像文件提取包含整个精子的静止图时使用的判定用CNN与过程学习模型53一体化。这样做的情况下,在使用图8说明的训练数据DB51中,不需要记录静止图特征量的子字段。

优选在训练数据中增加追加数据,该追加数据是将在精子选择阶段拍摄的拍摄图像的图像特征量与此后的经过相关联地记录的数据。通过使用新的训练数据进行再学习,能提高过程学习模型53的精度。通过再学习而被更新的过程学习模型53也可以通过网络发送到其它显微授精实施机构。

例如新生儿的健康状态等项目,也可以进行0%到100%的基于分数的评价,以取代成功与否的二选一评价。进行基于分数的评价的项目的第一分布f(X)是通过贝塔分布近似获得了所记录的所有事例的分数的概率密度分布。通过使用分数的频数分布的均值E和方差V算出p和q,这种情况下的第一分布f(X)由式(4)表示。

【数4】

Y=f(X)C

E表示分数的均值。

V表示分数的方差。

C

第一分布f(X)例如也可以通过将均匀分布的任意分布作为先验概率分布、对每一件的训练数据进行贝叶斯更新而算出。抽样分布g(X)例如也可以通过将与均匀分布或第一分布f(X)相同的分布等任意分布作为先验概率分布、对进行了预备拍摄的每一个精子进行贝叶斯更新而算出。

抽样分布g(X)也可以使用贝塔分布。具体来说,使用表示贝塔分布的式(5)取代前述式(2)。

【数5】

Y=g(X)=C

a表示推定为正常成长到各成长阶段的预备拍摄图像的数。

b表示推定为不能正常成长到各成长阶段的预备拍摄图像的数。

C

也可以对第一分布f(X)和抽样分布g(X)这两者或任意一者使用高斯分布。

如使用图7说明的那样,也可以在过程学习模型53的输入层531增加与精子提供者和卵子提供者有关的信息等,例如,精子提供者和卵子提供者的年龄、健康状态、过去的不孕不育症治疗经历或基因突变等基因组信息等。通过这样做,能够实现根据年龄增加等造成的影响预测成功概率的过程学习模型53。

在拍摄精子的静止图时,可以增加从照明部44发出的照明光的光量并以短的曝光时间拍摄。即便是运动活跃的精子,也能拍摄到清晰的静止图。通过使用清晰的静止图,能够作成可明确识别成功可能性高的精子和成功可能性低的精子的过程学习模型53,高精度评价候选精子。

照相机48优选高分辨率的。通过以高分辨率拍摄精子,能够拍摄到清晰的动图像和静止图。因此,能够作成可明确识别成功可能性高的精子和成功可能性低的精子的过程学习模型53,高精度评价候选精子。为了得到实用的精度,优选至少以32像素×32像素以上的分辨率拍摄一个精子。

照相机48优选能拍摄高对比度的图像。通过使用高对比度的图像,能够明确识别精子的个体差异。因此,能够作成可明确识别成功可能性高的精子和成功可能性低的精子的过程学习模型53,高精度评价候选精子。

[实施方式2]

本实施方式涉及根据由过程学习模型53取得的成功概率算出抽样分布g(X)的信息处理系统10。关于与实施方式1共通的部分,省略说明。

图16是说明实施方式2的预备拍摄DB52的记录结构的说明图。预备拍摄DB52是在使用图1B说明的第二准备阶段记录使用了过程学习模型53的预测结果的DB。预备拍摄DB52具有患者ID字段、拍摄日字段和预测结果字段。预测结果字段具有受精字段、囊胚形成字段、着床字段、分娩字段和健康状态字段。预备拍摄DB52对一次预备拍摄具有一个字段。

患者ID字段记录有对精子提供者赋予的特有的患者ID。拍摄日字段记录有拍摄图像的拍摄日。预测结果字段的各子字段以百分比为单位记录有正常到达各阶段的概率的预测值。

控制部21从照相机48拍摄的拍摄图像提取精子图像特征量,输入到对各阶段作成的过程学习模型53,取得成功概率。控制部21将所取得的概率记录在预备拍摄DB52的各字段中。

本实施方式中,通过式(6)表示的贝塔分布g(X)来近似这些成功概率。近似式中确定变量p、q时,由关于成功概率的频数分布算出均值和方差,并分别带入到E和V而得到。

【数6】

Y=g(X)=C

E表示正常成长到各阶段的预测成功概率的分布的均值(期待值)。

V表示正常成长到各阶段的预测成功概率的分布的方差。

C

图17是表示实施方式2的抽样分布计算子程序的处理流程的流程图。图17所示的抽样分布计算子程序是代替使用图15说明的抽样分布计算子程序使用的子程序。步骤S544之前的处理流程与使用图15说明的抽样分布计算子程序的处理相同,因此省略说明。

控制部21在步骤S543中作成的记录的、与处理中的阶段对应的字段记录步骤S544中取得的预测成功概率(步骤S561)。控制部21判定对从受精到分娩的所有阶段的处理是否已结束(步骤S562)。在判定为未结束的情况下(步骤S562中的否),控制部21返回步骤S544。

在判定为已结束的情况下(步骤S562中的是),控制部21判定是否结束预备拍摄(步骤S563)。在判定为不结束预备拍摄的情况下(步骤S563中的否),控制部21返回步骤S541。

在判定为结束预备拍摄的情况下(步骤S563中的是),控制部21对预备拍摄DB52的预测结果字段的一个子字段算出平均值E和方差V。控制部21根据式(6)算出变量p、q和C

控制部21判定对预测结果字段的所有子字段的处理是否已结束,即,判定对从受精到分娩的所有阶段的处理是否已结束(步骤S566)。在判定为未结束的情况下(步骤S566中的否),控制部21返回步骤S564。在判定为已结束的情况下(步骤S566中的是),控制部21结束处理。

按照本实施方式,在作成预备拍摄DB52时,不需要确定判定“OK”和“NG”的阈值。因此,能够提供不受阈值设定影响地评价候选精子的信息处理系统10。

按照本实施方式,能够提供在预测成功概率为50%前后的精子多的情况下预备拍摄数少的、抽样分布g(X)稳定的信息处理系统10。

[实施方式3]

本实施方式涉及显示候选精子的预测成功概率的评价指数、并且显示预测成功概率的评价指数的可靠度的信息处理系统10。关于与实施方式1共通的部分,省略说明。

图18是表示实施方式3的信息处理装置20显示的画面的说明图。图18所示的画面是在精子选择阶段取代图12所示的画面而显示在显示装置15的画面例。画面上显示有图像栏61、评价栏65和下一步按钮69。评价栏65包含第一评价栏651、第二评价栏652、第三评价栏653和第四评价栏654。

在第一评价栏651至第四评价栏654分别显示有作为评价指标的偏差值和评价指标的可靠度。可靠度例如是数据不均匀性的偶然不确定度的倒数。作为符合高斯分布的偶然不确定度,方差σ

可靠度是进行了有监督机械学习的模型的不确定度或参数的不确定度的倒数,或者是完整性的不确定度等识别的不确定度的倒数。使用将机械学习模型的参数置换为伯努利分布的蒙特卡罗采样(Monte Carlo Dropout Sampling)等能够算出识别的不确定度。此外,也可以通过对算出的可靠度增加适当的常数并乘以其它适当的常数,从而作为可靠度显示例如变换为0到100的值,以使培养师能直观地理解可靠度的高低。

培养师能够考虑偏差值和可靠度这两者后决定使用于显微授精的精子,例如,在候选精子的偏差值高但可靠度低的情况下避免选择这样的候选精子等。

[实施方式4]

本实施方式涉及自动判定候选精子的信息处理系统10。关于与实施方式1共通的部分,省略说明。

图19是说明实施方式4的信息处理系统10结构的说明图。信息处理装置20具有载物台I/F26。载物台I/F26例如是USB端子。显微镜41具有使载物台42移动的载物台移动部46。载物台移动部46连接着载物台I/F26。

控制部21通过载物台I/F26控制载物台移动部46。控制部21控制载物台移动部46,以使例如显微镜41的视野扫描整个观察容器421。控制部21也可以根据用户的指示控制载物台移动部46。

图20是说明正常精子判定DB的记录结构的说明图。正常精子判定DB是在判别正常精子及其以外的有监督机械学习中使用的训练数据。正常精子判定DB具有图像字段和判定字段。图像字段中记录有对正常精子、异常精子或异物等拍摄的图像。判定字段中记录有培养师判定图像是“正常精子”、“异常精子”和“异物”中的哪一个的结果。正常精子判定DB对一个图像具有一个记录。

图21是表示正常精子判定模型57的结构的说明图。正常精子判定模型57是包括输入层571、中间层572和输出层573的神经网络。图21中,例示了正常精子判定模型57为CNN的情况。

输入层571被输入记录在正常精子判定DB的图像字段的图像。具体来说,输入层571具有与图像像素数相同数量的神经元,各神经元被输入图像各像素的像素值。输出层573合计具有3个神经元,分别输出判定为“正常精子”的概率、判定为“异常精子”的概率、以及判定为“异物”的概率。

控制部21进行使用反向传播算法等运算中间层572的参数的有监督机械学习,以从输出层543输出记录在正常精子判定DB的判定字段的判定结果。例如,在判定字段记录有“正常精子”的情况下,控制部21运算中间层572的参数,使得是“正常精子”的概率为1、是“异常精子”的概率和是“异物”的概率为0。

通过向已学习的正常精子判定模型57输入由照相机48拍摄的图像,控制部21能够判定拍摄到了正常精子、异常精子或异物中的哪一个。

正常精子判定模型57也可以使用迁移学习作成,该迁移学习是使例如VGG(VisualGeometry Group)-16、ResNET(Residual Network)-50或Xception等现有的开源模型追加学习正常精子判定DB。通过利用开源模型,能够用少的训练数据作成正确的正常精子判定模型57。

图22至图24是表示实施方式4的信息处理装置20显示的画面的说明图。图22至图24所示的画面是在精子选择阶段取代图12所示的画面而在显示装置15上显示的画面例。画面上显示有图像栏61和评价栏65。

图像栏61可实时显示由照相机48拍摄的图像。控制部21利用公知的图像识别技术判定视野内是否包含评价对象。控制部21也可以将图像输入预先准备的判定用CNN来判定视野内是否包含评价对象。

评价栏65可显示对图像栏61显示的图像实时评价的评价结果。图22所示的例子中,视野内含有正常精子,显示出与图12同样的评价结果。

图23所示的例子中,视野内包含异常精子,在综合评价栏659显示有“异常精子”。对于异常精子,不使用过程学习模型53取得预测成功概率,在第一评价栏651至第四评价栏654显示“-”。

图24所示的例子中,视野内不包含评价对象,在综合评价栏659显示有“不能判定”。由于不含有评价对象,所以不使用过程学习模型53取得预测成功概率,在第一评价栏651至第四评价栏654显示“-”。

图25是表示实施方式4的程序的处理流程的流程图。本实施方式中,载物台42自动或根据用户的指示前后左右移动,在显微镜视野进行扫描。

控制部21启动抽样分布计算子程序(步骤S601)。抽样分布计算子程序是进行与使用图15或图17说明的抽样分布计算子程序同样的处理、算出抽样分布g(X)的子程序。

步骤S601中启动的子程序中,取代使用图15或图17说明的子程序的步骤S541,控制部21启动精子图像取得子程序。精子图像取得子程序是从显微镜41自动取得正常精子的图像的子程序。精子图像取得子程序的处理流程将在后面说明。

控制部21对从受精到分娩的各个阶段取得在图13的步骤S514中记录的OK数和NG数(步骤S602)。控制部21基于式(1)至式(3)算出第二分布h(X)(步骤S603)。

控制部21使用公知的图像解析技术检测出在由照相机48拍摄的视野中有被拍摄物体(步骤S604)。控制部21向使用图21说明的正常精子判定模型57输入包含被拍摄物体的图像,取得判定结果(步骤S605)。

控制部21判定被拍摄物体是正常精子的概率是否在规定的阈值以上(步骤S606)。在判定为在阈值以上的情况下(步骤S606中的是),控制部21提取精子图像特征量(步骤S525)。以后,直到步骤S528的处理都与使用图14说明的程序的处理相同,因此说明从略。控制部21在显示装置15上显示使用图22说明的画面(步骤S607)。

在判定为小于阈值的情况下(步骤S606中的否),控制部21判定被拍摄物体是异常精子的概率是否在规定的阈值以上(步骤S611)。在判定为在阈值以上的情况下(步骤S611中的是),控制部21在显示装置15显示使用图23说明的、表示是异常精子这一主旨的画面(步骤S612)。在判定为小于阈值的情况下(步骤S611中的否),控制部21在显示装置15显示使用图24说明的、表示不能判定这一主旨的画面(步骤S613)。

步骤S607、步骤S612或步骤S613结束后,控制部21判定是否接受了对下一步按钮69的选择(步骤S614)。在判定为接受了对下一步按钮69的选择的情况下(步骤S614中的是),控制部21返回步骤S604。

在判定为经过规定的时间也没有接受对下一步按钮69的选择的情况下,或者,在判定为接受了结束指示的情况下(步骤S514中的否),控制部21结束处理。

图26是表示精子图像取得子程序的处理流程的流程图。精子图像取得子程序是从显微镜41自动取得正常精子的图像的子程序。精子图像取得子程序代替使用图15和图17说明的抽样分布计算子程序的步骤S541使用。

控制部21使用公知的图像解析技术检测出视野中有被拍摄物体(步骤S571)。控制部21将包含被拍摄物体的图像输入正常精子判定模型57,取得被拍摄物体为正常精子的概率(步骤S572)。

控制部21判定被拍摄物体为正常精子的概率是否在规定的阈值以上(步骤S573)。在判定为小于阈值的情况下(步骤S573中的否),控制部21返回步骤S571。在判定为在阈值以上的情况下(步骤S573中的是),控制部21结束处理。

按照本实施方式,能够提供自动提取正常精子进行判定的信息处理系统10。例如,能够提供在正常精子极少的情况下也不增加培养师负担的信息处理系统10。

通过将提取正常精子的正常精子判定模型57和评价正常精子的过程学习模型53分离,能够提供进行高精度判定的信息处理系统10。

[实施方式5]

本实施方式涉及使用曲线图显示候选精子的评价结果的信息处理系统10。关于与实施方式3共通的部分,省略说明。

图27是表示实施方式5的信息处理装置20显示的画面的说明图。图27所示的画面是在精子选择阶段取代图18所示的画面而在显示装置15上显示的画面例。画面上显示有图像栏61、评价栏65和患者信息栏64。评价栏65包含第一评价栏651、第二评价栏652、第三评价栏653、第四评价栏654和第五评价栏655。

在患者信息栏64显示有精子提供者和卵子提供者各自的年龄、既往病史和当前病史、以及不孕不育症治疗史。在患者信息栏中,“M”表示精子提供者,“F”表示卵子提供者。

在图像栏61以静止图显示有评价中的候选精子。在图像栏61,也可以实时显示由照相机48拍摄的显微镜图像。

在第一评价栏651至第四评价栏654,显示有各个阶段的第二分布Y=h(X)的曲线图。曲线图的纵轴表示作为概率变量X的成功概率,横轴表示与概率变量X对应的概率Y。各个曲线图中,候选精子的成功概率由指标线81显示。

各个曲线图的下方,显示有对候选精子算出的成功率、第二分布中的该成功率的偏差值和可靠度。当候选精子的成功率在同一精液中所含的过去评价过的精子成功率的最大值以上时,在可靠度的下方显示“Best”字样。

在第五评价栏655显示有表示精子异常度分布的曲线图。曲线图的纵轴表示作为概率变量X的精子的异常度,横轴表示与概率变量X对应的概率Y。曲线图中,候选精子的异常度由指标线81显示。

在曲线图的下方,显示有对候选精子算出的异常度和异常度分布中的该异常度的偏差值和可靠度。当候选精子的异常度在同一精液中所含的过去评价过的精子异常度的最小值以下时,在可靠度的下方显示“Best”字样。

精子的异常度是用例如使用图21说明的正常精子判定模型57取得的、精子为异常精子的概率。精子的异常度也可以基于设定为“正常”的精子的形状和候选精子的形状的类似度算出。第五评价栏655的曲线图例如是与精子提供者同年龄段的男性的精子异常度分布。

作为第五评价栏655的曲线图,也可以使用第二分布,该第二分布通过将同年龄段的男性的精子异常度分布用作第一分布、将通过预备拍摄所拍摄的精子的异常度分布用作抽样分布而算出。在这样做的情况下,首先与实施方式4同样地自动进行预备拍摄,作成精液中所含的精子全体的异常度的抽样分布。然后,对判定为形状正常的候选精子,作成从受精到分娩的各阶段的抽样分布。

按照本实施方式,培养师能够根据指标线81直观地把握候选精子在分布中的定位。因此,培养师能够迅速判定是否将候选精子使用于显微授精。

也可以将对候选精子进行几秒钟拍摄所得的动图像文件临时保存在辅助存储装置23中,在图像栏61上反复播放显示。培养师能够通过动图像充分观察候选精子的活动,判断是否将其使用于显微授精。也可以在图像栏61的周围或内部显示按钮,用于指示反复播放的动图像的快进、快退、暂停、慢放或快放等。

控制部21也可以在动图像文件的反复播放过程中接受对提取静止图像特征量的帧进行的指定,重新实施对候选精子的评价。培养师能够基于希望的帧评价候选精子。

过去拍摄的动图像文件也可以显示在图像栏61。例如,能够提供使用于医疗设施内的研讨会、培养师培训、与其它设施的信息交换等的信息处理系统10。使用过去拍摄的动图像文件,也能够进行更新过程学习模型53或图像编码器546后的动作确认。

照相机48也可以能进行高速拍摄。将通过高速拍摄对候选精子拍摄的动图像文件在图像栏61慢放显示,由此,培养师能够观察候选精子的活动。通过这样做,培养师无需使用高粘性溶液就能正确确认精子的自然活动和显微镜图像的散焦等。培养师通过对物镜的位置进行调整等,能够取得适合评价的候选精子的图像。进一步,能够避免在显微授精时将高粘性溶液与精子一起注入卵子。

[实施方式6]

图28是实施方式6的信息处理装置20的功能框图。信息处理装置20具有拍摄图像取得部71、输入部72和输出部73。拍摄图像取得部71取得拍摄有在显微授精时使用的候选精子的拍摄图像。

输入部72接受拍摄有精子的拍摄图像,将所取得的拍摄图像输入学习模型53,该学习模型53输出关于使用了该精子的显微授精能否成功的预测。输出部73基于被输入的拍摄图像输出从学习模型53输出的预测。

学习模型53具有输入层571、图像编码器546、中间层572和输出层573。输入层571被输入拍摄有精子的拍摄图像。输出层573输出是否正常成长到使用精子进行了显微授精后的各阶段的预测成功概率。

中间层572使用训练数据对参数进行了学习,该训练数据,将拍摄有过去用于显微授精的精子的拍摄图像、以及是否正常成长到使用该精子进行了显微授精后的各阶段相关联地进行了记录。

学习模型53使计算机实现以下功能:在拍摄有要使用于显微授精的候选精子的拍摄图像被输入到输入层571的情况下,经中间层572的运算,从输出层573输出使用候选精子进行了显微授精的情况下的与是否正常成长到各阶段有关的预测。

学习模型53还包括设于输入层571和中间层572之间的、从拍摄图像提取图像特征量的图像编码器546,由图像编码器546提取的图像特征量被输出到中间层572。

[实施方式7]

本实施方式中,通过使通用的计算机90与程序97组合动作,实现本实施方式的信息处理系统10。图29是表示实施方式7的信息处理系统10结构的说明图。关于与实施方式1共通的部分,省略说明。

本实施方式的信息处理系统10包含计算机90和显微镜41。

计算机90包括控制部21、主存储装置22、辅助存储装置23、通信部24、显示I/F25、拍摄I/F28、读取部29和总线。计算机90是通用的个人计算机、平板电脑或服务器计算机等的信息设备。

程序97记录在可搬型记录介质96中。控制部21通过读取部29读入程序97,并保存在辅助存储装置23中。控制部21也可以读出安装在计算机90内的闪存等半导体存储器98中存储的程序97。控制部21还可以从通过通信部24和未图示的网络连接的未图示的其它服务器计算机下载程序97并保存在辅助存储装置23中。

程序97作为计算机90的控制程序被安装,加载到主存储装置22上而被运行。由此,计算机90实现上述信息处理装置20的功能。

[实施方式8]

本实施方式涉及判定观察中的精子是具有X染色体的X精子还是具有Y染色体的Y精子的信息处理系统10。关于与实施方式1共通的部分,省略说明。另外,以下的说明中不考虑性染色体发生突变的影响。

例如,已知红绿色盲、血友病和阿尔波特(Alport)综合症等各种伴性遗传疾病。伴性遗传疾病是起源于性染色体异常的遗传疾病。具有伴性遗传疾病的父母所生的孩子患伴性遗传疾病的发病率、和孩子本人不发病但具有将伴性遗传疾病传给其子孙的遗传基因的携带率,因伴性遗传疾病的种类和孩子的性别而异。

图30是表示伴性劣性(隐性)遗传疾病的发病率和携带率的表(以下的说明中,使用的“劣性”和“隐性”为同一意思)。伴性劣性遗传疾病是通过X染色体遗传的疾病中只要有一条正常的X染色体就不发病的疾病。男性有一条X染色体,所以只要有异常就会发病。女性具有的两条X染色体中,如果只有一条有异常,则不发病,如果两条都异常,就会发病。例如,已知红绿色盲和血友病等伴性劣性遗传疾病。

图30中,左端的列表示精子提供者的性染色体是正常还是异常。在异常的情况下,精子提供者的X染色体有异常,会患疾病。图30的左起第二列,分为使用X精子的情况和使用Y精子的情况进行表示。在使用了X精子的情况下,孩子的性别为女。在使用了Y精子的情况下,孩子的性别为男。在以下的说明中,有时将精子是X精子还是Y精子的区别记载为精子的性别。

图30中,右侧的三列表示卵子提供者的性染色体是正常的还是异常的。异常的情况下,存在两种形式,一种是一条X染色体是异常的、另一条X染色体是正常的杂合,另一种是两条X染色体都异常的纯合。杂合的情况下,成为不发病但具有遗传基因的携带者。纯合的情况下发病。

发病率表示孩子患伴性遗传疾病的概率。携带率表示孩子的性染色体具有遗传伴性遗传疾病的遗传基因的概率,即,表示孩子的基因有异常的概率。

例如,在卵子提供者的性染色体正常、精子提供者的性染色体异常的情况下,与孩子的性别无关,发病率为0%,女孩的携带率为100%、男孩的携带率为0%。图30中,在圆角方框所围的部分,根据孩子的性别,发病率或携带率产生差异。

图31是表示伴性优性(显性)遗传疾病的发病率和携带率的表(以下的说明中,使用的“优性”和“显性”为同一意思)。伴性优性遗传疾病是通过X染色体遗传的疾病中只要有一条异常的X染色体就会发病的疾病。男性有一条X染色体,因此,只要有异常就会发病。女性具有的两条X染色体中,一条或两条有异常就会发病。例如,已知瑞特(Rett)综合症和阿尔波特综合症等伴性优性遗传疾病。

图31所示的表的结构与图30中说明的表相同,因此省略说明。图31中,同样在圆角方框所围的部分,根据孩子的性别,发病率或携带率产生差异。

图32是表示通过Y染色体遗传的伴性遗传疾病的发病率和携带率的表。女性不具有Y染色体,因此与这样的疾病相关的基因一定是正常的。可以认为,男性不育的一部分包含Y染色体微缺失等通过Y染色体遗传的疾病。

图32的左端与图30同样地表示精子提供者的性染色体是正常的还是异常的。卵子提供者一定是正常的。图32中,在圆角方框所围的部分,根据孩子的性别,发病率或携带率产生差异。

在精子提供者和卵子提供者的性染色体异常的情况下,通过判定精子的性别来选择孩子的性别,能够使出生后的孩子的发病率和携带率降低。

已知,由于疾病的原因,性染色体有异常的胚胎从着床到出生的成功概率低,容易流产。通过判定精子的性别来选择孩子的性别,能够使显微授精的成功率上升。

已知,人的基因中,X精子具有的基因组量比Y精子具有的基因组量多大约3%。也已知,伴随着基因组量的区别,X精子的头部长和周围长等尺寸比Y精子的对应部分的尺寸约大5%,X精子的质量比Y精子的质量约重2.8%。由于X精子重,所以Y精子的移动速度更快。

这样,在X精子和Y精子之间有外观上的区别。但是,培养师难以在一瞬间识别并提取所需的精子。本实施方式中,提供使用通过机械学习生成的性别判定学习模型56(参照图34)判定观察中的精子是X精子还是Y精子的信息处理系统10。

图33是说明性别训练数据DB58的记录结构的说明图。性别训练数据DB58是将对显微授精时使用的精子进行拍摄的拍摄图像和通过显微授精出生的孩子的性别相关联地记录的DB。性别训练数据DB58具有精子ID字段、图像数据字段、精子图像特征量字段和性别字段。精子ID字段、图像数据字段和精子图像特征量字段与使用图8说明的训练数据DB51的各字段相同,因此省略说明。

性别字段记录有通过显微授精出生的孩子的性别。性别字段也可以记录例如通过NIPT(Non-Invasive Prenatal genetic Testing)等出生前诊断判定出的胚胎或胎儿的性别。性别训练数据DB58对显微授精时使用的一个精子具有一个记录。

图34是说明性别判定学习模型56的说明图。性别判定学习模型56是包括输入层561、中间层562和输出层563的神经网络。图7中,例示出性别判定学习模型56是CNN的情况。此外,卷积层和池化层的图示省略。

在输入层561被输入了静止图和动图像的特征量的情况下,性别判定学习模型56将是X精子的概率和是Y精子的概率输出到输出层563。被输入到输入层561的信息与向使用图34说明的过程学习模型53的输入相同,因此省略说明。

在输入层561被输入了静止图和动图像的特征量等的情况下,性别判定学习模型56向输出层563输出观察中的精子是X精子的概率和是Y精子的概率。在学习阶段,控制部21通过使用性别训练数据DB58并用反向传播算法等运算中间层562的参数,进行有监督机械学习,该性别训练数据DB58是使用图33说明的。

有监督机械学习例如可用逻辑回归、SVM、随机森林、CNN、RNN或XGBoost等任意的手法进行。

性别判定学习模型56也可以使用任意的计算机作成。作成的性别判定学习模型56通过网络等被发送到显微授精实施机构使用的信息处理装置20,并被记录在辅助存储装置23中。

性别判定学习模型56也可以与使用图7说明的过程学习模型53的任意一个构成为一体。这样做的情况下,性别判定学习模型56的输出层563具有输出成功的概率的成功节点和输出不成功的概率的不成功节点。

图35是表示实施方式8的信息处理装置20显示的画面的说明图。在收到了来自产科医生的指示以将特定性别的精子使用于显微授精的情况下,作为用户的培养师将使用图35说明的画面显示在显示装置15上。画面上显示有图像栏61、判定按钮68和结束按钮67。在图像栏61,可实时显示由照相机48拍摄的显微镜图像。

在用户选择了判定按钮68的情况下,控制部21从显示在图像栏61的图像提取静止图特征量和动图像特征量。控制部21将特征量输入性别判定学习模型56,取得是X精子的概率和是Y精子的概率。控制部21在画面右上方的性别栏82显示是X精子的概率和是Y精子的概率。

在用户再次选择了判定按钮68的情况下,控制部21使用在图像栏61实时显示的图像,更新是X精子的概率和是Y精子的概率。在用户选择了结束按钮67的情况下,控制部21结束处理。

例如,通过对性别判定学习模型56使用作为一种CNN的YOLOv3(You Only LookOnce version 3),控制部21能够快速取得是X精子的概率和是Y精子的概率。在能够足够快速地取得是X精子的概率和是Y精子的概率的情况下,控制部21可以实时更新性别栏82。在实时更新性别栏82的情况下,不需要判定按钮68。

用户在通过使用图12说明的画面等发现显微授精的成功概率高的精子之后,通过使用图35说明的画面判定精子的性别。用户也可以在通过使用图35说明的画面发现产科医生指定的性别的精子之后,通过使用图12说明的画面等判定显微授精的成功概率。

本实施方式的信息处理系统10也可以是与实施方式1等中说明的判定显微授精成功概率的信息处理系统10相独立的系统。

控制部21也可以将使用图12说明的评价栏65和使用图35说明的性别栏82并排显示在一个画面上。

图36是表示实施方式8的程序的处理流程的流程图。控制部21如图35所示那样,在只有一个候选精子显示在图像栏61的状态下,选择判定按钮68。

控制部21判定是否接受了对判定按钮68的选择(步骤S701)。在判定为接受了对判定按钮68的选择的情况下(步骤S701中的是),控制部21通过照相机48取得拍摄有精子的拍摄图像(步骤S702)。

控制部21提取精子图像特征量(步骤S703)。控制部21将精子图像特征量输入性别判定学习模型56,取得观察中的精子是X精子的概率和是Y精子的概率(步骤S704)。控制部21在性别栏82显示所取得的概率(步骤S705)。

在判定为没有接受对判定按钮68的选择的情况下(步骤S701中的否)、或者在步骤S705结束后,控制部21判定是否接受了对结束按钮67的选择(步骤S706)。在判定为未接受对结束按钮67的选择的情况下(步骤S706中的否),控制部21返回步骤S701。在判定为接受了对结束按钮67的选择的情况下(步骤S706中的是),控制部21结束处理。

按照本实施方式,能够提供判定并显示精子性别的信息处理系统10。培养师能选择成为产科医生指示的性别的可能性高的精子进行显微授精。由此,能够降低通过显微授精出生的孩子患伴性遗传疾病的可能性、以及携带伴性遗传疾病基因的可能性。另外,还能够预防与伴性遗传疾病关联的基因异常造成的流产等,提高显微授精后的分娩成功概率。

[实施方式9]

本实施方式涉及根据判定观察中的精子是X精子还是Y精子的结果显示孩子患伴性遗传疾病的概率和携带基因的概率的信息处理系统10。关于与实施方式8共通的部分,省略说明。

图37是表示实施方式9的信息处理装置20显示的画面的说明图。图37所示的画面上,显示有疾病设定栏830、卵子提供者栏832和精子提供者栏833。疾病设定栏830包含疾病名栏831、XY栏834和优性劣性栏835。卵子提供者栏832包含卵子确定信息栏836和卵子推定信息栏837。精子提供者栏833包含精子确定信息栏838和精子推定信息栏839。图37所示的画面是输入与伴性遗传疾病有关的设定的设定输入画面。

疾病名栏831中,显示有选择要判定的伴性遗传疾病名的按钮。XY栏834和优性劣性栏835中,与在疾病名栏831接受了选择的伴性遗传疾病对应的遗传形式用黑圈显示。

图37中,在疾病名栏831设定的“血友病”是通过X染色体遗传的疾病,这一情况显示在XY栏834。同样,“血友病”是伴性劣性遗传疾病这一情况显示在优性劣性栏835。

用户将要根据病历等判定的伴性遗传疾病名设定在疾病名栏831中。控制部21根据关联记录有疾病名和遗传形式的数据库,显示XY栏834和优性劣性栏835。

在病历等中没有明确示出伴性遗传疾病名而是仅示出了遗传形式的情况下,用户不使用疾病名栏831,而是在XY栏834和优性劣性栏835输入要判定的伴性遗传疾病的遗传形式。在用户要输入遗传形式的情况下,XY栏834和优性劣性栏835的左端分别显示的白圈和黑圈实现接受用户输入的输入按钮功能。

卵子提供者栏832接受与卵子提供者的性染色体有关的信息的输入。用户确认是否根据病历等确定了卵子提供者的性染色体有无异常。

在确定了的情况下,用户选择配置在卵子确定信息栏836左上的复选框,使选中符号被显示出来。用户根据病历等,使用在卵子确定信息栏836的下部显示的按钮,输入卵子提供者具有的两条X染色体分别是正常的还是异常的。图37中,输入了两条X染色体都“异常”的主旨。

在未确定的情况下,用户选择在卵子推定信息栏837左上配置的复选框,使选中符号显示出来。卵子推定信息栏837中,显示有以百分率输入卵子提供者的性染色体为正常的推定概率、为杂合型异常的推定概率和为纯合型异常的推定概率的栏。

在未确定卵子提供者的性染色体有无异常的情况下,产科医生等专家根据家族史等推定与卵子提供者的性染色体有无异常有关的概率,记载在病历等中。用户根据病历等在卵子推定信息栏837的各栏输入推定概率。

精子提供者栏833接受与精子提供者的性染色体有关的信息的输入。用户确认是否根据病历等确定了精子提供者的性染色体有无异常。

在确定了的情况下,用户选择配置在精子确定信息栏838左上的复选框,使选中符号被显示出来。用户根据病历等,使用在精子确定信息栏838的下部显示的按钮,输入精子提供者具有的X染色体和Y染色体分别是正常的还是异常的。图37中,输入了X染色体和Y染色体均“正常”的主旨。

在未确定的情况下,用户选择在精子推定信息栏839左上配置的复选框,使选中符号显示出来。精子推定信息栏839中,显示有以百分率输入精子提供者的X染色体和Y染色体分别是正常的推定概率和是异常的推定概率的栏。

在未确定精子提供者的性染色体有无异常的情况下,产科医生等专家根据家族史等推定与精子提供者的性染色体有无异常有关的概率,记载在病历等中。用户根据病历等在精子推定信息栏839的各栏输入推定概率。

具体来说,在XY栏834显示有进行与通过X染色体遗传的疾病有关的判定这一主旨的情况下,用户根据病历等将X染色体为正常的推定概率和为异常的推定概率输入精子推定信息栏839。在XY栏834显示有进行与通过Y染色体遗传的疾病有关的判定这一主旨的情况下,用户根据病历等将Y染色体为正常的推定概率和为异常的推定概率输入精子推定信息栏839。

在卵子推定信息栏837包含的三个栏中有两个被输入了数字的情况下,控制部21可以通过使合计概率为1算出剩余的一个,并对其进行显示。同样,在精子推定信息栏839包含的两个栏中有一个被输入了数字的情况下,控制部21也可以通过使合计概率为1算出另一个,并对其进行显示。在卵子推定信息栏837的合计概率和精子推定信息栏839的合计概率分别不为1的情况下,控制部21可以显示出错消息,催促用户进行修正。

图38是表示实施方式9的信息处理装置20显示的画面的说明图。图38所示的画面取代使用图35说明的画面显示。图38所示的画面中,在性别栏82和判定按钮68之间显示有发病率栏841和携带率栏842。

发病率栏841中,显示有通过显微授精出生的孩子患伴性基因疾病的概率。携带率栏842中,显示有通过显微授精出生的孩子是伴性基因疾病的携带者的概率。

以进行“X劣性遗传疾病”判定的情况为例,说明发病率和携带率的算出方法的概要。卵子提供者和精子提供者的基因异常的有无,与孩子的发病率和携带率具有图30所示的关系。

图37所示的例子中,卵子提供者的X染色体的异常基因为纯合,精子提供者的X染色体是正常的。像图30右上的圆角方框所围的那样,如果孩子是女孩的话,发病率为0%、携带率为100%,如果孩子是男孩的话,发病率和携带率都是100%。

图30至图32所示的表,以数据库或在输入了规定的条件的情况下输出发病率和携带率的程序的形式记录在辅助存储装置23中。控制部21根据用户的输入,分别取得孩子是男孩的情况下和是女孩的情况下的发病率和携带率。

在将是X精子的概率为10%、是Y精子的概率为90%的精子使用于显微授精的情况下,受精卵是男性的概率即生男孩的概率为90%,受精卵为女性的概率即生女孩的概率为10%。

控制部21通过将生男孩的概率与男孩的发病率的积、加上生女孩的概率与女孩的发病率的积,算出通过显微授精出生的孩子的发病率。同样,控制部21通过将生男孩的概率与男孩的携带率的积、加上生女孩的概率与女孩的携带率的积,算出通过显微授精出生的孩子的携带率。

图37所示的例子中,通过显微授精出生的孩子的发病率为90%、携带率为100%。

说明卵子提供者的X染色体的异常基因为杂合、精子提供者的基因正常的情况下的例子。像图30的上侧中央部的圆角方框所围的那样,如果孩子是女孩的话,发病率为0%、携带率为50%,如果孩子是男孩的话,发病率和携带率都是50%。

在将是X精子的概率为10%、是Y精子的概率为90%的精子使用于显微授精的情况下,生男孩的概率为90%,生女孩的概率为10%。

控制部21通过将男孩的发病率50%与生男孩的概率90%的积、加上女孩的发病率0%与生女孩的概率10%的积,算出疾病的发病率为45%。同样,控制部21算出疾病的携带率为50%。

在使用图37说明的画面上,在卵子推定信息栏837或精子推定信息栏839输入了推定概率为0%或100%以外的数值的情况下,控制部21通过将各个事例的组合加权平均,算出疾病的发病率和携带率。

图39是表示实施方式9的程序的处理流程的流程图。控制部21显示使用图37说明的设定输入画面(步骤S711)。控制部21取得用户输入的设定(步骤S712)。

控制部21启动发病率和携带率计算子程序(步骤S713)。发病率和携带率计算子程序是分别计算在使用了X精子的情况下和使用了Y精子的情况下的伴性遗传疾病的发病率和携带率的子程序。发病率和携带率计算子程序的处理流程后述。

控制部21判定是否接受了对判定按钮68的选择(步骤S701)。在判定为接受了对判定按钮68的选择的情况下(步骤S701中的是),控制部21通过照相机48取得拍摄有精子的拍摄图像(步骤S702)。

控制部21提取精子图像特征量(步骤S703)。控制部21将精子图像特征量输入性别判定学习模型56,取得观察中的精子是X精子的概率和是Y精子的概率(步骤S704)。

控制部21根据步骤S713中取得的精子各个性别的发病率和精子各个性别的概率算出使用了观察中的精子的情况下的发病率(步骤S721)。具体来说,控制部21通过式(7)算出发病率。

发病率=使用了X精子的情况下的发病率×是X精子的概率

+使用了Y精子的情况下的发病率×是Y精子的概率……(7)

控制部21根据步骤S713中取得的精子各个性别的发病率和精子各个性别的概率算出使用了观察中的精子的情况下的携带率(步骤S722)。具体来说,控制部21通过式(8)算出携带率。

携带率=使用了X精子的情况下的携带率×是X精子的概率

+使用了Y精子的情况下的携带率×是Y精子的概率……(8)

控制部21在发病率栏841显示步骤S721中算出的发病率,在携带率栏842显示步骤S722中算出的携带率(步骤S723)。

在判定为未接受对判定按钮68的选择的情况下(步骤S701中的否)、或者在步骤S723结束后,控制部21判定是否接受了对结束按钮67的选择(步骤S706)。在判定为未接受对结束按钮67的选择的情况下(步骤S706中的否),控制部21返回步骤S701。在判定为接受了对结束按钮67的选择的情况下(步骤S706中的是),控制部21结束处理。

图40是表示发病率和携带率计算子程序的处理流程的流程图。发病率和携带率计算子程序是分别算出在使用了X精子的情况下和使用了Y精子的情况下的、伴性遗传疾病的发病率和携带率的子程序。

在以下的说明中,将通过图37的卵子提供者栏832接受输入的、卵子提供者的基因正常的概率记载为Pxn、杂合型异常的概率记载为Pxt、纯合型异常的概率记载为Pxm。同样,将通过图37的精子提供者栏833接受输入的、精子提供者的基因正常的概率记载为Pyn、异常的概率记载为Pya。

在使用了卵子确定信息栏836的情况下,Pxn、Pxt和Pxm的任意一个为100%,其余为0%。在使用了精子确定信息栏838的情况下,Pyn和Pya的任意一个为100%,另一个为0%。

控制部21判定通过疾病设定栏830接受了输入的伴性遗传疾病是否为Y遗传疾病(步骤S731)。在判定为Y遗传疾病的情况下(步骤S731中的是),控制部21算出使用了X精子的情况下和使用了Y精子的情况下的、受精卵即新生儿的伴性遗传疾病的发病率和携带率(步骤S732)。

具体来说,使用了X精子的情况下的发病率和携带率为0%。使用了Y精子的情况下的发病率和携带率,其值等于精子提供者的性染色体为异常的概率Pya。然后,控制部21结束处理。

在判定为不是Y遗传疾病的情况下(步骤S731中的否),控制部21取得发病率矩阵Mp(步骤S733),该发病率矩阵Mp涉及通过疾病设定栏830接受了输入的伴性遗传疾病的遗传形式。发病率矩阵Mp,其根据使用图30和图31说明的表示伴性遗传疾病的发病率和携带率的表中的发病率、按遗传形式和精子的性别作成,并记录在辅助存储装置23中。发病率矩阵Mp由式(9)表示。

【数7】

Mp11表示精子提供者和卵子提供者的性染色体均为正常的情况下的发病率。

Mp12表示精子提供者的性染色体为正常、卵子提供者的性染色体异常为杂合的情况下的发病率。

Mp13表示精子提供者的性染色体为正常、卵子提供者的性染色体异常为纯合的情况下的发病率。

Mp21表示精子提供者的性染色体为异常、卵子提供者的性染色体为正常的情况下的发病率。

Mp22表示精子提供者的性染色体为异常、卵子提供者的性染色体异常为杂合的情况下的发病率。

Mp23表示精子提供者的性染色体为异常、卵子提供者的性染色体异常为纯合的情况下的发病率。

例如,关于使用图30说明的伴性劣性遗传疾病,使用了X精子的情况下的发病率矩阵Mp示于式(10),使用了Y精子的情况下的发病率矩阵Mp示于式(11)。

【数8】

控制部21根据式(12)算出分别与X精子、Y精子有关的发病率Pp(步骤S734)。

【数9】

控制部21取得携带率矩阵Mc(步骤S735),该携带率矩阵Mc涉及通过疾病设定栏830接受了输入的伴性遗传疾病的遗传形式。携带率矩阵Mc根据使用图30和图31说明的表示伴性遗传疾病的发病率和携带率的表中的携带率,按遗传形式和精子的性别作成,并被记录在辅助存储装置23中。携带率矩阵Mc由式(13)表示。

【数10】

Mc11表示精子提供者和卵子提供者的性染色体均为正常的情况下的携带率。

Mc12表示精子提供者的性染色体为正常、卵子提供者的性染色体异常为杂合的情况下的携带率。

Mc13表示精子提供者的性染色体为正常、卵子提供者的性染色体异常为纯合的情况下的携带率。

Mc21表示精子提供者的性染色体为异常、卵子提供者的性染色体为正常的情况下的携带率。

Mc22表示精子提供者的性染色体为异常、卵子提供者的性染色体异常为杂合的情况下的携带率。

Mc23表示精子提供者的性染色体为异常、卵子提供者的性染色体异常为纯合的情况下的携带率。

控制部21根据式(14)算出分别与X精子、Y精子有关的携带率Pc(步骤S736)。然后,控制部21结束处理。

【数11】

按照本实施方式,能够提供除了精子的性别外还显示伴性基因疾病的发病率和携带率的信息处理系统10。

培养师能根据产科医生提示的信息选择被预测为伴性基因疾病的发病率和携带率低的精子进行显微授精。由此,能够降低通过显微授精出生的孩子患伴性遗传疾病的可能性和携带伴性遗传疾病的基因的可能性。另外,也能够预防与伴性遗传疾病关联的基因异常造成的流产等,提高显微授精后的分娩成功概率。

也可以对多个伴性基因疾病分别算出发病率和携带率,并进行一览显示。在卵子提供者和精子提供者分别存在与不同伴性基因疾病有关的基因异常的情况下等,能够选择被预测为伴性基因疾病的发病率和携带率低的精子进行显微授精。

各实施例中记载的技术的特征(结构要件)能相互组合,通过组合能够形成新的技术特征。

应该认为本次公开的实施方式中各点均为例示,并不是限制性的。本发明的范围并非由上述意思而是由权利要求书所示,包含与权利要求等同的意思和在其范围内的所有变更。

附图标记说明

10 信息处理系统

15 显示装置

20 信息处理装置

21 控制部

22 主存储装置

23 辅助存储装置

24 通信部

25 显示I/F

26 载物台I/F

28 拍摄I/F

29 读取部

41 显微镜

42 载物台

421 观察容器

43 目镜

44 照明部

45 光路分割部

46 载物台移动部

47 物镜

48 照相机

51 训练数据DB

52 预备拍摄DB

53 过程学习模型(学习模型)

531 输入层

532 中间层

533 输出层

54 图像特征量模型

541 输入层

542 中间层

543 输出层

545 中央层

546 图像编码器

56 性别判定学习模型

561 输入层

562 中间层

563 输出层

57 正常精子判定模型

571 输入层

572 中间层

573 输出层

58 性别训练数据DB

61 图像栏

62 目标数栏

63 已拍摄数栏

64 患者信息栏

65 评价栏

651 第一评价栏

652 第二评价栏

653 第三评价栏

654 第四评价栏

655 第五评价栏

659 综合评价栏

66 拍摄按钮

67 结束按钮

68 判定按钮

69 下一步按钮

71 拍摄图像取得部

72 输入部

73 输出部

81 指标线

82 性别栏

830 疾病设定栏

831 疾病名栏

832 卵子提供者栏

833 精子提供者栏

834 XY栏

835 优性劣性栏

836 卵子确定信息栏

837 卵子推定信息栏

838 精子确定信息栏

839 精子推定信息栏

841 发病率栏

842 携带率栏

90 计算机

96 可搬型记录介质

97 程序

98 半导体存储器

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号