基于时空注意力和跨模态融合的胚胎妊娠预测方法及系统

摘要

本发明公开了一种基于时空注意力和跨模态融合的胚胎妊娠预测方法及系统，包括采集胚胎培养过程中各发育阶段的胚胎图像，提取患者的临床数据和病历数据；对胚胎图像做预处理和数据增强，得到图像输入数据，对临床数据进行数据清洗和特征工程，得到临床输入数据；将临床输入数据分别输入胚胎质量评估模型和临床医学数据挖掘模型，分别得到胚胎形态学特征向量和临床特征向量；利用跨模态特征融合方式融合两种模态的特征，得到胚胎形态学特征与临床特征的融合特征；将融合特征输入预测器，预测胚胎妊娠概率。本发明的自动分析预测结果具有良好的鲁棒性和可解释性。

说明书

技术领域

本发明涉及医疗人工智能领域，具体地说，涉及一种基于时空注意力和跨模态融合的胚胎妊娠预测方法及系统。

背景技术

全球有相当一部分育龄人口面临着不孕不育和生育能力低下的问题。根据最新的调查，大约13％的女性和10％的男性受不孕症的影响。

体外受精-胚胎移植是辅助生殖技术(ART)中治疗不孕症最有效、最常见的方法之一。在体外受精周期中，从女性卵巢中取出多个成熟卵母细胞，并在实验室通过体外受精(IVF)或卵胞浆内单精子注射(ICSI)进行受精。然后这些受精卵(胚胎)在最佳条件的培养箱中培养。这些胚胎可以在孵化的第3天、第4天或第5天被移植到子宫中，或冷冻保存以备后续的移植。

胚胎质量的好坏直接影响其移植后的妊娠结果。胚胎形态学评估是最有效、最常用的胚胎质量评估方法之一，胚胎学家根据胚胎的内在形态结构，如囊胚腔、内细胞团和滋养层，对胚胎的质量进行分级。因此胚胎学家通常通过胚胎形态学来评估胚胎质量的好坏，选取质量最好的胚胎进行移植。然而，胚胎学家对于胚胎形态学的评估高度主观，对于经验不足的医生来说，胚胎评估十分复杂，难免出现因主观因素对囊胚腔占比大小、内细胞团和滋养层等级评定等造成误判，进而影响胚胎的选择，导致妊娠率降低。

尽管一些基于人工智能技术的胚胎妊娠预测方法被提出，例如现有的授权专利中，CN109214375B、CN109544512B都有提供胚胎妊娠的预测技术。但现有的这些方法仍然具有如下问题：

1.现有方法高度依赖于胚胎学家提出的囊胚分级系统，通常需要多位胚胎学家对数据集进行统一标注。因此缺乏可靠、大量的训练数据，难以在实际工程中应用。

2.现有方法只关注特定时期胚胎的形态，如胚胎发育至囊胚时的形态学特征，或胚胎内部特定的结构，如胚胎的内细胞团和滋养层等。而胚胎的发育是一个动态的过程，因此这些方法无法全面评估胚胎活性。

3.现有方法进行妊娠预测时只关注胚胎形态学特征，忽视了患者的年龄、疾病史等对妊娠结果有影响的重要因素，因此难以在实际临床场景下应用。

发明内容

本发明的目的是提供一种基于时空注意力和跨模态融合的胚胎妊娠预测方法和系统，不仅充分分析胚胎整个发育过程中的形态学特征，从时间和空间上高效地获取胚胎特征，而且充分利用患者的年龄、疾病史等重要临床因素，从而有效、准确地预测胚胎妊娠率。

为了实现上述目的，本发明所提出的胚胎妊娠预测方法包括以下步骤：

S1.收集患者的年龄、疾病史、用药史等临床数据，采集胚胎培养过程中各发育阶段的胚胎图像；

S2.对胚胎图像做统一的预处理和数据增强，得到图像输入数据，对临床数据进行数据清洗和特征工程，得到临床输入数据；

S3.将所述输入数据分别输入胚胎质量评估模型和临床医学数据挖掘模型，得到胚胎形态学特征向量和临床特征；

S4.利用跨模态特征融合技术得到胚胎形态学特征与临床特征的融合特征；

S5.将融合特征输入预测器，预测胚胎妊娠概率。

所述步骤S2的具体子步骤如下：

S201.对胚胎图像做灰度化处理，得到胚胎灰度图。灰度化处理采用公式Gray＝0.299R+0.587G+0.114B；

S202.用Canny算子处理上述胚胎灰度图像，得到原始胚胎图像的二值边缘图像；

S203.利用霍夫变换检测上述二值边缘图像中的圆心，得到圆心的位置坐标；

S204.通过上述圆检测的位置坐标截取原始的胚胎图像，使胚胎分布在图像的正中间且图像分辨率为448*448，得到预处理后的胚胎图像；

S205.对上述预处理后的胚胎图像做数据增强，包括色度、亮度、饱和度、对比度转换，得到图像输入数据；

S206.对临床数据进行数据清洗，包括去除、补全缺失数据，去除、修正错误数据，修正数据格式，去除离群值等，得到清洗后的数据；

S207.对上述清洗后的数据做特征工程，包括数据归一化，数据变换，数据降维，特征选择等，得到临床输入数据；

所述步骤S3的具体子步骤如下：

S301.以ResNet-50作为胚胎质量评估模型的基础网络，在残差块中加入空间注意力模块，将同一胚胎的多个图像输入所述网络，提取不同阶段胚胎的形态学特征；

S302.将所述同一胚胎不同发育阶段的特征进行时域特征融合，并通过时间注意力模块得到最终的胚胎形态学特征向量；

S303.将所述临床输入数据输入到Adaboost模型，得到临床特征向量；

所述步骤S4的具体子步骤如下：

S401.对所述胚胎形态学特征向量进行数据降维处理；

S402.将降维后的形态学特征向量与临床特征向量对齐并拼接；

S403.将所述拼接特征向量输入跨模态特征融合模块，提取融合特征；

为实现上述目的，本发明还提出一种胚胎妊娠预测系统，所述系统包括：

数据预处理模块，用于对同一胚胎的不同发育阶段的胚胎图像进行预处理，得到输入图像，以及对临床数据做数据工程，得到相应的临床输入数据；

胚胎质量评估模块，用于将所述输入图像输入基于时空注意力机制的特征提取网络，得到胚胎完整的形态学特征；

临床数据评估模块，用于将临床输入数据输入到临床医学数据挖掘模型中，得到有效的临床特征；

跨模态特征融合模块，用于将胚胎图像特征和临床特征进行跨模态的数据融合，得到融合妊娠特征；

胚胎妊娠预测模块，用于将所述融合妊娠特征输入预测单元，得到胚胎的妊娠率，并以此辅助医生进行胚胎选择。

与当前胚胎妊娠预测方法与系统相比，本技术方案有以下有益效果：

1.本发明创新性的利用胚胎整个发育过程中不同时期的胚胎图像，以及完整的胚胎结构进行胚胎妊娠预测，避免了因只关注胚胎的囊胚期或只关注胚胎内部部分结构导致的片面分析，从而能更全面、更高效地获得胚胎质量信息，预测胚胎妊娠结局，进而辅助医生快速评估、选择胚胎。

2.本发明创新性的引入临床数据，通过临床医学数据挖掘模型分析临床数据，获取临床特征向量，并将其与胚胎图像特征向量进行跨模态的特征融合，以此来预测妊娠率，提升了本发明的鲁棒性和可解释性。

附图说明

图1是本发明实施例提供的一种胚胎妊娠预测方法的流程图；

图2是本发明实施例中注意力机制的网络示意图；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处具体实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定。

针对现有的胚胎妊娠预测方法主要针对囊胚时期的胚胎图像进行分析，无法充分利用胚胎整个发育过程的信息，或只针对胚胎内部囊胚腔、内细胞团、滋养层等特定结构单独进行分析，无法全面捕捉胚胎形态学特征，导致不能准确、可靠地预测胚胎妊娠率的问题，参见图1，图1是本发明一实施例提供的一种时空注意力和跨模态融合的胚胎妊娠预测方法流程示意图，所述方法包括以下步骤：

S1.采集胚胎培养过程中各发育阶段的胚胎图像，获取患者的临床数据和病历数据；

实施例中，采集胚胎发育过程中各时期的胚胎图像。胚胎移植前，在胚胎的不同发育阶段分别采集胚胎图像，在胚胎冷冻前后分别采集胚胎图像；

收集患者的临床医学数据和胚胎病历数据，包括年龄、身高、体重、不孕因素、激素水平等各种影响妊娠的数据，并根据患者将数据对应合并。

S2.对胚胎图像做预处理和数据增强，得到图像输入数据，对临床数据进行数据清洗和特征工程，得到临床输入数据；

1)对胚胎图像做统一的预处理和数据增强，得到图像输入数据。预处理操作如下：

首先采用公式Gray＝0.299R+0.587G+0.114B对胚胎图像做灰度化处理，得到胚胎灰度图像。然后利用Canny算子处理上述胚胎灰度图像，得到原始胚胎图像的二值边缘图像，并利用霍夫变换检测该二值边缘图像中的圆心，得到圆心的位置坐标，最后通过该坐标截取原始的胚胎图像，使胚胎分布在图像的正中间且保持完整，图像分辨率为448*448，得到预处理后的胚胎图像。

对预处理后的胚胎图像进行数据增强，具体包括色度变换、亮度变换、饱和度变换、对比度变换等。

2)对临床数据进行数据清洗和特征工程，得到临床输入数据。数据清洗过程如下：

首先对临床数据进行统计分析，然后根据统计分析结果去除或补全相应的缺失数据，检查并修正错误数据，最后检查并修正数据格式，去除离群值等，得到数据清洗后的临床数据。

对上述数据清洗后的临床数据做特征工程，具体过程包括：

首先对不同特征选择合适的数据归一化公式，包括：

具体实施时，S2可采用以下子步骤实现：

S201.对胚胎图像做灰度化处理，得到胚胎灰度图。灰度化处理采用公式Gray＝0.299R+0.587G+0.114B，其中Gray为灰度，R、G、B分别为相应通道值；

S202.用Canny算子处理上述胚胎灰度图像，得到原始胚胎图像的二值边缘图像；

S203.利用霍夫变换检测上述二值边缘图像中的圆心，得到圆心的位置坐标；

S204.通过上述圆检测的位置坐标截取原始的胚胎图像，使胚胎分布在图像的正中间且图像分辨率为448*448，得到预处理后的胚胎图像；

S205.对上述预处理后的胚胎图像做数据增强，包括色度、亮度、饱和度、对比度转换，得到图像输入数据；

S206.对临床数据进行数据清洗，包括去除、补全缺失数据，去除、修正错误数据，修正数据格式，去除离群值等，得到清洗后的数据；

S207.对上述清洗后的数据做特征工程，包括数据归一化，数据变换，数据降维，特征选择等，得到临床输入数据。

S3.将所述输入数据分别输入胚胎质量评估模型和临床医学数据挖掘模型，分别得到胚胎形态学特征向量和临床特征向量。

1)将胚胎图像数据输入基于时空注意力机制的胚胎质量评估模型，得到胚胎形态学特征，注意力模块结构参见图2。其中，Residual为残差块，由3×3的卷积层和激活层构成；Global pooling为全局池化层，将残差块输出的尺寸为H×W×C的特征图转化为1×1×C(其中H，W，C分别表示特征图的高、宽和通道数)；FC为全连接层，通过缩放参数r降低特征图的通道数为

进一步地，时间注意力的计算方法如下：

Mt(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F)))

其中Mt()表示时间注意力，F表示输入特征，σ()表示sigmoid函数，AvgPool()和MaxPool()分别表示平均池化和最大池化，MLP()表示多层感知器。

空间注意力的计算方法如下：

Ms(F′)＝σ(f

其中Ms()表示空间注意力，F′为时间注意力模块输出的特征图，σ()表示sigmoid函数，f

2)将数据清洗和特征工程后的临床数据输入临床医学数据挖掘模型，得到临床特征向量；

具体实施时，S3可采用以下子步骤实现：

S301.以ResNet-50作为胚胎质量评估模型的基础网络，在残差块中加入空间注意力模块，将同一胚胎的多个图像输入所述网络，提取不同阶段胚胎的形态学特征；

S302.将所述同一胚胎不同发育阶段的特征进行时域特征融合，并通过时间注意力模块得到最终的胚胎形态学特征向量；

S303.将所述临床输入数据输入到Adaboost模型，得到临床特征向量。

S4.利用跨模态特征融合技术得到胚胎形态学特征与临床特征的融合特征。融合特征的计算方法如下：

E(F

其中E()表示融合特征，F

具体实施时，S4可采用以下子步骤实现：

S401.对所述胚胎形态学特征向量进行数据降维处理；

S402.将降维后的形态学特征向量与临床特征向量对齐并拼接；

S403.将所述拼接特征向量输入跨模态特征融合模块，提取融合特征。

S5.将融合特征输入预测器，预测胚胎妊娠概率。

具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。

在一些可能的实施例中，提供一种基于时空注意力和跨模态融合的胚胎妊娠预测系统，包括以下模块：

图像数据处理模块，用于采集胚胎培养过程中各发育阶段的胚胎图像，提取患者的临床数据和病历数据；

临床数据处理模块，用于对胚胎图像做预处理和数据增强，得到图像输入数据，对临床数据进行数据清洗和特征工程，得到临床输入数据；

形态学特征提取模块，用于将临床输入数据分别输入胚胎质量评估模型和临床医学数据挖掘模型，分别得到胚胎形态学特征向量和临床特征向量；

跨模态特征融合模块，用于利用跨模态特征融合方式融合两种模态的特征，得到胚胎形态学特征与临床特征的融合特征；

妊娠结局预测模块，用于将融合特征输入预测器，预测胚胎妊娠概率。

在一些可能的实施例中，提供一种基于时空注意力和跨模态融合的胚胎妊娠预测系统，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于时空注意力和跨模态融合的胚胎妊娠预测方法。

在一些可能的实施例中，提供一种基于时空注意力和跨模态融合的胚胎妊娠预测系统，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于时空注意力和跨模态融合的胚胎妊娠预测方法。

以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的范围为准。