基于模型预测的目标发展情况分析方法

摘要

本申请提供一种基于模型预测的目标发展情况分析方法，主要用于预测实体肿瘤的发展情况，通过近红外图像和断层扫描图像构建红外空间流模型、红外时间流模型、断层空间流模型和断层时间流模型，将图像数据信息转换为间隔周期的时间维度数据，从而使两种不同原理成像的图像数据具有可比性，能够进行相互印证，有利于保证模型预测的科学性、准确性。同时，本申请所构建的多个模型均采用待检肿瘤的相关图像数据，区别于目前常用的大数据图形建模方式，在图像识别精度以及目标发展预测准确度方面均具有更强的个体针对性。

说明书

技术领域

本申请涉及图像处理技术领域，涉及一种基于模型预测的目标发展情况分析方法。

背景技术

随着计算机技术和数学理论的发展，数字图像处理技术得以快速发展，并与信息科学、物理学、生物学等学科交叉融合，已广泛地用于航空航天、军事、人工智能、生物医学等领域。

基于数字图像处理进行的预测涉及工农业生产、社会治理、精准医疗等多个方面。尤其是在精准医疗方面，随着CT、核磁共振、DR系统、CR、B型超声波诊断仪等大型数字化医学影像设备的普及应用，形成了大量的影像资料。采用数字图像处理技术对上述影像资料进行分析处理，能够打破人体视觉分析极限，形成针对性强、质量高、标准统一的影像数据。

肿瘤学形态定量研究是医学图像分析技术应用的主要方向。目前，医学图像分析技术已被应用于肿瘤病理诊断，肿瘤分类、分型、分级，肿瘤治疗、预后评估等辅助诊断工作中，如中国发明专利CN102542556B、CN101061509B、CN108765411B等。现有技术多集中在对肿瘤区域的定位、识别，在肿瘤的发展趋势预测方面的应用较少。

发明内容

本申请的目的在于提供一种同时基于红外图像数据和断层扫描图像数据对目标持续形貌变化趋势进行预测的方法。该方法预测的是实体肿瘤的发展趋势。

本申请所提供的基于模型预测的目标发展情况分析方法，包括以下步骤：

（1）构建红外空间流模型和红外时间流模型；

红外空间流模型用于识别待检红外图像中实体肿瘤的形貌边界；

红外时间流模型用于获得待检红外图像实际发展周期与理论周期的差异；

（2）构建断层空间流模型和断层时间流模型；

断层空间流模型用于识别待检断层扫描图像中实体肿瘤的形貌边界；

断层时间流模型用于获得待检断层扫描图像实际发展周期与理论周期的差异；

（3）综合利用步骤（1）、（2）中获得的实体肿瘤实际发展周期与理论周期的差异预测实体肿瘤的发展趋势。

上述方法中，通过构建的红外空间流模型和红外时间流模型能够利用红外图像数据获得实体肿瘤的形貌边界，与该实体肿瘤已有红外图像的拍摄周期结合，即可获得该实体肿瘤基于自身前期发展的形貌与周期间隔的关系。利用上述关系可计算得到在后红外图像的理论间隔时间，与实际间隔周期比较，将图像数据转换为时间维度数据。同样的，通过构建的断层空间流模型和断层时间流模型，将待检实体肿瘤的断层扫描图像数据转换为时间维度数据及实体肿瘤的空间体积数据。

本申请采用了两种不同成像原理的图像数据，并通过数据模型处理将之均处理为时间维度数据，使之具有可比性，能够用于相互印证，有利于保证模型预测的科学性、准确性。

本申请所构建的多个模型均采用待检肿瘤的相关图像数据，区别于目前常用的大数据图形建模方式，使模型对图像的识别更具针对性；一方面有利于提高对实体肿瘤、目标血管、器官等边界的识别精确度，另一方面在进行时间维度转换时，因参照对象唯一，使比对结果更具有个体的特征，有助于进一步提高预测的准确性。

本申请中，构建红外空间流模型和红外时间流模型具体包括：

S1. 获取待检实体肿瘤多个周期的近红外图像，标注肿瘤轮廓后，送入卷积神经网络训练，获得所述红外空间流模型；

S2. 利用标注有肿瘤轮廓的近红外图像制作相邻周期的帧差图像，以间隔周期作为帧差图像类别名，送入卷积神经网络训练，获得所述红外时间流模型；

S3. 将所述待检红外图像送入步骤S1所得的所述红外空间流模型，获得标注有肿瘤轮廓的待检红外图像，与前一次红外图像比较获得帧差图像后，送入步骤S2所得的所述红外时间流模型，获得红外图像理论间隔周期；

S4. 比较红外图像理论间隔周期与待检红外图像实际间隔周期的差异，预测待检实体肿瘤的发展趋势。

其中，

步骤S1中在标注肿瘤轮廓前进行以下处理：

a1. 对图像进行高斯平滑处理，具体为：

对二维高斯图像G（x，y）进行分解操作，得到关于两个维度的一维高斯函数G（x）、G（y），然后分别对其在两个方向上进行卷积操作，最终获取到图像I（x，y）；

其中，

G（x）表示原始图像在x方向上的卷积；

G（y）表示原始图像在y方向上的卷积；

exp表示指数函数；

其中，Ex和Ey是滤波器沿x和y两个方向作用的结果；

梯度幅值M（i，j）和梯度方向

其中，（i+1）或（j+1）表示下一个像素点；

a3. 根据梯度方向保留像素最大值，具体为：

确定某一像素点的邻域；然后比较目标像素顺着梯度方向和逆着梯度方向的两个像素的强度大小；进而进行判断此像素是否为最大值，如果是最大值，将其保留，如果不是，将其置零；

a4. 采用不同频率的阈值，获得多个图像，叠加拼接得到处理图片。

本申请中，构建断层空间流模型和断层时间流模型具体包括：

T1. 在已有断层扫描图像中标注肿瘤轮廓、血管轮廓、器官轮廓，送入卷积神经网络，获得所述断层空间流模型；

T2. 获取待检实体肿瘤多个周期断层扫描图像的基准层，其他层由基准层标定，制作相邻周期的同层层差图像，以间隔周期作为层差图像标注类别，送入卷积神经网络训练，获得所述断层时间流模型；

T3. 将所述待检断层扫描图像送入步骤T1所得的所述断层空间流模型，识别获得各层图像中的肿瘤轮廓、血管轮廓、器官轮廓，与前一次断层扫描图像对应各层图像相减后获得同层层差图像，送入步骤T2所得的所述断层时间流模型，获得各层理论间隔周期，根据理论间隔周期占比计算得到断层扫描图像理论间隔周期；

T4. 比较断层扫描图像理论间隔周期与待检断层扫描图像实际间隔周期的差异，预测待检实体肿瘤的发展趋势。

其中，

步骤T3中同层层差图像经由以下处理获得：

b1. 获取待检实体肿瘤多周期断层扫描三维重建图，标注目标血管轮廓，以拍摄角度作为类别名称，构建血管模板；

b2. 标注待检断层扫描三维重建图的血管轮廓，在步骤b1所得的血管模板中进行比对，获得匹配的类别名称；

b3. 将待检断层扫描三维重建图对应的各层待检断层扫描图像与步骤b2匹配到类别名称下的断层扫描三维重建图对应的各层断层扫描图像相减；

b4. 采用步骤b1处理待检断层扫描三维重建图，更新血管模板。

拍摄角度、焦距等差异导致了断层扫描图像中肿瘤形态的差异。本申请利用了肿瘤外周血管与肿瘤位置及发展的高度关联性，以及血管脉络、形态在不同拍摄角度的明显差异，利用现有技术由断层扫描图像对实体肿瘤及其外周主要血管、相关器官的三维图像重建。利用该重建图像中的主要血管形态轮廓锚定拍摄角度，获得系列拍摄角度下的系列血管形态图像数据，即血管模板。在后待检图像可由其三维重建图像的主要血管形态轮廓快速找到相关模板类别，进而比对得到最相似的断层扫描图像。在后待检图像与该最相似的断层扫描图像即可进行对应层的图像比对，相减后即可快速获得各层层差图像。

本申请中，血管模板所对应的拍摄角度不仅可采用世界坐标系标定，也可以进行自定义，从而避免了现有技术对世界坐标系的严重依赖，降低了建模图形数据要求。

上述步骤b1具体包括：

b11. 在断层扫描三维重建图中分割出目标血管的图像，并以拍摄角度作为血管模板的类别名称；

b12. 对步骤b11中分割得到的血管图像进行金字塔层级计算、边缘梯度计算和方向信息计算、记录；

步骤b2具体包括：

b21. 利用金字塔层级上下采样待检断层扫描三维重建图，计算待检断层扫描三维重建图的边缘与步骤b12处理的血管模板边缘的比例，利用边缘梯度修正待检断层扫描三维重建图；

b22. 采用步骤b21修正后的待检断层扫描三维重建图在步骤b12的数据信息中进行比对，匹配得到最相似的血管模板。

在步骤b21中，边缘梯度计算采用横纵两个边缘算子，算子的公式为：

步骤T3中待检断层扫描图像理论间隔周期采用以下公式计算：

T=

其中，

T为待检断层扫描图像理论间隔周期；

Ti为每个不同的间隔周期时间；

wi为各间隔周期时间下的层数；

n为待检断层扫描图像的总层数。

使用待检实体肿瘤当次红外图像和断层扫描图像可获得两个理论间隔周期，通过对该两组理论间隔周期间的差异分析，以及理论周期与实际周期差值分析及差值的差异分析，可为医师提供辩证的实体肿瘤发展预测。

本申请中，构建断层空间流模型和断层时间流模型进行实体肿瘤发展预测还包括：

T5. 将所述待检断层扫描图像送入步骤T1所得的所述断层空间流模型，识别获得各层图像中的肿瘤轮廓、血管轮廓、器官轮廓，提取具有肿瘤轮廓的层，以肿瘤作为标注类别名，依序堆叠计算得到所述待检肿瘤的体积；

T6. 比较待检断层扫描图像中待检肿瘤体积的变化，预测待检实体肿瘤的发展趋势。

利用步骤T5中提取的具有肿瘤轮廓的断层扫描图层，建立层数与肿瘤轮廓面积的映射关系；比较断层扫描图像层数与肿瘤轮廓面积的映射关系的变化，预测待检实体肿瘤的发展趋势。

本申请中，断层扫描图像除能够提供时间维度的预测信息外，还可提供实体肿瘤体积整体变化，以及实体肿瘤体积变化部位的数据信息，进一步辅助医师对该实体肿瘤的发展趋势进行准确的研判。

附图说明

为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例1的流程示意图。

图2为本申请实施例1中同层层差图像的处理流程示意图。

图3为本申请实施例2的流程示意图。

具体实施方式

在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本申请实施例的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。

实施例1

本申请实施例提供了一种基于模型预测的目标发展情况分析方法，利用待检实体肿瘤的红外图像和断层扫描图像，分别构建两组空间流模型和时间流模型，获得待检实体肿瘤发展时间间隔的预测结果，用于为医师提供综合性的肿瘤发展趋势预测。

如图1所示，本申请所提供的基于模型预测的目标发展情况分析方法，包括：

（1）构建红外空间流模型和红外时间流模型；

S1. 获取待检实体肿瘤多个周期的近红外图像，标注肿瘤轮廓后，送入卷积神经网络训练，获得所述红外空间流模型；

其中，在标注肿瘤轮廓前进行以下处理：

a1. 对图像进行高斯平滑处理，具体为：

对二维高斯图像G（x，y）进行分解操作，得到关于两个维度的一维高斯函数G（x）、G（y），然后分别对其在两个方向上进行卷积操作，最终获取到图像I（x，y）；

其中，

G（x）表示原始图像在x方向上的卷积；

G（y）表示原始图像在y方向上的卷积；

exp表示指数函数；

a2. 计算各像素点的边缘梯度幅度与方向，采用2×2偏导的有限差分计算图像边缘，具体为：

其中，Ex和Ey是滤波器沿x和y两个方向作用的结果；

梯度幅值M（i，j）和梯度方向

其中，（i+1）或（j+1）表示下一个像素点。

a3. 根据梯度方向保留像素最大值，具体为：

确定某一像素点的邻域（本实施例中采用3*3范围的邻域）；然后比较目标像素顺着梯度方向和逆着梯度方向的两个像素的强度大小；进而进行判断此像素是否为最大值，如果是最大值，将其保留，如果不是，将其置零；

a4. 采用不同频率的阈值，获得多个图像，叠加拼接得到处理图片。

S2. 利用标注有肿瘤轮廓的近红外图像制作相邻周期的帧差图像，以间隔周期作为帧差图像类别名，送入卷积神经网络训练，获得所述红外时间流模型；

S3. 将所述待检红外图像送入步骤S1所得的所述红外空间流模型，获得标注有肿瘤轮廓的待检红外图像，与前一次红外图像比较获得帧差图像后，送入步骤S2所得的所述红外时间流模型，获得红外图像理论间隔周期；

S4. 比较红外图像理论间隔周期与待检红外图像实际间隔周期的差异，预测待检实体肿瘤的发展趋势。

（2）构建断层空间流模型和断层时间流模型；

T1. 在已有断层扫描图像中标注肿瘤轮廓、血管轮廓、器官轮廓，送入卷积神经网络，获得所述断层空间流模型；

T2. 获取待检实体肿瘤多个周期断层扫描图像的基准层，其他层由基准层标定，制作相邻周期的同层层差图像，以间隔周期作为层差图像标注类别，送入卷积神经网络训练，获得所述断层时间流模型；

T3. 将所述待检断层扫描图像送入步骤T1所得的所述断层空间流模型，识别获得各层图像中的肿瘤轮廓、血管轮廓、器官轮廓，与前一次断层扫描图像对应各层图像相减后获得同层层差图像，送入步骤T2所得的所述断层时间流模型，获得各层理论间隔周期，根据理论间隔周期占比计算得到断层扫描图像理论间隔周期；待检断层扫描图像理论间隔周期采用以下公式计算：

T=

式中，

T为待检断层扫描图像理论间隔周期；Ti为每个不同的间隔周期时间；

wi为各间隔周期时间下的层数；n为待检断层扫描图像的总层数。

其中，如图2所示，同层层差图像经由以下处理获得：

b1. 获取待检实体肿瘤多周期断层扫描三维重建图，标注目标血管轮廓，以拍摄角度作为类别名称，构建血管模板；具体地：

b11. 在断层扫描三维重建图中分割出目标血管的图像，并以拍摄角度作为血管模板的类别名称；

b12. 对步骤b11中分割得到的血管图像进行金字塔层级计算、边缘梯度计算和方向信息计算、记录；

b2. 标注待检断层扫描三维重建图的血管轮廓，在步骤b1所得的血管模板中进行比对，获得匹配的类别名称；具体地：

b21. 利用金字塔层级上下采样待检断层扫描三维重建图，计算待检断层扫描三维重建图的边缘与步骤b12处理的血管模板边缘的比例，利用边缘梯度修正待检断层扫描三维重建图；

边缘梯度计算采用横纵两个边缘算子，算子的公式为：

b22. 采用步骤b21修正后的待检断层扫描三维重建图在步骤b12的数据信息中进行比对，匹配得到最相似的血管模板。

b3. 将待检断层扫描三维重建图对应的各层待检断层扫描图像与步骤b2匹配到类别名称下的断层扫描三维重建图对应的各层断层扫描图像相减；

b4. 采用步骤b1处理待检断层扫描三维重建图，更新血管模板。

T4. 比较断层扫描图像理论间隔周期与待检断层扫描图像实际间隔周期的差异，预测待检实体肿瘤的发展趋势。

由步骤S4、T4获得了两组理论间隔周期，医师在对红外图像、断层扫描图像观察的基础上，可结合两组理论间隔周期数据情况，分析该实体肿瘤的发展趋势。

实施例2

如图3所示，本实施例较之实施例1的区别在于，还使用断层扫描图像进行以下操作：

T5. 将所述待检断层扫描图像送入步骤T1所得的所述断层空间流模型，识别获得各层图像中的肿瘤轮廓、血管轮廓、器官轮廓，提取具有肿瘤轮廓的层，以肿瘤作为标注类别名，依序堆叠计算得到所述待检肿瘤的体积；

T6. 比较待检断层扫描图像中待检肿瘤体积的变化，预测待检实体肿瘤的发展趋势；

利用步骤T5中提取的具有肿瘤轮廓的断层扫描图层，建立层数与肿瘤轮廓面积的映射关系；比较断层扫描图像层数与肿瘤轮廓面积的映射关系的变化，预测待检实体肿瘤的发展趋势。