一种多切面三维重建及特征识别方法

摘要

本发明公开了多切面三维重建方法，包括步骤：接收超声心动图；根据训练周期对超声心动图输入神经网络进行训练；当训练周期为1时，使用所述分类网络将输入的超声心动图匹配相应的初始3D模型；当训练周期模3余1时，输出三维模型重建所需的深度和反射率，使用重建模型和输入图像的第一三维重建损失优化更新神经网络A；当训练周期模3余2时，根据第二三维重建损失优化更新解码网络；当训练周期模3为0，输出视角、反射率和深度，根据第二三维重建损失优化更新神经网络；训练周期结束，输出三维模型。本发明能构建准确的三维模型，并将二维图像中检测出的目标框标注到三维模型图像中。

说明书

技术领域

本发明属于计算机医学成像技术领域，尤其涉及一种多切面三维重建及特征识别方法。

背景技术

根据传感器采集的目标进行三维重建可应用于不同场景，当前通过医学图像进行三维重建以辅助医疗诊断已广泛研究和使用。传统的医学影像三维重建如移动立方体算法(Marching Cube，MC)容易产生二义性，在三维模型中产生“空洞”效果，导致三维模型边界集合特征丢失。研究者目前将重点转移至使用深度学习算法如RealPoint3D、3D-R2N2网络对RGB图像内目标进行三维重建，但该类网络需要大量的三维点云数据及其标注。医学图像样本较少，且多为2D的单眼摄像头RGB图像或灰度图，无法产生如激光雷达(LiDAR)或双目摄像头提供的目标有效深度信息，难以构建准确的三维模型。

发明内容

为解决医学图像样本少且标注困难的问题，本发明基于2D图像生成对抗网络(2DGAN)，通过无监督学习对2D多切面超声心动图进行三维重建。

本发明第一方面公开的多切面三维重建方法，所述方法使用神经网络进行学习，所述神经网络包括分类网络、渲染网络和GAN转换网络，所述分类网络将输入的原始超声心动图与初始3D模型匹配，所述渲染网络生成不同视角和光照条件的伪样本模型，所述GAN转换网络包括神经网络D、神经网络A、V-GA神经网络、L-GA神经网络、E-GA神经网络和G神经网络，将所述伪样本模型转换为映射样本模型；所述方法包括以下步骤：

接收不同切面的原始RGB超声心动图；

根据训练周期对超声心动图输入神经网络进行训练；

在训练过程中，当训练周期N为1时，使用所述分类网络将输入的超声心动图匹配相应的初始3D模型；

当训练周期N％3＝1时，使用神经网络D和神经网络A输出三维模型重建所需的深度和反射率，使用神经网络A将所述深度、反射率及渲染生成的重建模型

当训练周期N％3＝2时，使用V-GA神经网络和L-GA神经网络，根据第二三维重建损失优化更新E-GA神经网络；

当训练周期N％3＝0且N>0时，使用V-GA神经网络输出视角，使用L-GA神经网络输出光照，使用神经网络A输出反射率，使用神经网络D输出深度，根据第二三维重建损失优化更新V-GA神经网络、L-GA神经网络、神经网络A和神经网络D；

训练周期结束，输出三维模型。

进一步地，所述分类网络为预训练的轻量级ResNet-8的CNN网络，获得原始RGB超声心动图的某一个切面，然后将与该切面匹配的3D模型作为初始3D模型，所述分类网络使用ON/OFF接口，ON表示使用分类网络进行分类决策，OFF表示不使用分类网络进行分类决策。

进一步地，所述V-GA神经网络和L-GA神经网络为基于遗传算法的编码CNN网络，输入图像I通过此两个神经网络分别输出三维模型重建所需的视角和光照；所述V-GA和L-GA神经网络上部的u接口表示该神经网络更新，r接口表示该神经网络保持不变。

进一步地，所述神经网络D和神经网络A为基于遗传算法的编码-解码CNN网络，输入图像I通过此两个网络分别输出三维模型重建所需的深度和反射率；所述神经网络D和神经网络A上部的u接口表示该神经网络更新，r接口表示该神经网络保持不变。

进一步地，所述E-GA神经网络、G神经网络为GAN转换网络的编码-解码CNN网络，将输入的所有伪样本模型Ii输出生成对应的映射样本模型

进一步地，渲染方程如下：

根据公式J＝Λ(d,a,l)产生具有反照率a，深度图d和光方向l的照明纹理J；

根据所述照明纹理J，重新投影函数会将其映射到新的视角v，

进一步地，所述第一三维重建损失采用感知损失，损失函数如下：

其中，C

所述第二三维重建损失采用平滑深度估计，损失函数如下：

其中，

进一步地，在对V-GA神经网络、L-GA神经网络进行更新时，使用遗传算法更新网络参数和超参数；所述V-GA神经网络和L-GA神经网络分别包括七层卷积层，更新时，所述V-GA神经网络和L-GA神经网络的前三层卷积层超参数保持不变，后四层卷积层通过修改超参数修改所述V-GA神经网络和L-GA神经网络；将所述V-GA神经网络和L-GA神经网络分别训练10轮，找出最优的网络结构组合；所述E-GA神经网络包括一层卷积层、四层ResBlock层和两层卷积层，在对E-GA神经网络进行更新时，对E-GA神经网络的后两层卷积层使用所述遗传算法，修改E-GA神经网络中的超参数。

进一步地，所述遗传算法使用的遗传体结构包括激活函数、卷积核数量、尺寸、不长和池化尺寸，所述激活函数包括sigmoid、relu、tanh和elu，所述遗传算法步骤如下：

S10：初始化150个染色体为一个族群；

S20：族群中每个染色体组成的CNN网络求推理的均方误差；

S30：每个族群的前20％优秀染色体被保留至下一代；

S40：根据轮盘赌决策选择两个染色体，进行交叉变异，直至完成剩余80％的染色体；

S50：从步骤S20中循环30次。

本发明的第二方面公开的多切面特征识别方法，包括以下步骤：

收集大量不同切面的超声心动图，将其按照切面类型分类并添加标签，作为切面分类训练数据集；

输入超声心动图，对不同切面的心脏腔室根据切面分类训练数据集使用YOLO v3算法进行目标检测，检测目标为腔室和瓣膜，在输入图像中标注目标的检测框坐标和标签；

将输入的超声心动图进行三维重建，得到超声心动图的三维模型；

将输入图像中标注的检测框坐标和标签在所述超声心动图的三维模型的对应位置显示。

本发明能构建准确的三维模型，并将二维图像中检测出的目标框标注到三维模型图像中。

附图说明

图1本发明心动图特征识别方法流程图；

图2本发明使用的神经网络结构图；

图3本发明的遗传算法染色体结构；

图4本发明的ResBlock结构图；

图5切面分类数据集样本图像；

图6不同切面标准预测框及标签；

图7医学影像图片特征识别辅助诊断系统结构图。

具体实施方式

下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。

如图1所示的神经网络结构图，输入图像为不同切面的原始RGB超声心动图，初始3D模型为已标注分类的10个不同切面的3D模型，切面类型包括心尖两腔心切面(APICAL2)、心尖三腔心切面(APICAL3)、心尖四腔心切面(APICAL4)、心尖五腔心切面(APICAL5)、左室长轴切面(PLAX)、左室长轴右室流入道切面(PLAX-RVIF)、右室流出道切面(PLAX-RVOT)、左室短轴切面(PSAX)、主动脉瓣短轴切面(PSAX-AoV)和剑下四腔心切面(SUBCOSTAL)。图1的输入图像和初始3D模型以APICAL4为例。分类网络C采用预训练的轻量级ResNet-8将输入的原始超声心动图与3D模型匹配，在通过渲染网络生成不同视角和光照条件的伪样本模型。神经网络获得生成的伪样本模型通过旋转平移等操作输出映射样本模型，并以此样本模型作为渲染过程的真值微调初始的3D模型生成微调3D模型，并返回至初始3D模型位置进行重复训练，直至获得较高准确率。

本发明提出的多切面三维重建方法，方法包括以下步骤：

收集大量不同切面的超声心动图，将其按照切面类型分类并添加标签，作为切面分类训练数据集；

输入超声心动图，对不同切面的心脏腔室根据切面分类训练数据集使用YOLO v3算法进行目标检测，检测目标为腔室和瓣膜，在输入图像中标注目标的检测框坐标和标签；

将输入的超声心动图进行三维重建，得到超声心动图的三维模型；

将输入图像中标注的检测框坐标和标签在所述超声心动图的三维模型的对应位置显示。

接收不同切面的原始RGB超声心动图；

根据训练周期对超声心动图输入神经网络进行训练；

其中，当训练周期N为1时，使用所述分类网络将输入的超声心动图匹配相应的初始3D模型；

当训练周期N％3＝1时，使用神经网络D和神经网络A输出三维模型重建所需的深度和反射率，使用神经网络A将所述深度、反射率及渲染生成的重建模型

当训练周期N％3＝2时，使用V-GA神经网络和L-GA神经网络，根据第二三维重建损失优化更新神经网络E-GA；

当训练周期N％3＝0且N>0时，使用V-GA神经网络输出视角，使用L-GA神经网络输出光照，使用神经网络A输出反射率，使用神经网络D输出深度，根据第二三维重建损失优化更新V-GA神经网络、L-GA神经网络、神经网络A和神经网络D；

训练周期结束，输出三维模型。

实施例1

神经网络及整体结构图通过3D模型输入实现图像的三维重建。其具体结构和方法如图2所示。

C分类网络表示基于轻量级ResNet-8的CNN网络，输入原始RGB图像I并获得该图像属于上述10个切面的某一个切面，然后将与该切面匹配的3D模型作为初始3D模型。C分类网络前的ON/OFF表示是否应用C分类进行分类决策。

V-GA和L-GA神经网络分别表示基于遗传算法的编码CNN网络，输入图像I通过此两个网络分别输出三维模型重建所需的视角(view)和光照(light)。V-GA和L-GA神经网络上部的u、r接口分别表示该神经网络更新(update)或保持不变(remain)。

D和A神经网络分别表示基于遗传算法的编码-解码CNN网络，输入图像I通过此两个网络分别输出三维模型重建所需的深度(depth)和反射率(albedo)。D和A神经网络上部的u、r接口分别表示该神经网络更新(update)或保持不变(remain)。

E-GA、G神经网络表示GAN转换网络的编码-解码CNN网络，通过输入的所有伪样本模型Ii输出生成对应的映射样本模型

渲染网络从深度、反射率、视角和光照角度进行三维建模,分别生成伪样本模型Ii和重建模型

神经网络流程如下：

1.训练周期为N。只当N＝1时，C模块接口为ON，即分类网络ResNet-8匹配相应的初始3D模型。

2.当N％3＝1时，A-GA神经网络接口为u，即A根据D神经网络和A神经网络的输出及其渲染生成的重建模型

第一三维重建损失采用perception loss，损失函数如公式(2)。

3.当N％3＝2时，V-GA和L-GA神经网络接口均为r，即保持当前神经网络的参数，根据第二三维重建损失优化更新GAN转换网络的E解码网络。

第二三维重建损失采用平滑深度估计，损失函数如公式(3)。

4.当N％3＝0且N>0时，V-GA神经网络、L-GA神经网络、神经网络D和神经网络A接口均为u，V-GA神经网络和L-GA神经网络输出的视角和光照与神经网络A和D输出的反射率和深度，根据第二三维重建损失优化更新该4个模块。

遗传(GA)算法：

遗传算法包含染色体结构重构，交叉和变异。卷积层染色体如图3所示。

交叉算法：

1.选择染色体α和β，染色体长度为n，随机初始概率值p(0,1)；

2.若p<0.8，则设j∈[0,n]的随机整数，α’＝α[0,…,j]+β[j,…,n-1]，β’＝β[0,…,j]+α[j,…,n-1]。

3.否则，α’＝α，β’＝β。

变异算法：

1.选择染色体γ,随机初始概率值p；

2.若p<＝0.1,则设j∈[0,n]的随机整数。l

3.否则，γ’＝γ。

GA步骤：

1.初始化150个染色体为一个族群。

2.族群中每个染色体组成的CNN网络求推理的均方误差(MSE)。

3.每个族群的前20％优秀染色体被保留至下一代。

4.根据轮盘赌决策选择两个染色体，进行交叉变异，直至完成剩余80％的染色体。

5.从步骤2中循环30次。

神经网络结构具体含义如下：

Conv(cin，cout，k，s，p)：卷积cin，cout分别表示输出和输出特征图通道数，k表示卷积核尺寸，s表示步长，p表示padding。

Deconv(cin，cout，k，s，p)：反卷积cin，cout分别表示输出和输出特征图通道数，k表示卷积核尺寸，s表示步长，p表示padding。

GN(n)：n个族群正则化。

LreLU：Leaky ReLU。

Upsample(s)：最近领域上采样尺寸为s。

Max_Pool(k，s)：最大值池化，k表示池化尺寸，s表示步长。

ResBlock(cin，cout)：ResNet Block模块。

初始化的V-GA神经网络和L-GA神经网络如表1所示。

表1 V-GA神经网络和L-GA神经网络结构图

V-GA神经网络和L-GA神经网络都如表1所示。V-GA神经网络和L-GA神经网络的cout分别为6和4。更新阶段，使用遗传算法GA更新网络参数和超参数。前三层超参数保持不变，后四层卷积层通过修改超参数修改V-GA神经网络和L-GA神经网络的结构。每个神经网络分别训练10轮，总体约有50-60个网络结构。经过10轮优化更新，找到最优的网络结构组合，即后四层卷积层的超参数组合，与前三层卷积层共同构成V-GA和L-GA神经网络。冻结前10轮优化更新中已优化参数的前三层卷积层，训练后四层卷积层的参数，直至下一轮解冻优化更新V-GA神经网络和L-GA神经网络中的所有参数。本实施例中使用的遗传算法可获得更高的准确率和最小的参数存储体积。

D神经网络和A神经网络的编码-解码网络结构如表2所示。D和A神经网络的cout分别为1和128。

表2神经网络D结构图

表3神经网络A结构图

GAN网络中E-GA神经网络的初始网络结构如表4所示。

表4 E-GA神经网络结构图

E-GA神经网络包括一层卷积层、四层ResBlock层和两层卷积层。E-GA神经网络的后两层卷积层采用V-GA和L-GA神经网络中的GA算法，修改E-GA神经网络中最适合的超参数，获得最小参数存储体积的网络结构。

ResNet-8网络结构如表5所示，其ResBlock模块如图4所示，包括BN、ReLU、weights、BN、ReLU和weight。图4中weights均为3×3卷积核，输入与输出保持不变。虚线为1×1卷积核。

表5 ResNet-8网络结构图

本实施例是基于神经网络算法的多切面超声心动图分类和目标检测，以实现高效准确检测心脏疾病如肥厚型心肌病、心脏淀粉样变性和肺动脉高压，减少主治医师对临床经验的依赖。本方法收集大量不同切面的超声心动图，将其按照心尖两腔心切面(APICAL2)、心尖三腔心切面(APICAL3)、心尖四腔心切面(APICAL4)、心尖五腔心切面(APICAL5)、左室长轴切面(PLAX)、左室长轴右室流入道切面(PLAX-RVIF)、右室流出道切面(PLAX-RVOT)、左室短轴切面(PSAX)、主动脉瓣短轴切面(PSAX-AoV)和剑下四腔心切面(SUBCOSTAL)分类。如图5所示，将所有图片根据切面类型添加标签，作为切面分类训练数据集。

多切面超声心动图包含不同瓣膜和腔室，如心尖两腔心切面包含二尖瓣，心尖三腔心切面包含二尖瓣和主动脉瓣，心尖四腔心切面包含三尖瓣和二尖瓣，心尖五腔心切面包含左心室流出道，左室长轴切面包含二尖瓣和主动脉瓣，左室长轴右室流入道切面包含三尖瓣，因此根据不同切面目标检测瓣膜和腔室是否正常。如图6所示，使用数据集标签软件给不同切面类型的超声心动图手动添加目标检测框和标签，用于构建目标检测算法的训练数据集。

实施例2

不同切面的目标检测算法采用成熟的YOLO v3算法。根据图1的输入图像I，对不同切面的心脏腔室进行目标检测，检测结果在原始输入图像I的检测框anchor坐标及标签。该原始输入图像I和三维重建模型具有相同的2D映射尺寸，因此将anchor坐标和标签在三维重建模型的2D映射图像的相应位置显示，实现实时三维重建和目标检测。

实施例3

图7是一个医学影像图片特征识别辅助诊断的系统框架。系统包括数据库系统、诊断分析系统、信息反馈系统。

数据库系统是整个系统的基础包含特征索引表、特征库、经验图像数库。特征索引表中，存储了各种病理特征的关键字。医学成影仪器上拍摄的图片(如CT机等)输入诊断分析系统，系统对影像中的器官进行分析扫描后，查询特征索引表，确定器官的类型和形状，并依赖特征库，使用实施例1中的特征识别方法对图像的特征进行提取分析，比对过以前的医学影像资料后，大致得出诊断结果。信息反馈系统具备干预诊断结果和增加数据库经验资料的功能。诊断系统得到最后的结果需要医师进行校正，正确的结果作为以后诊断的资料。

本发明能构建准确的三维模型，并将二维图像中检测出的目标框标注到三维模型图像中。

上述实施例为本发明的一种实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何背离本发明的精神实质与原理下所做的改变、修饰、代替、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。