基于卷积神经网络的乳腺X线图像增强方法

摘要

本发明提出一种基于卷积神经网络的乳腺X线图像增强方法，该发明通过将乳腺X线图像利用深度卷积神经网络低对比度乳腺图像与增强图像之间的深层次的特征映射关系，实现了无复杂操作、无参数调节的低对比度乳腺X线图像增强处理；通过使用多尺度级联方式，解决了在大尺度乳腺X线图像增强处理过程中对复杂网络的需求，同时多尺度级联方式拓宽了简单网络的视野，使小尺度图像下的宏观结构信息能够有效传递给大尺度图像，从而帮助实现保持大尺度增强图像的高分辨率特性。

说明书

技术领域

本发明涉及X线图像处理技术领域，特别是涉及一种基于卷积神经网络的乳腺X线图像增强方法。

背景技术

乳腺X线摄影作为常规乳腺检查的影像学手段，已被临床医生广泛应用于乳腺癌的筛查和诊断。但直接由探测器生成的图像量子噪声大，对比度低，无法直接用于乳腺癌的筛查与诊断。如何对原始乳腺X线图像进行增强，突出图像中的有用信息，有效改善乳腺图像的视觉效果，为医生提供更为可靠的诊断依据，已经成为医学图像处理领域研究的关键技术。

到目前为止，已有多种增强算法用于提高乳腺X线图像的图像质量，比如基于滤波的方法、基于直方图均衡化的方法、基于小波变换或者基于模糊集的方法。方法可以大致分为两种：空间域方法和变换域方法。

基于空间域处理的滤波或直方图均衡化方法由于缺乏对噪声与对比度的权衡处理能力，导致处理结果通常会引入各种伪影，如拖尾效应或褪色效应从而使得图像整体表现不好，并且由于乳腺图像的超低对比度，此类方法对乳腺图像的增强效果有限。

变换域处理法增强效果与所选用的频域变换法有很大关系，并且变换过程参数多，难以确定一组普适参数，导致对不同图像的增强效果良莠不齐，虽然可以通过调节参数最终改善图像质量，但是还是不能够满足临床中实时交互的要求。

因此，针对现有技术不足，提供一种基于卷积神经网络的乳腺X线图像增强方法以解决现有技术不足甚为必要。

发明内容

本发明的目的在于避免现有技术的不足之处而提供一种基于卷积神经网络的乳腺X线图像增强方法，该基于卷积神经网络的乳腺X线图像增强方法，本发明通过将乳腺X线图像利用深度卷积神经网络低对比度乳腺图像与增强图像之间的深层次的特征映射关系，实现了无复杂操作、无参数调节的低对比度乳腺X线图像增强处理；通过使用多尺度级联方式，解决了在大尺度乳腺X线图像增强处理过程中对复杂网络的需求，同时多尺度级联方式拓宽了简单网络的视野，使小尺度图像下的宏观结构信息能够有效传递给大尺度图像，从而帮助实现保持大尺度增强图像的高分辨率特性。

本发明的上述目的通过如下技术手段实现。

提供基于卷积神经网络的乳腺X线图像增强方法，图像增强方法包括以下步骤：

A1、构建训练数据库；

A2、进行单尺度乳腺图像增强卷积神经网络训练；

A3、将训练好的单尺度卷积神经网络模型对原始低对比乳腺X线图像进行增强处理；

A4、进行多尺度乳腺图像增强级联卷积神经网络训练；

A5、将训练好的多尺度卷积神经网络模型对原始低对比乳腺X线图像进行增强处理。

具体而言的，步骤A1中构建训练数据库的方法如下：

A11、获取乳腺X线图像数据，包括低对比原始图像数据I_lc和增强图像数据I_hc；

A12、对步骤A11中获取的原始图像数据I_lc和I_hc进行标准化处理，得到和

A13、通过步骤A12中处理后得到的和进行训练数据库DataBase的构建。

优选的，其特征在于：标准化的具体操作根据以下公式进行：

公式(1)中：为I_lc的均值，M_preset是预先设定的均值；

公式(2)中：为I′_lc的标准差值，为I_lc标准化处理后得到的值。

具体而言的，步骤A2的具体操作步骤如下：

A21、在训练数据库DataBase中取出和训练数据；

A22、构建单尺度乳腺图像增强卷积神经网络模型EhNet及其对应的训练模型；

A23、将和作为输入数据放入卷积神经网络模型EhNet中的训练模型。

进一步的，步骤A3的具体操作步骤如下：

A31、获取原始低对比乳腺X线图像I_{lc_test}；

A32、将步骤A31中的原始低对比乳腺X线图像I_{lc_test}进行标准化操作，得到

A33、将步骤A32中的得到的作为输入数据，在训练好的卷积神经网络模型EhNet中进行处理，得到的输出数据为

A34、对步骤A33中的输出数据进行反标准化处理，得到增强图像I_{hc_test}。

进一步的，所述反标准化处理为标准化处理的逆处理。

优选的，步骤A4的具体操作步骤如下：

A41、对和进行K次降采样操作，获得降采样数据和并将和加入训练数据库DataBase,令为

A42、构建多尺度乳腺图像增强级联卷积神经网络模型CaEhNet及其对应的训练模型，多尺度乳腺图像增强级联卷积神经网络模型CaEhNet包含K+1个单尺度卷积神经网络模型EhNet₀,EhNet₁,…,EhNet_K；

A43、令k＝K，并从训练数据库DataBase中取出降采样数据并输入到EhNet_k的训练模型中训练；

A44、将训练数据库DataBase中第k次降采样数据作为输入放进训练好的卷积神经网络模型EhNet_k中得到输出

A45、将步骤A44中的进行升采样操作得到并加入训练数据库DataBase；

A46、k若等于0，则停止多尺度级联网络训练；若不等于0，则令k减1；此时，若k不等于K，则从训练数据库DataBase中取出数据并返回步骤A43进行下一尺度的卷积神经网络EhNet_k-1模型训练。

进一步的，所述降采样操作根据以下公式进行操作：

公式(3)中为矩阵M×N的维度。

优选的，所述升采样操作为双线性插值或三次B样条差值。

优选的，步骤A5的具体操作步骤如下：

A51、将步骤A32中的进行K次降采样操作的到降采样数据

A52、将A51中的输入至训练好的多尺度乳腺图像增强级联卷积神经网络模型CaEhNet中，得到输出数据

A53、对A52中的进行反标准化处理，得到增强图像I_{hc_test}。

本发明通过将乳腺X线图像利用深度卷积神经网络低对比度乳腺图像与增强图像之间的深层次的特征映射关系，实现了无复杂操作、无参数调节的低对比度乳腺X线图像增强处理；通过使用多尺度级联方式，解决了在大尺度乳腺X线图像增强处理过程中对复杂网络的需求，同时多尺度级联方式拓宽了简单网络的视野，使小尺度图像下的宏观结构信息能够有效传递给大尺度图像，从而帮助实现保持大尺度增强图像的高分辨率特性。

附图说明

利用附图对本发明作进一步的说明，但附图中的内容不构成对本发明的任何限制。

图1是本发明基于卷积神经网络的乳腺X线图像增强方法的系统框图。

图2是图1中单尺度乳腺图像增强卷积神经网络训练的系统流程图。

图3是图2的单尺度乳腺图像增强卷积神经网络构架示意图。

图4是图1中多尺度乳腺图像增强卷积神经网络训练的系统流程图。

图5是图4中多尺度乳腺图像增强卷积神经网络训练的级联网络的示意图。

图6是图5中级联网络的基本单元示意图。

图7是根据本发明图像处理的方法显示的部分特征示意图。

图8为实施例2中输入原始低对比度乳腺X线图像进行增强处理时的输入图像和最终增强处理输出的图像对比图。

具体实施方式

结合以下实施例对本发明作进一步描述。

实施例1。

如图1-6所示，基于卷积神经网络的乳腺X线图像增强方法，图像增强方法包括以下步骤：

A1、构建训练数据库。

A2、进行单尺度乳腺图像增强卷积神经网络训练。

A3、将训练好的单尺度卷积神经网络模型对原始低对比乳腺X线图像进行增强处理。

A4、进行多尺度乳腺图像增强级联卷积神经网络训练。

A5、将训练好的多尺度卷积神经网络模型对原始低对比乳腺X线图像进行增强处理。

步骤A1中构建训练数据库的方法如下：

A11、获取乳腺X线图像数据，包括低对比原始图像数据I_lc和增强图像数据I_hc。

A12、对步骤A11中获取的原始图像数据I_lc和I_hc进行标准化处理，得到和

A13、通过步骤A12中处理后得到的和进行训练数据库DataBase的构建。

标准化的具体操作根据以下公式进行：

公式(1)中：为I_lc的均值，M_preset是预先设定的均值。

公式(2)中：为I′_lc的标准差值，为I_lc标准化处理后得到的值。所述反标准化处理为标准化处理的逆处理。

步骤A2的具体操作步骤如下：

A21、在训练数据库DataBase中取出和训练数据。

A22、构建单尺度乳腺图像增强卷积神经网络模型EhNet及其对应的训练模型。

A23、将和作为输入数据放入卷积神经网络模型EhNet中的训练模型。

步骤A3的具体操作步骤如下：

A31、获取原始低对比乳腺X线图像I_{lc_test}。

A32、将步骤A31中的原始低对比乳腺X线图像I_{lc_test}进行标准化操作，得到

A33、将步骤A32中的得到的作为输入数据，在训练好的卷积神经网络模型EhNet中进行处理，得到的输出数据为

A34、对步骤A33中的输出数据进行反标准化处理，得到增强图像I_{hc_test}。

步骤A4的具体操作步骤如下：

A41、对和进行K次降采样操作，获得降采样数据和并将和加入训练数据库DataBase,令为

A42、构建多尺度乳腺图像增强级联卷积神经网络模型CaEhNet及其对应的训练模型，多尺度乳腺图像增强级联卷积神经网络模型CaEhNet包含K+1个单尺度卷积神经网络模型EhNet₀,EhNet₁,…,EhNet_K。

A43、令k＝K，并从训练数据库DataBase中取出降采样数据并输入到EhNet_k的训练模型中训练。

A44、将训练数据库DataBase中第k次降采样数据作为输入放进训练好的卷积神经网络模型EhNet_k中得到输出

A45、将步骤A44中的进行升采样操作得到并加入训练数据库DataBase。

A46、k若等于0，则停止多尺度级联网络训练；若不等于0，则令k减1；此时，若k不等于K，则从训练数据库DataBase中取出数据并返回步骤A43进行下一尺度的卷积神经网络EhNet_k-1模型训练。

所述降采样操作根据以下公式进行操作：

公式(3)中为矩阵M×N的维度。

所述升采样操作为双线性插值或三次B样条差值。

步骤A5的具体操作步骤如下：

A51、将步骤A32中的进行K次降采样操作的到降采样数据

A52、将A51中的输入至训练好的多尺度乳腺图像增强级联卷积神经网络模型CaEhNet中，得到输出数据

A53、对A52中的进行反标准化处理，得到增强图像I_{hc_test}。

使用深度卷积神经网络进行乳腺X线图像的增强处理，可以增强图形图像的整体表现性，解决了乳腺图像的超低对比度图像的增强时所受到的限制。并结合多尺度级联方式进行乳腺X线图像的增强处理，能够使乳腺图片在频繁的进行更换和处理过程中，保证不同图像增强效果的稳定，以满足临床中的实时交互的需求。

实施例2。

一种基于卷积神经网络的乳腺X线图像增强方法，其它特征与实施例1相同，不同之处在于：如图7和8所示；

A1、构建训练数据库。

S11、获取乳腺X线摄影装置的原始低对比度图像I_lc以及所对应的增强图像I_hc，获取的数据包括30个病人的左右乳腺CC位图像和MLO位图像共240＝30×4×2张图像，其中原始低对比度图像120张；增强图像120张；低对比度图像与对应的增强图像空间位置与结构信息一致；图像像素尺寸为0.0652mm，图像大小为3328×2560。

S12、对步骤S11中获取的原始低对比度图像I_lc以及所对应的增强图像I_hc进行标准化，得到标准化后的图像和

S13、标准化处理后的数据构成训练数据库DataBase。

A2、进行单尺度乳腺图像增强卷积神经网络训练；

S21、从步骤S13中的训练数据库DataBase中取出训练数据。

S22构建单尺度乳腺图像增强卷积神经网络模型EhNet及其对应的训练模型。EhNet卷积神经网络模型输入为原始低对比度图像、输出为增强图像；包含20个卷积层，第1层卷积层卷积核大小为7×7、卷积核数目为64，非线性激活函数为ReLU函数，且不含批归一化(batch normalization)操作；第2层到第19层卷积层卷积核大小为3×3×64、卷积核数目为64，非线性激活函数为ReLU函数，含有批归一化(batch normalization)操作；最后一层卷积层卷积核大小为3×3×64、卷积核数目为1，不含非线性激活函数和批归一化(batchnormalization)操作；训练模型的目标函数可为预测的增强图像与参考增强图像之间的均方误差。卷积神经网络的训练采用随机梯度下降算法最小化目标函数完成。

S23、将作为输入放进卷积神经网络模型EhNet中的训练模型进行训练。

A3、将训练好的单尺度卷积神经网络模型对原始低对比乳腺X线图像进行增强处理。

S31、获取原始低对比度乳腺X线图像I_{lc_test}；I_{lc_test}不存在于训练数据库DataBase中；但是DataBase中的数据格式一致。

S32、对步骤S31中原始低对比度乳腺X线图像I_{lc_test}进行标准化操作得到

S33、将步骤S32中的作为输入放进训练好的卷积神经网络模型EhNet中得到输出

S34、对步骤S33中的进行反标准化操作得到最终增强图像I_{hc_test}。

A4、进行多尺度乳腺图像增强级联卷积神经网络训练。

S41、对进行3次降采样操作得到降采样数据并加入训练数据库DataBase，并改记为

S42、构建多尺度乳腺图像增强级联卷积神经网络模型CaEhNet及其对应的训练模型，其中CaEhNet包含4个单尺度卷积神经网络模型EhNet₀,EhNet₁,EhNet₂,EhNet₃；EhNet₃卷积神经网络模型输入为原始低对比度图像、输出为增强图像；包含20个卷积层，第1层卷积层卷积核大小为7×7、卷积核数目为64，非线性激活函数为ReLU函数，且不含批归一化操作；第2层到第19层卷积层卷积核大小为3×3×64、卷积核数目为64，非线性激活函数为ReLU函数，含有批归一化操作；最后一层卷积层卷积核大小为3×3×64、卷积核数目为1，不含非线性激活函数和批归一化操作；EhNet₀,EhNet₁,EhNet₂卷积神经网络模型输入为原始低对比度图像和前级尺度升采样后的增强图像、输出为增强图像；包含20个卷积层，第1层卷积层卷积核大小为7×7×2、卷积核数目为64，非线性激活函数为ReLU函数，且不含批归一化操作；第2层到第19层卷积层卷积核大小为3×3×64、卷积核数目为64，非线性激活函数为ReLU函数，含有批归一化操作；最后一层卷积层卷积核大小为3×3×64、卷积核数目为1，不含非线性激活函数和批归一化操作；训练模型的目标函数可为预测的增强图像与参考增强图像之间的均方误差。卷积神经网络的训练采用随机梯度下降算法最小化目标函数完成。

S43、从训练数据库DataBase中取出降采样数据并输入到EhNet₃的训练模型中训练。

S44、将训练数据库DataBase中第3次降采样数据作为输入放进训练好的卷积神经网络模型EhNet₃中得到输出

S45、将步骤S44中的进行升采样操作得到并加入训练数据库DataBase；对预测输出图像的升采样因子取值2。

S46、从训练数据库DataBase中取出降采样数据和并输入到下一尺度的卷积神经网络EhNet₂模型中进行训练。

S47、将训练数据库DataBase中第2次降采样数据作为输入放进训练好的卷积神经网络模型EhNet₂中得到输出

S48、将步骤S47中的进行升采样操作得到并加入训练数据库DataBase；对预测输出图像的升采样因子取值2。

S49、从训练数据库DataBase中取出降采样数据和并输入到下一尺度的卷积神经网络EhNet₁模型中进行训练

S410、将训练数据库DataBase中第1次降采样数据作为输入放进训练好的卷积神经网络模型EhNet₁中得到输出

S411、将步骤S410中的进行升采样操作得到并加入训练数据库DataBase；对预测输出图像的升采样因子取值2。

S412、从训练数据库DataBase中取出降采样数据和并输入到下一尺度的卷积神经网络EhNet₀模型中进行训练。

S413、训练完成。

A5、将训练好的多尺度卷积神经网络模型对原始低对比乳腺X线图像进行增强处理。

S51、对步骤S32中的进行3次降采样操作得到降采样数据

S52、将步骤S47中的数据输入到训练好的多尺度乳腺图像增强级联卷积神经网络模型CaEhNet中得到输出

S53、对步骤S48中的进行反标准化操作得到最终增强图像I_{hc_test}。

本发明通过大量乳腺X线图像利用深度卷积神经网络技术学习了低对比度乳腺图像与增强图像之间的深层次的特征映射关系，实现了无复杂操作，无参数调节的低对比度乳腺X线图像增强处理。通过多尺度级联方式解决了在大尺度乳腺X线图像增强处理过程中对复杂网络的需求；同时多尺度级联方式拓宽了简单网络的视野，使小尺度图像下的宏观结构信息能够有效传递给大尺度图像，从而帮助实现保持大尺度增强图像的高分辨率特性。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。