基于多尺度融合方法的双着丝粒畸变染色体分析预测方法

摘要

本发明涉及染色体分析技术，公开了一种基于多尺度融合方法的双着丝粒畸变染色体分析预测方法，将训练好的神经网络模型通过CSPN提取输入的待分析染色体图像的深层特征；进行Drop Block操作和空间金字塔池化操作进行提炼关键特征；采用特征金字塔网络与路径聚合网络相结合的特征融合策略，分别在三个尺度上输出三个特征张量；后经过Drop Block操作后输出三个预测张量；采用DIOU NMS算法来筛选所预测的边界框；分析出双着丝粒畸变染色体。本发明训练好的神经网络模型能够快速对畸变染色体图像上的畸变染色体进行标记和统计数量，检测准确率更高，鲁棒性更强，辅助医生完成生物剂量估算。

说明书

技术领域

本发明涉及生物剂量估算，尤其涉及一种基于多尺度融合方法的双着丝粒畸变染色体分析预测方法。

背景技术

染色体畸变分析用作生物剂量估算已有50多年的历史，其可靠性已通过大量数据得到确认，在事故剂量估算中被认为是一种最可信赖的辐射生物计量方法。

目前，放射工作人员职业健康检查时主要分析计数双着丝粒染色体(dicentricchromosome)、着丝粒环和无着丝粒染色体等。辐射事故生物剂量估算时只计数双着丝粒染色体或双着丝粒染色体加着丝粒环个数，无着丝粒染色体作为辅助指标，因此双着丝粒畸变染色体的检测与计数对生物剂量估算有着重要的意义。

而传统的畸变染色体分析都是通过人工进行观察并找出待分析染色体图像中存在的畸变染色体，再对其进行计数，这需要医生耗费大量的精力来完成，且随着工作时间的增加，医生的工作效率和准确率还会明显下降。目前，很多单位使用染色体自动扫描成像系统来检测畸变染色体，这对医生阅片的要求更高。近年来随着人工智能的发展和数字图像技术的进步，采用计算机来自动分析畸变染色体能够极大的提升检测速度，并且达到更高的分析准确率。

目前常见的畸变染色体自动分析系统通常采用两步式检测方案，首先通过数字图像处理技术分割出待处理的可能存在畸变染色体的区域，然后再通过支持向量机或者分类卷积神经网络来对染色体进行分类，最终确定染色体图像中是否存在发生畸变的染色体。该方法通过计算机在一定程度上能够提升对畸变染色体的分析速度，但是该方法系统对待分析染色体图像质量极其敏感，对于杂质较多、染色体重叠或染色体较密集的图像，其检测准确率较低，且系统鲁棒性差。

发明内容

本发明针对现有技术的检测方法检测准确性差、鲁棒性差的缺点，提供了一种基于多尺度融合方法的双着丝粒畸变染色体分析预测方法，够准确快速的对输入的待分析染色体图像进行自动分析预测，将待分析染色体图像中存在的双着丝粒畸变染色体进行标记，并统计待分析染色体图像中双着丝粒畸变染色体的数量，辅助医生完成生物剂量估算。

为了解决上述技术问题，本发明通过下述技术方案得以解决：

基于多尺度融合方法的双着丝粒畸变染色体分析预测方法，包括如下步骤，

S1：训练好的神经网络模型读取待分析染色体图像并通过主干神经网络CSPN提取输入的待分析染色体图像的深层特征；

S2：深层特征先后经过Drop Block操作和空间金字塔池化操作进行提炼关键特征；

S3：将进行空间金字塔池化操作之后的待分析染色体图像采用特征金字塔网络自顶向下的将高层的特征信息通过上采样的方式进行传递融合，然后在特征金字塔网络的输出端添加一个自底向上的路径聚合网络来对双着丝粒畸变染色体的位置特征进行补充，将低层的强定位特征向上传递融合后，分别在三个尺度上输出三个特征张量；

S4：将神经网络模型提取的三个特征张量经过Drop Block操作后输出三个预测张量；

S5：将三个预测张量中回归预测的双着丝粒畸变染色体边界框进行合并，采用DIOU NMS算法来筛选所预测的边界框；

S6：最终统计神经网络模型预测出的双着丝粒畸变染色体的个数以及边界框信息，在输入的待分析染色体图像上对识别出的双着丝粒畸变染色体进行标记，并将标记过后的图像进行输出。

进一步地，神经网络模型训练步骤如下，

S01：人工对多张样本图像中的双着丝粒畸变染色体进行标注，生成标签文件，该标签文件主要存储样本图像中双着丝粒畸变染色体边界框的中心坐标和宽高信息，以此作为双着丝粒畸变染色体自动分析的神经网络模型的训练样本；

S02：将样本图像的原图与标签文件组合制作成训练集，用于神经网络模型的训练；

S03：训练样本经过设计好的神经网络模型输出三个特征张量，采用损失函数Loss计算出输出的特征张量与样本图像的标签文件之间的损失值，并将损失值反向传递给神经网络模型的各个节点，更新神经网络模型中的权重参数；经过多次迭代训练后获得能够对双着丝粒畸变染色体边界框进行准确回归预测的神经网络模型。

进一步地，步骤S1中，事先将待分析染色体图像划分成S×S个网格单元，每个网格单元负责预测该位置存在双着丝粒畸变染色体的概率。

进一步地，步骤S4中，三个预测张量的尺寸(宽×高×深度)分别为19×19×15、38×38×15和76×76×15，其中预测张量的宽高分别表示神经网络模型进行边界框回归预测的宽高尺寸，深度15表示该预测张量在每个网格单元上根据锚框尺寸预测3个边界框，每个边界框预测一个置信值c、边界框的宽、边界框的高以及中心坐标值(x，y)，因此每个预测张量会在每个网格单元上输出15个预测值。

进一步地，步骤S5中，DIOU NMS算法为首先将所有回归预测的边界框根据其置信值c进行排序，标记置信值c最大的边界框，然后计算所有预测所获得的边界框与该置信值c最大的边界框的DIOU值；删除DIOU值超过阈值范围的边界框，然后继续根据置信值c对边界框进行排序并重复上述步骤，最终将所有标记的边界框作为神经网络模型所输出的双着丝粒畸变染色体目标的边界框。

进一步地，

进一步地，步骤S03中，用于训练神经网络模型的损失函数Loss主要包括用来判断是否存在双着色粒畸变染色体的置信度损失Loss

进一步地，置信度损失函数

进一步地，边界框回归损失函数

进一步地，影响因子

本发明由于采用了以上技术方案，具有显著的技术效果：

1.本发明检测方法能够不依赖人工分析，采用深度学习的方法搭建神经网络模型，通过大量双着丝粒畸变染色体样本图像来完成双着丝粒畸变染色体检测用的神经网络模型的训练，能够快速准确的完成双着丝粒畸变染色体的自动检测分析，大大提升了畸变染色体分析效率。采用本发明所提出的方法自动检测双着丝粒畸变染色体估算剂量可以代替常规的人工分析估算剂量方法，自动分析造成的误差更小，且分析速度要快30倍。

2.本发明将双着丝粒畸变染色体的位置特征进行量化，将待分析染色体图像划分为S×S个网格单元，通过预测每个网格单元中存在双着丝粒畸变染色体的概率来快速分析待分析染色体图像中是否存在发生畸变的染色体，然后预测畸变染色体相对于该网格单元的中心坐标和宽高信息来进一步确定畸变染色体的边界框，该方法能够更加快速准确的完成双着丝粒畸变染色体目标的检测。

3.本发明采用CSP模块构建主干神经网络来进行特征的提取，能够更有效提取双着丝粒畸变染色体的深层特征，同时通过截断梯度流来防止过多重复的梯度信息被用于神经网络模型的训练，采用层次化特征融合策略来提升主干神经网络对双着丝粒畸变染色体特征的提取能力。

4.传统的Dropout方式在进行特征削减时并没有考虑图像特征的空间特性，因此对于提升神经网络模型的鲁棒性效果并不明显，本发明采用Drop Block方式来对双着丝粒畸变染色体的图像特征进行空间式的削减，能够更有效的防止冗余特征造成的神经网络模型过拟合问题，增强了畸变染色体分析用的神经网络模型的鲁棒性。

5.由于采用空间金字塔池化操作来进行特征的提炼，扩大了后续网络结构对主干特征的接收范围，同时对不同大小的畸变染色体的特征进行了融合，因此本发明所训练好的神经网络模型能够对体积大小不同的双着丝粒畸变染色体都拥有更高的检测准确率。

6.本发明所设计的神经网络模型采用特征金字塔网络FPN自顶向下的将高层的特征信息通过上采样的方式进行传递融合，然后在FPN的输出端添加一个自底向上的路径聚合网络PAN来对畸变染色体的位置特征进行补充，将低层的强定位特征向上传递。通过采用FPN与PAN相结合的特征融合策略，大大提升了神经网络模型对双着丝粒畸变染色体检测的准确率。

7.本发明将用于神经网络模型训练的损失函数拆分为置信度损失函数和边界框回归损失函数两个部分，通过在置信度损失函数中添加影响因子γ和α来强化神经网络模型对输入图像中特征复杂区域的学习能力，通过在边界框回归损失函数中添加影响因子δ来根据真实边界框和预测边界框宽高比一致性来提升神经网络模型对双着丝粒畸变染色体边界框回归预测的准确度。最终通过权重系数λ来平衡两种损失值在总损失值中的占比，所设计的损失函数能够更有效的对神经网络模型进行训练。

8.本发明通过输入待分析染色体图像，能够实现待分析染色体图像端到端的自动分析，直接在输入的待分析染色体图像上标记出发生畸变的染色体，并统计畸变染色体的数量。分析速度更快，检测准确率更高，鲁棒性更强。

附图说明

图1为本发明实施例的分析流程图；

图2为本发明的神经网络模型的网络结构图；

图3为本发明的CSP模块结构图；

图4为本发明的SPP的模块结构图；

图5为本发明的待分析染色体图像；

图6为本发明的分析后的染色体图像。

具体实施方式

下面结合附图与实施例对本发明作进一步的说明。

实施例

如图1-2所示，设计的神经网络模型的网络结构主要由主干神经网络CSPN、FPN+PAN特征融合网络以及输出预测端三个部分组成。其中主干神经网络CSPN主要由若干CSP组成，具体的主干神经网络CSPN由五个跨阶段局部神经网络模块(Cross Stage Partial，CSP)组成。CSP模块结构如图3所示，CSP模块是由若干CBM模块和n个循环的残差单元(residual unit)组成，其中CBM模块主要对输入特征图进行卷积操作然后采用Mish激活函数对特征进行处理。

本发明提供一种基于多尺度融合方法的双着丝粒畸变染色体分析预测方法，在对双着丝粒畸变染色体进行回归预测前先对神经网络模型进行训练，训练步骤如下：

S01：人工对多张样本图像中的双着丝粒畸变染色体进行标注，生成标签文件，该标签文件主要存储样本图像中双着丝粒畸变染色体边界框的中心坐标和宽高信息，以此作为双着丝粒畸变染色体自动分析的神经网络模型的训练样本；多张样本图像为超过3张。

S02：将样本图像原图与标签文件组合制作成训练集用于对所神经网络模型进行训练；

S03：训练过程中，训练样本经过设计好的神经网络模型输出三个特征张量，采用损失函数Loss计算出输出的特征张量与样本图像的标签文件之间的损失值，并将损失值反向传递给神经网络模型的各个节点，利用Adam优化算法更新神经网络模型中的权重参数。经过多次迭代训练获得能够对双着丝粒畸变染色体边界框进行准确回归预测的神经网络模型。

用于神经网络模型训练的损失函数Loss主要包括用来判断是否存在双着色粒畸变染色体的置信度损失Loss

采用交叉熵损失函数训练神经网络模型会导致在大量简单样本图像的迭代过程中，神经网络模型收敛缓慢并且可能无法优化至最优，本发明在原有的交叉熵损失函数的基础上增添了一个γ(γ>0)因子，以此来减少不存在双着色粒畸变染色体的网格单元的置信度损失Loss

为了更好的对双着丝粒畸变染色体的边界框进行回归预测，本发明采用完全交并比损失函数(Complete Intersection Over Union Loss)来计算回归预测的双着色粒畸变染色体边界框和实际边界框的损失值，通过计算预测边界框和实际边界框的重叠面积、中心点距离和长宽比来衡量对双着色粒畸变染色体边界框的回归预测是否准确。边界框回归损失函数Loss

影响因子δ公式如下所示，其中w、h分别表示用于神经网络模型训练的双着丝粒畸变染色体标签文件边界框的实际宽高，w′、h′分别表示神经网络模型对双着丝粒畸变染色体边界框宽高的预测值，通过计算标签文件边界框和回归预测边界框宽高比的差异来设定影响因子δ。通过δ来使神经网络模型对双着丝粒畸变染色体的宽高比进行学习，提升神经网络模型对双着丝粒畸变染色体边界框回归预测的精确度。

为了解决置信度损失Loss

Loss＝Loss

为了提升神经网络模型的训练速度和准确度，本发明通过对训练样本中双着丝粒畸变染色体目标边界框的宽高值进行聚类分析，统计训练样本中双着丝粒畸变染色体目标边界框宽高的9个聚类中心，根据9个聚类中心的宽高值设定神经网络模型在每个尺度上预测所采用的锚框尺寸，以此来强化训练神经网络模型对双着丝粒畸变染色体边界框回归预测的精度。

在神经网络模型的训练中采用Drop Block(卷积)的方式来防止神经网络模型出现过拟合。采用该方法能够对图像中相邻区域单元的特征进行空间式的削减。在卷积层和跳跃连接层中应用Drop Block方式能够提升神经网络模型对双着丝粒畸变染色体特征的筛选能力，提升神经网络模型的鲁棒性。此外，在训练过程中可以通过逐渐增加Drop Block单元的数量来提升神经网络模型对双着丝粒畸变染色体检测的准确性和对超参数选择的鲁棒性。

将所设计的神经网络模型在训练集上进行训练，采用损失函数Loss进行模型损失值的计算，并反向传播更新模型的权重值，经过多次训练直至神经网络模型完全收敛，获得用来检测双着丝粒畸变染色体的神经网络模型。

神经网络模型训练好后进行如下步骤对双着丝粒畸变染色体进行预测分析：

S1：事先将待分析染色体图像划分成S×S个网格单元，每个网格单元负责预测该位置存在双着丝粒畸变染色体的概率；用训练好的神经网络模型读取待分析染色体图像并通过主干神经网络CSPN提取输入的待分析染色体图像的深层特征；输入的待分析染色体图像如图5所示。主干神经网络CSPN能够重复利用所提取的双着丝粒畸变染色体特征，同时通过截断梯度流来防止过多重复的梯度信息被用于神经网络模型的训练，采用层次化特征融合策略来提升主干神经网络CSPN对双着丝粒畸变染色体特征的提取能力。

S2：在主干神经网络CSPN提取深层特征后，先后经过Drop Block(卷积处理)操作和空间金字塔池化(Spatial Pyramid Pooling，SPP)操作进行提炼关键特征。

采用Drop Block方式来对双着丝粒畸变染色体的图像特征进行空间式的削减，能够更有效的防止冗余特征造成的神经网络模型过拟合问题，增强了神经网络模型的鲁棒性。SPP操作可更有效的提炼主干神经网络CSPN所提取的双着丝粒畸变染色体特征。此外，在空间金字塔池化操作中能够将不同大小双着丝粒畸变染色体的特征进行融合，提升了神经网络模型对大小不同的双着丝粒畸变染色体的检测准确率。SPP操作模块的结构如图4所示，SPP在输入特征图上采用填补模式进行三个尺寸上的池化操作，并将池化结果和输入特征图进行合并，输出一个深度扩充为原来四倍的特征张量，该特征张量融合了不同尺度上畸变染色体特征的池化操作结果，扩大了后续特征融合网络所接收的特征范围。

S3：将进行空间金字塔池化操作之后的待分析染色体图像采用特征金字塔网络(Feature Pyramid Networks，FPN)自顶向下的将高层特征信息通过上采样的方式进行传递融合。FPN只能将高层神经网络所提取的双着丝粒畸变染色体的强语义特征向下传递，只增强了语义信息，对所检测的双着丝粒畸变染色体的定位信息没有传递，因此不利于神经网络模型对双着丝粒畸变染色体边界框的回归预测。因此本发明在FPN之后添加一个自底向上的路径聚合网络(Path Aggregation Network,PAN)，通过PAN来对FPN进行双着丝粒畸变染色体位置信息的补充，将低层的强定位特征向上传递，以此强化神经网络模型对双着色粒畸变染色体的检测准确度。通过FPN和PAN融合双着色粒畸变染色体的语义特征和位置特征，分别在三个尺度上输出三个特征张量。

S4：将神经网络模型提取的三个特征张量经过Drop Block(卷积处理)操作后输出三个预测张量，三个预测张量的尺寸(宽×高×深度)分别为19×19×15、38×38×15和76×76×15，其中预测张量的宽高分别表示神经网络模型进行边界框回归预测的宽高尺寸，深度15表示该预测张量在每个网格单元上根据锚框尺寸预测3个边界框，每个边界框预测一个置信值c、边界框的宽(w)、边界框的高(h)以及中心坐标值(x，y)，因此每个预测张量会在每个网格单元上输出15个预测值。在三个尺度上用于边界框预测的锚框尺寸设置如下所示，其中anchor1用于19×19尺度上的预测，anchor2用于38×38尺度上的预测，anchor3用于76×76尺度上的预测。

anchor1＝[97,116,80,170,145,120]

anchor2＝[78,87,110,66,156,61]

anchor3＝[48,73,76,50,53,116]

S5：将三个预测张量中回归预测的双着丝粒畸变染色体边界框进行合并，采用距离交并比非极大值抑制算法(DIOU NMS)来筛选所预测的边界框。该算法首先将所有回归预测的边界框根据其置信值c进行排序，标记置信值c最大的边界框，然后计算所有预测所获得的边界框与该置信值c最大的边界框的DIOU值。删除DIOU值超过阈值范围的边界框，然后继续根据置信值c对边界框进行排序并重复上述步骤，最终将所有标记的边界框作为神经网络模型所输出的双着丝粒畸变染色体目标的边界框。DIOU计算公式如下所示：

S6：最终统计神经网络模型预测出的双着丝粒畸变染色体的个数以及边界框信息，在输入的待分析染色体图像上对识别出的双着丝粒畸变染色体进行标记，并将标记过后的图像进行输出，完成双着丝粒畸变染色体的自动分析预测。输出的图像如图6所示。

本实施例利用人工标注的双着丝粒畸变染色体数据集来对用于对双着丝粒畸变染色体自动分析的神经网络模型进行训练，利用训练所获得的神经网络模型对双着丝粒畸变染色体目标的边界框进行回归预测，以此来自动预测分析待分析染色体图像中可能存在的双着丝粒畸变染色体。

总之，以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所作的均等变化与修饰，皆应属本发明专利的涵盖范围。