一种能够实现KI67病理图像神经网络模型泛化性能的方法

摘要

本发明公开了一种能够实现KI67病理图像神经网络模型泛化性能的方法。包括第一步，整理现有标注数据，将一单一来源的数据作为源域，将其他数据作为入侵域；第二步，在源域数据集上训练模型直至收敛；第三步，将上述提到的源域数据和入侵域数据合并为混合域；第四步，将训练数据中的源域数据替换为混合域，继续训练已收敛的模型；第五步，观察模型权值变化并据此进行模型剪枝；第六步，用混合域数据对剪枝后的模型进行微调；第七步，评估与测试以及结果可视化。该方法将不同的来源的数据划分为源域和入侵域，并在将源域替换为入侵域的过程中，衡量模型权重对于域变换的敏感程度，丢弃域特有特征对应的权重，提高模型在不同来源数据上的泛化性能。

说明书

技术领域

本发明涉及图像分析技术领域，具体为一种能够实现KI67病理图像神经网络模型泛化性能的方法。

背景技术

近年来，随着医院数字病理建设的推广，人工智能在病理切片判读上的应用愈加广泛。人工智能方法能够从标注数据中学到划分细胞类别以及判别阴阳的能力，不但帮助医生提高阅片效率，还能应用于病理判读教学等环节。KI67免疫组化在多病种中被用来评估肿瘤恶性程度。KI67指数为不少于十张病理图像上阳性肿瘤细胞占所有肿瘤细胞比例的均值，一般作为衡量肿瘤恶性程度的指标。当前，深度学习(人工智能)结合传统图像算法作为后处理技术，能够较为准确的对显微镜下视野的病理图像上所有的细胞进行类别判断、定位和计数。据此，计算机能够计算出合理的kI67值。方法具有高精度、耗时少的特点，可以广泛应用于临床病理切片判读。

然而，深度学习算法在实际中的应用十分有限。这主要是由多来源数据差异较大造成的。临床中采集到的病理图像在不同医院、不同病种间呈现出明显差异。这些差异来自于染色风格，细胞排布方式，细胞形态、大小等。例如，一些切片上的阳性肿瘤细胞染色较为均匀，而另外一些切片上，被染色的细胞则呈现出细胞中心只有不规则区域被染色的形态。除此之外，在不同病种之间，细胞的排布方式和大小均存在差异。若统一采用单一来源、单一病种数据训练深度学习模型，则该模型在该来源数据上表现很好，而在其他来源数据上则表现较差。如统一将所有来源数据训练模型，则模型不足以提取不同源数据中的通用特征，从而在未知来源(训练数据以外的医院或病种)上准确度很低。因此，对模型进行改进使其具有从不同源数据中提取通用特征的能力是提升模型泛化能力的途径之一。事实上，在不同源病理数据间，同一类型的细胞在不同源上存在一些通用的特征。例如，阳性肿瘤细胞整体呈现出偏红的色调。在不同源上可能表现为红色、红棕色、紫红色、暗红色，淡红色等等。同样，阴性肿瘤细胞倾向于呈现出偏蓝的色调，在不同源上可能表现为蓝色、浅蓝色、蓝绿色等等。

发明内容

本发明的目的在于提供一种能够实现KI67病理图像神经网络模型泛化性能的方法，该方法采用单一来源数据作为源域，将其他来源数据作为入侵域，在源域上训练模型直到收敛后替换训练数据为入侵域，并进行剪枝，以帮助模型更好地学习通用特征，提高模型的泛化性能，从而在未知来源数据上达到较高的精度。

为实现上述目的，本发明提供如下技术方案：一种能够实现KI67病理图像神经网络模型泛化性能的方法，包括以下步骤：

第一步，整理现有标注数据，采集不同病种不同来源的KI67病理切片，将其中一个数据量最大的单一来源数据作为源域，将其他来源或病种的数据作为入侵域；

第二步，在源域数据集上训练模型直至收敛；

第三步，将上述提到的源域数据和入侵域数据合并而后随机打乱，打乱后的数据被称为混合域；

第四步，将训练数据中的源域数据替换为混合域，继续训练已收敛的模型；

第五步，观察模型权值变化并据此进行模型剪枝；

第六步，用混合域数据对剪枝后的模型进行微调；

第七步，评估与测试以及结果可视化。

优选的，在第一步中，单一来源数据为同一家医院的同型号设备在同一倍率下采集的同一病种的切片，可来自于不同患者。

优选的，在第二步中，模型指拥有较强学习能力的深度神经网络模型，用于学习在该源域上表现良好的特征集，其中包含有KI67通用特征和专属于源域的特征。

优选的，第五步中，模型剪枝的具体操作为：每一次模型迭代的过程中，寻找前模型所有参数中p％梯度变化最大的权重，包括上一次迭代中被覆盖的参数，并用非零即一的掩膜对其进行覆盖，被覆盖的权重置零，未被覆盖的权重在模型下一次向前传播前设置为模型的初始权重；如此迭代n次，直到模型的稀疏度达到目标稀疏度sparsity，停止模型剪枝操作。

优选的，p％＝(1-sparsity)*100％/n，此种剪枝方式为线性剪枝，即每次覆盖相同数量的权重。

优选的，第五步中模型经过剪枝丧失了部分提取特征的能力，为了还原模型精度，第六步中采用混合域数据对模型进行微调，以恢复准确性。用于微调的每一个批次的数据需包含至少一条源域数据和一条入侵域数据，以保证了微调过程是无偏的。

优选的，在第五步中，剪枝方式也可以为非线性剪枝，即每次覆盖不同数量的权重。

优选的，第七步中，评估模型表现，采用匈牙利算法对模型预测细胞与标注细胞进行匹配，并衡量精确率，召回率，F1-score指标，解析模型输出，并将结果可视化。

与现有技术相比，本发明的有益效果如下：

本发明公开了一种针对KI67病理图像的通过模型剪枝来实现神经网络模型泛化性能的方法，该方法将不同的来源的数据划分为源域和入侵域，并在将源域替换为入侵域的过程中，衡量模型权重对于域变换的敏感程度，丢弃域特有特征对应的权重，提高模型在不同来源数据上的泛化性能，从而在未知来源数据上达到较高的精度。

附图说明

图1为本发明方法流程图；

图2为三种方法在未知域上KI67细胞识别的结果图表；

图3为本发明模型预测结果可视化示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1至图3，本发明提供一种技术方案：一种能够实现KI67病理图像神经网络模型泛化性能的方法

第一步，整理现有标注数据，将一个单一来源的数据(同一家医院的同型号设备在同一倍率下采集的同一病种的切片，可来自于不同患者)作为源域，将其他数据作为入侵域，一般来说，选择数据量最大的单一来源数据作为源域，在KI67多类别分割问题中，源域应该选取类别最多的单一来源数据。

第二步，在源数据集上训练模型直至收敛，这里的模型一般指拥有较强学习能力的深度神经网络模型，若模型在公开数据集(如ImageNet)上预训练过，则能有更好的表现，此步骤使得模型学到在该源域上表现良好的特征集，其中包含有KI67通用特征和专属于源域的特征，专属于源域的特征是指在源域上该特征可以作为类别评判的标准，而在其他域上并不适用。

第三步，将上述提到的源域数据和入侵域数据合并而后随机打乱，打乱后的数据被称为混合域。

第四步，将训练数据中的源域数据替换为混合域，继续训练已收敛的模型，此步骤的意义在于为神经网络提供一个扰动，该扰动为域的变换，在此之前，模型本在源域上已收敛，意味着权值趋近于稳定，而在接下来的训练过程中，域的变化打破了这种稳定，迫使神经网络做出改变来适应新域。

第五步，观察模型权值变化并据此进行模型剪枝。具体操作为：每一次模型迭代的过程中，寻找前p％梯度变化最大(对应的梯度最大)的权重，并用非零即一的掩膜对其进行覆盖(剪枝)，未被覆盖的权重在模型下一次向前传播前设置为模型的初始权重。如此迭代n次(通常，对模型修剪进行3-4次迭代就足够了，即用于模型剪枝的混合域数据少量即可)。直到模型的稀疏度达到目标稀疏度sparsity，停止模型剪枝操作。一般来说，sparsity大于0.95,也就是说，被剪掉的权值一般只占模型所有权值的很小的一部分。p％＝(1-sparsity)*100％/n，此种剪枝方式为线性剪枝，即每次覆盖相同数量的权重。

在第五步中，剪枝方式也可以为非线性剪枝，即每次覆盖不同数量的权重。

第六步，用混合域数据对剪枝后的模型进行微调(finetune)。步骤五中模型经过剪枝丧失了部分提取特征的能力，尽管修剪后的模型的性能会下降，但它具有学习域不变表示的潜力。最后，我们采用对混合域数据对模型未被剪枝的参数进行进一步的微调，以恢复准确性。用于微调的每一个批次的数据需包含至少一条源域数据和一条入侵域数据。这样保证了微调过程是无偏的。

7)评估与测试以及结果可视化。评估模型表现。采用匈牙利算法对模型预测细胞与标注细胞进行匹配，并衡量精确率(Precision)，召回率(Recall)，F1-score等指标。解析模型输出，并将结果可视化。

理论推导：

本发明采用的剪枝方法目的是滤除模型的一部分权重，使得修剪过的模型在训练数据上精度变化不大，同时在未知来源的域上表现良好。为了实现此目标，我们将已知来源的域分为单一源域和入侵域。首先在单个源域上训练模型。然后将源域和未参与过训练的入侵域进行融合再打乱，继续用混合域替换训练数据。在此情况下，目标问题与以下优化相对应。

其中D

W

总损失C(D|W)是通过计算样本在参数W下损失之和得到的。

通常，修剪后的模型的C(D

D

上述目标问题可以通过衡量每个参数w对C(D

其中c

对比方法与实验结果：

实验对比了三种方法：经验风险最小化方法、经验风险最小化-微调方法和模型剪枝方法。其中，经验风险最小化方法作为基线(baseline)，未应用任何提升模型泛化性的操作。经验风险最小化-微调方法作为模型剪枝的对比方法，对比剪枝方法，除了将剪枝百分比设为0％，其余并无差别。图1展示了三种方法在未知域上KI67细胞识别的结果。其中，未知域指的是未曾参与过模型训练以及验证过程的域。在本实验中，未知域为41例40倍下尺寸为1920*1080的16个来自于不同医院及病种的KI67切片数据。模型预测结果可视化图由图2所示，其中虚线圆圈区域为三种方法结果不一致的区域，可以看出模型剪枝泛化方法的表现要明显好于其他两种方法。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。