基于深度学习的核素骨显像中骨转移瘤的诊断方法

摘要

本发明提供一种基于深度学习的核素骨显像中骨转移瘤的诊断方法。所述方法涉及骨扫描诊断分类模型、骨转移瘤区域分割模型、骨转移瘤负荷评估及自动报告生成模型。采用本发明的方法能够判别骨转移瘤并进行自动区域分割，识别准确率较高，初步实现了从原始图像输入到报告生成的全自动分析。

说明书

技术领域

本发明涉及医疗影像处理技术领域，尤其涉及基于深度学习的核素骨显像中 骨转移瘤的诊断方法。

背景技术

骨转移瘤的发生率是骨原发恶性肿瘤的35～40倍。癌症骨转移是癌性疼痛的 主要原因之一，它所造成的病理性骨折、脊髓压迫、高钙血症和骨髓衰竭等并发 症，加速了病情的发展，严重影响了癌症患者的生存质量。近十余年来，许多学 科在骨转移瘤的发生机理、防治方法等方面进行了不懈的努力，但迄今为止尚未 找到有效的根治方法。

目前，骨扫描是骨转移瘤分析和疗效评估最常用的检查手段，所采用的放射 性核素

目前，全身骨扫描图像分析主要依靠核医学医师的人工阅片，并且根据医师 的个人经验，通过检查全身骨扫描图像寻找异常病变位置进行诊断，医师为此要 做大量重复性工作。由于图像采集复杂程度高、患者之间差异性大、图像质量差， 以及人工阅片存在较大主观因素等影响，使得全身骨扫描图像的分析诊断结果存 在偏差，容易出现误诊、漏诊的情况。此外，在产生最终图像之前，技术人员可 以对原始图像进行亮度和对比度的调整，然而不同的技术人员可能为图像的显示 系统设置不同的参数，这就会使医生在确定细微的骨骼病变时遇到困难。与此同 时，在产生最终图像之前，技术人员可以对原始图像进行亮度和对比度的调整， 然而不同的技术人员可能为图像的显示系统设置不同的参数，这就会使医生在确 定细微的骨骼病变时遇到困难。

发明内容

为了克服上述现有技术的不足，本发明提供一种基于深度学习的核素骨显像 中骨转移瘤的诊断方法，所述方法涉及骨扫描诊断分类模型、骨转移瘤区域分割 模型、骨转移瘤负荷评估及自动报告生成模型。

一种基于深度学习的核素骨显像中骨转移瘤的诊断方法，其特征在于，包括 如下步骤：

1)对原始核素骨显像图进行预处理；

2)建立骨扫描诊断分类模型和骨转移瘤区域分割模型、建立骨转移瘤负荷 评估方法、建立自动报告生成模型；

3)对步骤2)中的骨扫描诊断分类模型、骨转移瘤区域分割模型、自动报 告生成模型进行训练，最终得到训练后的骨扫描诊断分类模型、骨转移瘤区域分 割模型和自动报告生成模型；

4)将待测试原始核素骨显像图进行预处理，输入到训练后的骨扫描诊断分 类模型和骨转移瘤区域分割模型中，获得骨扫描诊断分类结果和骨转移瘤区域分 割结果，进行骨转移瘤负荷评估，根据自动报告生成模型结合骨扫描诊断分类结 果、骨转移瘤区域分割结果和骨转移瘤负荷评估结果生成诊断报告。

步骤1)所述对原始核素骨显像图进行预处理包括：(1)获得不同灰度值下 的前位与后位图像，具体如图2a所示；(2)原始图像尺寸使用双线性差值的方 式将图像尺寸统一到1024×1024。

步骤1)中所述对原始核素骨显像图进行预处理还包括，由专业医师协同诊 断骨转移瘤并使用Labelme在图像中勾勒出骨转移瘤区域及膀胱区域，具体如图 2b所示。

步骤2)中骨扫描诊断分类模型使用256×256的图像作为输入，即各张1024 ×1024的图像分割为256×256的子图像，根据子图像对应标注生成分割标签和 分类标签，其中分割标签中的数值表示子图像相应位置中的像素类别，分类标签 表示相应数据是否包含骨转移瘤和膀胱，将一定比例的256×256图像作为训练 集，其余作为测试集；诊断分类模型结构采用残差神经网络(ResNet32),将第一 层卷积核及最后一层的评价池化卷积核增加到8×8，将最后全连接层的输出尺 寸调整为2以对应于骨转移瘤和膀胱的二分类概率，骨扫描诊断分类模型使用焦 点损失(Focal loss)作为损失函数，γ取1，采用梯度下降法训练，焦点损失公式 如下:L

其中y∈{±1}表示类别标签，y′∈[-1，1]表示模型输出1的概率。

步骤2)中骨扫描诊断分类模型中随机划分80％作为训练集，剩余20％作为 测试集。

步骤2)中骨转移瘤区域分割模型目的在于将骨转移瘤区域和膀胱区以像素 级精确度分割开来，在滑窗得到的数据基础上，分别筛选出包含骨转移瘤和膀胱 的数据训练骨转移瘤及膀胱分割模型。采用随机旋转、缩放和翻转的方式进行数 据增强。

步骤2)中骨转移瘤区域分割模型采用经典unet的编码与解码结构，模型在 初始提取特征时保持特征特征图长和宽不变的情况下，输入和输出通道数置为1， 最大池化不改变通道数，上采样(upsampling)过程中使通道数减半，来自编码 路径的特征图和对应的上采样阶段的特征图拼接在一起加速模型的信息传递和 收敛，最后一层1×1卷积层和Sigmoid函数对应了分割概率，骰子损失(Dice loss) 作为损失函数，利用梯度下降法训练模型，

骰子损失公式如下：

步骤2)中骨转移瘤区域分割模型结构见图3。

步骤2)中采用骨扫描肿瘤负荷系数(Bone scan tumor burden index,BSTBI) 来近似计算骨转移瘤总体肿瘤负荷状态，计算公式为：

其中，L表示骨转移瘤区域的所有像素，R表示骨扫描图像上的所有像素，B表示膀胱区域的所有像素，K表示缩放因子，本文中选为5，pixel value 表示图像像素值，颜色越黑数值越小，对应到公式肿瘤负荷程度越大。 BSBTI∈[0，1]。

步骤2)中计算骨转移瘤总体肿瘤负荷状态时采用一个病人多个子图下 BSTBI值的平均值作为该病人最终BSTBI值。

步骤2)中诊断报告生成模型分为两部分，一是病灶区域定位，二是计算骨 扫描肿瘤负荷值，病灶区域定位确定骨转移瘤在脊椎、骨盆、肩胛骨、肋骨、股 骨及上述部位之外的其他区域的概率。

步骤2)中区域定位模型采用1024*1024*2的大尺寸输入，沿用区域分割模 型中的卷积块结构，增加通道数的同时减少图像大小，将输入尺寸特征抽象到 2*2*1024，后接平均池化、全连接层及Sigmoid函数得到6维度特征向量，分别 对应于脊椎、骨盆、肩胛骨、肋骨、股骨及除上述之外的其他区域患有骨转移瘤 的概率，CE loss作为损失函数，利用梯度下降法训练模型。

步骤2)中区域定位模型结构见图4。

步骤4)中各子模型部分使用人工标注的数据训练完毕之后，将多模型结合 起来，针对测试集数据进行端到端分析。首先将单副原始骨扫描图像以滑动窗口 的形式剪裁成28个子图，将这些子图一次性送入诊断分类模型，得到28*2个概 率值，分别表示该部位是否包含骨转移瘤和膀胱。若一个病人28个子图中有任 何一个子图被判定为包含骨转移瘤区域，则判定该患者存在骨转移瘤。而后将预 测结果中包含骨肿瘤和膀胱的子图分别输入到骨转移瘤分割模型和膀胱分割模 型，子图对应到原始图像会有部分区域重叠，因此预测结果中，对于某一重合区 域，若任何子图将该像素预测为骨转移瘤，那么该像素预测值便为骨转移瘤。若 骨转移瘤与膀胱区域预测结果发生重合，则该像素判定为骨转移瘤。最后将原始 图像以及模型预测的分割图拼接在一起，输入到报告生成模型，得到最后的诊断报告。整个模型预测构架如图5。

步骤4)生成诊断报告时，预先定义好正常报告模板和骨转移瘤异常报告模 板(具体报告模板见表1)，若骨扫描诊断分类模型判断不包含骨转移瘤则直接 调用正常报告模板，若骨扫描诊断分类模型判定包含骨转移瘤，则通过后续模型 判断脊椎、骨盆、肩胛骨、肋骨、股骨及上述部位之外的其他区域是否包含骨转 移瘤，并进行骨转移瘤负荷评估，产生最终诊断报告。

表1报告模板

本发明至少包括以下有益效果：

本发明所述的一种基于深度学习的骨转移瘤自动诊断方法能够判别骨转移 瘤并进行自动区域分割，识别准确率较高，初步实现了从原始图像输入到报告生 成的全自动分析，为审阅核素骨扫描显像提供了新的方式。另外，本发明中提出 的BSTBI有望为将来临床评估骨转移瘤治疗效果提供客观而准确地定量评价方 法。

附图说明：

图1为本发明测试方法的流程图。

图2为肺癌并全身多发骨转移的原始骨扫描图及专业医师标注图，其中a为 原始肺癌并全身多发骨转移的原始骨扫描图，b中由专业医师使用Lambelme在 图像中勾勒出骨转移瘤及膀胱区域。

图3为骨转移瘤区域分割模型网络结构。

图4为诊断报告生成模型结构。

图5为预测模型总体构架。

具体实施方式

下面结合具体的实施例对本发明作进一步地说明，以更好地理解本发明。

1、数据处理

原始数据包含两种不同灰度值下的前位与后位图像，即一条数据对应四副子 图，如图2a所示。由2位专业核医学科医师协同诊断骨转移瘤并使用Labelme 在图像中勾勒出骨转移瘤及膀胱区域，标注结果如图2b所示。原始图像尺寸使 用双线性差值的方式将图像尺寸统一到1024×1024。随机划分80％作为训练集， 剩余20％作为测试集。

2、骨扫描诊断分类模型

2.1数据处理

诊断分类模型使用256×256的图像作为输入，即一副1024×1024尺寸的图 像可以得到28张256×256的子图。根据子图像对应的标注生成分割标签和分类 标签，分割标签和图像尺寸相同，分割图中的数值表示图像相应位置中像素的类 别，分类标签为二维向量，其中两个元素分别表示该条数据中是否包含骨转移瘤 和膀胱。诊断分类模型对得到的子图和对应的分类标签进行训练。

2.2模型结构

诊断分类模型结构采用经典的残差神经网络(ResNet32)。将第一层卷积核 及最后一层的平均池化卷积核增加到8×8，将最后全连接层的输出尺寸调整为 2，对应于骨转移瘤和膀胱的二分类概率。诊断分类模型使用焦点损失(Focal loss) 作为损失函数，γ取1，采用梯度下降法训练，焦点损失公式如下:

L

其中y∈{±1}表示类别标签，y′∈[-1，1]表示模型输出1的概率。

3、骨转移瘤区域分割模型

3.1数据处理

在滑窗得到的数据基础上，分别筛选出包含骨转移瘤和膀胱的数据训练骨转 移瘤及膀胱分割模型。采用随机旋转、缩放和翻转的方式进行数据增强。

3.2模型结构

使用经典unet的编码与解码结构。区域分割模型结构见图2。为了适应单通 道图像输入，模型在初始提取特征时保持特征图长和宽不变的情况下，输入和输 出通道数置为1。最大池化不改变通道数。上采样(upsampling)过程中使通道 数减半。来自编码路径的特征图和对应的上采样阶段的特征图拼接在一起加速模 型的信息传递和收敛。最后一层1×1卷积层和Sigmoid函数对应了分割概率。骰 子损失(Dice loss)作为损失函数，利用梯度下降法训练模型。

骰子损失公式如下：

其中X表示标签图，Y表示模型预测的标签图。

4、骨转移瘤负荷评估

以骨扫描肿瘤负荷系数(Bone scan tumor burden index，BSTBI)来近似计算 骨转移瘤总体肿瘤负荷状态。计算公式为：

其中，L表示骨转移瘤区域的所有像素，R表示骨扫描图像上的所有像素， B表示膀胱区域的所有像素，K表示缩放因子，本文中选为5，pixel υalue 表示图像像素值，颜色越黑数值越小，对应到公式肿瘤负荷程度越大。 BSBTI∈[0，1]。

每个病人包含两种不同的灰度下的前后位两张图像，对于一个病人使用四个 子图下BSTBI值的平均值作为该病人的最终BSTBI值。然后于测试集中，通过 不同患者之间及同一患者治疗前后的BSTBI的对比，简单验证BSTBI是否能反 映骨扫描图像中骨转移瘤的负荷状态，是否可作为客观定量指标纵向评价骨转移 瘤治疗的效果。

5、自动报告生成模型

诊断报告生成模型分为两部分，一是病灶区域定位，二是计算骨扫描肿瘤负 荷值。区域定位部分在于大体定位骨扫描骨转移瘤的部位(面颅骨、脊椎、胸骨、 肋骨、肩胛骨、骨盆、肱骨及股骨等主要发病部位)。最终结合肿瘤定位结果和 骨扫描肿瘤负荷值，通过结果解释器生成诊断报告。

5.1数据处理

诊断报告生成模型区域定位部分将单个患者的整副图像(1024*1024*1)和人 工标注的骨转移瘤(1024*1024*1)分割图拼接在一起作为输入。骨扫描肿瘤负荷计 算也用到了原始图像和分割图。

5.2模型结构

区域定位模型采用1024*1024*2的大尺寸输入，沿用区域分割模型中的卷积 块结构，增加通道数的同时减少图像大小，将输入尺寸特征抽象到2*2*1024，后 接平均池化、全连接层及Sigmoid函数得到6维度特征向量，分别对应于脊椎、 骨盆、肩胛骨、肋骨、股骨及除上述之外的其他区域患有骨转移瘤的概率，模型 结构见图3。鉴于深度学习模型需要数据来驱动，实际数据中大多数病灶都集中 于上述前5个部位，其他部位病灶数据量少，所以在此只判断这5个精确部位和 其他部位是否患病。CE loss作为损失函数，利用梯度下降法训练模型。

5.3报告解释器

报告解释器将模型的预测结果生成通俗的语言描述形式。首先，分析诊断报 告需要包含的信息，由核医学科医师预先定义好两类模板，包括正常报告和骨转 移瘤异常报告。若诊断分类模型判定该数据正常，则直接调用正常报告模板；若 诊断分类模型判定该数据包含骨转移瘤，则通过后续模型判断常见位置是否包含 骨转移瘤，并计算骨转移瘤负荷，填充到异常报告模板中，产生最终诊断报告。 具体报告模板见表1。

5.4综合分析

综合分析即各子模型部分使用人工标注的数据训练完毕之后，将多模型结合 起来，针对测试集数据进行端到端分析。首先将单副原始骨扫描图像以滑动窗口 的形式剪裁成28个子图，将这些子图一次性送入诊断分类模型，得到28*2个概 率值，分别表示该部位是否包含骨转移瘤和膀胱。若一个病人28个子图中有任 何一个子图被判定为包含骨转移瘤区域，则判定该患者存在骨转移瘤。

而后将预测结果中包含骨肿瘤和膀胱的子图分别输入到骨转移瘤分割模型 和膀胱分割模型，子图对应到原始图像会有部分区域重叠，因此预测结果中，对 于某一重合区域，若任何子图将该像素预测为骨转移瘤，那么该像素预测值便为 骨转移瘤。若骨转移瘤与膀胱区域预测结果发生重合，则该像素判定为骨转移瘤。 最后将原始图像以及模型预测的分割图拼接在一起，输入到报告生成模型，得到 最后的诊断报告。整个模型预测构架如图5。

6.实验结果

共纳入621例图像，其中骨转移瘤组图像280例，非骨转移瘤组图像341例。 从两组分别抽取80％作为训练集(498例)，其余20％作为测试集(123例)。利 用深度残差卷积神经网络判断骨扫描图像是否含有骨转移瘤，计算灵敏度、特异 性和准确率作为分类模型的评估指标。接着分割骨转移瘤区域，骰子系数作为评 估肿瘤区域分割效果的指标。然后，计算骨扫描负荷系数(Bone scan tumor burden index,BSTBI)，作为评估骨转移瘤肿瘤负荷的定量指标。采用BSTBI初步对不同 患者间及同一患者前后进行骨转移瘤负荷的定量对比。最后报告生成模型将自动 生成诊断报告，报告的准确性和时效性将作为评价报告生成模型的指标。

123例测试集中，分类模型的灵敏度、特异性及准确率分别是92.59％，85.51％ 和88.62％。分割模型中骨转移瘤区域骰子系数为0.7387，膀胱区域骰子系数为 0.9247。骨扫描图像中BSTBI值受骨转移病灶数目及99Tcm-MDP摄取程度的影 响，初步结果显示它会随着病灶数目的增多、

以上对本发明的具体实施例进行了详细描述，但其只是作为范例，本发明并 不限制于以上描述的具体实施例。对于本领域技术人员而言，任何对本发明进行 的等同修改和替代也都在本发明的范畴之中。因此，在不脱离本发明的精神和范 围下所作的均等变换和修改，都应涵盖在本发明的范围内。