一种基于Unet提取感兴趣区域的骨健康指标测算方法

摘要

本发明公开了一种基于Unet提取感兴趣区域的骨健康指标测算方法，涉及医疗技术领域。提供一种端到端的基于Unet定位感兴趣区域并提取掌骨与皮质后计算骨健康指数的全自动解决方案。对图像进行均一化和压缩尺寸处理；对正则化图像利用Unet轮廓模型提取手部区域，进而定位ROI中心，利用此中心从原图中提取patch并将尺寸压缩为网络输入尺寸；利用训练完成的Unet分割网络提取掌骨与皮质区域；根据掌骨区域与轮廓，利用线性回归方法计算中轴线，定位掌骨中心、远端点和近端点，并根据中轴线和指定ROI中心，绘制ROI；对ROI内掌骨轮廓和皮质轮廓分别采样，利用欧氏距离，计算掌骨平均宽度和皮质平均厚度；分别计算每块掌骨的骨健康指标BHI，取平均后为该人的BHI指数。

说明书

技术领域

本发明涉及医疗技术领域，尤其涉及一种基于Unet提取感兴趣区域的骨健康指标测算方法。

背景技术

骨龄是目前应用最广泛的生物年龄评价方法，其中手腕部骨龄得到了最为广泛的应用。有资料显示，儿童期的脆弱骨骼是导致老年骨质疏松症的主要原因。近年来，在儿科领域，人们越来越关注评估骨量的方法。

在该研究领域中，目前普遍的做法是通过人工或半人工方法测算指定掌骨的平均长度、宽度，以及其皮质平均厚度，来构建评估指标。测算这些指标需要提前得到掌骨和皮质的轮廓，使用深度学习的方法来提取掌骨和皮质区域，进行提取轮廓。但在不同分布的具有噪声的输入下，该方式的实用性非常差。例如，当输入图像与训练图像所属的分布具有较大差异时，这种情况通常发生于不同的机器和不同的拍摄环境之间，是一种常见的现象，该方法很难给出一个稳定且正确的预测。同时，由于感兴趣区域(掌骨与皮质)通常仅占输入图像的微小部分，这会增大分割的难度，影响分割精度。因此，在计算骨密度刻画指标BHI任务中，提取掌骨皮质区域需要准确稳定的解决方案。

因此，本领域的技术人员致力于开发一种基于Unet提取感兴趣区域的骨健康指标测算方法。提供一种端到端的基于Unet定位感兴趣区域并提取掌骨与皮质后计算骨健康指数的全自动解决方案。首先对图像进行均一化和压缩尺寸处理。对正则化图像利用Unet轮廓模型提取手部区域，进而定位ROI中心，利用此中心从均一化原图中提取patch并将尺寸压缩为网络输入尺寸。利用训练完成的Unet分割网络提取掌骨与皮质区域。根据掌骨区域与轮廓，利用线性回归方法计算中轴线，定位掌骨中心、远端点和近端点，并根据中轴线和指定ROI中心，绘制ROI。对ROI内掌骨轮廓和皮质轮廓分别采样，利用欧氏距离，计算掌骨平均宽度和皮质平均厚度。分别计算每块掌骨的骨健康指标BHI，取平均后为该人的BHI指数。

CLAHE直方图均衡：直方图均衡化(Histogram Equalization)是一种增强图像对比度(Image Contrast)的方法，其主要思想是将一副图像的直方图分布变成近似均匀分布，从而增强图像的对比度。

自适应直方图均衡(AHE)是一种计算机图像处理技术，用于改善图像的对比度。它与普通的直方图均衡化的不同之处在于，自适应方法会计算多个直方图，每个直方图对应于图像的不同部分，然后使用它们来重新分配图像的亮度值。因此，它适合于改善局部对比度并增强图像每个区域中边缘的清晰度。

普通的AHE往往会放大图像近恒定区域中的对比度，因为此类区域中的直方图高度集中。结果，AHE可能导致噪声在近恒定区域中被放大。对比度受限AHE(CLAHE)是自适应直方图均衡的一种变体，其中对比度放大受到限制，从而减少了这种噪声放大问题。

在CLAHE中，给定像素值附近的对比度放大由变换函数的斜率给出。这与邻域累积分布函数(CDF)的斜率成比例，因此与该像素值处的直方图的值成比例。CLAHE通过在计算CDF之前将直方图裁剪为预定值来限制放大。这限制了CDF的斜率，从而限制了转换函数的斜率。直方图被裁剪的值，即所谓的裁剪极限，取决于直方图的规格化，并因此取决于邻域的大小。公用值将结果放大率限制在3到4之间。有利的是，不丢弃直方图超出裁剪限制的部分，而是在所有直方图块中平均分配它.

CLAHE具体实现主要包括6个步骤。

步骤1：分块。将输入图像划分为大小相等的不重叠子块，每个子块含有的像素数为M。

步骤2：计算子块直方图。

步骤3：计算剪切阈值。

步骤4：像素点重分配。对每个子块，使用步骤三中多余的像素重新分配。

步骤5：直方图均衡。

步骤6：像素点灰度值重构。(源码中采用了双线性插值)

Grabcut分割算法：Grabcut是基于图割(graph cut)实现的图像分割算法，它需要用户输入一个框体(bounding box)作为分割目标位置，实现对目标与背景的分离/分割.

GrabCut算法的实现步骤：

①在图片中定义(一个或者多个)包含物体的矩形。矩形外的区域被自动认为是背景。

②对于用户定义的矩形区域，可用背景中的数据来区分它里面的前景和背景区域。

③用高斯混合模型(GMM)来对背景和前景建模，并将未定义的像素标记为可能的前景或者背景。

④图像中的每一个像素都被看做通过虚拟边与周围像素相连接，而每条边都有一个属于前景或者背景的概率，这是基于它与周边像素颜色上的相似性。

⑤每一个像素(即算法中的节点)会与一个前景或背景节点连接。

⑥在节点完成连接后(可能与背景或前景连接)，若节点之间的边属于不同终端(即一个节点属于前景，另一个节点属于背景)，则会切断他们之间的边，这就能将图像各部分分割出来。

Unet分割模型：UNet属于全卷积神经网络(FCN)的一种变体，它可以说是最常用、最简单的一种分割模型，它简单、高效、易懂、容易构建，且可以从小数据集中训练。2015年，UNet在论文“U-Net:Convolutional Networks for Biomedical Image Segmentation”中被提出。UNet的初衷是为了解决医学图像分割的问题，解决细胞层面的分割。之后，UNet凭借其突出的分割效果而被广泛应用在语义分割的各个方向。

UNet网络结构如图1所示，其网络结构是对称的，形似英文字母U，故而被称为UNet。就整体而言，UNet是一个编码-解码(Encoder-Decoder)的结构(与FCN相同)，前半部分是特征提取，后半部分是上采样。

Encoder

Decoder

UNet的优点主要有：

①深/浅层特征有着各自意义：网络越深，感受野越大，网络关注那些全局特征(更抽象、更本质)；浅层网络则更加关注纹理等局部特征特征；

②通过特征拼接来实现边缘特征的找回。通过上采样(转置卷积)固然能够得到更大尺寸的特征图，但特征图的边缘是缺少信息的。毕竟每一次下采样提取特征的同时，必然会损失一些边缘特征，而上采样并不能找回这些失去的特征。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是骨健康指标测算依赖于人工和手工；感兴趣区域占图像的比例影响深度学习的结果，提取掌骨皮质区域需要准确稳定的解决方案。

为实现上述目的，本发明提供了一种基于Unet提取感兴趣区域的骨健康指标测算方法，包括以下步骤：

步骤1、对图像进行均一化和压缩尺寸处理；

步骤2、对图像利用基于Grabcut训练的Unet轮廓模型提取手部区域，进而定位ROI(感兴趣区域，Region of Interest)中心，利用ROI中心从图像中提取patch(图像块)；

步骤3、利用Unet分割模型提取掌骨与皮质区域；

步骤4、根据掌骨区域与轮廓，定位掌骨中心、远端点和近端点，利用线性回归方法计算中轴线，并根据中轴线和指定ROI中心，绘制ROI；

步骤5、对ROI内掌骨轮廓和皮质轮廓分别采样，利用欧氏距离，计算掌骨平均宽度和掌骨皮质平均厚度；

步骤6、分别计算每块掌骨的骨健康指标BHI，取平均后为BHI指数。

进一步地，所述步骤1，图像处理包括像素值均一化处理、像素值取反操作、CLAHE处理。

进一步地，所述步骤1，图像格式包括JPG格式、PNG格式、DCM格式。

进一步地，所述步骤2，Unet轮廓模型的训练集由Grabcut算法生成。

进一步地，所述步骤2，利用Grabcut算法分离出前景，作为训练数据的标签，训练Unet轮廓模型。

进一步地，所述步骤2，Unet轮廓模型定位手掌位置，提取patch，聚焦感兴趣区域。

进一步地，所述步骤3，Unet分割模型的训练集由人工标注掌骨和皮质的数据构成。

进一步地，所述步骤3，掌骨分割模型输出4个通道的预测，分别为背景与三个掌骨。

进一步地，所述步骤3，皮质分割模型输出7个通道的预测，分别为三个掌骨背景和每个掌骨对应的两块狭长皮质区域。

进一步地，所述步骤6，骨健康指标BHI＝πT(1-T/W)/L，L代表掌骨的长度，W代表掌骨平均厚度，T代表掌骨皮质平均厚度，π为圆周率。

在本发明的较佳实施方式中，提供了一种端到端的基于Unet定位感兴趣区域并提取掌骨与皮质后计算骨健康指数的全自动解决方案。首先对图像进行均一化和压缩尺寸处理。对正则化图像利用Unet轮廓模型提取手部区域，进而定位ROI中心，利用此中心从均一化原图中提取patch并将尺寸压缩为网络输入尺寸。利用训练完成的Unet分割网络提取掌骨与皮质区域。根据掌骨区域与轮廓，利用线性回归方法计算中轴线，定位掌骨中心、远端点和近端点，并根据中轴线和指定ROI中心，绘制ROI。对ROI内掌骨轮廓和皮质轮廓分别采样，利用欧氏距离，计算掌骨平均宽度和皮质平均厚度。分别计算每块掌骨的骨健康指标BHI，取平均后为该人的BHI指数。

针对指标测算依赖于人工和手工，利用深度学习和计算机编程，使用Unet提取感兴趣区域，设计算法计算指标，实现了全自动的端到端的快速的bhi测算。

针对感兴趣区域占图像的比例影响深度学习的结果，利用深度学习进行预处理，从输入图像中提取patch作为后续分割网络的输入，在输入图像中预先定位掌骨区域，使分割网络更加稳定。

本发明与现有技术相比较，具有如下显而易见的实质性特点和显著优点：

1.实现全自动的端到端的骨健康指标测算流程；

2.利用Unet预处理图像，提高感兴趣区域在图像中的占比，提高分割的稳定性和精度；

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的一个较佳实施例的UNet网络结构图；

图2是本发明的一个较佳实施例的工作流程示意图；

图3是本发明的一个较佳实施例的运用示意图；

图4是本发明的一个较佳实施例的输入图像示意图；

图5是本发明的一个较佳实施例的Patch定位示意图；

图6是本发明的一个较佳实施例的掌骨分割示意图；

图7是本发明的一个较佳实施例的皮质分割示意图；

图8是本发明的一个较佳实施例的中轴线测定、感兴趣区域、掌骨采样点计算宽度示意图；

图9是本发明的一个较佳实施例的皮质采样点计算厚度示意图。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。

本发明一种基于Unet提取感兴趣区域的骨健康指标测算方法。提供基于Unet模型分割掌骨和皮质的方法；基于Grabcut训练Unet手掌轮廓模型以提高感兴趣区域占比的思路；BHI算法与流程。

由于输入图像可能是多种格式和多种分辨率的，所以首先需要对输入图像进行正则化处理。为了增加感兴趣区域(掌骨)在图像中的占比，使用利用Grabcut预训练的Unet轮廓模型提取手部轮廓，进而定位手掌中心，从而构造感兴趣区域。由于计算BHI指标需要测算一些尺寸指标，包括掌骨长度、宽度与皮质厚度，在计算之前需要将掌骨和皮质分离出来。基于Unet在小物体分割和医疗影像上的巨大优势，选择Unet作为基础网络来分割掌骨和皮质。在得到掌骨和皮质的分割结果后，利用本发明的算法可以计算出所需尺寸指标，进而得到骨健康指标(BHI)。工作流程的示意图如图2所示。

如图4所示，任意尺寸的输入图片(JPG/PNG格式或DCM格式)首先会进行像素值均一化处理，针对DCM格式图像，还会进行像素值取反操作。紧接着会对图像进行CLAHE处理，提高图像的对比度。这之后利用一个预先训练的Unet轮廓模型进行预测，得到图像中手掌的大致轮廓。计算轮廓的重心，同时考虑上手臂造成的垂直方向上的偏差(+400)，可以定位手掌中心。由中心向四周均匀延拓，进而提取预处理的patch，大小设置为1024*1024，如图5所示。正则化的处理能够使得算法适应多种格式和不同分辨率的图像。

预先训练的Unet轮廓模型的训练集是由Grabcut算法生成的。具体来说，选取100例具有代表性的数据，利用Grabcut算法分离出前景(手掌)，作为训练数据的标签，训练Unet轮廓模型。训练完成后的模型能够辅助定位手掌位置，进而能够提取patch，聚焦感兴趣区域(掌骨区域)，增加Unet分割模型的精度和稳定性。由于Grabcut模型的算法原理，导致其在处理大量图像时会出现无法分离前景背景的情况，导致算法失败，而使用Unet轮廓模型能够使得算法具有更高的稳定性，这得益于深度学习能够学习训练集样本分布下的深层次本质特征。

Unet分割模型的训练集由94例人工标注掌骨和皮质的数据构成。采用的掌骨和皮质分割模型分别训练了100/300轮(epoch)。如图6所示，掌骨分割模型会输出4个通道的预测，分别为背景与三个掌骨；如图7所示，皮质分割模型会输出7个通道的预测，分别为背景与每个掌骨对应的两块狭长皮质区域。

BHI计算流程中会对三根掌骨进行相同的操作，以下介绍仅针对一根掌骨进行。基于右手CT图像的骨健康指数建模为BHI＝πT(1-T/W)/L.其中，L代表掌骨的长度，W代表掌骨的平均厚度，T代表掌骨皮质的平均厚度，π为圆周率，指数无量纲。为计算掌骨的BHI，需要测算掌骨的尺寸指标LWT，这依赖于掌骨坐标系的建立和采样点的选取，原则见如下步骤。其中，掌骨坐标系由中轴线l和感兴趣区域I构成，中轴线的作用为计算掌骨长度L，在感兴趣区域内选取采样点计算平均厚度T和宽度W。

①确定中轴线l,计算掌骨长度L。

首先通过Unet分割模型预测出掌骨区域，利用canny函数提取掌骨的轮廓并采样记为Set，通过fitline函数最小化set中所有点到直线距离之和来拟合出掌骨的中轴线l。在近端和远端处，Set中距离中轴线最近的点分别记为近端点P和远端点D.P点和D点之间的距离记作L，视为掌骨的长度。

②确定感兴趣区域I。

从近端点P顺着中轴线l延伸αL的距离(α的取值分别为0.5[左]、0.44[中]、0.44[右])，定位为感兴趣区域中心U，以U为中心建立宽度为0.3L的感兴趣区域I。

③计算掌骨宽度W。

如图8所示，从感兴趣区域中心U分别向上/下等距采样3个点到感兴趣区域I边界，依次命名为u

在每个采样点u

④计算皮质厚度T。

如图9所示，通过Unet分割模型预测出皮质区域，利用canny函数提取皮质的轮廓并采样记为Set2。

在每个采样点u

掌骨宽度与皮质厚度的计算过程类似，但是由于一块掌骨拥有一对左右皮质，所以这对皮质分别计算厚度，并共用一组采样点u

⑤计算掌骨健康评价指标BHI。

如图3所示，本技术提供了一种端到端的基于Unet定位感兴趣区域并提取掌骨与皮质后计算骨健康指数的全自动解决方案，能够处理现有影像系统所生成的不同格式和不同分辨率的图像。儿童骨健康指标系统首先对图像进行均一化和压缩尺寸处理。对正则化图像利用Unet轮廓模型提取手部区域，进而定位ROI中心，利用此中心从均一化原图中提取patch并将尺寸压缩为网络输入尺寸。利用本文所述算法能够实现掌骨和皮质的分割，并据此计算物理尺寸，进而得到骨健康指标BHI。算法首先利用训练完成的Unet分割网络提取掌骨与皮质区域。根据掌骨区域与轮廓，利用线性回归方法计算中轴线，定位掌骨中心、远端点和近端点，并根据中轴线和指定ROI中心，绘制ROI。对ROI内掌骨轮廓和皮质轮廓分别采样，利用欧氏距离，计算掌骨平均宽度和皮质平均厚度。分别计算每块掌骨的骨健康指标BHI，取平均后为该人的BHI指数。本发明相对于目前现有的方法，能够实现全自动精确的分割与计算，同时引入了基于Grabcut的Unet轮廓模型预处理的阶段，使得算法更加精确和稳定。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。