基于自监督3D全卷积神经网络的超声三维重建方法

摘要

本发明提供了一种基于自监督3D全卷积神经网络的超声三维重建方法。首先，扫描得到人体组织的三维超声图；然后，分别单独训练不同尺度的3D卷积核，并将卷积核串联，得到级联后的3D全卷积神经网络；最后，利用级联后网络进行三维超声图重建。由于不同尺度的卷积核代表重建体素时将考虑待重建体素周围不同尺度空间内的体素信息，本发明相比感受野固定的传统方法，具有更高的重建精确度。

说明书

技术领域

本发明属智能图像处理技术领域，具体涉及一种基于自监督3D全卷积神经网络的超声三维重建方法。

背景技术

超声三维重建方法主要分为两大类：基于体素差值的重建方法，如R.N.Rohling等人在文献“Rohling R,Gee A,Berman L.A comparison of freehand three-dimensionalultrasound reconstruction techniques[J].Medical Image Analysis,1999,3(4):339.”中提出的像素最近邻插值法方法，R.W.Prager等人在文献“Prager R W,Gee A,Berman L.Stradx:real-time acquisition and visualization of freehand three-dimensional ultrasound.[J].Medical Image Analysis,1999,3(2):129-140.”中提出的体素最近邻方法。这些方法易于实现，但是重建精确度不高。基于函数的重建方法，如黄庆华等人在文献“Huang Q,Huang Y,Hu W,et al.Bezier Interpolation for 3-D FreehandUltrasound[J].IEEE Transactions on Human-Machine Systems,2015,45(45):385-392.”中提出的基于贝塞尔插值的重建方法，使用贝塞尔插值滑动窗口的方式进行三维超声重建，有效提升了速率和精确度。然而，传统方法均只考虑待重建体素邻近范围内的体素信息，具有固定的感受野，因此重建精度存在明显天花板。若在重建过程中使得待重建体素能够有更大感受野的同时还能兼顾小感受野内信息，将会提升重建的精确度。

发明内容

为了提升三维重建方法的重建精确度，本发明提供了一种基于自监督3D全卷积神经网络的超声三维重建方法。3D卷积核可以根据空间内若干个体素值来估计卷积核中心对应的体素值，从而实现重建的效果。本发明采用一种从简单到复杂的网络架构，分别单独训练不同尺度的3D卷积核，并在重建体素时将卷积核串联，其中，不同尺度的卷积核代表重建体素时将考虑待重建体素周围不同尺度空间内的体素信息，因此，相比感受野固定的传统方法，具有更高的精确度。

一种基于自监督3D全卷积神经网络的超声三维重建方法，其特征在于包括以下步骤：

步骤1：使用三维超声自动扫描机器人对人体组织部位进行扫描，得到人体组织的三维超声图，三维超声图中每一个体积元素是一个四维向量，包括体积元素的x坐标、y坐标、z坐标和超声强度值；

步骤2：分别用3*3*3、5*5*5、10*10*10的卷积核构建单层3D卷积神经网络，共得到三个单层3D卷积神经网络；

步骤3：对于每个单层3D卷积神经网络，以步骤1得到的人体组织三维超声图为输入，并随机初始化网络的卷积核权重，然后通过网络损失函数进行反向传播，迭代更新卷积核权重，迭代次数达到一百次时停止更新，得到训练好的网络；其中，网络的损失函数设置如下：

Loss＝crossentropy(Y，Y′*mask) (1)

其中，Loss表示损失函数，crossentropy表示二值交叉熵损失，Y为网络输入的人体组织三维超声图，Y′为卷积之后的网络输出值；mask是Y的掩码信息，若Y中某一体积元素的超声强度大于零，则mask中相同位置的体积元素超声强度被置为1，否则为零；

步骤4：将训练好的三个单层3D卷积神经网络按照卷积核由大到小的顺序进行串联，得到级联的3D全卷积神经网络；

步骤5：将人体组织三维超声图输入到级联的3D全卷积神经网络，输出即为重建后的人体组织三维超声图。

本发明的有益效果是：由于采用不同卷积核，根据待重建体素周围不同尺度邻域空间体素信息进行重建，有效克服了传统方法感受野固定的缺点，提升了重建精确度。

附图说明

图1是本发明的一种基于自监督3D全卷积神经网络的超声三维重建方法流程图。

图2是本发明的单层卷积网络训练示意图。

图3是本发明的级联网络模型示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

如图1所示，本发明提供了一种基于自监督3D全卷积神经网络的超声三维重建方法。其实现过程如下：

1、收集数据。使用三维超声自动扫描机器人对不同人不同组织进行扫查，从而采集到人体多个组织部位的扫描结果，建立人体组织超声3D模型数据库。数据库中包括扫描得到的人体组织的三维超声图，图中每一个体积元素是一个四维向量，包括体积元素的x坐标、y坐标、z坐标和超声强度值。

2、分别用不同尺度卷积核构建若干个单层3D卷积神经网络作为简单网络。

3、分别训练简单网络，如图2所示，损失函数如下：

Loss＝crossentropy(Y，Y′*mask) (2)

其中，Loss表示损失函数，crossentropy表示二值交叉熵损失，Y为网络输入，即机器人采集到的原始待重建空间信息，Y′为网络输出值，即卷积之后的重建空间信息；mask是Y的掩码信息，即Y中超声强度大于零的体积元素被置为1，其余体积元素被置为0，即得到mask。*运算代表对应体积元素值相乘。从损失函数可看出，无须人工标注，为自监督方法。

4、将训练好的三个单层3D卷积神经网络按照网络的卷积核依次减小的顺序进行串联，得到级联的3D全卷积神经网络，如图3所示。

5、将步骤1得到的人体组织三维超声图输入到级联的3D全卷积神经网络，输出即为重建后的人体组织三维超声图。