一种基于三维超声探头的图像扫描方法及系统

摘要

本发明公开了一种基于三维超声探头的图像扫描方法及系统，所述方法包括：获取待扫描区域，并根据所述待扫描区域确定三维超声探头的扫描路径；根据所述扫描路径，控制所述三维超声探头对所述待扫描区域进行扫描，得到多个三维超声图像；将多个所述三维超声图像进行融合处理以及可视化渲染处理，得到三维重建图像。本发明通过深度摄像仪对人体部位进行扫描，经过系统对扫描区域自动规划路径和控制三维超声探头扫描该区域获取多个超声三维图像，最后进行图像配准以及融合、渲染为一个三维重建图像，从而解决了现有技术当中，超声扫描均是使用二维超声探头通过多个角度、多个位置来扫描图像，效率较为低下，三维重建误差较大的问题。

说明书

技术领域

本发明涉及超声扫描行技术领域，尤其涉及一种基于三维超声探头的 图像扫描方法及系统。

背景技术

当前大范围的超声扫描系统主要是采用二维超声探头进行扫描，再通 过多个位置、多个角度的扫描图像进行三维重建。近年有一些研究人员相 继开发了使用机械装置扫描的系统，但均是使用的二维超声探头通过多个 角度、多个位置来扫描图像，效率较为低下，三维重建误差较大。

因此，现有技术还有待改进和提高。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种 基于三维超声探头的图像扫描方法及系统，旨在解决现有技术中在进行超 声扫描的过程中，均是使用的二维超声探头通过多个角度、多个位置来扫 描图像，效率较为低下，三维重建误差较大的问题。

为了解决上述技术问题，本发明所采用的技术方案如下：

第一方面，本发明提供一种基于三维超声探头的图像扫描方法，其中， 所述方法包括：

获取待扫描区域，并根据所述待扫描区域确定三维超声探头的扫描路 径；

根据所述扫描路径，控制所述三维超声探头对所述待扫描区域进行扫 描，得到多个三维超声图像；

将多个所述三维超声图像进行融合处理以及可视化渲染处理，得到三 维重建图像。

在一种实现方式中，所述获取待扫描区域，并根据所述待扫描区域确 定三维超声探头的扫描路径包括：

根据深度摄像仪采集待扫描部位的深度图与彩色图，并根据所述深度 图与所述彩色图，分割出所述待扫描部位的位置信息；

根据所述位置信息，计算得到所述待扫描部位的最大矩形区域，并将 所述最大矩形区域作为所述待扫描区域；

根据所述待扫描区域，所述待扫描区域中的若干个扫描点，并确定所 述三维超声探头的扫描路径。

在一种实现方式中，所述根据所述扫描路径，控制所述三维超声探头 对所述待扫描区域进行扫描，得到多个三维超声图像，包括：

根据所述扫描路径，控制所述三维超声探头运动至指定位置，并采集 三维超声图像；

从采集到的三维超声图像中分割出所述待扫描部位的血管图像，并计 算血管在所述三维超声图像中的相对位置与流向；

根据所述相对位置与流向，调整下一个扫描点的位置，并采集三维超 声图像，重复上述步骤，直至扫描完成。

在一种实现方式中，所述根据所述相对位置与流向，调整下一个扫描 点的位置，包括：

根据所述相对位置与流向，控制所述血管位于三维超声图像的中心位 置；

获取所述相对位置与所述中心位置之间的位置偏移，确定下一个扫描 点的位置。

在一种实现方式中，所述将多个所述三维超声图像进行融合处理以及 可视化渲染处理，得到三维重建图像，包括：

记录每一个扫描点的空间坐标，并对每一个三维超声图像进行采样；

通过交互信息算法进行图像配准，并对配准后的三维超声图像进行融 合以及可视化渲染处理，得到所述三维重建图像。

在一种实现方式中，所述通过交互信息算法进行图像配准，包括：

获取前后采集到的两组三维超声图像，分别为参考图像与浮动图像；

对所述浮动图像做空间变换处理，得到相似性测度；

根据所述参考图像与所述相似性测度，确定空间变化的最优参数，以 实现图像配准。

在一种实现方式中，当图像完全配准时，所述相似性测度取值最大。

第二方面，本发明实施例还提供一种基于三维超声探头的图像扫描系 统，其中，所述系统包括：

路径确定模块，获取待扫描区域，并根据所述待扫描区域确定三维超 声探头的扫描路径；

图像采集模块，用于根据所述扫描路径，控制所述三维超声探头对所 述待扫描区域进行扫描，得到多个三维超声图像；

三维重建模块，用于将多个所述三维超声图像进行融合处理以及可视 化渲染处理，得到三维重建图像。

第三方面，本发明实施例还提供一种终端设备，其中，所述终端设备 包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的基 于三维超声探头的图像扫描程序，所述处理器执行所述基于三维超声探头 的图像扫描程序时，实现上述方案中任一项所述的基于三维超声探头的图 像扫描方法的步骤。

第四方面，本发明实施例还提供一种计算机可读存储介质，其中，所 述计算机可读存储介质上存储有基于三维超声探头的图像扫描程序，所述 基于三维超声探头的图像扫描程序被处理器执行时，实现上述方案中任一 项所述的基于三维超声探头的图像扫描方法的步骤。

有益效果：本发明提供了一种基于三维超声探头的图像扫描方法及系 统，通过深度摄像仪对人体部位进行扫描，经过系统对扫描区域按照算法 自动规划路径和控制三维超声探头扫描该区域获取多个超声三维图像，最 后将多个超声三维图像进行融合以及可视化渲染处理为一个三维重建图 像，从而解决了现有技术当中，超声扫描均是使用二维超声探头通过多个 角度、多个位置来扫描图像，效率较为低下，三维重建误差较大的问题。

附图说明

图1为本发明实施例提供的手臂扫描示例图。

图2为本发明实施例提供的根据血管位置与流向调整扫描路径示例图。

图3为本发明实施例提供的基于三维超声探头的图像扫描方法的整体 流程图。

图4为本发明实施例提供的基于三维超声探头的图像扫描方法中确定 三维超声探头的扫描路径的流程图。

图5为本发明实施例提供的基于三维超声探头的图像扫描方法中控制 三维超声探头进行扫描的流程图。

图6为本发明实施例提供的基于三维超声探头的图像扫描方法中得到 三维重建图像的流程图。

图7是本发明实施例提供的基于交互信息算法的图像配准流程图。

图8是本发明实施例提供的基于三维超声探头的图像扫描系统的原理 框图。

图9是本发明实施例提供的终端设备的内部结构原理框图。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图 并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施 例仅用以解释本发明，并不用于限定本发明。

当前大范围的超声扫描系统主要是采用二维超声探头进行扫描，再通 过多个位置、多个角度的扫描图像进行三维重建。近年有一些研究人员相 继开发了使用机械装置扫描的系统，但均是使用的二维超声探头通过多个 角度、多个位置来扫描图像，效率较为低下，三维重建误差较大。

为了解决现有技术的问题，本实施例提供了一种基于三维超声探头的 图像扫描方法及系统。本实施例通过扫描人体手臂的血管对应皮肤组织的 表面轮廓进行说明论述，应用本发明时，首先通过深度摄像仪对手臂上血 管对应皮肤组织的表面轮廓进行扫描，将深度摄像仪扫描的图像传送给系 统，系统按照程序算法根据扫描的图像对三维超声探头的扫描路径进行规 划，三维超声探头按照扫描路径在特定点采集三维超声图像，再根据算法 进行自适应调整原扫描路径，继续采集三维超声图像，最后系统将采集的 多个三维超声图像按照程序算法将进行融合处理以及可视化渲染处理，得 到三维重建图像，上述制作三维重建图像的方法不仅工作效率高，而且三 维重建图像与实际手臂血管部位的构造误差较小，重建质量高，能大大的 提高医学诊断的准确度。

举例说明，如图1所示，图1为手臂扫描示例图，00为系统根据手臂 大小构造的手臂内最大矩形扫描区域，20为人体手臂，10为血管，30为系 统最开始设定的扫描点。用户使用本发明时，首先利用深度摄像仪例如 Kinect，扫描人体手臂上的血管对应皮肤组织的表面轮廓，即获取扫描区 域的RGB-D图像，进行图像处理后可以被系统进行识别和运用，根据算法 在手臂上构造最大矩形扫描区域，以矩形框建立直角坐标系，手臂上任意 一点都可以用坐标表示，坐标运用在后续扫描和进行图像融合、渲染的算 法当中，在最大矩形中间位置选定一条水平的路径，在水平路径上每隔均 匀的距离设置一个扫描点，根据手臂长度进行设定多个扫描点，多个扫描 点连成线即为三维超声探头的原始扫描路径，效果如图1所示，同时系统 将三维超声图像当中分离出血管图像，根据血管在三维图像的相对位置和流向，系统按照算法重新确定扫描区域和扫描点，如图2所示，10为分离 出的血管，30和40分别是系统最开始设定的扫描点和三维超声探头在每个 扫描点可进行扫描的区域范围，50和60是系统根据血管10相对位置和流 向按照算法重新设定的扫描点和三维超声探头在每个扫描点可进行扫描的 区域范围，之后，系统继续控制超声探头按照重新设定好的路径进行扫描， 将扫描后的超声三维图像进行筛选采样，系统继续根据算法将采样后的三 维超声图像进行融合和渲染，最终得到了清晰，可靠的三维重建图像，医 生可以根据该三维重建图像进行精确的诊断。

本实施例提供了一种基于三维超声探头的图像扫描方法，具体如图3 中所示，所述方法包括以下步骤：

步骤S100、获取待扫描区域，并根据所述待扫描区域确定三维超声探 头的扫描路径。

为了获得手臂上血管的三维重建图像，则需要对实际人体手臂的血管 进行扫描录入系统当中进行处理，用户可采取Kinect深度摄像仪扫描人体 手臂上的血管对应皮肤组织的表面轮廓，系统根据录入的人体手臂上的血 管对应皮肤组织的表面轮廓进行图像分析处理并按照算法去除不必要的部 分，构造一个需要扫描的待扫描区域，获取了待扫描区域后，系统根据待 扫描区域和按照算法设定一条扫描路径，即确定了三维超声探头的扫描路 径。

在一种实现方式中，如图4中所示，所述步骤S100具体包括如下步骤：

步骤S101、根据深度摄像仪采集待扫描部位的深度图与彩色图，并根 据所述深度图与所述彩色图，分割出所述待扫描部位的位置信息；

步骤S102、根据所述位置信息，计算得到所述待扫描部位的最大矩形 区域，并将所述最大矩形区域作为所述待扫描区域；

步骤S103、根据所述待扫描区域，确定所述待扫描区域中的若干个扫 描点，并确定所述三维超声探头的扫描路径。

具体实施时，人体手臂为待扫描部位，用户利用深度摄像仪扫描待扫 描部位得到的图像为RGB-D图像，RGB-D图像分为深度图和色彩图，图像 的背景与人体肤色的颜色是不一样的，严重影响系统的图像处理，将采集 图像的背景设置为白色，然后根据图像处理好的深度图和色彩图计算像素 点的数量和分布方式，按照结果分割出待扫描部位的位置信息。

根据待扫描部位的位置信息可以最大范围的囊括需要扫描的部分并剔 除不必要的部分，计算出待扫描部位的最大矩形区域，如图1所示，以最 大矩形区域内建立直角坐标系，即以矩形下边长作为Y轴，扫描方向(从 左向右扫描)设为Y轴正向，以矩形垂直Y轴的左边作为X轴，由下至上 作为X轴正向，X轴和Y轴的交点作为原点，建立的坐标系用于后续步骤的 算法，而建立起的最大矩形区域即为待扫描区域。

根据所得到的待扫描区域，如图1所示，在待扫描区域的中间沿扫描 方向上设置一条模拟水平线，在水平线上设置扫描点，起点在Y轴上，进 行等距设置扫描点，总共可以设置n个扫描点，扫描的总个数n由计算出 待扫描部位的最大矩形区域决定，从而确定了待扫描区域中的若干个扫描 点，将扫描点进行连线，即确定了三维超声探头的扫描路径，该扫描路径 是最原始的扫描路径，需要根据实际情况进行算法调整。

步骤S200、根据所述扫描路径，控制所述三维超声探头对所述待扫描 区域进行扫描，得到多个三维超声图像。

在得到原始的扫描路径后，根据扫描路径，系统控制三维超声探头对 待扫描区域进行扫描，首先系统控制三维超声探头移动到指定的开始扫描 点进行扫描工作，每次在扫描点完成工作后，根据血管的三维超声图像进 行算法计算重新获得下一个扫描点的位置，然后移动到下一个重新规划的 扫描点进行扫描，当所有扫描点都移动完成后，即扫描完成并得到了多个 三维超声图像。

在一种实现方式中，如图5中所示，所述步骤S200具体包括如下步骤：

S201、根据所述扫描路径，控制所述三维超声探头运动至指定位置， 并采集三维超声图像；

S202、从采集到的三维超声图像中分割出所述待扫描部位的血管图像， 并计算血管在所述三维超声图像中的相对位置与流向。

S203、根据所述相对位置与流向，调整下一个扫描点的位置，并采集 三维超声图像，重复上述步骤，直至扫描完成。

具体实施时，如图1所示，在得到原始的扫描路径后，系统根据扫描 路径控制三维超声探头运动至指定位置，指定位置为待扫描区域的第一个 扫描点，该扫描点在X轴上，即在最大矩形区域的左边缘中间水平位置上， 系统控制三维超声探头在第一个扫描点上采集三维超声图像。

基于水平集算法从三维超声图像中分割出待扫描部位的血管图像，并 且计算血管在三维超声图像中的相对位置与流向，具体过程需要根据最大 矩形区域内所建立的坐标系转换成空间坐标，进行计算相对位置与流向并 用空间坐标和空间向量进行表示。

根据所述相对位置与流向，控制所述血管位于三维超声图像的中心位 置；获取所述相对位置与所述中心位置之间的位置偏移，确定下一个扫描 点的位置，具体效果如图2所示，10为分离出的血管，30和40分别是系 统最开始设定的扫描点和三维超声探头在每个扫描点可进行扫描的区域范 围，50和60是系统根据血管10相对位置和流向按照算法重新设定的扫描 点和三维超声探头在每个扫描点可进行扫描的区域范围。

举例说明，假设该组三维图像中血管的流向

确定完下一个扫描点的位置后，控制三维超声探头移动到下一个扫描 点上进行扫描并采集三维超声图像，重复上述步骤，直至整个扫描完成。

步骤S300、将多个所述三维超声图像进行融合处理以及可视化渲染处 理，得到三维重建图像。

在三维超声探头采集完所有三维超声图像以后，就需要根据算法对多 个三维超声图像进行处理，将多个图像进行配准计算不能出现偏差，在配 准后，就可以将多个三维超声图像按照算法进行融合和渲染，得到了质量 高并且可靠的三维重建图像。

在一种实现方式中，如图6中所示，所述步骤S300具体包括如下步骤：

S301、记录每一个扫描点的空间坐标，并对每一个三维超声图像进行 采样；

S302、通过交互信息算法进行图像配准，并对配准后的三维超声图像 进行融合以及可视化渲染处理，得到所述三维重建图像。

具体实施时，在三维超声探头采集完所有三维超声图像以后，对三维 超声图像上的每一个扫描点用空间坐标进行表示并记录下来，对每一个获 得的三维超声图像进行采样数据并进行数据处理，通过交互信息算法进行 图像配准，图像配准包括以下步骤：

获取前后采集到的两组三维超声图像，分别为参考图像与浮动图像；

对所述浮动图像做空间变换处理，得到相似性测度；

根据所述参考图像与所述相似性测度，确定空间变化的最优参数，以 实现图像配准。

举例说明，如图7所示，采用交互信息算法进行图像配准，系统依次 对采集得到的三维图像按照顺序进行前后采集到的两组三维超声图像进行 图像配准操作。假设前后采集到的两组待配准的三维图像分别为R、F，以 图像R的空间坐标为基准(R为参考图像)，在相似性测度S下的图像配准 准则即为寻找一个空间变换T，对图像F做变换T(F为浮动图像)，使得 在此变换下相似性测度S最大.配准过程可看作下式所示的优化问题：

其中相似测度S为图像间的相似性度量函数，当图像完全配准时，该 函数取值最大，即相似性测度S取值最大。可以采用互信息来表示相似性 测度S，相关计算公式如下所示:

MI(R,F)＝H(R)+H(F)-H(R,F) (1-6)

其中R、F分别代表参考图像和浮动图像，H(R)、H(F)、H(R，F)分别 代表两幅图像的香农熵以及联合熵，其值可以通过图像的灰度分布计算得 到。

当互信息MI(R,F)最大时，则相似性测度S取值也最大，代表着图像配准 比较高，误差较小。

由于采用互信息配准方法需计算图像全部数据点的灰度值，即使是高 性能的计算机一般也需要很长的时间。为了减少计算量，提高配准速度， 可以对三维参考图像和浮动图像以M×N×L的采样间隔步长进行采样，其 中M、N、L拟取值5mm。

确定目标函数后，采用粒子群优化算法来求其最优解。具体流程如下：

1)初始化粒子群，设置种群规模为M，把M划分为多个子群体，每个子群 体有N个粒子，在一定取值范围内随机初始化粒子的位置和速度，全局 最优适应度f(gbest)，粒子的f(pbest)。

2)根据上式(1-6)计算每个粒子的适应度。

3)若第二步中计算得到的粒子适应度fpnew优于f(pbest)，则将fpnew替 换f(pbest)；若所有粒子的f(pbest)更新完毕得到的种群最优适应度 fgnew优于f(gbest)，则将fgnew替换f(gbest)。

4)更新粒子的速度和位置。

5)若达到设定的最大迭代次数或全局收敛，则终止迭代，否则返回步骤 (2)，进行下一轮迭代。

根据参考图像与相似性测度的值，确定空间变化的最优参数，以实现 图像配准。

在根据算法进行配准以后，还需要对配准后的三维超声图像进行融合 以及可视化渲染处理，得到了最后的三维重建图像，该三维重建图像质量 和可靠性非常高，可直接供用户进行医疗诊断。

综上，本发明通过深度摄像仪对人体部位进行扫描，经过系统按照算 法对扫描区域自动规划路径和控制三维超声探头扫描该区域获取多个超声 三维图像，根据交互信息算法将图像进行配准，最后将多个超声三维图像 进行融合以及可视化渲染处理为一个三维重建图像供用户使用。

如图8中所示，本发明实施例提供一种基于三维超声探头的图像扫描 系统，所述系统包括：

路径确定模块100，获取待扫描区域，并根据所述待扫描区域确定三维 超声探头的扫描路径；

图像采集模块200，用于根据所述扫描路径，控制所述三维超声探头对 所述待扫描区域进行扫描，得到多个三维超声图像；

三维重建模块300，用于将多个所述三维超声图像进行融合处理以及可 视化渲染处理，得到三维重建图像。

基于上述实施例，本发明还提供了一种终端设备，其原理框图可以如 图9所示。该终端设备包括通过系统总线连接的处理器、存储器、网络接 口、显示屏、温度传感器。其中，该终端设备的处理器用于提供计算和控 制能力。该终端设备的存储器包括非易失性存储介质、内存储器。该非易 失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储 介质中的操作系统和计算机程序的运行提供环境。该终端设备的网络接口 用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实 现一种基于三维超声探头的图像扫描方法。该终端设备的显示屏可以是液 晶显示屏或者电子墨水显示屏，该终端设备的温度传感器是预先在终端设 备内部设置，用于检测内部设备的运行温度。

本领域技术人员可以理解，图9中示出的原理框图，仅仅是与本发明 方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端 设备的限定，具体的终端设备以包括比图中所示更多或更少的部件，或者 组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种终端设备，终端设备包括存储器、处理 器及存储在存储器中并可在处理器上运行的基于三维超声探头的图像扫描 程序，处理器执行基于三维超声探头的图像扫描程序时，实现如下操作指 令：

获取待扫描区域，并根据所述待扫描区域确定三维超声探头的扫描路 径；

根据所述扫描路径，控制所述三维超声探头对所述待扫描区域进行扫 描，得到多个三维超声图像；

将多个所述三维超声图像进行融合处理以及可视化渲染处理，得到三 维重建图像。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流 程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序 可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时， 可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中 所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易 失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编 程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或 闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储 器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动 态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型 SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及 存储器总线动态RAM(RDRAM)等。

综上，本发明公开了一种基于三维超声探头的图像扫描方法及系统， 所述方法包括：获取待扫描区域，并根据所述待扫描区域确定三维超声探 头的扫描路径；根据所述扫描路径，控制所述三维超声探头对所述待扫描 区域进行扫描，得到多个三维超声图像；将多个所述三维超声图像进行融 合处理以及可视化渲染处理，得到三维重建图像。本发明通过深度摄像仪 对人体部位进行扫描，经过系统对扫描区域自动规划路径和控制三维超声探头扫描该区域获取多个超声三维图像，最后进行图像配准以及融合、渲 染为一个三维重建图像，从而解决了现有技术当中，超声扫描均是使用二 维超声探头通过多个角度、多个位置来扫描图像，效率较为低下，三维重 建误差较大的问题。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对 其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通 技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修 改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不 使响应技术方案的本质脱离本发明各实施例技术方案的精神和范围。