一种三维多尺度矢量化的建模方法

摘要

本发明公开了一种三维多尺度矢量化的建模方法，包括以下步骤：A1、对不同尺度下的连续断层图像做预处理；A2、各种尺度下分别建模；A3、数据结构重组：将模型几何数据及其属性值分离出来；A4、不同尺度空间的归一化；A5、建成三维多尺度矢量化的模型。本发明能够解决现有建模方法所建立的模型信息表示不足，难以有效利用不同尺度下的模型信息为人体模型的虚拟仿真提供更详细的空间、大小及其毗邻组织结构的信息以及在模型信息迅速大量增加的情况下随之而来的存储量、计算量的增加难以适应模型的变换及实时响应的问题，提出了一种三维多尺度矢量化的建模方法。

说明书

技术领域

本发明是关于组织切片图像、临床影像图像(CT，Computed Tomography/MRI， Magnatic Resonance Imaging)和高精度数字化人体数据集的联合建模方法，并将模型的 属性数据和几何数据分别建立向量表示，通过向量的并行操作方式来建立模型。本发明 适用于不同尺度下的医学图像联合建模，同样适用于模型之间的信息融合。

背景技术

人体数字化建模是指通过切片、影像、实验测试等多种技术手段获取人体及器官的 多尺度、多模态、高精度的数据，以此为依据，建立可描述人体及器官的几何、物理、 生理等特征的模型；虚拟手术仿真是在建模基础上对手术关键步骤及其过程进行仿真， 对于选择最佳手术途径、减少对临近组织损害、减小手术损伤、提高手术定位精度和手 术的成功率等具有十分重要的意义。

由于人体结构的复杂性，各数据获取方式得到的图像在清晰度、对比度和完整性方 面存在一定的差异。临床影像图像依据各自的成像原理，对其敏感的组织结构具有较高 的清晰度和对比度，而对其敏感度相近似组织结构的清晰度和对比度较差，且其边界信 息较弱，许多组织结构无法同时显示一种形式的数据源上。而不同尺度的下获取的人体 数据有各自的优势，他们表达了不同的解剖及其功能相关的信息，比如冰冻铣切断层图 像CVH(Chinese Visible Human)中国数字化人体数据集是人体组织结构完整和高精度 的彩色图像连续断层数据集，是对组织器官及其毗邻结构真实图像的采集，但其来源于 尸体标本，数据获取和处理都相当困难；临床影像数据(CT，Computed Tomography/MRI， Magnatic Resonance Imaging)对人体器官层次结构具有较好的表达，而且数据获取速度 快、对人体的伤害小，但是对于一些组织和结构难以显示出来或是难以区分其边界；组 织学切片对细小的解剖结构，如血管的管壁、细小的神经、等结构在组织层面上具有更 清晰的表达能够反应宏观结构下组织的微观形态。因此，需要结合不同数据源、不同采 样精度的数据信息，并将这些信息加工处理，融合到一个数字化人体模型中，在确保人 体数字模型的完整性和精度的基础上，提供更加丰富的信息，有利于手术规划及决策判 断，这也是人体建模的一个重要趋势。

交互式人体模型仿真是人体数字模型应用的一个重要方面，能够将组织器官和病 灶在三维空间中表示出来，因其具有直观、可量化、可重复操作等优点，对疾病诊断、 手术规划减少病人创伤、实习医生的培训、教学等方面有着极其重要的意义。建立用于 交互式仿真人体模型的难点是要解决人体器官仿真模型的自适应拓扑形变问题，制约拓 扑形变的关键因素是庞大的数据量，它对模型的计算、显示、传输都造成瓶颈。虚拟手 术中运用矢量化的器官几何模型比原始体素(栅格形式)模型更具灵活性，且有利于建 立与几何形态相关的物理、生理属性之间的联系。矢量化后的模型是满足几何约束的最 优表示，可以有效的减少存储量和仿真过程中涉及变化单元的计算量。国际上商品化的 矢量化软件主要有德国Soflelec公司的VPStudio、挪威的RxSpotlight、美国GTX公司 的GTXRaster等，国内主要有MapGIS、中科院的VWAN、清华山维的EPScan等。这 些软件都能对栅格图像进行矢量编辑或进行一定程度上的自动矢量化，但是在矢量化精 度和速度上尚不能完全达到自动化的需要。且商用的矢量化软件主要应用地图、模具制 造的栅格图像的矢量化，而适用于医学图形图像特点的三维矢量化方法的研究仍然是空 白。

发明内容

本发明是针对上述人体组织结构建模仿真的不足而提供的一种能在不同尺度下进 行人体建模和矢量化的方法。

为了解决上述技术问题，本发明采用如下技术方案：

一种三维多尺度矢量化的建模方法，包括以下步骤：

A1、对不同尺度下的连续断层图像做预处理；

对于组织切片图像要参照包埋的时候在组织块的上下左右四个角上预留的4个定 标点，对采集的组织切片染色图像进行组织块内连续切片的配准及组织块之间的配准； CVH数据集和CT/MRI图像是已经配准好的数据集无需做特殊的预处理；

A2、各种尺度下分别建模。

组织切片图像、CT/MRI图像、CVH数据集分别进行图像分割，建立对应的模型F_A、 F_B、F_C，再二维矢量化操作，模型F_A、F_B、F_C转换为相应的F′_A、F′_B、F′_C；

A3、数据结构重组：将模型几何数据及其属性值分离出来；

A4、不同尺度空间的归一化；

A5、建成三维多尺度矢量化的模型。

所述的建模方法，所述步骤A3具体执行以下步骤：

(1)属性数据的向量格式如下：

p_i＝{x₀，y₀，length，width，voxelsize，slicethinkness，name，value，t}，i＝1，2，...，n，p_i为第 i个模型的属性数据，n为所有模型的总数；x₀：起始位置的x坐标，y₀：起始位置的y 坐标；length：图像矩阵的长度width：图像矩阵的宽度；length*width为图像的分辨率； voxelsize：像素的解析度，其计算公式是voxelsize＝实际测量的长度/像素的长度； slicethickness：断层图像的间距或层厚；name：组织结构的名称；value：分割图像中的 灰度值；t为预留的可扩展的特征向量，包括组织结构模型的一些统计信息；

P＝(p₁p₂...p_i...p_n)p_i，I＝1∶n，表示某一个组织结构模型属性数据，P为属性数据的 向量表示，包含了该尺度下所有组织结构的属性数据；

(2)几何数据的向量表示如下：

f_zi(x，y)＝c，每个f_zi代表第zi层上的分割数据，属于一个区域的组织结构图像用值C 来代表，x，y分别代表属于C区域的所有像素值的X坐标的向量和Y坐标的向量；整 个三维数据集是由所有断层上的分割数据构成； f_z(x，y)＝(f_z1(x，y)f_z2(x，y)f_z3(x，y)...f_zn(x，y))，其中f_z(x，y)代表所有断层图像的整个 三维数据集，进一步将此三维数据集表示成x、y、z坐标的函数 F(x，y，z)＝(f_z1(x，y)f_z2(x，y)f_z3(x，y)...f_zn(x，y))，将其表示为具有几何数据及该区域内的 标记C所组成的函数F(x，y，z)＝(xyzc)，x、y、z为分割区域的X轴、y轴、z轴坐标， c代表了所有模型灰度值组成的向量；此函数表示了模型的面信息；为了减少存储和计 算量将一个区域的像素点的集合表示成为只有边缘轮廓线的像素点的集合，即 F′(x′，y′，z′)＝(x′y′z′c)，x′∈x，y′∈z，z′∈z，其中x′，y′，z′分别为分割区域的轮 廓线的x轴、y轴、z轴坐标向量，x′，y′，z′，x、y、z均为不同模型的坐标的向量 表示，此步骤为二维的矢量化，用坐标点来表示轮廓线，既保持区域的拓扑结构又方便 拓扑结构的形变；最后令V＝(x′y′z′1)，V是由x轴、y轴、z轴坐标向量组成的向量， 为了方便矩阵运算，加了一个和x′，y′，z′维数相同的全1向量；

所述的建模方法，所述步骤A4具体执行以下步骤：

(1)缩放变换：

在步骤A3中的属性信息中voxelsize代表了每个模型像素的解析度，即一个像素所 代表的实际尺寸的大小，voxelsize越小，精度就越高，为了将不同尺度下的模型在同一 空间显示，首先以临床断层影像(CT/MRI)为标准，对大尺度及小尺度下的几何数据 进行缩放，缩放矩阵S定义为$S=\left(\begin{array}{cccc}{S}_x& 0& 0& 0\\ 0& S_y& 0& 0\\ 0& 0& S_z& 0\\ 0& 0& 0& 1\end{array}\right),$其中 S_x＝S_y＝(VoxelsizeA或VoxelsizeC)/VoxelsizeB，A、B、C分别代表CVH数据集、CT/MRI 断层图像、组织切片图像集，voxelsizeA、voxelsizeB、voxelsizeC代表其对应的像素解 析度，S_z＝(slicethicknessA或slicethicknessC)/slicethicknessB，slicethickness为断层图像 的层厚。缩放变换表示为V′＝S*V，其中V′为缩放变换后的三维模型坐标的矩阵，V为原 始三维模型坐标的矩阵；

(2)平移变换：

平移变换可以表示为V′＝V+T，其中$T=\left(\begin{array}{cccc}1& 0& 0& d_x\\ 0& 1& 0& d_y\\ 0& 0& 1& d_z\\ 0& 0& 0& 1\end{array}\right),$d_xd_yd_z分别代表了在X，Y， Z轴方向上的偏移量；

(3)旋转变换：

模型间的旋转变换表示为V′＝R*V，模型的坐标矩阵绕X，Y，Z轴旋转角度为θ的 旋转矩阵分别为R_x(θ)、R_z(θ)、R_y(θ)，其中

$R_{x\left(\theta \right)}=\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& \cos \left(\theta \right)& -\sin \left(\theta \right)& 0\\ 0& \sin \left(\theta \right)& \cos \left(\theta \right)& 0\\ 0& 0& 0& 1\end{array}\right),$$R_{y\left(\theta \right)}=\left(\begin{array}{cccc}\cos \left(\theta \right)& 0& \text{-sin}\left(\theta \right)& 0\\ 0& 1& 0& 0\\ -\sin \left(\theta \right)& 0& \cos \left(\theta \right)& 0\\ 0& 0& 0& 1\end{array}\right),$$R_{z\left(\theta \right)}=\left(\begin{array}{cccc}\cos \left(\theta \right)& -\sin \left(\theta \right)& 0& 0\\ \sin \left(\theta \right)& \cos \left(\theta \right)& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right).$

。

本发明能够解决现有建模方法所建立的模型信息表示不足，难以有效利用不同尺度 下的模型信息为人体模型的虚拟仿真提供更详细的空间、大小及其毗邻组织结构的信息 以及在模型信息迅速大量增加的情况下随之而来的存储量、计算量的增加难以适应模型 的变换及实时响应的问题，提出了一种三维多尺度矢量化的建模方法。

附图说明

图1三维多尺度矢量化建模步骤示意图；

具体实施方式

以下结合具体实施例，对本发明进行详细说明。

A1、对不同尺度下的连续断层图像做预处理。

对于组织切片图像要参照包埋的时候在组织块的上下左右四个角上预留的4个定 标点，对采集的组织切片染色图像进行组织块内连续切片的配准及组织块之间的配准。 CVH数据集和CT/MRI图像是已经配准好的数据集无需做特殊的预处理；

A2、各种尺度下分别建模。

组织切片图像、CT/MRI图像、CVH数据集分别进行图像分割建立对应的模型F_A、 F_B、F_C，再二维矢量化操作，模型F_A、F_B、F_C转换为相应的F′_A、F′_B、F′_C。

A3、数据结构重组：将模型几何数据及其属性值分离出来。

首先，构建属性向量，每个组织结构模型的属性向量表示为p， p_i＝{x₀，y₀，length，width，voxelsize，slicethickness，name，value，t}，i＝1，2，...，n，p_i为i第个 组织结构模型的属性数据，n为所有模型的总数；x₀：起始位置的x坐标，y₀：起始位置 的y坐标；length：图像矩阵的长度width：图像矩阵的宽度：length*width为图像的分辨 率；voxelsize：像素的解析度，其计算公式是voxelsize＝实际测量的长度/像素的长度； slicethickness：断层图像的间距或层厚；name：组织结构的名称；value：分割图像中的 灰度值；

然后，构建由x轴、y轴、z轴坐标向量组成的向量V，V＝(x′y′z′1)，由不同 尺度下即CVH数据集建立、CT/MRI图像、组织切片图像的模型分别为V_A、V_B、V_C。

参考附图1；首先将分割图像数据集中所反映的信息用向量来表示(每个组织结构 的模型用一个向量表示)，每个组织的几何模型表示的组织结构区域用边界线来表示， 再将二维的边界线转换成为和X，Y，Z的三维坐标列表(将此作为几何模型向量中的 一个分量)，然后将所有的组织结构模型组成一个向量，其中每一个分量都代表一个组 织结构。

(1)属性数据的向量格式如下：

p_i＝{x₀，y₀，length，width，voxelsize，slicethickness，name，value，t}，i＝1，2，...，n，p_i为 第i个模型的属性数据，n为所有模型的总数；x₀：起始位置的x坐标，y₀：起始位置的y 坐标；length：图像矩阵的长度width：图像矩阵的宽度；length*width为图像的分辨率； voxelsize：像素的解析度，其计算公式是voxelsize＝实际测量的长度/像素的长度； slicethickness：断层图像的间距或层厚；name：组织结构的名称；value：分割图像中的 灰度值；t为预留的可扩展的特征向量，主要包括组织结构模型的一些统计信息，如平 均密度、体积等。

P＝(p₁p₂...p_i...p_n)，p_i，I＝1∶n，表示某一个组织结构模型属性数据，P为属性数据的 向量表示，包含了该尺度下所有组织结构的属性数据。

(2)几何数据的向量表示如下：

f_zi(x，y)＝c，每个f_zi代表第zi层上的分割数据，属于一个区域的组织结构图像用值C 来代表，x，y分别代表属于C区域的所有像素值的X坐标的向量和Y坐标的向量；整 个三维数据集是由所有断层上的分割数据构成； f_z(x，y)＝(f_z1(x，y)f_z2(x，y)f_z3(x，y)...f_zn(x，y))，其中f_z(x，y)代表所有断层图像的整个 三维数据集，进一步将此三维数据集表示成x、y、z坐标的函数 F(x，y，z)＝(f_z1(x，y)f_z2(x，y)f_z3(x，y)...f_zn(x，y))，将其表示为具有几何数据及该区域内的 标记C(该分割区域的灰度值)所组成的函数F(x，y，z)＝(x y z c)，x、y、z为分割区域 的X轴、y轴、z轴坐标，c代表了所有模型灰度值组成的向量。此函数表示了模型的 面信息。为了减少存储和计算量将一个区域的像素点的集合表示成为只有边缘轮廓线的 像素点的集合，即F′(x′，y′，z′)＝(x′y′z′c)，x′∈x，y′∈z，z′∈z，其中x′，y′，z′分 别为分割区域的轮廓线的x轴、y轴、z轴坐标向量，x′，y′，z′，x、y、z均为不同 模型的坐标的向量表示，此步骤为二维的矢量化，用坐标点来表示轮廓线，既保持区域 的拓扑结构又方便拓扑结构的形变。几何数据的矢量化见附图。最后令 V＝(x′y′z′1)，V是由x轴、y轴、z轴坐标向量组成的向量，为了方便矩阵运算，加 了一个和x′，y′，z′维数相同的全1向量。做这一步转换是因为三维模型的几何形态及 拓扑变换只与顶点的坐标相关。

A4、不同尺度空间的归一化(旋转、缩放、平移变换)。

先将CT/MRI断层模型作为标准(归一化的标准根据不同的应用场合不同，如果是 为临床影像提供不可见的解剖和功能信息则以临床影像为标准，如果是研究小尺度空间 下的解剖结构和毗邻结构空间位置关系则以小尺度下的模型为标准，方法类似。本例中 以CT/MRI断层模型作为标准)，对大尺度下(CVH数据集)和小尺度下(组织切片模 型)的顶点坐标向量分别为V_A、V_C进行缩放，接着将组织切片模型V_C和CT/MRI断层模 型V_B进行坐标系对齐，这里只涉及旋转、平移变换，然后将配准好的V_B和V_C通过旋转、 平移变换和V_A对齐。

几何数据归一化的规则是以临床影像(CT/MRI)为桥梁，建立组织切片图像和 CVH数据集之间的联系，并将各自获取图像的局部坐标转换成以临床影像(CT/MRI) 为标准的全局坐标。归一化涉及的主要步骤包括缩放、平移、旋转；归一化的过程只 涉及到几何数据的坐标变换，可以利用计算机三维图形学中缩放、平移、旋转坐标变 换的思想，用向量来提高运算的并行性。本发明不是将单个模型建立绘制之后再进行 模型的变换和调整，克服了模型的绘制和渲染比较费时的缺陷，将所有模型矩阵之间 进行相应变换后再进行绘制，从而提高建模的效率。

下面详细描述缩放变换、平移变换、旋转变换的具体操作：

(1)缩放变换：

在步骤A3中的属性信息中voxelsize代表了每个模型像素的解析度，即一个像素所 代表的实际尺寸的大小，voxelsize越小，精度就越高，为了将不同尺度下的模型在同一 空间显示，首先要以最小的voxelsize(组织切片图像的解析度)为标准，对大尺度下的几 何数据进行缩放，缩放矩阵S定义为$S=\left(\begin{array}{cccc}{S}_x& 0& 0& 0\\ 0& S_y& 0& 0\\ 0& 0& S_z& 0\\ 0& 0& 0& 1\end{array}\right),$其中 S_x＝S_y＝(VoxelsizeA或VoxelsizeC)/VoxelsizeB，A、B、C分别代表CVH数据集、CT/MRI 断层图像、组织切片图像集，voxelsizeA、voxelsizeB、voxelsizeC代表其对应的像素 解析度，S_z＝(slicethicknessA或slicethicknessC)/slicethicknessB，slicethickness为断层 图像的层厚。缩放变换表示为V′＝S*V，其中V′为缩放变换后的三维模型坐标的矩阵，V 为原始三维模型坐标的矩阵；

(2)平移变换：

平移变换可以表示为V′＝V+T，其中$T=\left(\begin{array}{cccc}1& 0& 0& d_x\\ 0& 1& 0& d_y\\ 0& 0& 1& d_z\\ 0& 0& 0& 1\end{array}\right),$d_xd_yd_z分别代表了在X，Y， Z轴方向上的偏移量；

(3)旋转变换：

模型间的旋转变换表示为V′＝R*V，模型的坐标矩阵绕X，Y，Z轴旋转角度为θ 的旋转矩阵分别为R_x(θ)、R_z(θ)、R_y(θ)，其中

$R_{x\left(\theta \right)}=\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& \cos \left(\theta \right)& -\sin \left(\theta \right)& 0\\ 0& \sin \left(\theta \right)& \cos \left(\theta \right)& 0\\ 0& 0& 0& 1\end{array}\right),$$R_{y\left(\theta \right)}=\left(\begin{array}{cccc}\cos \left(\theta \right)& 0& \text{-sin}\left(\theta \right)& 0\\ 0& 1& 0& 0\\ -\sin \left(\theta \right)& 0& \cos \left(\theta \right)& 0\\ 0& 0& 0& 1\end{array}\right),$$R_{z\left(\theta \right)}=\left(\begin{array}{cccc}\cos \left(\theta \right)& -\sin \left(\theta \right)& 0& 0\\ \sin \left(\theta \right)& \cos \left(\theta \right)& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right).$

。

A5、建成三维多尺度矢量化的模型。

本发明的有益效果：

1.本发明能够将组织切片图像、CT、MRI、CVH数据集不同尺度下的人体组织 结构在同一空间中建模，能够实现不同尺度下模型信息的有效融合，为虚拟手术仿真提 供比单一数据源更详细的空间结构及其毗邻的信息；

2.减少存储量：本发明根据在分割数据中一个区域内像素具有相同属性，将其冗 余去除，只保留轮廓线，极大的减少了存储量，另一方面也减少了计算量；

3.不同尺度空间归一化需要对不同尺度空间进行配准，其基本的操作步骤是平移、 缩放、旋转，和几何数据相关和属性值无关；将图像中的非线性变换变成了图形中的线 性变换；

4.属性数据和几何数据均采用向量表示，方便矩阵运算，提高计算效率将矩阵变 换之后再进行统一绘制，减少了单个模型进行操作的中间步骤；

5.有利于属性向量的知识推导：知识的推导更多的涉及到组织的属性如组织的平 均密度、体积等，可以将模型的统计信息如平均密度、体积等作为特征向量添加到属性 向量P中，数据和属性的分离有利于知识推导、检索；

6.矢量化的表示有助于提高人体模型仿真的并行性：现有的矢量化方法只是二维 的，本发明定义了三维的矢量化方法，矢量化后的模型是满足几何约束的最优表示，可 以有效的减少存储量和仿真过程中涉及变化单元的计算量，进一步扩大了多尺度人体模 型的应用范围。

应当理解的是，本方法在具体应用中并不局限于组织切片图像、CT/MRI图像、CVH 数据集这三种图像数据类型，凡涉及人体解剖学结构不同尺度下的图像该方法均适用。 对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变 换都应属于本发明所附权利要求的保护范围。