三维血管造影图像中解剖学关键点的检测方法和装置

摘要

本申请提出了一种三维血管造影图像中解剖学关键点的检测方法，涉及医学图像处理技术领域，其中，该方法包括：获取三维血管造影图像作为测试图像；对测试图像进行预处理，并将预处理后的图像输入到预先训练的多任务深度学习网络中，输出解剖学关键点预测概率图，其中，多任务深度学习模型是以包含与所述测试图像同一血管类型的三维血管造影训练图像以及三维血管造影训练图像的标注结果作为训练数据集训练得到的；根据解剖学关键点预测概率图中体素位置的预测概率，生成解剖学关键点的检测结果。采用上述方案的本申请能够充分利用不同任务间的协同作用，显式建模血管拓扑变异类型，结合空间先验信息，实现良好的检测性能。

说明书

技术领域

本申请涉及医学图像处理技术领域，尤其涉及三维血管造影图像中解剖学关键点的检 测方法和装置。

背景技术

三维血管造影技术包括磁共振血管造影技术(MRA)、计算机断层扫描血管造影技术 (CTA)、数字减影血管造影技术(DSA)等，能够利用血液流动的成像特点对体内血管 和血流信号特征进行清晰立体的展示。三维血管造影技术涵盖颅内血管、冠状动脉、颈动 脉、主动脉等多种血管结构，对这些结构进行检查与分析是诊断与治疗相关疾病的重要辅 助手段。以颅内血管磁共振造影图像为例，它能够反映颅内动、静脉是否存在畸形，无创、 安全、清晰地显示颅内动脉瘤的瘤体与载瘤动脉形态，已成为颅内动脉瘤诊断的首选方法。近年来，基于计算机理论的医学图像智能分析技术得到了长足发展，三维血管造影图像中的血管自动提取、病变定位、病变测量等任务已经得到了广泛研究和临床应用。

三维血管造影图像中的解剖学关键点检测任务关注血管的各级分叉点，它们位于各级 血管段的分叉位置，具有独特而重要的解剖意义。以颅内血管关键点检测为例，依据脑血 管拓扑定义，完整的Willis环区域可划分为20个具有独立解剖学命名的血管段(此处不包 括ICA-C4及更外段)，则可在各血管段接壤位置共定义19个关键点。因此，解剖学关键点显式建模了血管整体拓扑结构，能够为血管语义分割、病变定位和疾病诊断提供丰富的语义信息。此外，解剖学关键点检测是医学图像智能分析后续任务的一种重要使能手段，能够为血管追踪、中心线提取提供初始化条件，辅助实现同一患者多期影像或不同患者影像的血管树配准等。但由于血管形态细长弯曲、结构分布复杂、不同个体间存在多样变化，且部分血管分段需要依赖周围组织位置、图像的局部外观和灰度分布可能受到病理影响等， 解剖学关键点检测任务面临着很大挑战。

另一方面，与气管、主动脉等其他解剖学树状结构不同，颅内血管、冠状动脉等部分 血管结构可能存在拓扑变化。以颅内血管中的Willis环区域为例，据相关研究，只有约52％ 的个体拥有完整的Willis环，以单侧或双侧PCoA缺失、PCA-P1段缺失(胚胎型后交通)为代表的生理性变异广泛存在。已有研究指出这些生理性变异可能与疾病潜在风险相关，如何建模这些变异类型是颅内血管分析的重点之一。值得注意的是，部分血管段的缺失将导致相关关键点失去局部分叉特征而难以辨别。例如，当一侧PCoA存在时，关键点PCoA-A(血管段PCoA与ICA的分叉点)位于分叉位置上；当该PCoA缺失时，该关键点将位于 平滑的ICA血管段上，不具有局部分叉特征。在临床标注中，这些关键点的位置往往需要 依据医师的经验和空间对称性确定，这使得关键点的自动检测变得尤为困难。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种三维血管造影图像中解剖学关键点的检测方 法，采用上述方案的本申请能够充分利用不同任务间的协同作用，显式建模血管拓扑变异 类型，结合空间先验信息，实现良好的检测性能。

本申请的第二个目的在于提出一种三维血管造影图像中解剖学关键点的检测装置。

为达上述目的，本申请第一方面实施例提出了一种三维血管造影图像中解剖学关键点 的检测方法，包括：获取三维血管造影图像作为测试图像；对测试图像进行预处理，并将 预处理后的图像输入到预先训练的多任务深度学习网络中，输出解剖学关键点预测概率图， 其中，多任务深度学习模型是以包含与测试图像同一血管类型的三维血管造影训练图像以 及三维血管造影训练图像的标注结果作为训练数据集训练得到的；根据解剖学关键点预测 概率图中体素位置的预测概率，生成解剖学关键点的检测结果。

本申请实施例的三维血管造影图像中解剖学关键点的检测方法，通过在离线阶段获取 包含特定血管结构的三维血管造影图像数据及并预处理，对图像进行手工标注后生成对应 的解剖学关键点检测、血管段语义分割、血管段缺失分类、关键点局部分叉特征分类任务 的预测目标，共同构成训练数据集对多任务深度学习网络进行训练；进而在在线阶段，利 用训练完毕的网络模型由一张相同类型的图像输出关键点概率热图预测结果，并由其得到 最终的解剖学关键点检测位置。本申请显式引入结构先验知识，建模空间语义信息，能够 实现良好的检测性能。

可选地，在本申请的一个实施例中，对测试图像进行预处理，包括统一分辨率、裁剪 至预设尺寸、体素灰度值归一化。

可选地，在本申请的一个实施例中，预先训练多任务深度学习网络，包括：

获取包含与测试图像同一血管类型的三维血管造影图像作为原始数据集；

对原始数据集进行预处理，并获取预处理后的数据集对应的标注结果，其中，标注结 果包括血管解剖学关键点标注结果、血管二值分割标注结果和血管段语义分割标注结果；

根据预处理后的数据集和对应的标注结果生成训练数据集；

构建多任务深度学习网络，并使用训练数据集对多任务深度学习网络进行训练，得到 训练后的多任务深度学习网络。

可选地，在本申请的一个实施例中，获取预处理后的数据集对应的标注结果，包括：

使用医学图像处理软件，通过人工对预处理后的数据集中的每张图像标注预定义的血 管解剖学关键点和血管二值分割两部分，其中，血管解剖学关键点标注结果为各关键点对 应的三维坐标，血管二值分割标注结果为与图像相同大小的逐体素二值图；

基于血管解剖学关键点和血管二值分割的标注结果，使用自动化方法生成数据集中每 张图像对应的血管段语义分割标注结果。

可选地，在本申请的一个实施例中，基于血管解剖学关键点和血管二值分割标注结果， 使用自动化方法生成数据集中每张图像对应的血管段语义分割标注结果，包括：

使用细化算法由血管二值分割标注结果得到对应的管腔中心线，并依据解剖学关键点 标注将中心线划分为不同的语义段；

对血管二值分割标注中的各个血管体素，依据最近的中心线体素确定其语义标签；

在医学图像处理软件中对各张图像所得的语义分割自动化标注结果进行手工修正，从 而得到最终的语义分割标注结果，其中，语义分割自动化标注结果包括语义段和语义标签。

可选地，在本申请的一个实施例中，根据预处理后的数据集和对应的标注结果生成训 练数据集，包括：

根据标注结果，对预处理后的数据集中的每张图像进行处理，得到解剖学关键点多通 道概率热图、血管段语义分割多通道概率图、血管段缺失分类向量、关键点局部分叉特征 分类向量作为图像对应的预测目标；

将预处理后的数据集中的每张图像和对应的预测目标构成一个训练数据对，所有的训 练数据对共同构成训练数据集。

可选地，在本申请的一个实施例中，根据标注结果，对预处理后的数据集中的每张图 像进行处理，得到解剖学关键点多通道概率热图、血管段语义分割多通道概率图、血管段 缺失分类向量、关键点局部分叉特征分类向量作为图像对应的预测目标，包括：

对数据集中每张预处理后的图像，根据血管解剖学关键点的标注结果对各预定义的关 键点分别输出一张和输入图像尺寸相等的解剖学关键点多通道概率热图，其中，对各目标 关键点，其对应的概率热图以该关键点为中心呈三维高斯分布；

根据血管段语义分割标注结果生成血管段语义分割多通道概率图，其中，血管段语义 分割多通道概率图的最后一个通道为背景通道，其余通道分别反映了输入图像中各血管段 的位置分布；

根据血管段语义分割的标注结果得到血管段缺失分类向量、关键点局部分叉特征分类 向量，其中，当血管段语义分割标注结果中某一血管段缺失时，该血管段两端的解剖学关 键点失去局部分叉特征，否则该血管段两端的解剖学关键点具有局部分叉特征。

可选地，在本申请的一个实施例中，多任务深度学习网络包括主干部分和四个分支部 分，其中，

主干部分，用于对输入的图像进行特征提取，输出特征图；

第一分支，用于对特征图进行处理，生成解剖学关键点多通道概率热图的预测结果；

第二分支，用于对特征图进行处理，生成血管段语义分割多通道概率图的预测结果；

第三分支，用于对特征图进行处理，生成血管段缺失分类向量的预测结果；

第四分支，用于对特征图进行处理，生成关键点局部分叉特征分类向量的预测结果。

可选地，在本申请的一个实施例中，使用训练数据集训练初始化后的网络，包括：

步骤S1：从训练数据集中随机选取一个训练数据对，将训练数据对中的经过预处理后 的三维血管造影图像输入构建的多任务深度学习网络中，获取网络各分支的输出结果为预 测结果；

步骤S2：将预测结果和训练数据对中的预测目标输入到损失函数中，得到损失函数值；

步骤S3：基于计算得到的损失函数值使用梯度下降法最小化损失函数，调整网络参数；

步骤S4：重复进行步骤S1、步骤S2、步骤S3、步骤S4，不断调整网络参数，当训练 次数超过设定的上限次数时，完成训练，确定多任务深度学习网络参数，得到训练好的多 任务深度学习网络。

为达上述目的，本发明第二方面实施例提出了一种三维血管造影图像中解剖学关键点 的检测装置，包括获取模块、处理模块、结果生成模块，其中，

获取模块，用于获取三维血管造影图像作为测试图像；

处理模块，用于对测试图像进行预处理，并将预处理后的图像输入到预先训练的多任 务深度学习网络中，输出解剖学关键点预测概率图，其中，多任务深度学习模型是以包含 与测试图像同一血管类型的三维血管造影训练图像以及三维血管造影训练图像的标注结果 作为训练数据集训练得到的；

结果生成模块，用于根据解剖学关键点预测概率图中体素位置的预测概率，生成解剖 学关键点的检测结果。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明 显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显 和容易理解，其中：

图1为本申请实施例一所提供的一种三维血管造影图像中解剖学关键点的检测方法的 流程示意图；

图2为本申请实施例的方法整体流程图；

图3为本申请实施例的颅内血管标注与数据生成结果示意图；

图4为本申请实施例的颅内血管的血管段缺失和关键点局部分叉特征变化对应关系示 意图；

图5为本申请实施例的离线阶段多任务深度学习网络示意图；

图6为本申请实施例的在线阶段多任务深度学习网络示意图；

图7为本申请实施例的颅内血管磁共振血管造影图像中解剖学关键点的检测结果图；

图8为本申请实施例提供的一种三维血管造影图像中解剖学关键点的检测装置的结构 示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同 或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描 述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

如果在血管解剖学关键点的检测算法中引入各血管段缺失与否的属性，能够帮助算法 显式建模血管变异类型，实现更好的检测性能。此外，解剖学关键点均位于相应血管段的 两端端点，具有非常鲜明的结构特征。考虑到特定血管段的位置分布往往具有很强的规律 性和一致性，在关键点检测算法中引入分割各血管段的辅助任务(即实现血管的语义分割)， 能够引入结构先验信息，为进一步提升检测精度提供了保证，由此本申请提出一种显式结 合血管拓扑结构变异类型的解剖学关键点检测方法。

下面参考附图描述本申请实施例的三维血管造影图像中解剖学关键点的检测方法和装 置。

图1为本申请实施例一所提供的一种三维血管造影图像中解剖学关键点的检测方法的 流程示意图。

如图1所示，该三维血管造影图像中解剖学关键点的检测方法包括以下步骤：

步骤101，获取三维血管造影图像作为测试图像；

步骤102，对测试图像进行预处理，并将预处理后的图像输入到预先训练的多任务深 度学习网络中，输出解剖学关键点预测概率图，其中，多任务深度学习模型是以包含与测 试图像同一血管类型的三维血管造影训练图像以及三维血管造影训练图像的标注结果作为 训练数据集训练得到的；

步骤103，根据解剖学关键点预测概率图中体素位置的预测概率，生成解剖学关键点 的检测结果。

本申请实施例的三维血管造影图像中解剖学关键点的检测方法，通过在离线阶段获取 包含特定血管结构的三维血管造影图像数据及并预处理，对图像进行手工标注后生成对应 的解剖学关键点检测、血管段语义分割、血管段缺失分类、关键点局部分叉特征分类任务 的预测目标，共同构成训练数据集对多任务深度学习网络进行训练；进而在在线阶段，利 用训练完毕的网络模型由一张相同类型的图像输出关键点概率热图预测结果，并由其得到 最终的解剖学关键点检测位置。本申请显式引入结构先验知识，建模空间语义信息，能够 实现良好的检测性能。

本申请实施例的三维血管造影图像中解剖学关键点的检测方法，通过在离线阶段获取 包含特定血管结构的三维血管造影图像数据及并预处理，对图像进行手工标注后生成对应 的解剖学关键点检测、血管段语义分割、血管段缺失分类、关键点局部分叉特征分类任务 的预测目标，共同构成训练数据集对多任务深度学习网络进行训练；进而在在线阶段，利 用训练完毕的网络模型由一张相同类型的图像输出关键点概率热图预测结果，并由其得到 最终的解剖学关键点检测位置。本申请显式引入结构先验知识，建模空间语义信息，能够 实现良好的检测性能。

可选地，在本申请的一个实施例中，对测试图像进行预处理，包括统一分辨率、裁剪 至预设尺寸、体素灰度值归一化。

可选地，在本申请的一个实施例中，预先训练多任务深度学习网络，包括：

获取包含与测试图像同一血管类型的三维血管造影图像作为原始数据集；

对原始数据集进行预处理，并获取预处理后的数据集对应的标注结果，其中，标注结 果包括血管解剖学关键点标注结果、血管二值分割标注结果和血管段语义分割标注结果；

根据预处理后的数据集和对应的标注结果生成训练数据集；

构建多任务深度学习网络，并使用训练数据集对多任务深度学习网络进行训练，得到 训练后的多任务深度学习网络。

可选地，在本申请的一个实施例中，获取预处理后的数据集对应的标注结果，包括：

使用医学图像处理软件，通过人工对预处理后的数据集中的每张图像标注预定义的血 管解剖学关键点和血管二值分割两部分，其中，血管解剖学关键点标注结果为各关键点对 应的三维坐标，血管二值分割标注结果为与图像相同大小的逐体素二值图；

基于血管解剖学关键点和血管二值分割的标注结果，使用自动化方法生成数据集中每 张图像对应的血管段语义分割标注结果。

可选地，在本申请的一个实施例中，基于血管解剖学关键点和血管二值分割标注结果， 使用自动化方法生成数据集中每张图像对应的血管段语义分割标注结果，包括：

使用细化算法由血管二值分割标注结果得到对应的管腔中心线，并依据解剖学关键点 标注将中心线划分为不同的语义段；

对血管二值分割标注中的各个血管体素，依据最近的中心线体素确定其语义标签；

在医学图像处理软件中对各张图像所得的语义分割自动化标注结果进行手工修正，从 而得到最终的语义分割标注结果，其中，语义分割自动化标注结果包括语义段和语义标签。

可选地，在本申请的一个实施例中，根据预处理后的数据集和对应的标注结果生成训 练数据集，包括：

根据标注结果，对预处理后的数据集中的每张图像进行处理，得到解剖学关键点多通 道概率热图、血管段语义分割多通道概率图、血管段缺失分类向量、关键点局部分叉特征 分类向量作为图像对应的预测目标；

将预处理后的数据集中的每张图像和对应的预测目标构成一个训练数据对，所有的训 练数据对共同构成训练数据集。

可选地，在本申请的一个实施例中，根据标注结果，对预处理后的数据集中的每张图 像进行处理，得到解剖学关键点多通道概率热图、血管段语义分割多通道概率图、血管段 缺失分类向量、关键点局部分叉特征分类向量作为图像对应的预测目标，包括：

对数据集中每张预处理后的图像，根据血管解剖学关键点的标注结果对各预定义的关 键点分别输出一张和输入图像尺寸相等的解剖学关键点多通道概率热图，其中，对各目标 关键点，其对应的概率热图以该关键点为中心呈三维高斯分布；

根据血管段语义分割标注结果生成血管段语义分割多通道概率图，其中，血管段语义 分割多通道概率图的最后一个通道为背景通道，其余通道分别反映了输入图像中各血管段 的位置分布；

根据血管段语义分割的标注结果得到血管段缺失分类向量、关键点局部分叉特征分类 向量，其中，当血管段语义分割标注结果中某一血管段缺失时，该血管段两端的解剖学关 键点失去局部分叉特征，否则该血管段两端的解剖学关键点具有局部分叉特征。

可选地，在本申请的一个实施例中，多任务深度学习网络包括主干部分和四个分支部 分，其中，

主干部分，用于对输入的图像进行特征提取，输出特征图；

第一分支，用于对特征图进行处理，生成解剖学关键点多通道概率热图的预测结果；

第二分支，用于对特征图进行处理，生成血管段语义分割多通道概率图的预测结果；

第三分支，用于对特征图进行处理，生成血管段缺失分类向量的预测结果；

第四分支，用于对特征图进行处理，生成关键点局部分叉特征分类向量的预测结果。

可选地，在本申请的一个实施例中，使用训练数据集训练初始化后的网络，包括：

步骤S1：从训练数据集中随机选取一个训练数据对，将训练数据对中的经过预处理后 的三维血管造影图像输入构建的多任务深度学习网络中，获取网络各分支的输出结果为预 测结果；

步骤S2：将预测结果和训练数据对中的预测目标输入到损失函数中，得到损失函数值；

步骤S3：基于计算得到的损失函数值使用梯度下降法最小化损失函数，调整网络参数；

步骤S4：重复进行步骤S1、步骤S2、步骤S3、步骤S4，不断调整网络参数，当训练 次数超过设定的上限次数时，完成训练，确定多任务深度学习网络参数，得到训练好的多 任务深度学习网络。

本申请致力于适应复杂的血管拓扑结构变异情况，将血管段是否缺失、及血管段缺失 造成的关键点局部分叉特征变化(即关键点是否具有局部分叉特征)分别建模为各血管段 与分叉点的额外属性，并要求算法对该属性进行分类预测。本发明的方法基于深度学习网 络实现，以多任务模型为框架，同时完成解剖学关键点检测、血管段语义分割、血管段缺 失分类、关键点局部分叉特征分类四项子任务。各子任务高度相关、共享网络主干部分提 取到的空间语义特征，充分利用任务间的协同作用，显式建模血管变异类型与结构先验信 息。本申请可以广泛应用于多种血管解剖学关键点的检测任务，如颅内血管、冠状动脉等， 均能实现较好的检测性能。

下面以一个具体实施例对本发明实施例的方法进行详细描述。

将本申请提出的解剖学关键点检测方法应用在颅内血管磁共振血管造影图像的部分关 键点检测，整体流程如图2所示，包括离线阶段和在线阶段。

(1)离线阶段

(1-1)获取原始数据集并进行预处理；

使用大量包含同一血管类型的三维血管造影图像作为原始数据集(本实施例中使用颅 内血管磁共振血管造影图像)，图像可来源于公开数据集或合作医院，数量应不少于50张。 对原始数据集中的各张图像执行预处理，包括统一分辨率、裁剪至同一尺寸、体素灰度值 归一化三部分。其中，本发明对分辨率和裁剪后尺寸的具体数值没有特殊要求(本实施例 中设置分辨率为0.5×0.5×0.8mm

本实施例经过预处理的磁共振血管造影图像如图3中的(A)所示。

(1-2)对经过预处理的数据集进行标注；

使用医学图像处理软件(本实施例中使用3D Slicer软件)对经过预处理后的数据集中 的每张图像进行人工标注，需要标注预定义的血管解剖学关键点和血管二值分割两部分。 其中，解剖学关键点的标注结果为各关键点对应的三维坐标，血管二值分割的标注结果为 与图像相同大小的逐体素二值图(其中，属于血管区域的体素值为1，其余背景区域的体 素值为0)。

基于解剖学关键点和血管二值分割标注，可使用自动化方法生成数据集中每张图像对 应的血管段语义分割标注。具体地，使用细化算法由血管二值分割标注得到对应的管腔中 心线，并依据解剖学关键点标注将中心线划分为不同的语义段(如在本实施例中，关键点 PCoA-A与PCoA-P之间的中心线部分即为PCoA语义段)。对血管二值分割标注中的各个血管体素(体素值为1的体素)，依据最近的中心线体素确定其语义标签。特别地，在外 围血管段的末端(如本实施例中MCA-M1段外端)，切割语义分割标注使切面与该处中心 线方向垂直。其后，在医学图像处理软件中对各张图像所得的语义分割自动化标注结果进 行手工修正，从而得到最终的语义分割标注。

本实施例中，磁共振血管造影图像中的血管二值分割标注如图3中的(B)所示；该图 像对应的解剖学关键点标注如图3中的(C)所示，图中数字为预定义的19个关键点的序号；该图像对应的语义分割标注如图3中的(D)所示，图中不同灰度的区域表示不同的血 管段(即不同的语义标签)，英文缩写为该血管段的解剖学命名。

(1-3)准备训练数据集；

使用经过步骤(1-1)预处理后的原始数据集和由步骤(1-2)得到的人工标注结果完 成训练数据集的准备工作，即对数据集中的每张图像，得到多任务网络中解剖学关键点检 测、血管段语义分割、血管段缺失分类、关键点局部分叉特征分类四个子任务的预测目标。

(1-3-1)解剖学关键点检测预测目标生成；

本申请中，将解剖学关键点检测目标建模为多通道高斯热图回归任务。具体地，对数 据集中每张预处理后的图像，要求网络对各预定义的关键点分别输出一张和输入图像尺寸 相等的概率热图。其中，对各目标关键点，其对应的概率热图以该关键点为中心呈三维高 斯分布，各体素的值反映了该体素属于目标关键点的概率。概率值由体素位置到目标关键 点的欧几里得距离确定，从体素位置向外由1至0递减，递减速率由高斯分布标准差δ决定。 具体地，对数据集中任意一张预处理后的图像，设其第i个关键点的空间坐标为x

其中N为每张图像中预定义的解剖学关键点总数。本实施例中，磁共振血管造影图像 中各解剖学关键点生成的热图如图3中的(E)所示。为方便观察，这里将所有关键点的三维热图投影至同一平面内。

(1-3-2)血管段语义分割预测目标生成；

本申请中，将血管段语义分割任务建模为多通道单血管段二值分割任务，即预测目标 为由血管段语义分割标注生成的多通道概率图。对S个预定义的血管段(即S个语义类)， 预测目标应包含S+1个通道，其中前S个通道分别反映了输入图像中各血管段的位置分布 (即输入图像中各体素是否属于各血管段，当某体素属于第i个血管段时，该体素位置上第 i个通道的值为1，其余通道值为0)，第S+1个通道为背景通道(即反映输入图像中各体素是否属于背景类，当某体素不属于任一血管段时，该体素位置上背景通道的值为1，其 余通道值为0)。

本实施例中，磁共振血管造影图像中血管段语义分割预测目标如图3中的(F)所示， 图中展示了预测目标中MCA-M1血管段所对应的通道。

(1-3-3)血管段缺失分类与关键点局部分叉特征分类预测目标生成；

血管段是否缺失与其两端关键点是否具有局部分叉特征一一对应，可由血管段语义分 割的人工标注结果得到。具体地，当血管段语义分割标注中某一血管段缺失时(即标注中 属于该血管段的体素个数为0)，该血管段两端的解剖学关键点失去局部分叉特征；当某 一血管段存在时(即标注中属于该血管段的体素个数大于0)，该血管段两端的解剖学关键点具有局部分叉特征。上述对应关系可由图4直观说明。

本申请中，将血管段缺失分类和关键点局部分叉特征分类处理为多个相互独立的二分 类任务。对预定义的N个解剖学关键点和S个血管段，关键点局部分叉特征分类和血管段缺 失分类的预测目标分别为长度为N和S的向量y

(1-3-4)将每张经过预处理后的图像和对应人工标注生成的解剖学关键点多通道概率 热图、血管段语义分割多通道概率图、血管段缺失分类向量、关键点局部分叉特征向量构 成一个训练数据对。所有的训练数据对共同构成训练数据集。

(1-4)构建多任务深度学习网络；

多任务深度学习网络的输入为经过预处理后的单张三维血管造影图像，要求输入图像 具有统一的大小和分辨率，但对具体数值没有限制(本实施例中使用的输入图像大小为192 ×160×60，分辨率为0.5×0.5×0.8mm

此外，为融合低维度的局部空间特征和高维度的全局语义信息，在编码器与解码器结 构中对称的层间添加跳接结构。具体地，将编码器中第4个残差模块的输出特征图和解码 器中的第1个反卷积层的输出特征图拼接起来，作为解码器中第1个残差模块的输入；将 编码器中第3个残差模块的输出特征图和解码器中的第2个反卷积层的输出特征图拼接起 来，作为解码器中第2个残差模块的输入；将编码器中第2个残差模块的输出特征图和解码器中第3个反卷积层的输出特征图拼接起来，作为解码器中第3个残差模块的输入；将 编码器中第1个残差模块的输出特征图与解码器中第4个反卷积层的输出特征图拼接起来，共同作为主干部分的输出特征图。其后，主干部分的输出特征图同时传入网络的四个分支。

网络的四个分支部分分别由一个残差模块、一个卷积核大小为1×1×1的卷积层构成。 四个分支部分的输出分别对应于解剖学关键点多通道概率热图、血管段语义分割多通道概 率图、血管段缺失分类向量、关键点局部分叉特征向量的预测结果，其中前两个分支预测 结果的大小和分辨率应与输入图像保持一致，后两个分支预测结果向量的长度应分别和预 定义的血管段、关键点个数保持一致。

本实施例中所构建的多任务深度学习网络如图5所示，以颅内血管磁共振血管造影图 像为例，注意图中数值只是为了举例，实际中可采用其他数值。

(1-5)应用步骤(1-3)中生成的训练数据集，离线训练步骤(1-4)中构建的多任务深度学习网络，离线训练包含以下步骤：

(1-5-1)随机初始化步骤(1-4)中构建的多任务深度学习网络参数。

(1-5-2)从步骤(1-3)生成的训练数据集中随机选取一个训练数据对，将其中经过预 处理后的三维血管造影图像输入步骤(1-4)构建的多任务深度学习网络中，获取网络各分 支的输出结果即为各子任务的预测结果。将各子任务的预测结果和训练数据对中各子任务 的预测目标分别输入对应的损失函数中，得到相应的损失函数值。具体地，本发明分别在 解剖学关键点检测任务中使用L2损失函数、在血管段语义分割任务中使用Dice损失函数、 在血管段缺失分类和关键点局部分叉特征分类任务中使用交叉熵损失函数。为避免在训练 中网络可能由于严重的类别不均衡问题难以收敛，对解剖学关键点检测和血管段语义分割 任务的损失函数进行加权，权重分别为输入图像体素个数与高斯热斑、各血管段所在区域 的体素个数的比值。

此外，考虑到血管段是否缺失和关键点是否存在局部分叉特征一一对应，为保证二者 分类任务的预测结果符合观察规律，引入一致性损失函数L

其中上标i表示向量中的第i个元素(即对应第i个解剖学关键点)，Θ为所有可能因血 管变异而造成局部分叉特征变化的关键点序号集合(如对本实施例所使用的颅内血管磁共 振血管造影图像，预定义的Willis环解剖学关键点中，常见的可能由生理性变异引起局部 分叉特征变化的关键点包含两侧PCoA、ACoA、PCA-P1、ACA-A1两侧端点等)。

网络训练的总损失函数由上述损失函数线性组合得到：

L＝L

其中，L

(1-5-3)循环执行上述训练步骤，在每次训练中，基于计算得到的总损失函数值使用 梯度下降法最小化损失函数，不断调整网络参数。当训练次数超过设定的上限次数时(上 限次数一般不少于5000次)，完成训练，得到多任务深度学习网络参数。

(2)在线阶段；

(2-1)获取一张与步骤(1-1)原始数据集包含同一血管类型的三维血管造影图像作 为测试图像。

(2-2)对步骤(2-1)中获取的测试图像执行预处理，预处理操作中图像分辨率、裁剪后图像尺寸等参数应与步骤(1-1)中的预处理步骤保持一致。

(2-3)将步骤(2-2)中得到的经过预处理后的三维血管造影图像输入离线阶段中训 练好的多任务深度学习网络中，得到输出的解剖学关键点预测概率图。选择每张预测概率 图中预测概率最大的体素位置，即为该热图对应关键点的最终检测结果。此步骤中使用的 多任务深度学习网络如图6所示。注意图中数值只是为了举例，实际中可采用其他数值。

应用本发明提出的解剖学关键点检测方法，本实施例中颅内血管磁共振血管造影图像 的部分关键点检测结果如图7所示。

为了实现上述实施例，本申请还提出一种三维血管造影图像中解剖学关键点的检测装 置，

图8为本申请实施例提供的一种三维血管造影图像中解剖学关键点的检测装置的结构 示意图。

如图8所示，该三维血管造影图像中解剖学关键点的检测装置，包括获取模块、处理 模块、结果生成模块，其中，

获取模块，用于获取三维血管造影图像作为测试图像；

处理模块，用于对测试图像进行预处理，并将预处理后的图像输入到预先训练的多任 务深度学习网络中，输出解剖学关键点预测概率图，其中，多任务深度学习模型是以包含 与测试图像同一血管类型的三维血管造影训练图像以及三维血管造影训练图像的标注结果 作为训练数据集训练得到的；

结果生成模块，用于根据解剖学关键点预测概率图中体素位置的预测概率，生成解剖 学关键点的检测结果。

需要说明的是，前述对三维血管造影图像中解剖学关键点的检测方法实施例的解释说 明也适用于该实施例的三维血管造影图像中解剖学关键点的检测装置，此处不再赘述。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具 体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材 料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意 性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特 点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下， 本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特 征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以 明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个， 例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个 或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分， 并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序， 包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的 实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实 现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令 执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行 系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设 备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布 线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只 读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便 携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序 的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、 解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算 机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实 施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或 固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技 术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离 散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可 编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可 以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中， 该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各 个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既 可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以 软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读 取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了 本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制， 本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。