一种基于用户交互的医学图像分割方法、系统和装置

摘要

本说明书公开了一种基于用户交互的医学图像分割方法、系统和装置，所述方法包括：获取第一图像，所述第一图像基于待分割医学图像得到；将第一图像作为待修改图像，执行多次迭代过程，直到获取目标医学图像，所述迭代过程包括：获取待修改图像的至少一处修改；将待分割医学图像、待修改图像和待修改图像的至少一处修改输入医学图像分割模型，输出第二图像；判断第二图像是否满足第一预设条件；是则将第二图像作为目标医学图像；否则将第二图像作为新的待修改图像。

说明书

技术领域

本说明书涉及医学图像分割领域，特别涉及一种基于用户交互的医 学图像分割方法、系统和装置。

背景技术

医学图像分割模型可以将医学图像中分布复杂的各个区域区分出来， 从而为临床诊疗提供可靠信息。然而，在单独训练医学图像分割模型的过 程中，需要依赖大量的训练样本和标准医学分割图像。尤其是放疗靶区(包 括大体靶区、临床靶区和计划靶区)的勾画，因为没有明显的组织边界，而 且需要借助临床医生的专业领域知识，通常直接勾画没法一次性满足医生 所有的临床需求，就需要与医生的交互来提升最终的分割效果。对于放疗 靶区，各家医院虽然都基于一定的靶区勾画共识和指南，但临床操作时会 有不同的习惯，因此需要针对各家医院分别收集带有金标准的数据。这样 收集到的训练样本集数目势必受限，因此需要持续地在用户使用过程中将 新获得的数据输入深度学习模型来不断优化，增加训练样本集并减少医生 的交互次数。

因此，希望提供一种基于用户交互的医学图像分割方法、系统和装 置。

发明内容

本说明书的一个方面提供一种基于用户交互的医学图像分割方法， 其特征在于，所述方法应用于服务器，包括：基于待分割医学图像，获取第 一图像；将第一图像作为待修改图像，执行多次迭代过程，直到获取目标 医学图像，所述迭代过程包括：将待修改图像发送给客户端，并从客户端 接收用户对待修改图像的至少一处修改；将待分割医学图像、待修改图像 和待修改图像的至少一处修改输入医学图像分割模型，输出第二图像；将 第二图像发送给客户端，并从客户端接收用户对第二图像是否满足第一预 设条件的判断；是则将第二图像作为目标医学图像输出，并基于目标医学 图像更新医学图像分割模型；否则将第二图像作为新的待修改图像。

本说明书的另一个方面提供一种基于用户交互的医学图像分割系统， 所述系统在服务器上实现，所述系统包括：预分割模块，用于基于待分割 医学图像，获取第一图像；目标医学图像获取模块，用于将第一图像作为 待修改图像，执行多次迭代过程，直到获取目标医学图像，目标医学图像 获取模块包括：修改接收模块，用于将待修改图像发送给客户端，并从客 户端接收用户对待修改图像的至少一处修改；图像分割模块，用于将待分 割医学图像、待修改图像和待修改图像的至少一处修改输入医学图像分割 模型，输出第二图像；输出模块，用于将第二图像发送给客户端，并从客户 端接收用户对第二图像是否满足第一预设条件的判断；是则将第二图像作 为目标医学图像输出，并基于目标医学图像更新医学图像分割模型；否则 将第二图像作为新的待修改图像。

本说明书的另一个方面提供一种基于用户交互的医学图像分割方法， 其特征在于，所述方法应用于客户端，包括：从服务器接收待修改图像；基 于待修改图像，执行多次迭代过程，直到获取目标医学图像，迭代过程包 括：获取用户对待修改图像的至少一处修改，并将至少一处修改发送给服 务器；从服务器接收第二图像；获取用户对第二图像是否满足第一预设条 件的判断，并将判断发送给服务器，使得服务器基于判断执行以下处理：是则将第二图像作为目标医学图像输出，并基于目标医学图像更新医学图 像分割模型；否则将第二图像作为新的待修改图像。

本说明书的另一个方面提供一种基于用户交互的医学图像分割的系 统，所述系统在客户端上实现，包括：待修改图像接收模块，用于从服务器 接收待修改图像；迭代模块，用于基于待修改图像，执行多次迭代过程，直 到获取目标医学图像，所述迭代模块包括：修改发送模块，获取用户对待 修改图像的至少一处修改，并将至少一处修改发送给服务器；第二图像接 收模块，用于从服务器接收第二图像；判断模块，用于获取用户对第二图像是否满足第一预设条件的判断，并将判断发送给服务器，使得服务器基 于判断执行以下处理：是则将第二图像作为目标医学图像输出，并基于目 标医学图像更新医学图像分割模型；否则将第二图像作为新的待修改图像。

本说明书的另一个方面提供一种基于用户交互的医学图像分割方法， 其特征在于，所述方法包括：获取第一图像，所述第一图像基于待分割医 学图像得到；将第一图像作为待修改图像，执行多次迭代过程，直到获取 目标医学图像，所述迭代过程包括：获取待修改图像的至少一处修改；将 待分割医学图像、待修改图像和待修改图像的至少一处修改输入医学图像 分割模型，输出第二图像；判断第二图像是否满足第一预设条件；是则将 第二图像作为目标医学图像；否则将第二图像作为新的待修改图像。

本说明书的另一个方面提供一种基于用户交互的医学图像分割系统， 所述系统包括：预分割模块，用于获取第一图像，所述第一图像基于待分 割医学图像得到；目标医学图像获取模块，用于执行多次迭代过程，直到 获取目标医学图像，目标医学图像获取模块包括：修改接收模块，用于获 取待修改图像的至少一处修改；图像分割模块，用于将待分割医学图像、 待修改图像和待修改图像的至少一处修改输入医学图像分割模型，输出第 二图像；输出模块，用于判断第二图像是否满足第一预设条件；是则将第 二图像作为目标医学图像；否则将第二图像作为新的待修改图像。

本说明书实施例的另一个方面提供一种计算机可读存储介质，其特 征在于，所述存储介质存储计算机指令，当所述计算机指令被处理器执行 时实现基于用户交互的医学图像分割方法。

附图说明

本说明书将以示例性实施例的方式进一步描述，这些示例性实施例 将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中， 相同的编号表示相同的结构，其中：

图1是根据本说明书的一些实施例所示的医学图像分割系统的应用 场景示意图；

图2是根据本说明书的一些实施例所示的服务器的示例性模块图；

图3是根据本说明书的一些实施例所示的客户端的示例性模块图；

图4是根据本说明书的一些实施例所示的应用于服务器的基于用户 交互的医学图像分割方法的示例性流程图；

图5是根据本说明书的一些实施例所示的应用于客户端的基于用户 交互的医学图像分割方法的示例性流程图；

图6是根据本说明书的一些实施例所示的更新医学图像分割模型的 示例性流程图；

图7是根据本说明书的一些实施例所示的基于用户交互的医学图像 分割方法的示意图；

图8是根据本说明书的一些实施例所示的医学图像的示意图。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描 述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅 仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在 不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它 类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相 同结构或操作。

应当理解，本说明书中所使用的“系统”、“装置”、“单元”和/或“模组” 是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然 而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本说明书和权利要求书中所示，除非上下文明确提示例外情形， “一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说 来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤 和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或 元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所 执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执 行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添 加到这些过程中，或从这些过程移除某一步或数步操作。

图1是根据本说明书的一些实施例所示的医学图像分割系统的应用 场景示意图。

医学图像分割系统100可以通过实施本说明书披露的方法和/或过程， 实现基于较少的用户交互，可以获取满足用户分割要求的目标医学图像， 同时训练出符合用户习惯的医学图像分割模型。

如图1所示，医学图像分割系统100可以包括服务器110、网络120、 客户端130和存储设备140等。

在一些实施例中，服务器110可以用于处理与数据处理相关的信息 和/或数据。

在一些实施例中，服务器110可以通过网络120访问储存于客户端 130和存储设备140中的信息和/或资料。例如，服务器110可以通过网络 120将待修改图像发送给客户端130。又例如，服务器110可以通过网络120接收客户端130发送的用户对待修改图像的修改。在一些实施例中，服 务器110可以直接与客户端130和/或存储设备140连接以访问存储于其中 的信息和/或资料。例如，服务器110可以直接从存储设备140获取待分割 医学图像。又例如，服务器110可以将目标医学图像保存到存储设备140。

在一些实施例中，服务器110可以是独立的服务器或者服务器组。 该服务器组可以是集中式的或者分布式的(如：服务器110可以是分布系 统)。在一些实施例中，该服务器110可以是区域的或者远程的。例如， 服务器110可通过网络120访问存储于客户端130、存储设备140中的信 息和/或资料。在一些实施例中，服务器110可直接与客户端130、存储设备140连接以访问存储于其中的信息和/或资料。在一些实施例中，服务器 110可在云平台上执行。例如，该云平台可包括私有云、公共云、混合云等 中的一种或其任意组合。

在一些实施例中，服务器110可包含处理器112。该处理器112可 处理与执行一个或多个本申请中描述的功能。例如，处理器112可以分割 待分割医学图像，并获取第一图像。又例如，处理器112可以基于待修改 图像，获取目标医学图像。再例如，处理器112还可以更新医学图像分割 模型的参数。

在一些实施例中，处理器112可包含一个或多个子处理器(例如， 单芯处理设备或多核多芯处理设备)。仅仅作为范例，处理器112可包含 中央处理器(CPU)、专用集成电路(ASIC)、专用指令处理器(ASIP)、 图形处理器(GPU)、物理处理器(PPU)、数字信号处理器(DSP)、现 场可编程门阵列(FPGA)、可编辑逻辑电路(PLD)、控制器、微控制器 单元、精简指令集电脑(RISC)、微处理器等或以上任意组合。

网络120可促进数据和/或信息的交换，数据或信息可以包括待分 割医学图像、第一图像、对第一图像的至少一处修改和目标医学图像等。 在一些实施例中，系统100中的一个或多个组件(例如，服务器110、客 户端130、存储设备140)可通过网络120发送数据和/或信息给系统100 中的其他组件。例如，客户端130可以通过网络120将对第一图像的至少 一处修改发送给服务器110。在一些实施例中，网络120可是任意类型的 有线或无线网络。例如，网络120可包括缆线网络、有线网络、光纤网 络、电信网络、内部网络、网际网络、区域网络(LAN)、广域网络 (WAN)、无线区域网络(WLAN)、都会区域网络(MAN)、公共电 话交换网络(PSTN)、蓝牙网络、ZigBee网络、近场通讯(NFC)网络 等或以上任意组合。在一些实施例中，网络120可包括一个或多个网络进 出点。例如，网络120可包含有线或无线网络进出点，如基站120-1和/或 网际网络交换点120-2，通过这些进出点，系统100的一个或多个组件可连接到网络120上以交换数据和/或信息。

客户端130可以是各类具有信息接收和/或发送功能的设备。用户 150可以通过客户端130与服务器110交互。例如，用户150可以通过客 户端130接收待分割医学图像的分割结果。又例如，用户150可以通过客 户端130可以发送待分割医学图像和/或对待分割医学图像分割结果的修 改。在一些实施例中，用户150可以是某个医院或医院的医生。在一些实施例中，客户端130可以是显示/标注/修改图像功能的设备。例如，客户 端130可以包括手机130-1、平板电脑130-2、个人电脑130-3、以及其他 电子设备等。

存储设备140可以用于存储数据和/或指令。例如，存储设备140 可以存储待分割医学图像、目标医学图像、医学图像分割模型等。又例 如，存储设备140可以存储执行一个或多个功能的算法指令。存储设备 140可以包括一个或多个存储组件，每个存储组件可以是一个独立的设 备，也可以是其他设备的一部分。在一些实施例中，存储设备140可包括随机存取存储器(RAM)、只读存储器(ROM)、大容量存储器、可移 动存储器、易失性读写存储器等或其任意组合。示例性的，大容量储存器 可以包括磁盘、光盘、固态磁盘等。在一些实施例中，所述存储设备140 可在云平台上实现。仅作为示例，所述云平台可以包括私有云、公共云、 混合云、社区云、分布云、内部云、多层云等或其任意组合。数据指对信 息的数字化表示，可以包括各种类型，比如二进制数据、文本数据、图像 数据、视频数据等。指令指可控制设备或器件执行特定功能的程序。

在一些实施例中，存储设备140可与网络120连接以与系统100的 一个或多个组件(例如，服务器110、客户端130等)通讯。系统100的一 个或多个组件可通过网络120访问存储于存储设备140中的资料或指令。 在一些实施例中，存储设备140可直接与系统100中的一个或多个组件(如， 服务器110、客户端130)连接或通讯。在一些实施例中，存储设备140可 以是服务器110的一部分。

图2是根据本说明书的一些实施例所示的服务器的示例性模块图。

在一些实施例中，服务器110的模块200中可以包括预分割模块210 和目标医学图像获取模块220。

预分割模块210，用于基于待分割医学图像，获取第一图像。

在一些实施例中，预分割模块210还用于对待分割医学图像进行预 分割，获取第三图像；判断第三图像是否满足第二预设条件；是则将第三 图像作为目标医学图像输出；否则将第三图像作为第一图像获取。

在一些实施例中，对待分割医学图像进行预分割由预分割模型执行。

关于预分割模块210的更多描述参见步骤410，在此不再赘述。

目标医学图像获取模块220，用于将第一图像作为待修改图像执行 多次迭代过程，直到获取目标医学图像。在一些实施例中，目标医学图像 获取模块220包括修改接收模块222、图像分割模块224和输出模块226。

修改接收模块222，用于将待修改图像发送给客户端，并从客户端接 收用户对待修改图像的至少一处修改。关于修改获取模块222的更多描述 参见步骤422，在此不再赘述。

图像分割模块224，用于将待分割医学图像、待修改图像和待修改图 像的至少一处修改输入医学图像分割模型，输出第二图像。关于图像分割 模块224的更多描述参见步骤424，在此不再赘述。

输出模块226，用于将第二图像发送给客户端，并从客户端接收用户 对第二图像是否满足第一预设条件的判断；是则将第二图像作为目标医学 图像输出，并基于目标医学图像更新医学图像分割模型；否则将第二图像 作为新的待修改图像。

在一些实施例中，输出模块还用于将待分割医学图像和第一图像作 为训练样本，将目标医学图像作为标签，加入更新医学图像分割模型的训 练样本集；基于训练样本集，更新医学图像分割模型的参数。

在一些实施例中，训练样本还包括：至少一次用户对待修改图像的 至少一处修改。

在一些实施例中，医学图像分割模型的参数包括表征用户习惯的参 数。在一些实施例中，医学图像分割模型的参数还可以包括例如模型网络 架构、神经元权重、损失函数等，本实施例不作限制。通过优化这些参数可 以让医学图像分割模型更符合用户的勾画习惯。

关于输出模块226的更多描述参见步骤426，在此不再赘述。

图3是根据本说明书的一些实施例所示的客户端的示例性模块图。

在一些实施例中，服务器130的模块300中可以包括待修改图像接 收模块310和迭代模块320。

待修改图像接收模块310，用于从服务器接收待修改图像。关于待修 改图像接收模块310的更多描述参见步骤510，在此不再赘述。

迭代模块320，用于基于待修改图像，执行多次迭代过程，直到获取 目标医学图像。在一些实施例中，迭代模块320包括修改发送模块322、第 二图像接收模块324和判断模块326。

修改发送模块322，用于获取用户对待修改图像的至少一处修改，并 将至少一处修改发送给所述服务器。关于修改发送模块322的更多描述参 见步骤522，在此不再赘述。

第二图像接收模块324，用于从服务器接收第二图像。关于第二图像 接收模块324的更多描述参见步骤524，在此不再赘述。

判断模块326，用于获取用户对第二图像是否满足第一预设条件的 判断，并将判断发送给服务器，使得服务器基于所述判断执行以下处理： 是则将第二图像作为目标医学图像输出，并基于目标医学图像更新医学图 像分割模型；否则将第二图像作为新的待修改图像。关于判断模块326的 更多描述参见步骤526，在此不再赘述。

图4是根据本说明书的一些实施例所示的应用于服务器的基于用户 交互的医学图像分割方法的示例性流程图。如图4所示，该方法400可以 包括：

步骤410，基于待分割医学图像，获取第一图像。

具体地，步骤410可以由预分割模块210执行。

医学图像是为了医疗或医学研究，对目标对象以非侵入方式取得的 内部组织图像。在一些实施例中，目标对象可以是人体、器官、机体、物 体、损伤部位、肿瘤等。

目标对象区域是医学图像中目标对象的图像。相应地，背景区域即 医学图像中目标对象以外的图像。例如，医学图像是患者脑部图像，目标 对象区域是患者脑部中一个或多个病变组织的图像，背景区域则可以是患 者脑部图像中一个或多个病变组织以外的图像。

待分割医学图像是需要进行分割处理的医学图像。分割处理即将待 分割医学图像中的目标对象区域和背景区域区分出来。

可以理解，待分割医学图像中的目标对象区域和背景区域之间存在 边界。在一些实施例中，可以通过在待分割医学图像中勾画出目标对象区 域和背景区域之间的边界，来表示分割结果。

在一些实施例中，待分割医学图像可以包括但不限于X光图像、计 算机断层扫描(CT)图像、正电子发射断层扫描(PET)图像、单光子发射 计算机断层图像(SPECT)、磁共振图像(MRI)、超声波扫描(US)图 像、数字减影心血管造影术(DSA)图像、磁共振血管造影术(MRA)图 像、时间飞跃法磁共振图像(TOF-MRI)、脑磁图(MEG)等中的一种或 多种的组合。

在一些实施例中，待分割医学图像的格式可以包括Joint Photographic ExpertsGroup(JPEG)图像格式、Tagged Image File Format(TIFF)图像格 式、GraphicsInterchange Format(GIF)图像格式、Kodak Flash PiX(FPX) 图像格式、Digital Imagingand Communications in Medicine(DICOM)图像 格式等。

在一些实施例中，待分割医学图像可以是二维(2D，two-dimensional) 图像，或三维(3D，three-dimensional)图像。在一些实施例中，三维图像 可以由一系列的二维切片或二维图层构成。

第三图像是对待分割医学图像进行预分割处理后得到的医学图像。 可以理解，第三图像中由预分割模型初步勾画出了目标对象区域和背景区 域之间的边界。第三图像的类型和格式可以参见待分割医学图像，在此不 再赘述。

在一些实施例中，对待分割医学图像进行预分割可以由预分割模型 执行。预分割模块将待分割医学图像输入预分割模型，输出第三图像。

预分割模型是对待分割医学图像进行预分割的模型。在一些实施例 中，预分割模型是预先训练好的模型。

在一些实施例中，预分割模型可以是传统分割算法模型。在一些实 施例中，传统分割算法可以包括但不限于阈值法、区域生长法、边缘检测 法等中的一种或多种的组合。

在一些实施例中，预分割模型也可以是结合特定工具的图像分割算 法模型。在一些实施例中，结合特定工具的图像分割算法可以包括但不限 于遗传算法、小波分析、小波变换、主动轮廓模型等中的一种或多种的组 合。

在一些实施例中，预分割模型还可以是神经网络模型。在一些实施 例中，预分割模型可以包括但不限于卷积神经网络(Convolutional Neural Networks，CCN)模型、长短记忆循环神经网络(Long Short-Term Memory， LSTM)模型和双向长短记忆循环神经网络(Bi-directional Long Short-Term Memory，Bi-LSTM)模型等中的一种或多种的组合。

在一些实施例中，对待分割医学图像进行预分割可以是人工手动分 割或其他方式，本实施例不作限制。

可以理解，预分割对待分割医学图像仅进行了粗分割处理，当待分 割医学图像中的目标对象区域和背景区域分布简单、轮廓清晰时，预分割 输出的第三图像即可满足分割要求；当待分割医学图像中的目标对象区域 和背景区域分布复杂、轮廓模糊时，则还需基于用户交互，对第三图像进 行进一步的分割处理。其中，用户交互是指用户参与对第三图像的进一步 分割处理。

如图7所示，预分割模块进一步判断第三图像是否满足第二预设条 件；是则将第三图像作为目标医学图像输出；否则将第三图像作为第一图 像获取。

第二预设条件是第三图像满足分割要求的条件。可以理解，预分割 模型在第三图像中的勾画可能存在错误，从而不满足分割要求。例如，将 目标对象区域勾画到背景区域。又例如，将背景区域勾画到目标对象区域。 因此，预分割模块可以基于第二预设条件判断第三图像是否满足分割要求。

在一些实施例中，第二预设条件可以是用户判断第三图像满足分割 要求。

如前所述，预分割模型可以是预先训练好的模型。在一些实施例中， 可以基于第一图像对应的勾画金标准训练预分割模型。

在训练预分割模型的一些实施例中，可以通过相似度度量函数评价 第三图像。第二预设条件可以是第三图像的勾画结果和第三图像对应的勾 画金标准之间的相似度度量函数值大于第二阈值。其中，相似度度量函数 是第三图像的勾画结果和第一图像对应的勾画金标准之间关系的评价指标。 在一些实施例中，相似度度量函数值可以是一个数值，数值越大，表示第 三图像的勾画结果越接近于第三图像对应的金标准。在一些实施例中，相似度度量函数可以包括但不限于Dice(dice similarity coefficient)系数、 IOU(intersection over union)系数、豪斯多夫距离(Hausdorff Distance)和交叉 熵等中的至少一种或其组合。例如，第二阈值为80％，相似度度量函数的 值为70％，则第三图像不满足第二预设条件。

目标医学图像是满足用户分割要求的医学图像，即不需要基于用户 交互，进行进一步的分割处理的医学图像。其中，目标医学图像的类型和 格式可以参见待分割医学图像，在此不再赘述。

第一图像是不满足分割要求的医学图像。其中，第一图像的类型和 格式可以参见待分割医学图像，在此不再赘述。

在一些实施例中，服务器可以通过判断模型判断第三图像是否满足 第二预设条件。在一些实施例中，判断模型可以包括但不限于支持向量机 模型、Logistic回归模型、朴素贝叶斯分类模型、高斯分布贝叶斯分类模型、 决策树模型、随机森林模型、KNN分类模型、神经网络模型等中的一种或 多种的组合。

在一些实施例中，服务器也可以将第三图像发送到客户端，并基于 从客户端接收的用户判断结果来判断第三图像是否满足第二预设条件。

如图8所示，预分割模型对待分割医学图像“图8a”仅进行了粗分 割处理后，得到第三图像“图8b”,“图8b”不满足第二预设条件，则作为 第一图像。

步骤420，将第一图像作为待修改图像，执行多次迭代过程，直到获 取目标医学图像。

具体地，步骤420可以由目标医学图像获取模块220执行，迭代过 程包括：

步骤422，将待修改图像发送给客户端，并从客户端接收用户对第一 图像的至少一处修改。

具体地，步骤422可以由修改接收模块222执行。

待修改图像是需要基于用户交互进行进一步分割处理的医学图像。

在第一次迭代过程中，待修改图像即第一图像。如前所述，预分割模 型对第一图像的勾画中存在错误。因此，待修改图像即第一图像。

在之后的迭代过程中，待修改图像为第二图像。关于第二图像的详 细描述参见步骤424，在此不再赘述。

修改是指用户对待修改图像中目标对象区域和背景区域之间的边界 的勾画错误进行纠正。可以理解，前述用户交互可以通过用户对待修改图 像的修改实现。在一些实施例中，待修改图像中目标对象区域和背景区域 之间的边界的勾画错误可能有多处，修改可以是其中的一处或多处。

在一些实施例中，修改可以包括但不限于标注(如框选、圈选)勾画 错误的区域、擦除错误勾画的边界、勾画正确的边界等中的一种或多种的 组合。其中，标注勾画错误的区域是指用户可以标注被勾画到背景区域的 目标对象区域，或者标注被勾画到目标对象区域的背景区域。擦除错误勾 画的边界和勾画正确的边界是用户直接对勾画的边界进行纠正。

用户是在客户端对待修改图像进行修改的主体。在一些实施例中， 用户可以是医院、医院的科室或医生。可以理解，用户不同，对待修改图像 的修改不同。

在一些实施例中，修改接收模块222可以通过网络120将待修改图 像发送给客户端。

关于用户对待修改图像的至少一处修改的详细描述参见步骤520， 在此不再赘述。

步骤424，将待分割医学图像、待修改图像和待修改图像的至少一处 修改输入医学图像分割模型，输出第二图像。

具体地，步骤424可以由图像分割模块224执行。

第二图像是医学图像分割模型对待修改图像进行进一步分割处理后 得到的医学图像。如图7所示，医学图像分割模型的输入包括待分割医学 图像、待修改图像和待修改图像的至少一处修改，输出为第二图像。

在一些实施例中，医学图像分割模型可以包括图像块分割层、特征 提取层、融合层和输出层。

具体地，图像块分割层可以通过多尺度(multi-scale)的滑动窗口 (Sliding-window)、选择性搜索(Selective Search)、神经网络或其他方法 从待分割医学图像和待修改图像中分别分割出多个图像块；特征提取层可 以提取每个图像块的特征向量和每个图像块中包含的修改的特征向量；进 一步地，融合层将每个图像块的特征向量和每个图像块中包含的修改的特 征向量融合为每个图像块对应的概率，所述概率可以表示该图像块属于目 标对象区域(或背景区域)的概率；输出层基于每个图像块的概率和预设 阈值，在待分割医学图像上区分出目标对象区域和背景区域，并勾画目标 对象区域和背景区域的边界。其中，包含勾画边界的待分割医学图像即第 二图像。

在一些实施例中，医学图像分割模型可以包括但不限于全卷积网络 (FullyConvolutional Networks，FCN)模型、视觉几何组网络(Visual Geometry Group，VGG Net)模型、高效神经网络(Efficient Neural Network， ENet)模型、全分辨率残差网络(Full-Resolution Residual Networks，FRRN) 模型、掩码区域卷积神经网络(Mask Region-based Convolutional Neural Network，Mask R-CNN)模型、多维循环神经网络(Multi-Dimensional Recurrent Neural Networks，MDRNNs)模型等中的一种或多种的组合。

继续以图8为例，预分割模型将第一次迭代的待修改图像(即第一 图像)“图8b”中的右边部分目标对象区域勾画为背景区域，用户在“图 8b”上框选了勾画错误的区域，得到待修改图像(即第一图像)和待修改图 像(即第一图像)的至少一处修改，即“图8c”中的框选修改。在第一次 迭代过程中，图像分割模块基于待分割医学图像(即图8a)、待修改图像(第一图像，即8b)和待修改图像的至少一处修改(即图8c中的框选修 改)，输出第二图像“图8d”。在本示例中，用户可以用矩形框选勾画错 误的区域，但本发明并不以此限定，用于可以用任意形状来选择勾画错误 的区域。

步骤426，将第二图像发送给客户端，并从客户端接收用户对第二图 像是否满足第一预设条件的判断；是则将第二图像作为目标医学图像输出， 并基于目标医学图像更新医学图像分割模型；否则将第二图像作为新的待 修改图像。

具体地，步骤426可以由输出模块226执行。

在一些实施例中，输出模块226可以通过网络130将第二图像发送 给客户端，并从客户端接收用户对第二图像是否满足第一预设条件的判断。

如前所述，目标医学图像是满足分割要求的医学图像，即不需要基 于用户交互，进行进一步的分割处理的医学图像；待修改图像是需要基于 用户交互进行进一步分割处理的医学图像。

第一预设条件是第二图像满足用户分割要求的条件。可以理解，医 学图像分割模型在第二图像中的勾画仍然可能存在错误，或者不符合特定 用户分割习惯，从而不满足分割要求。因此，输出模块可以服务器可以将 第二图像发送到客户端，并基于从客户端接收的用户判断第二图像是否满 足第一预设条件。

其中，用户基于客户端判断第二图像是否满足第一预设条件的详细 描述可以参见步骤522，在此不再赘述。

在一些替代性的实施例中，服务器也可以通过判断模型判断第二图 像是否满足第一预设条件。其中，判断模型的详细描述可以参见步骤410， 在此不再赘述。

继续以图8为例，第二图像“图8d”的判断为不满足第一预设条件， 则将第二图像“图8d”作为第二次迭代过程中获取的新的待修改图像。

进一步地，服务器迭代执行步骤420，直到获取目标医学图像。

继续以图8为例，服务器基于新的待修改图像“图8d”，再次迭代执 行步骤420，获取对待修改图像“图8d”的至少一处修改，即“图8e”中 的框选标注，将待分割医学图像(即图8a)、待修改图像(即8d)和待修 改图像的至少一处修改(即图8e中的框选修改)输入医学图像分割模型， 输出新的第二图像“图8f”，“图8f”的判断为满足第一预设条件，则将 “图8f”作为目标医学图像输出。

进一步地，服务器基于目标医学图像，更新医学图像分割模型的参 数。

在一些实施例中，医学图像分割模型为基于初始训练样本集预先训 练好的模型。在一些实施例中，初始训练样本集包括至少一个原始医学图 像和与原始医学图像对应的至少一个标准医学分割图像。

原始医学图像是未被分割处理的医学图像。在一些实施例中，原始 医学图像可以通过读取存储设备的数据、调用相关接口或其他方式获取。 在一些实施例中，原始医学图像可以从不同用户的大规模样本库获取。例 如，医学图像数据库、医学影像数据库等。

标准医学分割图像是对原始医学图像分割后，获取的符合分割标准 的医学图像。在一些实施例中，标准医学分割图像可以是不同用户对原始 医学图像进行分割获取的。在一些实施例中，标准医学分割图像可以通过 读取存储设备的数据、调用相关接口或其他方式获取。

可以理解，基于初始训练样本集训练获取的医学图像分割模型可以 适用于普遍用户的分割要求，但是对于特定用户的特定分割要求的适应性 较差。因此，模型更新模块可以基于由特定用户交互获取的训练样本集， 进一步训练更新医学图像分割模型的参数，提高医学图像分割模型针对特 定用户的特定分割要求的适应性。

在一些实施例中，参数可以包括表征用户习惯的参数。例如，甲医院 对心脏图像的分割习惯是仅将左心室作为目标对象，则更新后的参数可以 改变医学图像分割模型中提取心脏图像特征的普遍方式，使得更新后的医 学图像分割模型对心脏图像的分割习惯更符合甲医院的需求。

在一些实施例中，医学图像分割模型的参数还可以包括例如模型网 络架构、神经元权重、损失函数等，本实施例不作限制。

在一些实施例中，可以基于训练样本集，进一步更新图像分割模型 的参数。具体的，将带有标签的训练样本输入图像分割模型，通过训练更 新图像分割模型的参数。

训练样本和标签的具体内容、更新图像分割模型的参数的详细描述 可以参见图6，在这不再赘述。

图5是根据本说明书的一些实施例所示的应用于客户端的基于用户 交互的医学图像分割方法的示例性流程图。如图5所示，该方法500可以 包括：

步骤510，从服务器接收待修改图像。

具体地，步骤510可以由待修改接收模块310执行。

在一些实施例中，待修改接收模块310可以通过网络130从服务器 接收待修改图像。

如前所述，待修改图像是需要基于用户交互进行进一步分割处理的 医学图像。在一次迭代过程中，待修改图像即第一图像；在之后的迭代过 程中，待修改图像即第二图像。

关于需要基于用户交互进行进一步分割处理的医学图像的详细描述 参见步骤410，在此不再赘述。

步骤520，基于待修改图像，执行多次迭代过程，直到获取目标医学 图像。

具体地，步骤520可以由迭代模块320执行，迭代过程包括：

步骤522，获取用户对待修改图像的至少一处修改，并将至少一处修 改发送给服务器。

具体地，步骤522可以由修改发送模块322执行。

如前所述，用户是在客户端对待修改图像进行修改的主体。具体地， 用户在客户端上通过触控或点击客户端屏幕，对待修改图像进行修改。

如前所述，修改是指用户对待修改图像中目标对象区域和背景区域 之间的边界的勾画错误进行纠正。在一些实施例中，修改可以包括但不限 于标注(如框选、圈选)勾画错误的区域、擦除错误勾画的边界、勾画正确 的边界等中的一种或多种的组合。

在一些实施例中，客户端可以通过检测用户在客户端上对屏幕的触 控或点击操作，获取至少一处修改。

进一步地，修改发送模块322可以通过网络130将至少一处修改发 送给服务器。

步骤524，从服务器接收第二图像。

具体地，步骤524可以由第二图像接收模块324执行。

第二图像是医学图像分割模型对待修改图像进行进一步分割处理后 得到的医学图像。关于获取第二图像的相关描述参见图4，在此不再赘述。

在一些实施例中，第二图像接收模块324可以通过网络130从服务 器接收第二图像。

步骤526，获取用户对所述第二图像是否满足第一预设条件的判断， 并将判断发送给服务器。

具体地，步骤526可以由判断模块326执行。

如前所述，第一预设条件是第二图像满足用户分割要求的条件。因 此，用户可以对客户端接收到的第二图像进行判断，是否满足用户分割要 求。具体地，客户端可以通过用户在客户端的触控、点击或输入文字等操 作，获取用户的判断“是”或“否”。

在一些实施例中，判断模块326可以通过网络130将判断发送给服 务器。

进一步地，服务器基于判断执行以下处理：是则将所述第二图像作 为目标医学图像输出，并基于目标医学图像更新所述医学图像分割模型； 否则将第二图像作为新的待修改图像。

在一些实施例中，客户端和服务器可以位于同一设备中，该设备可 以执行图2和图3的方法。

综上所述，如图7所示，不考虑图像分割步骤执行主体，基于用户 交互的医学图像分割方法的示例性流程700包括：先对待分割图像进行预 分割，得到第三图像。如果第三图像满足第二预设条件，则将第三图像直 接作为目标医学图像输出；如果第三图像不满足第二预设条件，则将第三 图像作为第一图像，输入迭代过程，进行进一步地分割。迭代过程包括：用 户对待修改图像进行修改，图像分割模型基于之前获取的待分割图像、之 前获取的待修改图像和用户对待修改图像的修改，获取第二图像。其中， 在第一次迭代过程中，待修改图像即第一图像。如果用户判断第二图像不 符合满足用户要求的第一预设条件，则将第二图像作为新的待修改图像， 再次进入迭代过程，即在之后的迭代过程中，待修改图像即第二图像；如 果用户判断第二图像符合满足用户要求的第一预设条件，则将第二图像作为目标医学图像输出。进一步地，可以将之前迭代过程中已经获取的第一 图像、对第一图像的修改、以及待分割图像作为训练样本，将目标医学图 像作为标签，训练图像分割模型。

图6是根据本说明书的一些实施例所示的更新医学图像分割模型的 示例性流程图。

具体地，图6可以由输出模块226执行。

步骤610，将待分割医学图像和第一图像作为训练样本，将目标医学 图像作为标签，加入更新医学图像分割模型的训练样本集。

在一些实施例中，训练样本可以包括待分割医学图像和第一图像。

继续以图8为例，训练样本包括待分割医学图像“8a”和第一图像 为“图8b”。

在一些实施例中，训练样本还包括：至少一次所述用户对所述待修 改图像的至少一处修改。可以理解，在迭代获取目标医学图像的过程中， 每次迭代都获取了用户对待修改图像的至少一处修改。

在一些实施例中，可以将所有的修改都作为训练样本。

继续以图8为例，可以将第一次迭代过程中，对待修改图像(即第 一图像)“图8b”的至少一处修改，即“图8c”中的修改和在第二次迭代 过程中，对待修改图像(即第一次迭代输出的第二图像)“图8d”的至少 一处修改，即“图8e”中的修改都作为训练样本。

示例性地，训练样本可以为【待分割医学图像“8a”、第一图像为“图 8b”、“图8c”中的修改、“图8e”中的修改】。

在一些实施例中，可以将其中部分修改作为训练样本。

例如，上述第一迭代过程“图8c”中的修改是用户的误操作，可以只 将第二次迭代过程中“图8e”中的修改作为训练样本。

示例性地，训练样本可以为【待分割医学图像“8a”、第一图像为“图 8b”、“图8e”中的修改】。

训练样本集是用于训练目标医学图像的训练样本和标签的集合。

在一些实施例中，训练样本集可以包括基于用户交互获取的训练样 本。在一些实施例中，训练样本集还可以包括获取目标医学图像的初始训 练样本集。关于初始训练样本集的详细描述参见步骤426，在此不再赘述。

如前所述，目标医学图像是满足用户分割要求的医学图像。可以理 解，目标医学图像是迭代过程中第一图像的修改目标。

继续以图8为例，可以将待分割医学图像“图8a”、第一图像“图 8b”和第一次迭代过程中待修改图像(即第一图像)的至少一处修改，即 “图8c”中修改作为一组训练样本，将目标医学图像“图8f”作为标签： 【训练样本：“图8a”、“图8b”、“图8c”中修改|标签：“图8f”】加入 训练样本集；还可以将待分割医学图像“图8a”、第一图像“图8b”、第 一次迭代过程中待修改图像(即第一图像)的至少一处修改，即“图8c”中 修改和第二次迭代过程中待修改图像“图8d”的至少一处修改，即“图8e” 中修改作为一组训练样本，将目标医学图像“图8f”作为标签：【训练样 本：“图8a”、“图8b”、“图8c”中修改、“图8e”中修改|标签：“图8f”】 加入训练样本集。

步骤620，基于训练样本集，更新医学图像分割模型的参数。

如前所述，参数可以包括表征用户修改习惯的参数。在一些实施例 中，模型更新模块可以基于训练样本集训练图像分割模型，从而更新图像 分割模型的参数。

在一些实施例中，可以基于训练样本，通过常用的方法进行训练。例 如，可以基于梯度下降法、牛顿法和拟牛顿法等进行训练。

在一些实施例中，当训练的模型满足预设条件时，训练结束。其中， 预设条件为损失函数收敛。

由前述可知，用户使用医学图像分割模型获取目标医学图像的次数 越多，训练样本集中的训练样本数量越多，医学图像分割模型的输出结果 越接近参与交互的用户的理想结果，更新得到的医学图像分割模型的准确 率越高。

本说明书实施例可能带来的有益效果包括但不限于：(1)基于用户 交互，获取目标医学图像的同时，获取训练样本和标签，使得医学图像分 割模型不需要依赖大量的训练样本和标准医学分割图像更新参数，同时医 学图像分割模型无需单独进行训练，提高了训练效率；(2)基于多次用户 交互，医学图像分割模型可以学习到对应用户的分割操作，从而得到符合 该用户习惯的医学图像分割模型，使得输出的目标医学图像可以逐步接近 于该用户的理想分割结果，提高了医学图像分割模型的适应性；(3)可以 选择迭代过程中的修改作为训练样本，将误操作的修改排除在外，从而避 免误操作的训练样本对更新医学图像分割模型的影响；(4)基于预分割模 型对待分割医学图像进行粗分割，一方面可以直接获取简单的待分割医学 图像对应的目标医学图像，另一方面可以使得后续迭代过程更快收敛，提 高医学图像分割模型的效率。需要说明的是，不同实施例可能产生的有益 效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种 或几种的组合，也可以是其他任何可能获得的有益效果。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述 详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有 明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。 该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍 属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个 实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例 相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不 同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例” 并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些 特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本说明书的各方面可以通过若干 具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、 机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本 说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常 驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均 可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本 说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产 品，该产品包括计算机可读程序编码。

计算机存储介质可能包含一个内含有计算机程序编码的传播数据信 号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式， 包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除 计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至 一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。 位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。

本说明书各部分操作所需的计算机程序编码可以用任意一种或多种 程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、 JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如 C语言、Visual Basic、Fortran2003、Perl、COBOL2002、PHP、ABAP，动 态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可 以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、 或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机 或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与 用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部 计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即 服务(SaaS)。

此外，除非权利要求中明确说明，本说明书所述处理元素和序列的 顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程 和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的 发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利 要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明 书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组 件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现， 如在现有的处理设备或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一 个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将 多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法 并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际 上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此 类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或 “大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字 允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用 的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。 在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的 方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为 近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

针对本说明书引用的每个专利、专利申请、专利申请公开物和其他 材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本 说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外， 对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书 中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和 /或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书 实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例 而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相 应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。