图像诊断方法、图像诊断装置及图像诊断程序

摘要

提供了一种新图像诊断方法，能够根据诊断对象以一定的放大率创建具有实用图像尺寸的输出图像，其中所述放大率适于诊断要作为诊断基准的特征部分。图像诊断装置包括：获取装置11，用于获取与具有第一分辨率的图像相关的数据，其中，通过对诊断对象进行成像来产生所述图像；转换装置12，用于将所述图像的分辨率转换为比第一分辨率小的第二分辨率；提取装置13，用于对分辨率被转换为第二分辨率的所述图像加以分析，并提取诊断对象的ROI；确定装置14，用于确定由提取装置13所提取的ROI中是否存在对预定图像特征加以指示的特征区；以及创建装置15，用于当存在特征区时，通过转换分辨率来创建输出图像，使得特征区被限制为要输出的图像尺寸并且以预定比率或比预定比率大的比率占据图像。

说明书

技术领域

本发明涉及一种图像诊断方法、图像诊断装置及图像诊断程序。

背景技术

已经使用的病人诊断方法的一个示例是病理诊断，在病理诊断中， 将从病人的身体提取的病理改变组织和细胞的样本(病理样本)附着 于玻璃载片上，并使用显微镜对所述样本进行诊断。例如，在病理诊 断中观察到的病理改变区域的特征包括在低放大率下能够容易地检查 的特征(如，腺)以及在高放大率下能够检查的特征(如，细胞核内 的区域)。在使用显微镜的常规病理诊断中，首先将显微镜的放大率被 设置为低并执行对样本的粗略搜索，然后逐步将放大率设置为更高并 缩小要作为诊断基准(ROI)的特定区。

近来，除了使用显微镜的病理诊断之外，还执行使用图像扫描仪 的病理诊断(图像诊断)，所述扫描仪断捕获载片上的样本的图像，作 为电子图像。在图像诊断的情况下，通过对整个载片上的包括以高放 大率捕获的样本在内的电子图像(病理图像)进行下采样，以一定的 放大率来创建图像，其中所述一定的放大率不大于用于成像的放大率。

在图像诊断中，如以下专利文献1中描述的，通常将整个病理图 像分为预定尺寸的块并在每个块中分析ROI，在图像的分辨率也逐步 改变的多分辨率分析中，整个区域通常被分为4块、16块或其他整数个 块。一般来说，要成为图像处理的目标的块的尺寸受限于诸如CPU和 存储器之类的硬件的处理能力和诸如监视器之类的显示设备的分辨率。

现有技术文献

专利文献1：专利公开JP-A-2009-009290

发明内容

本发明要解决的技术问题

然而，在使用以固定放大率获得的图像来执行图像诊断的情况下， 问题在于，如果使用上述基于预定块尺寸的处理，则难以按照适于诊 断的放大率将与病理图像中的病理改变相对应的区域限制在实用图像 尺寸之内。换句话说，如果所述固定放大率小于适于诊断的放大率， 则在一些情况下，可能无法将与病理图像中的病理改变相对应的整个 区域限制在图像尺寸或者单块尺寸之内。另一方面，如果所述固定放 大率大于适于诊断的放大率，则可能会将与病理图像中的病理改变相 对应的整个区域仅限制为在图像尺寸或单块尺寸之内的小区域。

鉴于前述观点，本发明的示例性目的在于解决上述问题，并提供 一种新图像诊断装置、图像诊断方法和图像诊断程序，其能够以适于 对要作为诊断基准的特征部分进行诊断的放大率，创建具有实用图像 尺寸的输出图像。

解决问题的技术手段

根据本发明示例性方面的图像诊断装置包括：获取装置，用于获 取与具有第一分辨率的图像相关的数据，其中，通过对诊断对象进行 成像来产生所述图像；转换装置，用于将所述图像的分辨率转换为比 第一分辨率小的第二分辨率；提取装置，用于对分辨率被转换为第二 分辨率的所述图像加以分析，并提取诊断对象的ROI；确定装置，用 于确定在提取装置所提取的ROI中是否存在对预定图像特征加以指示 的特征区；以及创建装置，用于当存在特征区时，通过转换分辨率来 创建输出图像，使得特征区被限制为要输出的图像尺寸并且以预定比 率或比预定比率大的比率占据图像。

根据本发明示例性方面的图像诊断方法包括：获取步骤，获取与 具有第一分辨率的图像相关的数据，其中，通过对诊断对象进行成像 来产生所述图像；转换步骤，将图像的分辨率转换为比第一分辨率小 的第二分辨率；提取步骤，对分辨率被转换为第二分辨率的图像加以 分析，并提取诊断对象的ROI；确定步骤，确定在提取步骤所提取的 ROI中是否存在对预定图像特征加以指示的特征区；以及创建步骤， 当存在特征区时，通过转换分辨率来创建输出图像，使得特征区被限 制为要输出的图像尺寸并且以预定比率或比预定比率大的比率占据图 像。

根据本发明示例性实施例的图像诊断程序包括：获取与具有第一 分辨率的图像相关的数据的步骤，其中，通过对诊断对象进行成像来 产生所述图像；将图像的分辨率转换为比第一分辨率小的第二分辨率 的步骤；对分辨率被转换为第二分辨率的图像加以分析并提取诊断对 象的ROI的步骤；确定在提取的ROI中是否存在对预定图像特征加以指 示的特征区的步骤；以及当存在特征区时，通过转换分辨率来创建输 出图像，使得特征区被限制为要输出的图像尺寸并且以预定比率或比 预定比率大的比率占据图像的步骤。

本发明的技术效果

根据具有上述配置的本发明，可以以适于对要作为诊断基准的特 征部分进行诊断的放大率，来创建具有实用图像尺寸的输出图像。

附图说明

图1是描述了根据第一实施例的图像诊断装置10的硬件配置的框 图；

图2是描述了根据第一实施例的图像诊断装置10的一般配置的示 例的图；

图3是描述了使用插值函数对图像信号进行下采样的图；

图4是描述了如何创建相邻病理特征的封闭矩形的图；

图5是描述了根据第一实施例的图像诊断方法的处理内容的流程 图；

图6是描述了根据第二实施例的图像诊断装置10的一般配置的示 例的图；

图7是描述了在网页上以不同的放大率来布置和显示不同病理特 征的图；以及

图8是描述了根据第二实施例的图像诊断方法的处理内容的流程 图。

具体实施方式

现在，将参考附图描述本发明的优选示例性实施例。在每个实施 例中，从人体提取的病理样本将被描述为诊断对象的示例。例如，病 理样本是通过对块样本进行切片而制备的样本，或者是通过几微米厚 度的穿刺活检而获得的样本，其中所述块样本是通过对体内器官进行 提取来获得的。

<第一实施例>

图1是描述了根据本发明第一实施例的图像诊断装置10的硬件配 置的框图，图2是描述了根据本发明第一实施例的图像诊断装置10的一 般配置的示例的图。

如图1所示，作为硬件，图像诊断装置10包括：CPU(中央处理单 元)以及经由总线与CPU相连的ROM、RAM、存储单元、输入单元、 显示单元、输入/输出接口等，即，与标准计算机设备相类似的硬件。 图像诊断装置10物理上可以是专用系统或通用信息处理器。例如，在 使用具有一般配置的信息处理器的情况下，可以通过启动软件来实现 图像诊断装置10，其中在所述软件中编程了本发明的图像诊断方法的 每个处理。

如图2所示，图像诊断装置10包括：图像数据获取装置11；分辨率 转换装置12；目标区提取装置13；病理特征确定装置14；输出图像创 建装置15和输出图像显示装置16。主要通过CPU执行ROM和RAM中存 储的程序并控制每个硬件部件，来实现每个装置。

图像数据获取装置(获取装置)11获取与具有第一分辨率的最高放 大率图像(图像)有关的数据，其中所述最高放大率图像是通过对病 理样本进行成像而产生的。最高放大率图像是例如通过将染色的病理 样本附着于载片上并使用图像扫描仪按照最高放大率对整个载片进行 成像而产生的图像，可以从图像扫描仪获得该图像。第一分辨率是与 图像扫描仪的最高放大率相对应的分辨率。

分辨率转换装置(转换装置)12将图像的分辨率转换为比第一分 辨率小的分辨率。换句话说，通过数字信号处理来产生缩小图像，其 中通过转换分辨率，根据最高放大率图像来创建具有较小分辨率的缩 小图像。在具体条件下，分辨率转换装置12将图像的分辨率转换为比 第一分辨率小的第二分辨率。第二分辨率是在目标区提取装置13(稍 后将对其进行描述)提取病理样本的ROI时最初指定的初始放大率相 对应的分辨率，并且可以根据在样本中检测到的病理改变来设置第二 分辨率。优选地，初始放大率被设置为例如略微低于：当使用显微镜 执行病理诊断时针对显微观察而设置的低放大率。分辨率转换装置12 还将图像的分辨率转换为第三分辨率，并根据病理特征区的尺寸来设 置该分辨率，其中第三分辨率小于等于第一分辨率并且大于第二分辨 率。

在本文中，在第一分辨率是第二分辨率的整数倍的情况下，可以 例如通过在具有第一分辨率的图像中以预定的间隔确定平均值或中心 值，来实现将第一分辨率转换为第二分辨率的方法。如果创建任意放 大率的缩小图像，则可以通过下采样来产生缩小图像，其中所述下采 样用于信号处理技术。在下采样中，例如如图3所示，通过插值函数(例 如，B-spline函数、Lanczos函数)对原始图像(高放大率图像)的采 样信号之间的值建模，使得以用于缩小图像的间隔来提供必要的值。 对于分辨率转换方法，可以使用已知的各种普通方法，包括上述方法。

目标区提取装置(提取装置)13对分辨率被转换为第二分辨率的 图像(缩小图像)加以分析，并提取病理样本的感兴趣的区域(ROI)。 例如，如果癌细胞的细胞核是病理改变的特征(病理特征)，该特征将 是病理样本的诊断基准，则可以提取怀疑这些细胞核以高密度存在的 区域，作为感兴趣的区域，原因在于：与正常细胞相比，癌细胞通常 以更高的密度生长。如果利用苏木精-伊红(HE)对病理样本染色， 则细胞核的部分将变成紫罗兰色，而细胞质的部分将变成红紫色。因 此，可以提取图像中紫罗兰色像素密度高的部分，即单位面积内紫罗 兰色像素的数目是预定值或大于预定值的区域，作为ROI。对于ROI 提取方法，可以使用常规ROI确定方法的技术，包括上述方法。

病理特征确定装置(确定装置)14确定在提取的ROI中是否存在 对预定图像特征加以指示的特征区(病理特征区)。可以根据是否能够 从ROI检测到颜色和形状与预定病理特征的颜色和形状相对应的病理 特征，来确定是否存在病理特征区。例如，可以使用识别单元，其中 所述识别单元使用神经网络和支持向量机形式的机器学习系统来学习 病理特征的颜色、形状等作为特征量向量。对于病理特征确定方法， 可以使用常规病理特征确定方法，包括上述方法。

如果检测到病理特征区，则病理特征确定装置14向输出图像创建 装置15发送缩小图像的放大率、缩小图像中的病理特征的尺寸和位置 信息及其在最高放大率图像中的转换值。如果没有检测到病理特征区， 则病理特征确定装置14向分辨率转换装置12发送指令信息，以将图像 的分辨率转换为第三分辨率，其中第三分辨率小于等于第一分辨率并 且大于第二分辨率。因此，在以经过分辨率转换装置12转换后的新分 辨率显示的缩小图像中，目标区提取装置13和病理特征确定装置14再 次提取ROI，并确定是否存在病理特征区。在第二次ROI提取或后续的 ROI提取中，可以使用针对之前的辨率而设置的信息，以节省处理时 间。分辨率转换装置12、目标区提取装置13和病理特征确定装置14执 行相应处理，直到检测到病理特征，或者直到分辨率达到第一分辨率 (最高放大率)。如果即使在最高放大率下也没有检测到病理特征区， 则向输出图像创建装置15发送病理特征区不存在信息。

如果存在病理特征区，则输出图像创建装置(创建装置)15计算 病理特征区中的适当放大率，并且输出图像创建装置15基于该放大率 和与最高放大率图像中的病理特征区相对应的位置，通过转换分辨率 来创建输出图像，使得与最高放大率图像中的病理特征区相对应的区 域被限制为输出图像尺寸的预定范围。换句话说，如果接收到与缩小 图像的分辨率(放大率)有关的信息、与缩小图像中的病理特征的尺 寸和位置有关的信息以及与最高放大率图像中的转换值有关的信息， 则输出图像创建装置15基于该信息来创建输出图像，其中输出图像的 尺寸是根据硬件(包括CPU和存储器)的处理能力而预先确定的。同 时，调整输出图像的分辨率，使得病理特征区被限制为输出图像的尺 寸并且以预定比率或比预定比率大的比率占据输出图像。例如，假设 分辨率被调整为使得输出图像的尺寸是2048×2048像素并且病理特征 区占据输出图像的50％。在这种情况下，可以通过P×x计算输出图像 的分辨率，其中，P是(2097152/A)，即，缩小图像中的病理特征区 中的像素总数(由A表示)与输出图像尺寸之比，x表示缩小图像的放 大率。输出图像中的病理特征区的比率不限于上述的50％，而是可以 根据病理特征自由地设置的小于100％的值。

在计算出分辨率之后，输出图像创建装置15使用计算得到的分辨 率将最高放大率图像转换为缩小图像，然后通过基于与病理特征区有 关的位置信息提取缩小图像中的相应病理特征区，来产生输出图像。 在长宽比过大或过小的情况下，可以设置最小长宽比，如，在垂直方 向上50％或更大，而在水平方向上50％或更大。如果处于相同放大率 的病理特征区在预定距离内彼此靠近(相邻)，则例如如图4所示，可 以创建封闭矩形(边界框)，使得通过以封闭矩形作为一个病理特征区 来产生上述输出图像，其中封闭矩形封闭了彼此靠近的病理特征区。

例如，输出图像显示装置16是显示所创建的输出图像的监视器。 如果不存在病理特征区，即，如果接收到病理特征区不存在消息，则 显示装置16可以在显示单元上显示例如消息“没有发现病理特征”，或 者可以持续地显示空屏。

现在，将参考图5所示的流程图描述在图像诊断装置10中执行的 根据本实施例的图像诊断方法。可以按照任意顺序或者并行地执行图5 中的流程图所示的每个处理，只要不会造成处理内容的不一致。

首先，图像数据获取装置11获取与具有第一分辨率的最高放大率 图像相关的数据(步骤S100)。最高放大率图像是例如通过以下操作 而产生的图像：将染色的病理样本附着到载片上，并使用图像扫描仪 以最高放大率对整个载片进行成像。

然后，分辨率转换装置12设置最高放大率图像的分辨率要被转换 到的分辨率(步骤S101)。对于初始设置，设置比第一分辨率小的第 二分辨率。第二分辨率是与提取病理样本的特征区时最初指定的初始 放大率相对应的分辨率。

然后，通过使用数字信号处理，分辨率转换装置12通过转换分辨 率来从最高放大率图像中创建具有较低分辨率的缩小图像(步骤 S102)。如上所述，多种方法可以用于产生缩小图像，例如下采样。

然后，目标区提取装置13对转换了分辨率的缩小图像加以分析， 并提取病理样本的ROI(步骤S103)。例如，如果癌细胞的细胞核是要 作为病理样本诊断基准的特征(病理特征)，则可以提取怀疑细胞核以 高密度存在的区域作为感兴趣的区域(ROI)，原因在于与正常细胞相 比，癌细胞通常以更高密度在生长。

如果提取了ROI(步骤S104：是)，则病理特征确定装置14确定在 ROI中是否存在病理特征区(步骤S105)。可以根据是否从ROI提取到 了与病理特征的颜色和形状相对应的特征，来确定是否存在病理特征 区。

如果存在病理特征区(步骤S106：是)，则输出图像创建装置15 通过转换分辨率来创建输出图像，使得最高放大率图像中的病理特征 区被限制为输出图像的尺寸并且以预定比率或比预定比率大的比率来 占图像(步骤S107)。如上所述，当存在病理特征区时，基于从病理 特征确定装置14发送的缩小图像的放大率、缩小图像中的病理特征的 尺寸和位置信息及其最高放大率图像中的转换值来产生输出图像。由 显示装置16显示来所创建的输出图像，在必要时医生可以通过对显示 图像进行图像处理来执行图像诊断。

如果没有提取到ROI(步骤S104：否)或者如果不存在病理特征 区(步骤S106：否)，则确定当前设置的分辨率是否是与最高放大率 相对应的分辨率(第一分辨率)(步骤S 108)。

如果当前设置的分辨率是与最高放大率相对应的分辨率(步骤 S108：是)，则该处理进入到结束。如果当前设置的分辨率不是与最 高放大率相对应的分辨率(步骤S108：否)，则处理返回步骤S101， 分辨率转换装置12以预定比率增大当前设置的分辨率，将该分辨率设 置为用于转换最高放大率图像的分辨率，并重复步骤S101至S108的处 理。

可以通过以下步骤提供根据本实施例的图像诊断程序：将根据第 一实施例的图像诊断方法构建为能够在计算机上执行的程序，将该程 序存储在计算机能够自由读取的信息存储介质(存储器)中，以及在 计算机上执行上述处理流中所示的处理。

根据本实施例，可以以一定的放大率来创建具有实用图像尺寸的 输出图像，所述放大率适于对要作为诊断基准的特征部分进行诊断。 例如，在癌症的病理诊断中，可以以与镜头的放大率不相同的多种放 大率来清楚地显示要作为诊断基准的病理特征。

此外，通过对病理图像重复执行ROI提取处理并通过在图像上执 行下采样处理来创建缩小图像，可以将病理特征限制为在适于诊断的 放大率下具有实用图像尺寸的图像。

此外，当计算机化病理图像用于诊断时，可以在一定的图像尺寸 内显示最明显病理特征，其中所述图像尺寸受限于诸如CPU和存储器 之类的硬件的处理能力及诸如监视器之类的显示设备的分辨率。

通过保存与能够清楚地显示病理图像特征的放大率和图像尺寸 相对应的电子数据，可以积累用于病理图像诊断的训练材料。

<第二实施例>

现在将描述根据本发明第二实施例的图像诊断装置20。

根据第二实施例，针对多个病理特征以适当的放大率来创建输出 图像，并对这些输出图像进行关联和输出。在本实施例中，作为示例， 将描述具有能够以不同放大率来检查的两个病理特征(第一病理特征 和第二病理特征)的情况，但是本发明不限于这种情况，而是例如可 以具有三个或更多个病理特征。

图6是描述了根据本发明第二实施例的图像诊断装置20的一般配 置的示例的图。

如图6所示，图像诊断装置20包括：图像数据获取装置11；分辨率 转换装置12；第一目标区提取装置13A；第二目标区提取装置13B；第 一病理特征确定装置14A；第二病理特征确定装置14B；输出图像显示 装置16；以及输出图像整合装置17。主要通过CPU执行ROM和RAM 中存储的程序从而控制每个硬件部件，来实现每种装置。对于根本上 与第一实施例的每种装置相同的每个装置，省略了对其的详细描述。

第一目标区提取装置13A对分辨率被转换为第二分辨率的图像 (缩小图像)加以分析并提取第一病理特征的ROI，第二目标区提取 装置13B对分辨率被转换为第二分辨率的图像(缩小图像)加以分析 并提取第二病理特征的ROI。在此省略了对第一目标区提取装置13A 和第二目标区提取装置13B中与第一实施例的目标区提取装置13的功 能相同的功能的详细描述。

第一病理特征确定装置14A确定在提取的ROI中是否存在第一病 理特征，第二病理特征确定装置14B确定在提取的ROI中是否存在第二 病理特征。此处省略了对第一病理特征确定装置14A和第二病理特征 确定装置14B中与第一实施例的病理特征确定装置14的功能相同的功 能的详细描述。

除了第一实施例的输出图像创建装置15的功能之外，输出图像整 合装置17还具有将针对每个病理特征创建的输出图像相关联的功能。 例如，如果第一病理特征的区和第二病理特征的区以不同的放大率处 于相同的位置，则输出图像整合装置17将这些输出图像相关联，对其 进行整合，并允许显示装置16显示所创建的输出图像。可能的关联方 法是：在每个输出图像的图像首部上显示相互图像信息，或者将每个 输出图像布置并显示在网页上。在将每个输出图像置于网页上的情况 下，可以设置例如图7所示的信息链接。

现在，将参考图8所示的流程图描述在图像诊断装置20中执行的 根据本实施例的图像诊断方法。将使用能够以不同放大率来检查的两 个病理特征(具有腺结构方面的特征的第一病理特征，以及具有细胞 核结构方面的特征的第二病理特征)来描述本实施例。可以以任意顺 序或者并行地执行图8中的流程图所示的每个处理，只要不造成处理内 容的不一致。

首先，图像数据获取装置11获取与具有第一分辨率的最高放大率 图像相关的数据(步骤200)。

然后，设置要生成其输出图像的病理特征(步骤S201)。例如， 设置第一病理特征(假定首先产生具有腺结构方面的特征的第一病理 特征的输出图像)。

然后，执行步骤S202至S209中的每个处理。此处，省略了对步骤 S202至S209中与第一实施例的步骤S101至S108中的每个处理相同的 每个处理的详细描述。

在步骤S208中的处理之后或者在步骤S209中的处理之后，确定是 否存在下一个病理特征(步骤S210)。

如果存在下一个病理特征(步骤S210：是)，则处理返回步骤S201， 设置作为下一个病理特征的第二病理特征(假设接下来产生具有细胞 核结构方面的特征的第二病理特征的输出图像)，并重复步骤S202至 S209中的处理。

如果不存在下一个病理特征(步骤S210：否)，则输出图像整合 装置16将针对每个病理特征而创建的输出图像相关联并进行显示(步 骤S211)。例如，如果第一病理特征和第二病理特征以不同的放大率 处于相同的位置，则输出图像整合装置16将这些输出图像相关联，并 如图7所示整合和显示这些图像。

可以通过以下步骤提供根据本实施例的图像诊断程序：将根据第 二实施例的图像诊断方法构建为能够在计算机上执行的程序，将该程 序存储在计算机能够自由读取的信息存储介质(存储器)中，并在计 算机上执行上述处理流中所示的处理。

根据本实施例，可以分别针对每个病理特征，以适于诊断病理特 征区的放大率来创建具有实用图像尺寸的输出图像。此外，将不同病 理特征相关联并进行显示，从而可以向执行病理诊断的医生提供有用 信息，并且可以提高诊断的效率。

<变型示例>

尽管描述了本发明的优选实施例，但是本发明不限于所述实施例， 本领域技术人员在不背离权利要求书表达的精神和范围的前提下可以 进行多种修改、添加和省略。

例如，在每个上述实施例中，作为示例描述了在诸如监视器之类 的显示单元上显示输出图像的情况，但是本发明不限于这种情况，是 可以使用与图像诊断装置10和20相连的打印设备(如，打印机)来打 印输出图像。

使用病理样本作为诊断对象的示例描述了每个上述实施例，但是 本发明不限于这种情况，可以使用其它生物学样本。

在每个实施例中，图像诊断装置10或20根据应用而具有每一个装 置，但是可以集成图像诊断装置10或20中的一些装置，或者可以将图 像诊断装置10或20中一个装置分为多个装置。

本申请要求2010年1月4日提交的日本专利申请No.2010-149的优 先权，其全部公开被合并于此。

尽管已经参考实施例描述了本发明，但是本发明不限于所述实施 例。本领域技术人员可以在本发明的范围内对本发明的配置和细节进 行多种修改。

工业应用

本发明可以用于支持基于病理图像的诊断。

符号的说明

10，20图像诊断装置

11图像数据获取装置

12分辨率转换装置

13目标区提取装置

14病理特征确定装置

15输出图像创建装置

16输出图像显示装置