图像修复方法和图像修复装置

摘要

本公开是关于图像修复方法，包括：根据原始图像中标记球的位置对原始图像进行分割，以得到多个子图像；将子图像中的标记球作为待修复区域，对每个子图像分别进行修复；在待修复区域的边缘确定多个待修复块，计算每个待修复块的局部灰度熵，根据局部灰度熵确定每个待修复块的修复顺序；根据修复顺序修复待修复块，直至完成修复待修复区域；在修复完成后，将修复后的多个子图像合并。而且根据局部灰度熵确定每个待修复块的修复顺序，例如局部灰度熵越大则修复顺序越靠前，那么根据修复顺序修复待修复块，就可以从包含信息最多的待修复块开始修复，相对于包含信息较少的待修复块，便于更准确地找到匹配的目标样本块。

说明书

技术领域

本公开涉及医疗技术领域，尤其涉及图像修复方法、图像修复装置、电子设备和计算机可读存储介质。

背景技术

针对图像的修复，目前主要有基于结构的图像修复算法、基于纹理的图像修复算法、Criminisi算法等。

目前的Criminisi算法可以从图像中待修复区域的边缘开始，由外向内进行修复，修复过程中可以在待修复区域的边缘上确定待修复块，然后在待修复区域以外的区域确定样本块，进而通过样本块修复待修复块。

但是在某些情况下，图像中存在多个待修复区域，针对某个待修复区域而言，在待修复区域以外的区域确定样本块，可能包括其他待修复区域中的部分内容，从而可能出现通过一个待修复区域，修复另一个待修复区域的情况，导致修复出错。而且，目前Criminisi算法中对待修复块的修复顺序，主要依据待修复块中像素的数目来确定，存在一定的不合理性。

发明内容

本公开提供图像修复方法、图像修复装置、电子设备和计算机可读存储介质，以解决相关技术中的不足。

根据本公开实施例的第一方面，提出一种图像修复方法，包括：

根据原始图像中标记球的位置对所述原始图像进行分割，以得到多个子图像，其中，每个子图像分别包含一个标记球；

将子图像中的标记球作为待修复区域，通过Criminisi算法对每个子图像分别进行修复，其中，在修复过程中：

在待修复区域的边缘确定多个待修复块，计算每个待修复块的局部灰度熵，根据局部灰度熵确定每个待修复块的修复顺序；

根据所述修复顺序修复所述待修复块，直至完成修复所述待修复区域；

在修复完成后，将修复后的多个子图像合并。

可选地，所述待修复区域包括多个待修复块，针对每个待修复块的修复过程包括：

将待修复块中待修复区域内像素的值置为0，将样本块中对应所述待修复区域的区域内像素的值置为0，将待修复块转化为待修复矩阵，将样本块转化为样本矩阵；

根据样本矩阵和待修复矩阵的相关系数，在多个样本块中确定与所述待修复块相匹配的目标样本块。

可选地，所述目标样本块为多个目标样本块，针对每个待修复块的修复过程还包括：

确定每个目标样本块与所述待修复块的颜色差异、结构差异以及距离；

根据所述颜色差异、所述结构差异和所述距离，在所述多个目标样本块中确定匹配块；

通过所述匹配块对所述待修复块进行修复。

可选地，针对每个待修复块的修复过程包括：

在所述待修复块的局部灰度熵大于预设阈值时，缩小所述待修复块和所述样本块；和/或

在所述待修复块的局部灰度熵小于预设阈值时，扩大所述待修复块和所述样本块。

可选地，在对所述原始图像进行分割之前，所述方法还包括：

提高所述原始图像的对比度；

将提高对比度后的所述原始图像的复制图像转换为二值图像；

在所述二值图像中进行霍夫圆检测，以确定所述原始图像中所述标记球的位置。

根据本公开实施例的第二方面，提出一种图像修复装置，包括：

图像分割模块，用于根据原始图像中标记球的位置对所述原始图像进行分割，以得到多个子图像，其中，每个子图像分别包含一个标记球；

图像修复模块，用于将子图像中的标记球作为待修复区域，通过Criminisi算法对每个子图像分别进行修复，其中，在修复过程中：

在待修复区域的边缘确定多个待修复块，计算每个待修复块的局部灰度熵，根据局部灰度熵确定每个待修复块的修复顺序；

根据所述修复顺序修复所述待修复块，直至完成修复所述待修复区域；

图像合并模块，用于在修复完成后，将修复后的多个子图像合并。

可选地，所述待修复区域包括多个待修复块，所述图像修复模块包括：

矩阵转换子模块，用于将待修复块中待修复区域内像素的值置为0，将样本块中对应所述待修复区域的区域内像素的值置为0，将待修复块转化为待修复矩阵，将样本块转化为样本矩阵；

目标确定子模块，用于根据样本矩阵和待修复矩阵的相关系数，在多个样本块中确定与所述待修复块相匹配的目标样本块。

可选地，所述目标样本块为多个目标样本块，所述图像修复模块还包括：

差异确定子模块，用于确定每个目标样本块与所述待修复块的颜色差异、结构差异以及距离；

匹配确定子模块，用于根据所述颜色差异、所述结构差异和所述距离，在所述多个目标样本块中确定匹配块；

修复子模块，用于通过所述匹配块对所述待修复块进行修复。

可选地，所述图像修复模块，用于在所述待修复块的局部灰度熵大于预设阈值时，缩小所述待修复块和所述样本块；和/或在所述待修复块的局部灰度熵小于预设阈值时，扩大所述待修复块和所述样本块。

可选地，所述装置还包括：

对比对调整模块，用于提高所述原始图像的对比度；

二值转换模块，用于将提高对比度后的所述原始图像的复制图像转换为二值图像；

圆检测模块，用于在所述二值图像中进行霍夫圆检测，以确定所述原始图像中所述标记球的位置。

根据本公开实施例的第三方面，提出一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为可执行指令以实现上述任一实施例所述的方法。

根据本公开实施例的第四方面，提出一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现上述任一实施例所述方法中的步骤。

本公开根据局部灰度熵确定每个待修复块的修复顺序，例如局部灰度熵越大则修复顺序越靠前，那么根据所述修复顺序修复所述待修复块，就可以从包含信息最多的待修复块开始修复，相对于包含信息较少的待修复块，便于更准确地找到匹配的目标样本块。

并且将原始图像分割为多个子图像，每个子图像中就包含一个标记球，在针对每个子图像中的标记球进行修复时，就可以避免从标记球以外的区域获取到处于其他标记球中的样本块来对标记球进行修复，降低了Criminisi优化算法过程中的迭代误差，有利于避免修复出现阶梯效应，从而确保修复结果的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据本公开的实施例示出的一种图像修复方法的示意流程图。

图2是根据本公开的实施例示出的另一种图像修复方法的示意流程图。

图3是根据本公开的实施例示出的又一种图像修复方法的示意流程图。

图4是根据本公开的实施例示出的又一种图像修复方法的示意流程图。

图5是根据本公开的实施例示出的一种图像修复装置的示意框图。

图6是根据本公开的实施例示出的一种图像修复模块的示意框图。

图7是根据本公开的实施例示出的另一种图像修复模块的示意框图。

图8是根据本公开的实施例示出的另一种图像修复装置的示意框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据本公开的实施例示出的一种图像修复方法的示意流程图。如图1所示，所述图像修复方法可以包括以下步骤：

步骤S101，根据原始图像中标记球的位置对所述原始图像进行分割，以得到多个子图像，其中，每个子图像分别包含一个标记球；

步骤S102，将子图像中的标记球作为待修复区域，通过Criminisi算法对每个子图像分别进行修复，其中，在修复过程中：

步骤S103，在待修复区域的边缘确定多个待修复块，计算每个待修复块的局部灰度熵，根据局部灰度熵确定每个待修复块的修复顺序；

步骤S104，根据所述修复顺序修复所述待修复块，直至完成修复所述待修复区域；

步骤S105，在修复完成后，将修复后的多个子图像合并。

在一个实施例中，所述图像修复方法可以应用于参数标定系统，所述参数标定系统包括六自由度及以上的机械臂和配准板，所述配准板固定于所述机械臂的末端，在所述配准板上固定设置有多个金属球(例如钢球)，所述多个金属球的数量大于或等于4，所述多个金属球中至少一个金属球与其他金属球不共面，所述机械臂可以与图像采集设备协同工作。

其中，图像采集设备可以是能够采集X光图像的设备，例如图3所示的C臂机。机械臂的末端可以是法兰，配准板可以固定安装在所述法兰上。

所述参数标定系统可以执行以下步骤：

步骤A，控制图像采集设备在第i位姿下拍摄以得到第i个X光图像，以及控制所述机械臂运动，以使所述图像采集设备拍摄到的X光图像中包含所述多个金属球中至少预设数目的金属球；

步骤B，记录所述图像采集设备拍摄X光图像时，所述机械臂的第i姿态信息；

步骤C，确定所述第i个X光图像中的金属球在所述第i个X光图像中的二维坐标，与所述金属球在所述机械臂末端的坐标系中的三维坐标的第i变换矩阵；

步骤D，根据所述第i变换矩阵和所述第i姿态信息，确定世界坐标系与所述第i个X光图像所在坐标系的第i几何位置关系；

步骤E，n次执行上述步骤A至步骤D，以得到n个几何位置关系，1≤i≤n。

所述原始图像可以是拍摄到的包含金属球的X光图像，金属球即标记球，待修复区域就是金属球在X光图像中所处的区域。由于为患者拍摄的X光图像所呈现的是患者的身体结构，但是标记球的作用是用于作为参考来确定变化矩阵，并不是患者身体固有结构，所以原始图像中的标记球对图像中患者的身体结构造成了遮挡，相当于标记球所在位置受损，因此需要对标记球所在的待修复区域进行修复，以使修复后的图像准确地体现患者的身体结构。

在一个实施例中，可以先确定原始图像中标记球的位置，然后根据标记球的位置对原始图像进行分割，从而得到多个子图像。分割标准可以是将不同的标记球分割到不同的子图像中，并且在此基础上使得子图像的长和宽的差异较小。当然，在某些情况下，不同的标记球在原始图像中重叠，那么可以将重叠的标记球分割在一个子图像中。

进而可以将子图像中的标记球作为待修复区域，通过Criminisi算法对每个子图像分别进行修复。

基于Criminisi算法的修复过程，可以在待修复区域的边缘确定像素，然后确保包含该像素的待修复块，例如像素为待修复块的中心，待修复块既包含待修复区域中的像素，也包含无需修复区域中的像素，可以在修复区域以外通过与待修复块相同尺寸的窗口确定多个样本块，在多个样本块中确定与待修复块相匹配的目标样本块，通过目标样本块对待修复块进行修复。

以此类推，可以对待修复区域的边缘进行修复，从而修复了待修复区域的外围部分，使得待修复区域变小。针对新的待修复区域，可以继续按照上述方式从边缘开始修复，从而宏观上实现从外向内修复待修复区域。

在修复过程中，可以在待修复区域的边缘确定多个待修复块，计算每个待修复块的局部灰度熵(也可以替换为平均灰度熵)，根据局部灰度熵确定每个待修复块的修复顺序。进而可以根据所述修复顺序修复所述待修复块，直至完成修复所述待修复区域。

由于局部灰度熵可以体现图像中信息(例如纹理)的丰富程度，局部灰度熵越大，待修复块中的信息就越多。本实施例可以根据局部灰度熵确定每个待修复块的修复顺序，例如局部灰度熵越大则修复顺序越靠前，那么根据所述修复顺序修复所述待修复块，就可以从包含信息最多的待修复块开始修复，相对于包含信息较少的待修复块，便于更准确地找到匹配的目标样本块。

而相邻的待修复块之间可以存在重叠部分，那么在修复包含信息较多的待修复块(例如称作块A)后，与块A相邻的包含信息较少的待修复块(例如称作块B)，就可以包含一些修复后的块A中的信息，从而提高块B中的信息量，有利于提高确定与块B匹配的目标样本块的准确性，从而提高对块B的修复的准确性。

而且本实施例将原始图像分割为多个子图像，每个子图像中就包含一个标记球，在针对每个子图像中的标记球进行修复时，就可以避免从标记球以外的区域获取到处于其他标记球中的样本块来对标记球进行修复，降低了Criminisi优化算法过程中的迭代误差，有利于避免修复出现阶梯效应，从而确保修复结果的准确性。

图2是根据本公开的实施例示出的另一种图像修复方法的示意流程图。如图2所示，所述待修复区域包括多个待修复块，针对每个待修复块的修复过程包括：

步骤S201，将待修复块中待修复区域内像素的值置为0，将样本块中对应所述待修复区域的区域内像素的值置为0，将待修复块转化为待修复矩阵，将样本块转化为样本矩阵；

步骤S202，根据样本矩阵和待修复矩阵的相关系数，在多个样本块中确定与所述待修复块相匹配的目标样本块。

在一个实施例中，在修复过程中，需要在待修复区域外的多个样本块中，确定与待修复块相配的目标样本块。

具体地，可以将待修复块中待修复区域内像素的值置为0，对于待修复块中其他像素的值保持不变，然后将样本块中对应所述待修复区域的区域内像素的值置为0，对于样本块中其他像素的值保持不变。

例如待修复块和样本块是尺寸相同的正方形，待修复块中下半部分的像素处于待修复区域内，那么样本块中对应所述待修复区域的区域也就是样本块的下半部分，从而可以将待修复块中下半部分的像素的值置为1，以及将样本块中下半部分的像素的值置为1。

进而将待修复块转化为待修复矩阵，将样本块转化为样本矩阵，然后确定样本矩阵和待修复矩阵的相关系数，据此，由于待修复矩阵和样本矩阵中对应待修复区域的区域内像素的值置为0，在计算相应矩阵的相关系数时，就不必考虑待修复区域内像素的值，有利于提高确定相关系数的准确性。进而根据相关新书在多个样本块中确定与所述待修复块相匹配的目标样本块，就有利于准确地确定目标样本块，以准确地通过目标样本块对所述待修复块进行修复。

图3是根据本公开的实施例示出的又一种图像修复方法的示意流程图。如图3所示，所述目标样本块为多个目标样本块，针对每个待修复块的修复过程还包括：

步骤S203，确定每个目标样本块与所述待修复块的颜色差异、结构差异以及距离；

步骤S204，根据所述颜色差异、所述结构差异和所述距离，在所述多个目标样本块中确定匹配块；

步骤S205，通过所述匹配块对所述待修复块进行修复。

在一个实施例中，上述步骤S201至步骤S202可以在多个样本块中，初步确定用于对待修复块进行修复的目标样本块，但是在某些情况下，可以确定到多个目标样本块，例如多个样本块对应的样本矩阵与待修复矩阵的相关系数满足要求(例如大于预设系数阈值)，在这种情况下，可以进一步在目标样本块中确定用于对待修复块进行修复的匹配块。

具体地，可以确定每个目标样本块与所述待修复块的颜色差异、结构差异以及距离。其中，可以计算目标样本块和待修复块中相同位置的像素的颜色差异，然后计算全部位置的像素差异的颜色差异的均值作为目标样本块与待修复块的颜色差异；可以计算目标样本块中的颜色梯度，与待修复块中的颜色梯度之间的差异作为所述结构差异。

然后可以根据所述颜色差异、所述结构差异和所述距离，在所述多个目标样本块中确定匹配块，例如根据所述颜色差异、所述结构差异和所述距离分别确定权值，然后将三者对应的权值加和，将加和结果最大的目标样本块确定为匹配块。其中，颜色差异对应的权值与颜色差异反相关，结构差异对应的权值与结构差异反相关，距离对应的权值与距离反相关，

由于颜色差异越大的块之间相关性越低，结构差异越大的块之间相关性越低，距离越大的块之间相关性越低，因此基于上述方式确定匹配块，可以在多个目标样本块中确定到与待修复块的相关性最高的匹配块，从而根据匹配块对所述待修复块进行修复，可以提高修复结果的准确率。

可选地，针对每个待修复块的修复过程包括：

步骤S206，在所述待修复块的局部灰度熵大于预设阈值时，缩小所述待修复块和所述样本块；和/或

步骤S207，在所述待修复块的局部灰度熵小于预设阈值时，扩大所述待修复块和所述样本块。

在一个实施例中，在所述待修复块的局部灰度熵大于预设阈值时，待修复块中的信息较多，那么可以缩小所述待修复块和所述样本块，从而减少待修复块和样本块中的信息量，进而提高确定样本块与待修复块相关性的速度，以便尽快在样本块中确定与待修复块相匹配的目标样本块，以完成修复。

在一个实施例中，在所述待修复块的局部灰度熵小于预设阈值时，待修复块中的信息较少，那么可以扩大所述待修复块和所述样本块，从而增多待修复块和样本块中的信息量，进而提高确定样本块与待修复块相关性的准确度，以便提高在样本块中确定与待修复块相匹配的目标样本块的准确度，提高修复结果的准确度。

图4是根据本公开的实施例示出的又一种图像修复方法的示意流程图。如图4所示，在对所述原始图像进行分割之前，所述方法还包括：

步骤S106，提高所述原始图像的对比度；

步骤S107，将提高对比度后的所述原始图像的复制图像转换为二值图像；

步骤S108，在所述二值图像中进行霍夫圆检测，以确定所述原始图像中所述标记球的位置。

在一个实施例中，由于标记球可以是金属球，而原始图像中主要内容是人体结构，所以标记球与原始图像中的主要内容存在较大差异，那么可以通过提高原始图像的对比度，使得标记球在原始图像中的待修复区域相对于原始图像中的其他区域较为明显，以便后续区分。其中，可以通过ACE增强算法增强原始图像中的局部(例如标记球所在区域)对比度。

对于增强了对比度的图像可以进行复制，对于复制的图像可以采用预定阈值分割对图像进行二值分割，从而将复制图像转换为二值图像。进而可以在二值图像中进行霍夫圆检测，以在二值图像中确定圆形或近似圆形的区域的坐标，将该坐标对应到原始图像中，即可在原始图像中确定标记球所在区域，也即所述待修复区域。

与上述图像修复方法的实施例的相对应地，本公开还提出了图像修复装置的实施例。

图5是根据本公开的实施例示出的一种图像修复装置的示意框图。如图5所示，所述图像修复装置包括：

图像分割模块101，用于根据原始图像中标记球的位置对所述原始图像进行分割，以得到多个子图像，其中，每个子图像分别包含一个标记球；

图像修复模块102，用于将子图像中的标记球作为待修复区域，通过Criminisi算法对每个子图像分别进行修复，其中，在修复过程中：

在待修复区域的边缘确定多个待修复块，计算每个待修复块的局部灰度熵，根据局部灰度熵确定每个待修复块的修复顺序；

根据所述修复顺序修复所述待修复块，直至完成修复所述待修复区域；

图像合并模块103，用于在修复完成后，将修复后的多个子图像合并。

图6是根据本公开的实施例示出的一种图像修复模块的示意框图。如图6所示，所述待修复区域包括多个待修复块，所述图像修复模块102包括：

矩阵转换子模块1021，用于将待修复块中待修复区域内像素的值置为0，将样本块中对应所述待修复区域的区域内像素的值置为0，将待修复块转化为待修复矩阵，将样本块转化为样本矩阵；

目标确定子模块1022，用于根据样本矩阵和待修复矩阵的相关系数，在多个样本块中确定与所述待修复块相匹配的目标样本块。

图7是根据本公开的实施例示出的另一种图像修复模块的示意框图。如图7所示，所述目标样本块为多个目标样本块，所述图像修复模块102还包括：

差异确定子模块1023，用于确定每个目标样本块与所述待修复块的颜色差异、结构差异以及距离；

匹配确定子模块1024，用于根据所述颜色差异、所述结构差异和所述距离，在所述多个目标样本块中确定匹配块；

修复子模块1025，用于通过所述匹配块对所述待修复块进行修复。

可选地，所述图像修复模块，用于在所述待修复块的局部灰度熵大于预设阈值时，缩小所述待修复块和所述样本块；和/或在所述待修复块的局部灰度熵小于预设阈值时，扩大所述待修复块和所述样本块。

图8是根据本公开的实施例示出的另一种图像修复装置的示意框图。如图8所示，所述装置还包括：

对比对调整模块104，用于提高所述原始图像的对比度；

二值转换模块105，用于将提高对比度后的所述原始图像的复制图像转换为二值图像；

圆检测模块106，用于在所述二值图像中进行霍夫圆检测，以确定所述原始图像中所述标记球的位置。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。