实时OCT图像的ROI区域预测方法及显示方法

摘要

本发明公开了一种实时OCT图像的ROI区域预测方法，包括构建OCT图像的ROI区域初始预测模型；获取历史OCT图像数据并标定；对构造的OCT图像的ROI区域初始预测模型进行训练得到实时OCT图像的ROI区域预测模型；采用得到的实时OCT图像的ROI区域预测模型对获取的实时OCT图像进行处理得到实时OCT图像的ROI区域预测结果。本发明还公开了包括所述实时OCT图像的ROI区域预测方法的显示方法。本发明通过分组卷积的应用，以及对传统模型的修正和优化，实现了实时OCT图像的ROI区域预测，而且可靠性高、准确性高、有效性好且实用性好。

说明书

技术领域

本发明属于图像处理领域，具体涉及一种实时OCT图像的ROI区域预测方法及显示方法。

背景技术

随着经济技术的发展和人们生活水平的提高，人们对于健康的关注程度也越来越高。

光学相干断层扫描(Optical Coherence Tomography,OCT)是一种使用低相干光来捕获生物组织的高分辨率信息的非侵入性成像技术，已广泛用于医学领域，尤其是眼科领域的视网膜成像。相对于眼底照相机、超声波等传统医学影像技术而言，OCT图像能够获得更多的眼睛生理组织的三维结构信息，从而为医生提供更多的辅助信息。

OCT图像能够更好的展现眼睛生理组织的三维结构信息。但是，正是由于OCT图像包含了太多的信息，这种情况容易导致医生在使用OCT图像时无法集中注意力，针对感兴趣区域(ROI，region of interest)进行集中处理。因此，针对原始OCT图像的ROI区域的预测和标注，就显得较为重要。

目前，OCT图像的ROI区域预测技术，依旧存在准确性不高、有效性较差的问题，从而影响了OCT图像在实际中的具体应用。

发明内容

本发明的目的之一在于提供一种可靠性高、准确性高、有效性好且实用性好的实时OCT图像的ROI区域预测方法。

本发明的目的之二在于提供一种包括了所述实时OCT图像的ROI区域预测方法的显示方法。

本发明提供的这种实时OCT图像的ROI区域预测方法，包括如下步骤：

S1.构建OCT图像的ROI区域初始预测模型；

S2.获取历史OCT图像数据，并对获取的包含ROI区域的OCT图像进行标定；

S3.采用步骤S2得到的标定后OCT图像，对步骤S1构造的OCT图像的ROI区域初始预测模型进行训练，从而得到实时OCT图像的ROI区域预测模型；

S4.采用步骤S3得到的实时OCT图像的ROI区域预测模型，对获取的实时OCT图像进行处理，从而得到实时OCT图像的ROI区域预测结果。

步骤S1所述的构建OCT图像的ROI区域初始预测模型，具体为采用如下步骤构建初始预测模型：

A.采用分组卷积策略构建模型，从而降低计算量并提高模型精度；

B.对SENet模型中的SE模块进行修改，得到SE

C.将步骤B得到的SE

步骤A所述的分组卷积策略，具体为在分组卷积中，滤波器被参数g分组，卷积操作在每个分组里执行

步骤B所述的对SENet模型中的SE模块进行修改，得到SE

步骤C所述的将步骤B得到的SE

本发明还提供了一种包括所述实时OCT图像的ROI区域预测方法的显示方法，还包括如下步骤：

S5.根据步骤S4得到的实时OCT图像的ROI区域预测结果，将ROI区域在OCT图像上进行标记和显示。

本发明提供的这种实时OCT图像的ROI区域预测方法及显示方法，通过分组卷积的应用，以及对传统模型的修正和优化，实现了实时OCT图像的ROI区域预测，而且可靠性高、准确性高、有效性好且实用性好。

附图说明

图1为本发明的预测方法的方法流程示意图。

图2为本发明的预测方法的促进分组卷积获取关联特征策略示意图。

图3为本发明的预测方法的SE

图4为本发明的预测方法的采用SE

图5为本发明的预测方法的预测效果示意图。

图6为本发明的显示方法的方法流程示意图。

具体实施方式

如图1所示为本发明的预测方法的方法流程示意图：本发明提供的这种实时OCT图像的ROI区域预测方法，包括如下步骤：

S1.构建OCT图像的ROI区域初始预测模型；具体为采用如下步骤构建初始预测模型：

A.采用分组卷积策略构建模型，从而降低计算量并提高模型精度；因为在经典卷积中，每个过滤器仅对上一层所有特征图的子集进行卷积，对于输入特征图为

具体实施时，

在经典卷积中，每个内核过滤器对上一层的所有特征图进行卷积，但分组卷积中的每个过滤器仅对上一层所有特征图的子集进行卷积。对于输入特征图为

V

其中*为卷积操作，并且V

其中C

通过引入和调整分组参数g，模型可以在表示能力和计算量之间取得平衡；另外，分组卷积中的不完全连接方案使连接的数量保持在合理范围内，并且由于不同的输入，使得不同的组学习不同的特征(通常更高效更好)。因此，在模型中采用了分组卷积，以达到更低的计算量和更高的精度；

B.对SENet模型中的SE模块进行修改，得到SE

具体实施时，图2为促进信息在不同分组卷积之间的流动策略；卷积堆叠在一起以构成一个完整的网络，例如著名的VGG或ResNet；但是分组卷积的堆叠带来了一个副作：来自特定组的输出仅与输入特征图的子集卷积相关；换句话说，不同分组之间的特征是不相关的，这会阻止分组的信息流并可能削弱性能；

因此，需要一些策略来帮助分组卷积获取、编码和重新关联来自不同分组(而不仅仅是一个组)的表示。图2说明了实现这一目标的几种方法。图2(a)为分组卷积的简单堆栈，将组间的特征去关联。图2(b)变换组之间的通道，使下一个分组卷积编码来自其他组的特征。这个洗牌操作是通过简单的转置来实现的，不需要额外的可训练参数。而且，它是可微的，可以嵌入到任何网络结构中。但实现转置需要大量的指针跳转和更大程度的内存设置。此外，该模块不能直接了解通道之间的关系，只能重新排序。更高层次的表现可能会带来学习或表现的提高。另外，图2(c)中一个简单的卷积层(不含组)也可以达到同样的效果。此外，在SENet中，信道注意可以有效地构建信道之间的关系，并通过这个过程交换信息。受此启发，本发明提出SE

SENet中的SE模块通过一个很小的多层感知器来学习通道之间的相互依赖性。考虑到CNN中的通道冗余，此通道重新校准操作可以使用来自所有组的全局信息来有选择地强调信息功能并抑制不太有用的功能。在SE模块中，暗示全局信息的学习权重直接强调通道，并且此过程也仅考虑权重就隐含了考虑整个通道的组间表示。与图2中的Shuffle模块或卷积相比，图3(a)说明了原始的SE模块，而(b)是本发明的改进版本，称为SE

C.将步骤B得到的SE

具体实施时，为了利用分组卷积和提出的SE

S2.获取历史OCT图像数据，并对获取的包含ROI区域的OCT图像进行标定；

S3.采用步骤S2得到的标定后OCT图像，对步骤S1构造的OCT图像的ROI区域初始预测模型进行训练，从而得到实时OCT图像的ROI区域预测模型；

S4.采用步骤S3得到的实时OCT图像的ROI区域预测模型，对获取的实时OCT图像进行处理，从而得到实时OCT图像的ROI区域预测结果；

如图5所示：从测试集中随机选择两个样本来生成CAM图，也称为特定类的热图。图中使用的colormap是来自公共python库“matplotlib”的“HSV”颜色条，其中区域的值越高，模型越关注。在之前的工作中，首先利用了OCT图像中血管和阴影区域与贫血发生的关系。这在图5中也可以看到，几乎所有的模型都聚焦于OCT图像中的容器和阴影区域(输入图像中红色虚线所描绘的)和容器阴影区域(黄色方框所标记的)。此外，由于精度较高，本发明方法更侧重于这些区域。

如图6所示为本发明的显示方法的方法流程示意图：本发明还提供了一种包括所述实时OCT图像的ROI区域预测方法的显示方法，还包括如下步骤：

S1.构建OCT图像的ROI区域初始预测模型；具体为采用如下步骤构建初始预测模型：

A.采用分组卷积策略构建模型，从而降低计算量并提高模型精度；具体为在分组卷积中，滤波器被参数g分组，卷积操作在每个分组里执行

B.对SENet模型中的SE模块进行修改，得到SE

C.将步骤B得到的SE

S2.获取历史OCT图像数据，并对获取的OCT图像的ROI区域进行标定；

S3.采用步骤S2得到的标定后OCT图像，对步骤S1构造的OCT图像的ROI区域初始预测模型进行训练，从而得到实时OCT图像的ROI区域预测模型；

S4.采用步骤S3得到的实时OCT图像的ROI区域预测模型，对获取的实时OCT图像进行处理，从而得到实时OCT图像的ROI区域预测结果；

S5.根据步骤S4得到的实时OCT图像的ROI区域预测结果，将ROI区域在OCT图像上进行标记。

图6所述的方法，可以用于OCT图像获取的医疗设备，从而实现ROI区域的标记和显示。

以下，结合一个实施例，对本发明方法的具体应用效果，进行说明：

采用本发明方法，对实时OCT图像的贫血筛查，进行具体应用和分析。

本研究使用的数据集包括17例贫血患者和13例正常人的221张贫血和207张正常OCT图像。从中南大学湘雅二医院眼科和血液科收集该数据集及其注释。训练模型，随机选择80％的贫血和正常数据作为训练集，其余作为测试集。病人之间没有重叠的训练和测试集。为了节省内存的使用在训练阶段，调整正确的部分。然后引入水平翻转和垂直翻转操作，将训练和测试集分别扩大到1369和343幅图像。为了避免可能的过拟合情况，在结果部分采用k-fold交叉验证策略。

贫血的筛查可以看作是一个经典的二分类任务，该任务中常用的指标主要包括准确性、敏感性和特异性。在本文中，采用上述指标对本发明方法和其他比较方法进行了评价。这些度量标准的表述如下：

式中TP，FP，TN和FN分别表示真阳性(预测的贫血者为贫血)，假阳性(预测的贫血为非贫血)，真阴性(预测的非贫血为非贫血)和假阴性(预测的非贫血为贫血)。此外，还将AUC用作指标之一

基于这些指标，本发明方法和其他比较方法的结果如表1所示。从这个表中，本发明方法在4个指标中的3个中取得了最好的性能，在精度上提高了0.15，并且在所有指标上都优于之前的基于手工制作的方法。除了OCT之外，其他类型的图像，如眼底、指甲上的照片、结膜上的照片，也被用作其他自动化方法的输入图像。与之相比，本发明方法可以获得更高的准确性、灵敏度和特异性，因为OCT图像获得的信息更加全面。因此，OCT图像可能是一种适合贫血或其他视网膜疾病的无创筛查的图像类型。综上所述，本发明方法在与主要方法的比较中达到了最先进的性能。

表1本发明方法与文献中最新的无创性贫血筛查方法的比较

此外，还将本发明提出的方法与其他领先的方法在类似的图像分类任务中进行了比较，在表2中给出了更全面的评价。在这些实验中，采用了五重交叉验证策略。比较方法包括经典的VGG、ResNet、SENet和轻量级网络ShuffleNet V1、ShuffleNet V2。这些方法最初用于ImageNet中的对象分类，其中数百万幅图像需要数百万个参数。由于本发明方法的轻量级特点，减少了VGG、ResNet、SENet中的信道，减少了ShuffleNet阶段中的层数，减少了可学习参数，以便进行公平比较。从表2的结果可以看出，本发明方法在参数最小的情况下，几乎在所有指标上都取得了最好的性能。与VGG-11相比，本发明方法仅保留了VGG-11 5％的参数，但在精度上取得了更好的性能。对于ShuffleNet(V1或V2)，所提出的SeExchangeblock可以有效地改善组间的信息交换，增强网络的表示能力。轻量级的结构设计和提出的SeExchange block不仅可以获得几乎100％准确的准确率，而且具有很高的灵敏度和特异性，显示了临床辅助诊断的潜力。除了结果的高精度，推断的速度是实时的(0.018秒/96幅图像或0.19毫秒/幅图像)。在临床中，速度越快，效率越高。

表2相关方法比较结果示意表

表2中，“//16”表示通道数除以16。在这些实验中，测试批次大小设置为96。

为了验证本发明创新的有效性以及超参数对最终性能的影响，在本发明的数据集上设计了以下消融实验，由于这些实验的验证目的，只使用k-fold交叉验证框架中的第一个fold。

首先，讨论了所提出的SeExchange block和SeNet中的压缩比，以探讨其对最终性能的影响。在接下来的表3的实验中，将分组卷积中的组数控制不变，只是设置不同。随着值的增加，精度先上升后下降。这可能是由于块开始过拟合训练集的通道相互依赖关系。在大多数实验中，本发明方法取得了比SENet更好的结果。根据结果，在本发明方法中，达到了最好的准确率，并且在所有的实验中，都使用这个设置作为默认值，除非另有规定。

表3对最终性能的影响结果示意表

另外，另一个超参数g也会影响模型的精度和计算代价。因此，采用最优r＝16和不同的g考察其对性能的影响并找到折中，其中还添加了ShuffleNetV1作为比较方法。对于分组卷积，g控制层与层之间的连接稀疏性，在输出通道不变的情况下，g越大意味着可学习参数越少。在实验中，改变了每个阶段的g和输出通道，使总参数尽可能保持不变(ShuffleNetV1的通道与本发明方法是一致的)。在表1中，组数越大，需要更多的输出通道才能达到给定的计算代价(主要是可学习参数)。更多的输出通道带来更多的滤波器，这有助于编码更多的细节，但可能会导致单个滤波器由于有限的输入而退化。从表4的结果可以看出，性能并不是随着g的增加而单调提高的。在较大的组数下，每个滤波器的输入通道越少，可能会损害其表示能力，从而导致性能下降。当g＝2时，网络达到最优，在接下来的所有实验中都采用此设置。

表4性能与组数g的比较

其中，在本发明方法的每个实验中，r＝16；由于GPU的运行时间测量可能存在错误，并且在测试时，CPU压力在不同时间有所不同。

以上实验讨论了网络中不同超参数对性能的影响。此外，在表5中进行了实验，以验证所提出的SeExchange block的新新性。基线表示本发明方法的架构，在r＝16和g＝8，但没有SE

表5本发明模块的有效性示意表

在表5的实验中，g＝2，而其他设置为g＝8；

此外，将方法的热图可视化在表5中，以探讨不同模块对重点区域的影响。在图5中，从左到右观察到随着性能的提高，模型越来越关注血管区域的趋势。性能越高，输入图像中红色虚线标注的血管区域和黄色方框标注的血管阴影区域就越受关注。