一种自适应阈值的胃肠道胶囊内镜视频关键帧提取方法

摘要

一种自适应阈值的胃肠道胶囊内镜视频关键帧提取方法，首先通过高效简洁的图像颜色特征来判断相邻帧的相似度，根据相邻帧的相似性设定自适应阈值去除大量冗余图像，通过观察胶囊内镜视频帧发现有很多运动模糊或失焦模糊的图像，提出了一种利用频率特性的方法筛选去除模糊图像。同时，对于镜头距离器官壁过近导致的虚焦图像，提出一种基于颜色直方图的方法去除。本发明提出的方法不仅能够快速高效地筛选出大量冗余图像，且能够进一步去除包含无用信息的图像(如模糊图像、虚焦图像等)，获得具有分析价值的视频关键帧，具有重要实际应用价值。

说明书

技术领域

本发明涉及图像处理技术领域，具体涉及一种自适应阈值的胃肠道胶囊内镜视频关键帧提取方法。

背景技术

手持式内镜或胶囊内镜是检查胃肠道疾病的主要手段。胶囊内镜是由发光LED、镜头、CMOS图像传感器、ASIC发射器、天线、电池等集成后封装在胶囊内，胶囊内镜进入人体后，由镜头进行拍摄经过图像传感器转换为电信号，再通过天线发送到体外，病人随身携带的接收器接受并存储拍摄的图像数据，医生通过电脑观察从接收器下载的图像来诊断病情。胶囊内镜在投入临床检查时会拍摄成千上万的消化道图像并存储成时常数小时的视频流，医生需要花费大量的时间从视频流中找出可疑病灶图像进行诊断，对于医生来说是一个非常繁重且耗时的工作。通过观察胶囊内镜视频中的视频帧可以发现，相邻帧之间具有很高的相似度，即原始视频包含了大量的冗余信息，通过去除冗余来实现胶囊内镜视频的关键帧提取，对提高视频检查的效率具有重要意义。

目前，胶囊内镜视频关键帧提取方法存在准确率不高、处理速度过慢的问题。准确率不高会导致视频的精简度低且容易增加误诊、漏诊概率；作为预处理方法，处理速度过慢不利于实际应用。本专利首先通过高效简洁的图像颜色特征来判断相邻帧的相似度，根据相邻帧的相似性设定自适应阈值去除大量冗余图像。之后，通过观察胶囊内镜视频帧发现有很多运动模糊或失焦模糊的图像(如图1)，提出了一种利用频率特性的方法筛选去除模糊图像。同时，对于镜头距离器官壁过近导致的虚焦图像(如图1)，提出一种基于颜色直方图的方法去除。本专利提出的方法不仅能够快速高效地筛选出大量冗余图像，且能够进一步去除包含无用信息的图像(如模糊图像、虚焦图像等)，获得具有分析价值的视频关键帧，具有重要实际应用价值。

发明内容

为了克服已有技术的不足，了精简胶囊内镜视频帮助医生提高诊断效率，本发明为提出了一种自适应阈值的胃肠道胶囊内镜视频关键帧提取方法，通过将图像的颜色信息转换到HSV空间，提取色彩信息进行相似性度量，自适应地设定阈值去除冗余图像，之后，根据频率特性去除模糊图像，最后提出一种根据RGB颜色直方图去的方法去除虚焦图像，最终获得视频关键帧。

为了解决上述技术问题，本发明采用如下的技术方案：

一种自适应阈值的胃肠道胶囊内镜视频关键帧提取方法，包括以下步骤：

步骤1：将胶囊内镜视频作为输入，剪切为视频帧，得到视频帧数据集；

步骤2：将视频帧数据集作为输入，获得统一大小尺寸图像；

步骤3：对于存在大块黑色边框的视频帧，会影响后续颜色匹配去除冗余信息的操作，通过自动裁剪去除黑色边框；

步骤4：通过提取胶囊内镜视频中相邻两帧图像的颜色特征来进行相似性度量，将胶囊内镜采集并转换后的图像转换到HSV色彩空间上进行分析，HSV分为H、S、V三个分量，分别代表色调、饱和度、明度，相对于RGB色彩空间，HSV概念相互独立且更符合人类的视觉感知；获取图像的HSV色彩分量后，通过欧几里得公式计算相邻两帧之间的距离，若距离大于某一个阈值则判断该两帧之间差异性大，通过HSV分量进行自适应阈值判断，通过阈值比较相邻两帧之间的相似性，若两帧相似则保留前一帧，以此类推，去除冗余图像；

步骤5：通过获取每帧图像的高频信息，设定一个阈值区分模糊和清晰图像从而去除模糊图像；

步骤6：获取去除模糊图像后的关键帧，发现存在很多镜头距离器官壁过近导致的虚焦图像，未包含任何有用信息，设置频率变化差阈值去除虚焦图像；

步骤7：由于开始缩减图像尺寸会导致部分特征信息的丢失，为了临床医生可以更好的观察图像，将处理后的精简视频帧复原成与视频分辨率大小的视频帧，最终输出视频关键帧。

进一步，所述步骤3中，设置三种不同裁剪方法，假设缩小尺寸后的图像黑色像素为B，总像素为D，Y为图像的宽，当BD×β时，裁剪边框(1/3)*Y，其中α＝23％，β＝38％。

再进一步，所述步骤4中，设定第一次测试的数据集阈值为初始阈值T(i)，H(i)为第一次输入数据集生成的H分量中的最大值，H(i+1)为后续输入数据集生成H分量中的最大值，得到公式如下:

其中，T(i+1)表示后面输入数据集的自适应阈值，Δ表示变化的参数；

通过HSV分量确定阈值后比较相邻两帧之间的相似性，若两帧相似则保留前一帧，以此类推，达到去除冗余图像的目的。

更进一步，所述步骤5中，图像的频谱反应了图像能量在频谱的分布情况，频谱的高低频分量反映了图像中边缘信息和平滑信息的分布情况，模糊图像的边缘和细节信息受模糊影响被削弱，而平滑区域等低频信息基本不受影响，清晰图像有丰富的边缘、纹理、细节高频信息，因此其频谱能量在高频区域分布多于模糊图像，通过高频信息的大小来判断该图像的模糊与清晰程度；将图像进行傅里叶变换，获得频谱，随后分离出高频和低频分量，将图像中每一个高频分量进行求和后进行归一化，比较每个图像中高频分量大小，设定阈值T

所述步骤6中，通过计算(150-255)区间内频率方差来判断虚焦图像和正常图像，当方差V>3.2e

本发明的有益效果为：首先通过相邻帧之间颜色相似性设置自适应阈值去除大量冗余图像，之后提出一种根据频率特性设置阈值区分模糊和清晰图像进一步去除模糊图像的方法，最后提出一种基于颜色直方图设定阈值去除虚焦图像的方法，最终获得视频关键帧。本发明不仅帮助临床医生解决繁重的工作，提高诊断效率，降低误诊率，且具有重要实际应用价值

附图说明

图1是模糊图像，虚焦图像以及包含黑色边框的图像示意图，其中，(a)为模糊图像，(b)为虚焦图像，(c)为包含黑色边框的图像。

图2是本发明的整体流程图。

具体实施方式

为了阐述本发明的目的、技术方案，以下结合具体实施例及附图，对发明做进一步详细说明。

参照图1和图2，一种自适应阈值的胃肠道胶囊内镜视频关键帧提取方法，包括以下步骤：

步骤1：将胶囊内镜视频作为输入，剪切为视频帧，得到视频帧数据集。

步骤2：由于不同设备得到的视频帧分辨率大小不一，不利于后续阈值判断，同时为了加快处理速度，将视频帧数据集作为输入，获得统一大小尺寸图像。

步骤3：判断视频帧中是否存在大量黑色边框。对于黑色边框的判断，本专利采用了图像阈值处理方法。首先对视频帧进行读取，利用中值滤波抑制图像中的噪声，随后采用图像阈值化将图像转换为黑白二值图像，通过统计图像中黑像素的大小来判断黑色边框的大小。不同设备生成视频帧中存在的黑色边框大小不一，本专利设置三种不同裁剪方法，假设缩小尺寸后的图像黑色像素为B，总像素为D，Y为图像的宽，当BD×β时，裁剪边框(1/3)*Y，其中α＝23％，β＝38％。存在黑色边框的视频帧不仅占用了分辨率同时对后续中颜色匹配等操作存在消极作用，通过裁剪去除黑色边框。

步骤4：将去除黑色边框且统一尺寸后的图像作为输入，为了去除大量冗余图像，本专利根据视频帧中相邻两帧图像的颜色特征进行相似性度量。将胶囊内镜采集并转换后的图像转换到HSV色彩空间上进行分析，HSV分为H、S、V三个分量，分别代表色调、饱和度、明度，相对于RGB色彩空间，HSV概念相互独立且更符合人类的视觉感知。获取图像的HSV色彩分量后，通过欧几里得公式来计算相邻两帧之间的距离，通过该距离设定一个合适的阈值，若相邻两帧的距离大于某一个阈值则判断该两帧之间差异性大。通过大量实验，我们发现不同数据集所需要的阈值是不同的，随着数据集中生成H分量的最大值越大，其阈值就越小，反之越大。本专利设定第一次测试的数据集阈值为初始阈值T(i)，H(i)为第一次输入数据集生成的H分量中的最大值，H(i+1)为后续输入数据集生成H分量中的最大值，得到公式如下:

其中，T(i+1)表示后面输入数据集的自适应阈值，Δ表示变化的参数。

通过HSV分量确定合适的阈值后比较相邻两帧之间的相似性，若两帧相似则保留前一帧，以此类推，达到去除冗余图像的目的。

步骤5：通过观察去冗余图像后的数据集发现，图像中存在大量运动模糊和失焦模糊的图像，该类图像中未包含有用信息，需要进一步去除，本专利提出一种利用频率特性的方法进行去除。图像的频谱反应了图像能量在频谱的分布情况，频谱的高低频分量反映了图像中边缘信息和平滑信息的分布情况。模糊图像的边缘和细节等信息受模糊影响被削弱，而平滑区域等低频信息基本不受影响。清晰图像有丰富的边缘、纹理、细节等高频信息，因此其频谱能量在高频区域分布多于模糊图像，通过高频信息的大小来判断该图像的模糊与清晰程度。将图像进行傅里叶变换，获得频谱，随后分离出高频和低频分量，将图像中每一个高频分量进行求和后进行归一化，比较每个图像中高频分量大小，为减少漏诊概率，通过多次实验统计设定阈值T

步骤6：经过上述操作后的视频帧数据集仍然存在镜头距离器官壁过近而导致的虚焦图像，为了进一步精简图像，本专利提出一种基于颜色直方图的方法。经过统计对比，发现该类图像在RGB分量中R分量(150-255)区间内的频率变化差异大，而正常图像的频率变化缓慢。我们通过计算(150-255)区间内频率方差来判断虚焦图像和正常图像，经实验统计，当方差V>3.2e

步骤7：由于缩减图像尺寸会导致部分特征信息的丢失，为了临床医生可以更好的观察图像，将获得的关键帧复原成与视频分辨率大小相同的视频帧，生成最终的胶囊内镜视频关键帧。

本发明提出一种自适应阈值的胃肠道胶囊内镜视频关键帧提取方法，不仅能够去除冗余图像且去除了未包含有用信息的图像，获得更精简的关键帧，能够更好的帮助临床医生进行胃肠道疾病诊断，大大提高了诊断效率，具有重要实际应用价值。

本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。