消化道胶囊内窥镜视频钩虫图像计算机自动检测方法

摘要

本发明提供了一种消化道胶囊内窥镜视频钩虫图像计算机自动检测方法。通过将图像进行双匹配滤波，检测出可疑钩虫形状的区域，同时，将不同尺度的匹配滤波检测出的可疑钩虫区域进行多尺度乘积，去除噪声，然后对可疑钩虫区域进行边缘检测，并对检测到的边缘进行平行曲线和中线检测，再根据中线垂直切取可疑钩虫区域及周边黏膜区域并拼接成拉伸管状区域，对拉伸管状区域提取灰度累计直方图特征之后，最终采用Rusboost将可疑钩虫区域区分出钩虫，气泡以及肠道褶皱，从而检测出钩虫图像，通过上述方式，本发明能够通过计算机自动准确检测出肠道内的钩虫，提高医生对消化道胶囊内窥镜视频的诊断效率，减少医生工作量。

说明书

技术领域

本发明涉及图像处理技术领域，特别是涉及一种消化道胶囊内窥镜视频钩 虫图像计算机自动检测方法。

背景技术

胶囊内窥镜是一种胶囊形状的用于检查人体肠道的微型摄像装置。患者从 吞服该胶囊内窥镜到排出体外，拍摄大约5万帧左右图像。胶囊内窥镜图像目 前依靠人工检查检查，不仅耗费时间长，而且劳动强度大，并且医生疲劳后容 易造成漏诊。因此，采用计算机辅助诊断的方法来对胶囊镜图像进行病变检测 有广泛的市场需求。

目前，胶囊内窥镜计算机辅助钩虫病变检测方法尚属空白，由于钩虫病变 感染人数众多，引起人的肠道出血和贫血，营养不良。同时会在人畜间传播， 危害大。因此本发明提供一种消化道胶囊内窥镜视频钩虫图像计算机自动检测 方法。该方法提高胶囊内窥镜图像中钩虫病变诊断效率。

发明内容

鉴于现有技术的如上不足，本发明主要解决的技术问题是提供一种消化道 胶囊内窥镜视频钩虫图像计算机自动检测方法，能够准确显示消化道的整体状 况。

为解决上述技术问题，本发明采用的一个技术方案是：

一种消化道胶囊内窥镜视频钩虫图像计算机自动检测方法，将内窥镜视频 图像进行双匹配滤波，检测出可疑钩虫形状的区域，同时，将不同尺度的匹配 滤波检测出的可疑钩虫区域进行多尺度乘积，去除噪声，然后对可疑钩虫区域 进行边缘检测，并对检测到的边缘进行平行曲线和中线检测，再根据中线垂直 切取可疑钩虫区域及周边黏膜区域并拼接成拉伸管状区域，对拉伸管状区域提 取灰度累计直方图特征之后，最终采用Rusboost将可疑钩虫区域区分出钩虫， 气泡以及肠道褶皱，从而检测出钩虫图像，包括如下具体步骤：

S1：将视频的每一帧图像变换到灰度图像后，进行多尺度双匹配滤波，产 生多个尺度的双匹配滤波正响应图像和负响应图像；

S2：将多个尺度双匹配滤波的正响应图像进行多尺度乘积，得到多尺度正 响应图像，将多个尺度双匹配滤波的负响应图像进行多尺度乘积，得到多尺度 负响应图像；

S3：对多尺度正响应图像和多尺度负响应图像分别用最大类间方差法二值 化，得到正响应二值化图像和负响应二值化图像；

S4：分别对正响应二值化图像和负响应二值化图像做Canny边缘检测，得 到正边缘图像和负边缘图像；

S5：对正响应二值化图像中的每一个二值区域寻找正边缘图像对应的边缘， 并对该边缘用分段线性化平行线检测法做平行曲线检测和中线检测,以及对负 响应二值化图像中的每一个二值区域寻找负边缘图像对应的边缘，并对该边缘 用分段线性化平行线检测法做平行曲线检测和中线检测；

S6：将正响应检测到的平行线和中线以及负响应检测到的平行线和中线合 并，去除重复的平行线和中线，得到多组平行曲线和中线；

S7：对每一条中线，将一个旋转矩形的中心沿着中线从一端移动往另一端 移动，其旋转角度等于中线经过的点的倾角，同时截取每个旋转矩形区域的窥 镜图像块，并将截取的图像块旋转回水平位置，然后将这些旋转回水平位置的 矩形图像块拼接到一起，最后将拼接得到的图像块变换到同样的大小，形成拉 伸管状区域图像块；

S8：对拉伸管状区域图像块的每一行像素的亮度求平均值，每行亮度平均 值最后形成平均亮度直方图；

S9：拉伸管状区域图像块主要包括钩虫，气泡和肠道褶皱，选取钩虫，气 泡和肠道褶皱拉伸管状区域图像块的平均亮度直方图作为特征,并采用 Rusboost算法训练识别模型，用于识别钩虫，气泡和褶皱；

S10：如果一张胶囊内镜图中检测到的拉伸管状区域图像块被识别为钩虫 类，则这张图像被识别为钩虫图像，否则为非钩虫图像。

优选地，所述单个双匹配滤波器计算公式为：

$K_{\sigma }^{\pm }(x,y)=\pm e^{-\frac{x^2}{2{\sigma }^2}},\forall \left|y\right|\le \frac{L}{2}$

其中，σ为尺度参数，x和y为滤波器的像素坐标，L的值为9。

优选地，所述多尺度双匹配滤波器响应图像计算公式为：

r_i(x，y)＝m_i(x，y)*f(x，y)

其中，f(x，y)为胶囊内镜图像，r_i(x，y)是尺度i的匹配滤波器组卷积并平 均得到的响应图像，当进行正匹配滤波时，滤波器计算公式取+号K⁺(x,y)，负 匹的配滤波时取-号,K-(x，y)，其中m_i(x，y)为尺度i下的一组匹配滤波器，这 一组匹配滤波器有多个旋转匹配滤波器组合得到，每个旋转匹配滤波器由单个 匹配滤波器绕图像中心点旋转得到，旋转计算公式为：

$\left(\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right)=\left(\begin{array}{cc}\cos \theta & \sin \theta \\ -\sin \theta & \cos \theta \end{array}\right)\times \left(\begin{array}{c}x\\ y\end{array}\right)$

其中，x和y为单个未旋转的匹配滤波器上每个像素的横坐标和纵坐标，x′ 和y′为旋转θ度后的匹配滤波器上的点的横坐标和纵坐标，其中θ从0度以15度 为一个间隔递增要180度。优选地，在进行均值滤波时，滤波窗口的大小与矩 形色度图像块或矩形亮度图像块的宽度相同。

优选地，所述多尺度乘积计算公式为：

P_i，j(x，y)＝r_i(x，y)·r_j(x，y)

其中r_i(x，y)为尺度i下的相应图像,r_j(x，y)为尺度j下的响应图像，P_i，j(x，y) 为两个尺度i和j下多尺度乘积，尺度参数为1.2到2之间。

优选地，所述分段显性化平行线和中线检测具体步骤为：搜索正响应二值 化图像中每一个二值化区域对应的正边缘图像中的边缘；将每个二值化区域中 的边缘线两两组合成一组，如果两条边缘线长度差异大，则去除该组边缘线； 对每组边缘，选取其中一条为参考线，另一条为对应参考线的假定平行线，做 参考线和假定平行线做平行检测；对每组边缘，以一个旋转矩形的中心从参考 线一端往另一端移动，旋转矩形的旋转角度等于所在参考线当前像素点切线的 倾角,这里每次移动的距离为1～3个像素点,矩形框宽为9个像素，长为25个像 素；每次移动旋转矩形框后，根据矩形框内的假定平行线的像素点的坐标计算 假定平行线的倾角；在每次移动的旋转矩形框内，如果假定平行线的倾角和参 考线的倾角度数相差在12度以内，则两条线平行，同时计算两条平行线对应点 的中点，中点组合为中线；将每次旋转矩形框移动检测到平行线和中线组合到 一起并去除重复的像素点，组合后的边缘线即是参考线的平行线和中线；负响 应二值化图像中的边缘线和中线检测步骤与上述步骤相同。

优选地，所述边缘线倾角的计算公式为：

$\theta =\arctan \left(\frac{{\sigma }_{xy}}{{\sigma }_{xx}}\right)\times 57.3$

$\left(\begin{array}{cc}{\sigma }_{xx}& {\sigma }_{xy}\\ {\sigma }_{yx}& {\sigma }_{yy}\end{array}\right)=\left(\begin{array}{cc}\underset{i=1}{\overset{n}{\Sigma }}{(X_i-\bar{X})}^2& \underset{i=1}{\overset{n}{\Sigma }}(X_i-\bar{X})(Y_i-\bar{Y})\\ \underset{i=1}{\overset{n}{\Sigma }}(X_i-\bar{X})(Y_i-\bar{Y})& \underset{i=1}{\overset{n}{\Sigma }}{(Y_i-\bar{Y})}^2\end{array}\right)$

其中X_i和Y_i为旋转矩形框内参考线或假定平行线中各个像素的横坐标和纵 坐标，和为旋转矩形框内参考线或假定平行线中各个像素的横坐标和纵坐标 的平均值。

优选地，所述旋转矩形框区域的计算公式为：

$\left(\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right)=\left(\begin{array}{ccc}\cos \theta & \sin \theta & tx\\ -\sin \theta & \cos \theta & ty\\ 0& 0& 1\end{array}\right)\times \left(\begin{array}{c}x\\ y\\ 1\end{array}\right)$

其中，x和y为矩形框中心在平面直角坐标时矩形区域各个像素点的横坐标 和纵坐标，tx和ty为旋转矩形中心在参考线上的点的横坐标和纵坐标，θ为旋 转倾角，x′和y′为旋转矩形区域旋转后各个像素点的横坐标和纵坐标。

优选地，所述拉伸管状区域图像块生成过程S5中的矩形框大小,倾角计算 公式以及旋转计算公式与权利要求5中相同，拉伸管状区域图像块每行为25像 素，每列为75像素。

区别于现有技术的情况，本发明的有益效果是：可以通过计算机自动检测 胶囊内镜视频中的钩虫，提高医生对消化道胶囊内窥镜视频的诊断效率。

附图说明

图1是本发明实施例消化道胶囊内窥镜视频钩虫图像计算机自动检测方法 的流程示意图。

图2是应用本发明实施例的双匹配滤波得到正响应图像以及负响应图像的 示意图，其中图2(a)是一张含有亮钩虫的胶囊内镜图片，图2(b)和图2(c)分别 是图2(a)正响应和负响应图像，其中图2(d)是一张含有暗钩虫的胶囊内镜图片， 图2(e)和图2(f)分别是图2(d)正响应和负响应图像。

图3是应用本发明实施例的对一张钩虫图像两个尺度正响应图像多尺度乘 积的示意图，其中图3(a)是一张含有钩虫的胶囊内镜图片，图3(b)和图3(c) 分别是图3(a)在不同尺度下的响应图像，图3(d)是图3(b)和图3(c)响应乘积 图像。

图4是应用本发明实施例的对正负边缘图像做分段线性化平行线和中线检 测的示意图。

图5是应用本发明实施例的从平行线和中线生成拉伸管状区域图像块生成 过程的示意图。

图6是应用本发明实施例的对拉伸管状区域的平均亮度直方图生成过程的 示意图。

图7是应用本发明实施例的钩虫，气泡和肠道褶皱拉伸管状区域以及对应 的平均亮度直方图的示意图，图7(a)是亮钩虫拉伸管状区域以及对应的平均亮 度直方图，图7(b)是暗钩虫拉伸管状区域以及对应的平均亮度直方图，图7(c) 是气泡拉伸管状区域以及对应的平均亮度直方图，图7(d)是肠道褶皱拉伸管状 区域以及对应的平均亮度直方图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，是本发明实施例消化道胶囊内窥镜视频钩虫图像计算机自动检测 方法的流程示意图。本实施例的纵览图生成方法包括以下步骤：

S1：将视频的每一帧图像变换到灰度图像后，进行多尺度双匹配滤波，产 生多个尺度的双匹配滤波响应图像。

其中，胶囊内窥镜视频的钩虫图像分为2类，一类是虫体亮度比肠道黏膜 亮，另一类虫体亮度比肠道黏膜暗，双匹配滤波包含了正匹配滤波和负匹配滤 波，正匹配滤波能检测到亮钩虫虫体区域而负匹配滤波能检测到暗钩虫虫体区 域，图2(a)是一张亮钩虫的图像，其中图2(b)是对图2(a)做了正匹配滤波得 到的响应图像，图2(c)是对图2(a)做了负匹配滤波得到的响应图像，从图 中可以看出图2(b)能够更好的检测到虫体区域，同理，图2(d)为一张暗钩 虫的图像，图2(e)和图2(f)分别为图2(d)的正负匹配滤波图像，图2(f) 能够更好的检测到暗钩虫虫体区域。

单个尺度的正匹配滤波器或负匹配滤波器是由一组不同旋转角度的匹配滤 波器组成，没有经过旋转的匹配滤波器计算公式为：

$K_{\sigma }^{\pm }(x,y)=\pm e^{-\frac{x^2}{2{\sigma }^2}},\forall \left|y\right|\le \frac{L}{2}$

将此公式计算得到的匹配滤波器模版从0到180度旋转，每隔15度得到的 一个滤波器模版作为一组滤波器中的一个，因此，一组正匹配滤波器或一组负 匹配滤波器都包含12个不同方向的匹配滤波器，从未旋转的匹配滤波器到旋转 的匹配滤波器计算公司为：

$\left(\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right)=\left(\begin{array}{cc}\cos \theta & \sin \theta \\ -\sin \theta & \cos \theta \end{array}\right)\times \left(\begin{array}{c}x\\ y\end{array}\right)$

其中，x和y为单个未旋转的匹配滤波器上每个像素的横坐标和纵坐标，x′ 和y′为旋转θ度后的匹配滤波器上的点的横坐标和纵坐标。

S2：将多个尺度双匹配滤波的正响应图像进行多尺度乘积，得到多尺度正 响应图像，将多个尺度双匹配滤波的负响应图像进行多尺度乘积，得到多尺度 负响应图像。

其中，不同的匹配滤波器尺度参数σ产生不同的正负匹配滤波器组，不同尺 度参数的滤波器对图像产生的响应不同，如图3(a)是一张亮钩虫图像，图3(b) 和图3(c)是对图3(a)的不同尺度参数的正匹配滤波的响应图像，图3(d)是图 3(b)和图3(c)的尺度乘积图像，可以看到图3(d)能完好的保留钩虫响应区域， 同时噪声比3(b)和图3(c)大大降低，对于负匹配滤波的都尺度乘积过程同理。

S3：对多尺度正响应图像和多尺度负响应图像分别用最大类间方差法二值 化，得到正响应二值化图像和负响应二值化图像。

其中，对于窥镜图像做多尺度双匹配滤波后都会得到如图3(d)滤波响应图 像，这些图像灰度偏亮的区域都为可疑的钩虫区域，因为在后续钩虫检测和处 理中，只对这些区域进行处理，因此将这些亮的区域用最大类间方差法进行二 值化。

S4：分别对正响应二值化图像和负响应二值化图像做Canny边缘检测，得 到正边缘图像和负边缘图像。

其中，钩虫的虫体在图像中具有平行的轮廓，因此做平行边缘检测有利于 检测钩虫，同时也能去除没有平行边缘的可疑钩虫区域，因此先对S3得到的二 值化亮的区域进行边缘检测。

S5：对正响应二值化图像中的每一个二值区域寻找正边缘图像对应的边缘， 并对该边缘用分段线性化平行线检测法做平行曲线检测和中线检测,以及对负 响应二值化图像中的每一个二值区域寻找负边缘图像对应的边缘，并对该边缘 用分段线性化平行线检测法做平行曲线检测和中线检测。

其中，正响应图像的平行边缘和中线检测与负响应图像的检测方法相同， 对于步骤S3中检测到的每一个二值联通区域，都会检测到若干边缘，如图4所 示，在这些边缘中检测平行曲线和中线的具体步骤为：

将上述边缘线两两组合成一组，如果两条边缘线长度差异大，则去除该组 边缘线；

对每组边缘，选取其中一条为参考线图4中Curve_A，另一条为对应参考线 的假定平行线图4中Curve_B，做参考线和假定平行线做平行检测；

对每组边缘，以一个旋转矩形图4中SW的中心(tx,ty)从参考线一端往另 一端移动，旋转矩形的旋转角度等于所在参考线当前像素点切线的倾角,这里每 次移动的距离为1～3个像素点,矩形框宽L为9个像素，长W_h为25个像素,这里 参考线当前像素点为(tx,ty),计算倾角依靠(tx,ty)以及领域的点(X_ai,Y_ai)完 成，计算公式为

$\theta =\arctan \left(\frac{{\sigma }_{xy}}{{\sigma }_{xx}}\right)\times 57.3$

$\left(\begin{array}{cc}{\sigma }_{xx}& {\sigma }_{xy}\\ {\sigma }_{yx}& {\sigma }_{yy}\end{array}\right)=\left(\begin{array}{cc}\underset{i=1}{\overset{n}{\Sigma }}{(X_i-\bar{X})}^2& \underset{i=1}{\overset{n}{\Sigma }}(X_i-\bar{X})(Y_i-\bar{Y})\\ \underset{i=1}{\overset{n}{\Sigma }}(X_i-\bar{X})(Y_i-\bar{Y})& \underset{i=1}{\overset{n}{\Sigma }}{(Y_i-\bar{Y})}^2\end{array}\right)$

其中，(X_i，Y_i)为旋转矩形框内参考线各个像素的坐标(X_ai,Y_ai)，和为 (X_i，Y_i)的横坐标和纵坐标的平均值，θ即为计算出来的倾角，矩形SW中每个像 素点在图中对应的坐标计算公式为：

$\left(\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right)=\left(\begin{array}{ccc}\cos \theta & \sin \theta & tx\\ -\sin \theta & \cos \theta & ty\\ 0& 0& 1\end{array}\right)\times \left(\begin{array}{c}x\\ y\\ 1\end{array}\right)$

其中(x,y)为矩形SW在坐标圆点时各个点的坐标，(x’,y’)为SW中心点在 (tx,ty)时各个点的坐标；

每次移动旋转矩形框后，根据矩形框内的假定平行线Curve_B的像素点的坐 标计算假定平行线的倾角,该倾角的计算方法同参考线倾角计算方法相同，用 Curve_B在SW中的像素点(X_bi,Y_bi)来完成；

在每次移动的旋转矩形框内，如果假定平行线的倾角和参考线的倾角度数 相差在12度以内，则两条线平行，同时计算两条平行线对应点的中点，中点组 合为中线；

将每次旋转矩形框移动检测到平行线和中线组合到一起并去除重复的像素 点，组合后的边缘线即是参考线的平行线和中线。

S6：将正响应检测到的平行线和中线以及负响应检测到的平行线和中线合 并，去除重复的平行线和中线，最终得到多组平行曲线和中线。

S7：对于每一条中线，将一个旋转矩形中心沿着中线每个点移动，其中旋 转矩形的旋转角度等于中线每个点的倾角，同时截取每个旋转矩形区域的图像， 并旋转回水平位置，然后将这些旋转回水平位置的矩形图像块拼接到一起，最 后将拼接得到的图像块变换到同样的大小，形成拉伸管状区域图像块。

该步骤的处理过程参见图5,由步骤S5合并得到多组平行线和中线，每组平 行线和中线代表一条可疑钩虫，以步骤S5相同的矩形区域沿着每条钩虫的中线 旋转移动，旋转矩形的旋转方向为中线的倾角，矩形每移动一次就切取一小块 矩形区域，最后将这些小块旋转回水平位置，并合并到一起，形成拉伸管状区 域，可选地，矩形每次沿中线移动的步长为1到3个像素，拉伸管状区域为25 像素列，75像素行。

S8：对拉伸管状区域图像块的每一行像素的亮度求平均值，每行亮度平均 值最后形成平均亮度直方图。

该步骤如图6所以，步骤S7所得到的拉伸管状区域为25行75列的图像块， 将该图像块变换为灰度图像，每一行的平均亮度值作为直方图的一个柱，最后 形成25维的平均亮度直方图，图7反映了亮钩虫图7(a)，暗钩虫图7(b)，气 泡图7(c)和肠道褶皱图7(d)的拉伸管状区域图像块和对应的平均亮度直方图。

S9：拉伸管状区域图像块主要包括钩虫，气泡和肠道褶皱，选取钩虫，气 泡和肠道褶皱拉伸管状区域图像块的平均亮度直方图作为特征,并采用 Rusboost算法训练识别模型，用于识别钩虫，气泡和褶皱；

S10：如果一张胶囊内镜图中检测到的拉伸管状区域图像块被识别为钩虫 类，则这张图像被识别为钩虫图像，否则为非钩虫图像。

本领域的普通技术人员显然清楚并且理解，本发明方法所举的以上实施例 仅用于说明本发明方法，而并不用于限制本发明方法。虽然通过实施例有效描 述了本发明，本发明存在许多变化而不脱离本发明的精神。在不背离本发明方 法的精神及其实质的情况下，本领域技术人员当可根据本发明方法做出各种相 应的改变或变形，但这些相应的改变或变形均属于本发明方法要求的保护范围。