一种基于颜色和血管的LCI激光内镜下的结肠息肉分类方法

摘要

本发明提供了一种基于颜色和血管的LCI激光内镜下的结肠息肉分类方法，通过提取LCI激光内镜下的结肠息肉图片的颜色特征向量；将腺瘤性结肠息肉内镜图片集的颜色特征向量作为训练样本进行训练，得到第一高斯混合模型；将非腺瘤性结肠息肉内镜图片集的颜色特征向量作为训练样本进行训练，得到第二高斯混合模型；提取未知类型的结肠息肉图片的颜色特征向量和血管密度特征值；将提取的颜色特征向量分别输入第一高斯混合模型和第二高斯混合模型得到结果值，得出分类结果的技术方案，本发明基于LCI激光内镜，提取颜色和血管密度作为特征向量为结肠息肉分类，该方法所需样本的数量小，训练任务简单，计算量小，在实时监测中无需为此搭设服务器，降低成本。

说明书

技术领域

本发明涉及互联网技术领域，尤其涉及一种基于颜色和血管的LCI 激光内镜下的结肠息肉分类方法。

背景技术

结直肠癌(CRC)是全球癌症中致死的重要成因。尽管早期进行息肉切除手术就可以大大降低其发病率，但只有腺瘤性息肉应该切除，而其余90％的增生息肉在临床上被认为是对健康没有影响的，切除的风险可能超过其好处。故正确地检测和预测结肠息肉类型显得尤为重要。

现有技术中，大多均针对白光(white-light,WL)或蓝激光成像(blue laserimaging,BLI)的激光内镜下的结肠息肉分类方法：

a.提取HOG特征，使用支持向量机(Support vector machine,SVM) 分类；

b.使用神经网络(neural network,NN)构造分类器。

现有的最新实验结果大多将医学上的先验知识与计算机视觉技术剥离开来，使用时下流行的卷积神经网络直接构建分类器。但由于结肠镜图片本身具有较高相似性，这一方法需要大量的训练样本(10⁵数量级及以上)才能达到比较理想的效果。而在临床上收集特定病例图片具有相当的难度，指定类别的息肉高度依赖于病患的实际情况。事实上，现有的公开数据集的数据量不仅大小都在百张左右浮动，其数据图片更是多由同一视频分帧截取得到，训练模型对不同形态的息肉具有低容错性。

发明人在研究的过程中发现：彩色联动成像(linked color imaging, LCI)激光内镜是一种新型激光光源，相较于白光(white-light,WL)、蓝激光成像(blue laserimaging,BLI)等目前应用较广的光源来说，对红色分量更为敏感，拍摄出的下消化道图像具有色彩鲜明、轮廓清晰等优点。

光电容积描记术(photoplethysmography,PPG)是一种简单的光学技术，用于检测外周循环血液的体积变化。由于血液比周围组织更强烈地吸收光纤，所以通过PPG传感器检测为光强度的变化。

高斯混合模型是一种应用广泛的模型，它是用高斯概率密度函数精确地量化事物，以将事物分解为若干的基于高斯概率密度函数形成的模型。

本发明提出了一种基于颜色和血管的LCI激光内镜下的结肠息肉分类方法，为一种区别增生和腺瘤息肉的分类方法，旨在小样本、小计算量的情况下，基于LCI激光内镜图片的现有特点，综合资深内镜医师的先验临床知识，提取颜色和血管密度特征作为特征向量，完成分类任务。

发明内容

为了达到上述目的，本发明提供了一种基于颜色和血管的LCI激光内镜下的结肠息肉分类方法，充分利用了LCI激光内镜色彩鲜明、轮廓清晰的特点，提取颜色特征向量和血管密度特征值，相较于现有的支持向量机、神经网络等方法：1.所需样本的数量小，仅为其百分之一甚至千分之一；2.训练任务简单，计算量小，在实时监测中医院不需为此搭设服务器，大大降低成本。

本发明提供了一种基于颜色和血管的LCI激光内镜下的结肠息肉分类方法，包括：

提取LCI激光内镜下的结肠息肉图片的颜色特征向量；

将结肠息肉图片中的腺瘤性结肠息肉内镜图片集的颜色特征向量作为训练样本进行训练，得到第一高斯混合模型A；将结肠息肉图片中的非腺瘤性结肠息肉内镜图片集的颜色特征向量作为训练样本进行训练，得到第二高斯混合模型B；

提取未知类型的结肠息肉图片的颜色特征向量和血管密度特征值；将提取的颜色特征向量分别输入第一高斯混合模型A和第二高斯混合模型B得到结果值，将所述结果值和所述血管密度特征值相加后与存储的分类阈值做对比得出分类结果。

其中，所述颜色特征向量，包括但不限于：LCI激光内镜下的结肠息肉图片中的R、G、B、H、S和/或V分量。

进一步的，所述提取LCI激光内镜下的结肠息肉图片的颜色特征向量的步骤包括：

截取LCI激光内镜下的结肠息肉图片中的息肉区域，息肉区域不包含非息肉的肠道组织；

识别并存储所述息肉区域中所有像素点的R、G、B颜色分量值；将所述息肉区域中RGB颜色空间变换为HSV颜色空间，获取息肉区域中所有像素点的H、S、V颜色分量值；

将获取的R、G、B、H、S、V六个颜色分量值按顺序组成六维的颜色特征向量，使得息肉区域内每一个像素点对应一个六维颜色特征向量。

进一步的，将所述息肉区域中RGB颜色空间变换为HSV颜色空间的步骤，具体包括：

基于Matlab的rgb2hsv()函数，对息肉区域做RGB颜色空间到HSV 颜色空间的颜色空间变换：

v＝max

其中，r是颜色的红坐标，g是颜色的绿坐标，b是颜色的蓝坐标， r，g，b的坐标范围值为0到1之间的实数；max等价于r,g和b中的最大者；min等价于r,g和b中的最小者。

进一步的，提取血管密度特征值的步骤包括：

基于PPG技术对LCI激光内镜下具有结肠息肉的视频提取反映微血管中血容量变化的BVP信号视频样本，并在BVP信号视频样本中标记血管密度特征值。

进一步的，提取血管密度特征值的具体步骤包括：

对LCI激光内镜下的一段具有结肠息肉的内镜视频，截取不包含息肉边缘的息肉区域视频样本；

将视频样本去除噪声和抖动，获取BVP信号视频样本；

将BVP信号视频样本分解为R(red),G(green),B(blue)三个颜色通道，分别计算三个通道分量的空间信号平均强度序列；

使用快速傅里叶变换(FFT)的方法得到三个通道分量的空间信号平均强度序列的能量谱；

基于能量谱，计算息肉区域中各彩色通道信号的归一化和功率，得到血管密度特征值。

进一步的，计算三个通道分量的空间信号平均强度序列的方法包括：

x(n)＝[x^R(n),x^G(n),x^B(n)]^T,

其中，x(n)为强度序列，n为视频样本的帧数序号，x^R(n),x^G(n),x^B(n)分别对应R，G，B三个颜色通道的空间信号平均强度序列；T为视频样本的时间。

进一步的，使用快速傅里叶变换(FFT)的方法得到三个通道分量的空间信号平均强度序列的能量谱，包括：

S(f)＝[S^R(f),S^G(f),S^B(f)]^T

其中S^R(f),S^G(f),S^B(f)分别对应R,G,B三个颜色通道的能量谱，各个通道的计算遵循如下公式：

S(f)＝|X(f)|²＝|FFT(x(n))|²

其中，FFT代表快速傅里叶变换，X(f)表示空间信号平均强度序列 x(n)经过变换后的值。

进一步的，基于能量谱，计算息肉区域中各彩色通道信号的归一化和功率，得到血管密度特征值，包括：

其中，f_HR为能量谱S(f)幅度中极值处的频率值，T为视频样本的时间长度，i表示的视频样本的序号；R、G、B分别表示三个彩色通道。

进一步的，将所述结果值和所述血管密度特征值相加后与存储的分类阈值做对比得出分类结果，具体包括：

将提取的颜色特征向量分别输入第一高斯混合模型A得到第一结果值；将提取的颜色特征向量分别输入第二高斯混合模型B得到第二结果值；

将第一结果值与第二结果值相减后得到结果值；所述结果值与血管密度特征值的带权值相加后，与存储的分类阈值进行对比，若高于分类阈值则认为该图片中的结肠息肉为腺瘤性结肠息肉；否则，为非腺瘤性结肠息肉。

本发明提供的一种基于颜色和血管的LCI激光内镜下的结肠息肉分类方法，通过提取LCI激光内镜下的结肠息肉图片的颜色特征向量；将结肠息肉图片中的腺瘤性结肠息肉内镜图片集的颜色特征向量作为训练样本进行训练，得到第一高斯混合模型A；将结肠息肉图片中的非腺瘤性结肠息肉内镜图片集的颜色特征向量作为训练样本进行训练，得到第二高斯混合模型B；提取未知类型的结肠息肉图片的颜色特征向量和血管密度特征值；将提取的颜色特征向量分别输入第一高斯混合模型A和第二高斯混合模型B得到结果值，将所述结果值和所述血管密度特征值相加后与存储的分类阈值做对比得出分类结果的技术方案，充分利用了LCI激光内镜色彩鲜明、轮廓清晰的特点，提取颜色和血管密度作为特征向量，相较于现有的支持向量机、神经网络等方法： 1.所需样本的数量小，仅为其百分之一甚至千分之一；2.训练任务简单，计算量小，在实时监测中医院不需为此搭设服务器，大大降低成本。

附图说明

图1为根据本发明的一种基于颜色和血管的LCI激光内镜下的结肠息肉分类方法的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

参照图1，图1示出了本发明提供了一种基于颜色和血管的LCI 激光内镜下的结肠息肉分类方法，包括：步骤S110到步骤S130。

在步骤S110中，提取LCI激光内镜下的结肠息肉图片的颜色特征向量。

在步骤S120中，将结肠息肉图片中的腺瘤性结肠息肉内镜图片集的颜色特征向量作为训练样本进行训练，得到第一高斯混合模型A；将结肠息肉图片中的非腺瘤性结肠息肉内镜图片集的颜色特征向量作为训练样本进行训练，得到第二高斯混合模型B。

具体的，预备好的训练样本分别为腺瘤性结肠息肉内镜图片集与非腺瘤性结肠息肉内镜图片集。使用python语句初始化两个独立同分布的高斯混合模型，以训练集的六维颜色特征向量作为输入进行分别训练。其中一个模型以全部的腺瘤性结肠息肉内镜图片集的颜色特征向量作为训练样本进行训练，得到模型A。另一个模型以全部的非腺瘤性结肠息肉内镜图片集的颜色特征向量作为训练样本进行训练，得到模型B。

例如：

from sklearn.mixture import GaussianMixture as GMM

#建立两个独立同分布的高斯混合模型

gmm_1＝GMM(n_components＝512,tol＝1e-4,max_iter＝20000)

gmm_2＝GMM(n_components＝512,tol＝1e-4,max_iter＝20000)

#分别训练两个模型

高斯混合模型可以用如下公式表示：

其中，模型共有K个高斯分布分量，N(x|μ_k,θ_k)称为模型的第k>k,θ_k为该分量对应的高斯分布参数，π_k为该分量在模型中的权重。高斯混合模型的训练过程即在已知x(样本)和p(x)(标签)的条件下，采用EM算法(Expectation-Maximizationalgorithm)>k,μ_k,θ_k进行参数估计。

gmm_1＝gmm_1.fit(adenomatous)

gmm_2＝gmm_2.fit(inflammatory)

其中，adenomatous代表所有腺瘤性息肉图片的六维特征向量， inflammatory代表所有非腺瘤性息肉的六维特征向量。

在步骤S130中，提取未知类型的结肠息肉图片的颜色特征向量和血管密度特征值；将提取的颜色特征向量分别输入第一高斯混合模型A 和第二高斯混合模型B得到结果值，将所述结果值和所述血管密度特征值相加后与存储的分类阈值做对比得出分类结果。

其中，所述颜色特征向量，包括但不限于：LCI激光内镜下的结肠息肉图片中的R、G、B、H、S和/或V分量。

进一步的，所述提取LCI激光内镜下的结肠息肉图片的颜色特征向量的步骤包括：

截取LCI激光内镜下的结肠息肉图片中的息肉区域，息肉区域不包含非息肉的肠道组织；

识别并存储所述息肉区域中所有像素点的R、G、B颜色分量值；将所述息肉区域中RGB颜色空间变换为HSV颜色空间，获取息肉区域中所有像素点的H、S、V颜色分量值；

其中，RGB：将截取后的图片读入到Matlab软件中，图片被识别为一个行数为三的矩阵，通过Matlab截取区域中所有像素点的R、G、 B颜色分量值即分别为矩阵的第1、2、3行值。

HSV空间变换：通过Matlab的rgb2hsv()函数，对截取区域做RGB 颜色空间到HSV颜色空间的颜色空间变换，变换后可直接获取区域中所有像素点的H、S、V颜色分量值。

将获取的R、G、B、H、S、V六个颜色分量值按顺序组成六维的颜色特征向量，使得息肉区域内每一个像素点对应一个六维颜色特征向量。

若截取区域含有四个点,设R,G,B,H,S,V分别为(r1,r2,r3,r4)， (g1,g2,g3,g4)等以此类推。则六维特征向量为 A＝[r1,g1,b1,h1,s1,v1],B＝[r2,g2,b2,h2,s2,v2]等依次类推。

进一步的，将所述息肉区域中RGB颜色空间变换为HSV颜色空间的步骤，具体包括：

基于Matlab的rgb2hsv()函数，对息肉区域做RGB颜色空间到HSV 颜色空间的颜色空间变换：

v＝max

其中，r是颜色的红坐标，g是颜色的绿坐标，b是颜色的蓝坐标， r，g，b的坐标范围值为0到1之间的实数；max等价于r,g和b中的最大者；min等价于r,g和b中的最小者。

进一步的，提取血管密度特征值的步骤包括：

基于PPG技术对LCI激光内镜下具有结肠息肉的视频提取反映微血管中血容量变化的BVP(blood volume pulse,BVP)信号视频样本，并在BVP信号视频样本中标记血管密度特征值。

进一步的，提取血管密度特征值的具体步骤包括：

对LCI激光内镜下的一段具有结肠息肉的内镜视频，截取不包含息肉边缘的息肉区域视频样本；

将视频样本去除噪声和抖动，获取BVP信号视频样本；

具体的a.对一段具有结肠息肉的内镜视频，人工截取其息肉区域的一个长度为T秒的视频样本，区域形状应为正方形且不包含息肉边缘。b.为了去除图像光照不均和噪声造成的影响，将样本通过一个0.5Hz-4Hz的滤波器进行时域滤波处理，去除噪声和抖动，以获取BVP 信号。也可以用ICA、小波变换等更复杂方法滤波得到BVP信号。

将BVP信号视频样本分解为R(red),G(green),B(blue)三个颜色通道，分别计算三个通道分量的空间信号平均强度序列；

使用快速傅里叶变换(FFT)的方法得到三个通道分量的空间信号平均强度序列的能量谱；

基于能量谱，计算息肉区域中各彩色通道信号的归一化和功率，得到血管密度特征值。

进一步的，计算三个通道分量的空间信号平均强度序列的方法包括：

x(n)＝[x^R(n),x^G(n),x^B(n)]^T,

其中，x(n)为强度序列，n为视频样本的帧数序号，x^R(n),x^G(n),x^B(n)分别对应R，G，B三个颜色通道的空间信号平均强度序列；T为视频样本的时间。

进一步的，使用快速傅里叶变换(FFT)的方法得到三个通道分量的空间信号平均强度序列的能量谱，包括：

S(f)＝[S^R(f),S^G(f),S^B(f)]^T

其中S^R(f),S^G(f),S^B(f)分别对应R,G,B三个颜色通道的能量谱，各个通道的计算遵循如下公式：

S(f)＝|X(f)|²＝|FFT(x(n))|²

其中，FFT代表快速傅里叶变换，X(f)表示空间信号平均强度序列 x(n)经过变换后的值。

进一步的，基于能量谱，计算息肉区域中各彩色通道信号的归一化和功率，得到血管密度特征值，包括：

其中，f_HR为能量谱S(f)幅度中极值处的频率值，T为视频样本的时间长度，i表示的视频样本的序号；R、G、B分别表示三个彩色通道，使用BVP信号的功率值P_i表征序号为i的息肉的样本区域血管密度的相对大小，即血管密度特征值。

进一步的，将所述结果值和所述血管密度特征值相加后与存储的分类阈值做对比得出分类结果，具体包括：

将提取的颜色特征向量分别输入第一高斯混合模型A得到第一结果值；将提取的颜色特征向量分别输入第二高斯混合模型B得到第二结果值；

将第一结果值与第二结果值相减后得到结果值；所述结果值与血管密度特征值的带权值相加后，与存储的分类阈值进行对比，若高于分类阈值则认为该图片中的结肠息肉为腺瘤性结肠息肉；否则，为非腺瘤性结肠息肉。

例如：设X为未知图片中提取出的颜色特征向量，P_x为未知图片提取出的血管密度值,threshold为选定的比较阈值。

高斯混合模型可以用如下公式表示：

得到分数的过程即在已知x(颜色特征分量)π_k,μ_kθ,_k(模型对应参数)的条件下计算score＝log₂(p(x))。

Threshold的选取：将训练样本送入训练好的模型进行打分并与 P_x相加，根据分数绘制ROC曲线，选取真阳性率等于真阴性率的分数作为threshold。

score_A＝gmm_1.score(X)

socre_B＝gmm_2.socre(X)

score_C＝score_A–score_B

score_D＝score_C+Px

if score_D>＝threshold:Picture represents adenomatous polyps

if score_D<threshold:Picture represents inflammatory polyps。

本发明提供的一种基于颜色和血管的LCI激光内镜下的结肠息肉分类方法，通过提取LCI激光内镜下的结肠息肉图片的颜色特征向量；将结肠息肉图片中的腺瘤性结肠息肉内镜图片集的颜色特征向量作为训练样本进行训练，得到第一高斯混合模型A；将结肠息肉图片中的非腺瘤性结肠息肉内镜图片集的颜色特征向量作为训练样本进行训练，得到第二高斯混合模型B；提取未知类型的结肠息肉图片的颜色特征向量和血管密度特征值；将提取的颜色特征向量分别输入第一高斯混合模型A和第二高斯混合模型B得到结果值，将所述结果值和所述血管密度特征值相加后与存储的分类阈值做对比得出分类结果的技术方案，充分利用了LCI激光内镜色彩鲜明、轮廓清晰的特点，提取颜色和血管密度作为特征向量，相较于现有的支持向量机、神经网络等方法： 1.所需样本的数量小，仅为其百分之一甚至千分之一；2.训练任务简单，计算量小，在实时监测中医院不需为此搭设服务器，大大降低成本。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。