首页> 中国专利> 一种荧光原位杂交(FISH)图像并行处理与分析方法

一种荧光原位杂交(FISH)图像并行处理与分析方法

摘要

本发明提供了一种荧光原位杂交(FISH)图像并行处理与分析方法,该方法运用了并行处理,使得对于染色体荧光标记点的检测与对于细胞核边缘检测和分割同时进行,缩短了处理时间,并且由于运用了基于自适应形状标记的分水岭算法,使得采用本发明所述的方法显著提高了FISH图像中粘连细胞核的分割精度,进而提高了肿瘤细胞中细胞核与染色体荧光标记点相对位置检测的准确性,能够实现在线实时肿瘤细胞检测。

著录项

  • 公开/公告号CN106296635A

    专利类型发明专利

  • 公开/公告日2017-01-04

    原文格式PDF

  • 申请/专利权人 厦门鹭佳生物科技有限公司;

    申请/专利号CN201510288553.6

  • 发明设计人 时鹏;张鲁榕;洪金省;

    申请日2015-05-29

  • 分类号G06T7/00(20060101);G06T7/40(20060101);

  • 代理机构31266 上海一平知识产权代理有限公司;

  • 代理人崔佳佳;马莉华

  • 地址 361005 福建省厦门市思明区顶澳仔十号之十702

  • 入库时间 2023-06-19 01:17:24

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2019-11-22

    授权

    授权

  • 2017-02-01

    实质审查的生效 IPC(主分类):G06T7/00 申请日:20150529

    实质审查的生效

  • 2017-01-04

    公开

    公开

说明书

技术领域

本发明属于生物医学领域,具体涉及荧光原位杂交(FISH)并行图像处理与分析方法。

背景技术

荧光原位杂交是将几种不同颜色的荧光素单独或混合标记的探针进行原位杂交,同时检测间期细胞或中期细胞中的几个特异核酸序列的过程。利用电子显微镜采集的FISH图像能够同时检测多个基因,分辨复杂的染色体异位和微小缺失,为细胞遗传学研究提供了一种可靠的检测工具。

在癌症研究中,FISH技术被广泛应用于肿瘤组织切片或循环肿瘤细胞(CTC)中的肿瘤细胞检测中。在此类生物医学应用中,由于FISH图像中包含的细胞数量巨大,且细胞核分布不均匀,经常出现相互粘连的情况,对于FISH图像中细胞核边缘检测和分割的处理精度和速度提出了很高的要求。

对于肿瘤组织切片或CTC中的肿瘤细胞检测试剂应用而言,人工识别方式已经难以满足实时分析的要求,而传统的FISH图像处理分析方法也存在着严重影响分析结果的的缺点:染色体荧光标记点检测与细胞核边缘检测和分割按先后顺序串行化处理,大大增加了图像处理的运行时间;对于细胞核的分割没有考虑到细胞核本身形状因素,造成粘连细胞核边界检测不准确,使得某些荧光标记点与其所属细胞核的关系被错误划分,从而使细胞核内荧光标记点计数发生错误,严重影响了肿瘤细胞的判别精度。

发明内容

本发明的目的是提供基于自适应形状标记分水岭算法的FISH图像并行处理与分析方法。本发明在利用电子显微镜采集FISH图像以后,对经过分解的FISH彩色RGB图像进行并行处理与分析,从而检测图像中包含的细胞是否为肿瘤细胞。

在本发明中,应用于荧光标记点检测和细胞核分割的并行处理中,将检测与分割结果相结合,通过对细胞内荧光点数量的统计检测肿瘤细胞。

本发明的第一方面,提供了一种荧光原位杂交(FISH)图像处理与分析方法,所述方法包括步骤:

(I)将FISH彩色RGB图像分解为蓝色、橙色、绿色与红色四种单色图像并分别转化形成四种FISH灰度图像;

(II)对所述4种FISH灰度图像中的三种FISH灰度图像,分别进行染色体荧光标记点检测,从而获得染色体荧光标记点检测结果;

(III)对所述4种FISH灰度图像中另一种FISH灰度图像,进行细胞核边缘检测,从而获得细胞核边缘检测结果;

(IV)将所述的染色体荧光标记点检测结果和细胞核边缘检测结果进行融合处理,从而形成针对单个细胞核及其中包含的染色体荧光标记点的位置标定数据。

在另一优选例中,所述步骤(II)和所述步骤(III)同时进行或先后进行。

在另一优选例中,所述方法中先执行步骤(III),然后执行步骤(II)。

在另一优选例中,所述FISH图像为包含肿瘤细胞的细胞群的FISH图像,优选地,所述FISH图像中包含蓝色、橙色、绿色和红色荧光标记。

在另一优选例中,步骤(II)中,所述的“三种FISH灰度图像”为对应于橙色、绿色和红色的单色图像所转化形成的灰度图像。

在另一优选例中,步骤(III)中,所述的“另一种FISH灰度图像”为对应于蓝色的单色图像所转化形成的灰度图像。

在另一优选例中,所述方法的步骤(I)中包含下列步骤:

(1)将FISH彩色RGB图像分解为蓝色、橙色、绿色与红色四种单色图像并分别转为灰度图像,其中蓝色对应灰度图像显示待检测的细胞核,橙色、绿色与红色对应灰度图像分别用于显示标记的特定染色体。

在另一优选例中,所述步骤(I)中,彩色RGB图像分解方法包括步骤:

a)以三维矩阵形式读取原始FISH彩色RGB图像,其中第3维度表示红色(R)、绿色(G)和蓝色(B)各颜色分量;

b)对于细胞核图像,读取原始FISH图像三维矩阵中蓝色分量,并以二维矩阵形式存储,生成仅包含细胞核的灰度图像;

c)对于橙色标记的染色体荧光标记点图像,读取原始FISH图像三维矩阵中红色与绿色分量,并将蓝色分量设置为0,计算红色与绿色分量中各对应像素亮度值的比例,仅保留亮度比为255:127上下10%范围内的像素所对应的红色和绿色分量,其余像素的红色和绿色分量均设置为0,由此生成仅包含染色体橙色荧光标记点的RGB彩色图像,再将该RGB图像转换为二维矩阵形式的灰度图像;

d)对于绿色标记的染色体荧光标记点图像,读取原始FISH图像三维矩阵中绿色分量,并以二维矩阵形式存储,生成仅包含染色体绿色荧光标记点的灰度图像;

e)对于红色标记的染色体荧光标记点图像,读取原始FISH图像三维矩阵中红色分量,并以二维矩阵形式存储,生成仅包含染色体红色荧光标记点的灰度图像。

在另一优选例中,所述步骤(II)中,包括以下步骤:

(2)分别对橙色、绿色与红色转换的各灰度图像进行包含滤波与去噪的预处理,并进行二值化处理,得到染色体荧光标记点的二值化图像。

在另一优选例中,所述步骤(II)中,包括以下步骤:

利用橙色、绿色与红色转换的灰度图像分别进行包含滤波与去噪的预处理,利用n1×n2像素大小的搜索窗口,采用自适应阈值算法,通过计算出窗口内像素灰度中值并对窗口内像素进行二值化处理,在对整幅图像搜索完成后得到染色体荧光标记点的二值化图像,作为各种颜色所对应的染色体荧光标记点的准确位置与形态检测的依据,其中n1和n2分别为1-3的正整数。

在另一优选例中,n1×n2为2×2。

在另一优选例中,所述步骤(II)中:

a)对由橙色转换的灰度图像进行预处理,先利用上限为4个像素,下限为1个像素的带通滤波器去除点噪声,后利用3×3像素大小的搜索窗口遍历图像,去除图像中灰度值异常的噪声;

b)利用n1×n2像素大小的搜索窗口,采用自适应阈值算法计算出窗口内像素灰度中值,并对窗口内像素进行二值化处理,高于中值的像素设置为1,其它像素设置为0,在对整幅图像搜索完成后得到二值化图像,作为染色体橙色荧光标记点的准确位置与形态检测的依据;

c)对由红色和绿色转换的灰度图像重复进行步骤a)、b)的处理过程,分别得到染色体红色和绿色荧光标记点的二值化图像,作为染色体红色和绿色荧光标记点的准确位置与形态检测的依据。

在另一优选例中,所述方法的步骤(III)中,包含下列步骤:

(3)利用由蓝色转换的灰度图像进行包含滤波与去噪的预处理,利用m1×m2像素大小的搜索窗口(其中m1和m2分别为40-60的正整数,较佳地m1=m2,更佳地m1=m2=50),采用自适应阈值算法,通过计算出窗口内像素灰度中值并对窗口内像素进行二值化处理,对灰度图像进行预分割处理,检测到各个细胞核包含粘连细胞核的共同边界,再由此边界生成细胞核待检测封闭区域内的街区距离图,以每个封闭区域内距离图中距离最大的约三分之一(如0.3-0.5,较佳地为0.3-0.4,如0.333)部分所对应的像素组成了各个细胞核的自适应形状标记。

在另一优选例中,所述步骤(3)中,包含下列步骤:

a)对由蓝色转换的灰度图像进行预处理,利用p1×p2像素大小的搜索窗口(其中p1和p2分别为10-20的正整数,较佳地p1=p2,更佳地p1=p2=15)遍历图像,采用高斯低通滤波去除图像中的点噪声;

b)采用固定阈值对灰度图像进行二值化处理,得到包含所有细胞核区域的初步二值化图像;

c)对所述初步二值化图像中所有连通区域进行面积检测,去除面积小于q像素(其中,所述q为80-120,较佳地为100)的噪声区域,并对剩余连通区域中的孔洞进行修补,形成包含封闭细胞核区域的待处理二值化图像;

d)提取步骤c)生成的二值化图像所有封闭区域的边缘,检测到各个细胞核包含粘连细胞核的共同边界,再由此边界生成细胞核待检测封闭区域内的街区距离图,以每个封闭区域内距离图中距离最大的约三分之一(如0.3-0.5,较佳地为0.3-0.4,如0.333)部分所对应的像素组成了各个细胞核的自适应形状标记。

在另一优选例中,所述方法的步骤(III)中还包含步骤:

(3a)利用步骤(3)的自适应形状标记,采用基于自适应形状标记的分水岭算法,沿基于所述的由蓝色转换的灰度图像计算的灰度梯度图进行扩张,从而检测相互粘连的细胞核之间的分界线,作为细胞核的准确边界检测的依据。

在另一优选例中,所述步骤(3a)中,

a)基于步骤(1)所述的由蓝色转换的灰度图像,计算图像的灰度梯度,生成灰度梯度图;

b)利用步骤(3)的自适应形状标记,以每个细胞核的形状标记为出发点,沿灰度梯度图进行扩张,对每个像素的灰度级进行从低到高排序,然后在从低到高实现淹没过程中,对每一个局部极小值在h阶高度的影响域采用先进先出(FIFO)结构进行判断及标注;

c)在两个相邻细胞核的梯度汇合处形成分水岭,从而检测到相互粘连的细胞核之间的分界线,作为细胞核的准确边界检测的依据。

在另一优选例中,所述方法的步骤(IV)中包含步骤:

(4)利用步骤(2)和步骤(3a)的检测结果,将染色体荧光标记点和细胞核检测的结果相融合,形成对所有单个细胞核及其中包含的染色体荧光标记点的位置标定。

在另一优选例中,所述步骤(4)中还包括步骤:根据细胞核内特定染色体的个数判定该细胞是否为肿瘤细胞。

在另一优选例中,所述步骤(4)中,包括以下步骤:

a)利用步骤(2)和步骤(3a)的检测结果,将染色体荧光标记点二值化图像和细胞核边缘检测与分割图像相融合,生成包含细胞核边界和其中各颜色染色体荧光标记点的二值化图像;

b)对步骤a)生成的二值化图像中所有单个细胞核进行遍历,分别对其中包含的各颜色染色体荧光标记点计数,作为判定该细胞是否为肿瘤细胞的依据;

c)对于单个细胞核,其中包含的橙色、红色或绿色荧光标记点中,任一种标记点的个数为3时为非分裂期肿瘤细胞,任一种标记点的个数为5时为G2-M期肿瘤细胞。

在另一优选例中,所述步骤(4)的步骤(c)中,对于单个细胞核中包含的各种颜色荧光标记点,如果任意一种颜色荧光标记点个数>5,则判定为多个细胞核在垂直方向上重叠,该类细胞核作为例外情况,不计入肿瘤细胞判定结果。

在另一优选例中,所述方法中,在分解FISH彩色RGB图像后,对包含细胞核和染色体荧光标记点的图像进行并行处理,并在完成并行处理之后对结果进行融合分析。

在另一优选例中,所述方法为非诊断和非治疗目的的。

应理解,在本发明范围内中,本发明的上述各技术特征和在下文(如实施例)中具体描述的各技术特征之间都可以互相组合,从而构成新的或优选的技术方案。限于篇幅,在此不再一一累述。

附图说明

图1是本发明的步骤示意图;

图2是本发明的FISH颜色RGB图像分解示意图,(a)为原始FISH颜色RGB图像,(b)为蓝色单色图,(c)为橙色单色图,(d)为绿色单色图,(e)为红色单色图;

图3是本发明的染色体荧光标记点检测示意图,(a)为原始FISH颜色RGB图像,(b)为去除噪声后的绿色单色图,(c)为绿色单色图对应各像素灰度值的伪彩色染色图,其中蓝色表示灰度值较低像素,红色表示灰度值较高像素,(d)为绿色单色二值化图,其中白色亮点部分表示检测到的荧光标记点,黑色部分为背景图像;

图4是本发明的细胞核边缘检测与分割示意图,(a)为原始FISH颜色RGB图像,(b)为去除噪声后的蓝色单色图,其中绿色线条表示预分割处理后检测到各个细胞核包含粘连细胞核的共同边界,(c)为预分割处理后图像各细胞核边界内像素与其边界间街区距离所对应的伪彩色染色图,其中蓝色表示距离较近部分,红色表示距离较远部分,(d)为蓝色单色图所对应的灰度图像,其中绿色标记部分表示各细胞核内部的形状标记,(e)为表示粘连细胞核分割后各细胞边界轮廓的示意图,(f)为标记粘连细胞核分割后各细胞边界轮廓与原始FISH图像对于灰度图的叠加示意图;

图5是本发明的细胞核内染色体荧光标记点综合分析示意图,(a)为原始FISH颜色RGB图像,(b)为在原始FISH图像上标记了分割后各细胞边界轮廓与检测到的绿色荧光标记点的叠加示意图,其中绿色线条为细胞核边界,绿色点为绿色荧光标记点,红色虚线圈内为检测到垂直方向上细胞重叠情况示意图。

图6是本发明与传统固定阈值方法的染色体荧光标记点检测对比示意图,(a)为原始FISH颜色RGB图像,(b)为去除噪声后的绿色单色图,(c)为绿色单色图对应各像素灰度值的伪彩色染色图,其中蓝色表示灰度值较低像素,红色表示灰度值较高像素,(d)为本发明方法检测到的绿色荧光标记点二值化图,其中白色亮点部分表示检测到的荧光标记点,黑色部分为背景图像,(e)为传统灰度固定阈值方法阈值偏低时荧光点检测二值化图像,(f)为传统固定灰度阈值方法阈值偏高时荧光点检测二值化图像;

图7是本发明与传统固定阈值标记分水岭算法的细胞核边缘检测与分割对比示意图,(a)为包含细胞核的蓝色单色图,(b)为本发明方法生成的形状标记,以绿色叠加到细胞核灰度图像表示,(c)为本发明方法分割细胞核结果,以绿色线条表示细胞核间边界,(d)为包含细胞核的蓝色单色图,(e)为传统分水岭算法过分割情况下生成的形状标记,以绿色叠加到细胞核灰度图像表示,(f)为传统分水岭算法过分割情况下分割细胞核结果,以绿色线条表示细胞核间边界,(g)为包含细胞核的蓝色单色图,(h)为传统分水岭算法欠分割情况下生成的形状标记,以绿色叠加到细胞核灰度图像表示,(i)为传统分水岭算法欠分割情况下分割细胞核结果,以绿色线条表示细胞核间边界;

图8是本发明在循环肿瘤细胞的FISH检测中细胞与染色体染色示意图,(a)为包含细胞核的蓝色单色图,(b)为采用橙色荧光染料对8号染色体染色图,(c)为采用红色荧光染料对7号染色体和细胞表面染色图,(d)为蓝色、橙色、红色荧光染料分别染色后的合成图,如图8中白色箭头所示,可通过检测细胞内荧光点的个数判断细胞属于肿瘤细胞或白细胞。

具体实施方式

本发明人通过广泛而深入的研究,获得一种基于自适应形状标记分水岭算法的荧光原位杂交(FISH)图像并行处理与分析方法,所述方法运用了并行处理,使得对于染色体荧光标记点的检测与对于细胞核边缘检测和分割同时进行,缩短了处理时间,并且由于运用了基于自适应形状标记的分水岭算法,使得采用本发明所述的方法显著提高了FISH图像中粘连细胞核的分割精度,进而提高了肿瘤细胞中细胞核与染色体荧光标记点相对位置检测的准确性,能够实现在线实时肿瘤细胞检测。

在描述本发明之前,应当理解本发明不限于所述的具体方法和实验条件,因为这类方法和条件可以变动。还应当理解本文所用的术语其目的仅在于描述具体实施方案,并且不意图是限制性的,本发明的范围将仅由所附的权利要求书限制。

本发明涉及一种基于自适应形状标记分水岭算法的荧光原位杂交(FISH)图像并行处理与分析方法,利用并行图像处理架构,能够对FISH图像中的细胞核进行边界检测,并对细胞核内染色体荧光标记点进行定位和计量。本发明的核心思想是根据FISH图像中各色彩通道中细胞核与染色体荧光标记点不同形态特征,建立并行的图像处理通道,分别分割出细胞核间边界并检测出各颜色通道中染色体荧光标记点的位置,将并行的检测结果融合,准确标定每个细胞核中染色体荧光标记点,为肿瘤细胞检测提供可靠依据。首先,将FISH图像分解为蓝色、橙色、绿色与红色四种单色图像,其中蓝色图像显示待检测的细胞核,橙色、绿色与红色图像分别用于显示标记的某种染色体。然后采用自适应阈值方法对橙色、绿色与红色图像分别进行处理,将各种颜色所对应的染色体荧光标记点与图像背景分离并标记。再采用基于自适应形状标记的分水岭算法对蓝色图像中各个细胞核进行边缘检测,检测相互粘连的细胞核之间的边界。最后将染色体荧光标记点和细胞核检测的结果相融合,形成对所有单个细胞核的准确标记,并根据细胞核内某种染色体的个数判定该细胞是否为肿瘤细胞。FISH图像中的细胞核和染色体荧光标记点标记与计量是肿瘤细胞检测技术中的难点,本发明的方法可以采用本领域中常规的基于自适应形状标记的分水岭算法进行FISH图像分析,能够显著提高了基于染色体荧光标记的肿瘤细胞自动识别的速度与精度,能够应用于活体组织切片或循环肿瘤细胞检测,为癌症相关科研提供了有效可靠的分析工具,具有广阔的明显的经济和社会效益。

本发明的基于自适应形状标记分水岭算法的荧光原位杂交(FISH)图像并行处理与分析方法,主要包含下列步骤:

1、将FISH彩色RGB图像分解为蓝色、橙色、绿色与红色四种单色图像并分别转为灰度图像,其中蓝色对应灰度图像显示待检测的细胞核,橙色、绿色与红色对应灰度图像分别用于显示标记的某种特定的染色体,三种颜色与染色体的具体对应关系可根据实验要求确定,并且可以互换;

2、利用步骤1所述的由橙色、绿色与红色转换的灰度图像分别进行包含滤波与去噪的预处理,利用2×2像素大小的搜索窗口,采用自适应阈值算法计算出窗口内像素灰度中值并对窗口内像素进行二值化处理,在对整幅图像搜索完成后得到染色体荧光标记点的二值化图像,作为各种颜色所对应的染色体荧光标记点的准确位置与形态检测的依据;

3、在进行步骤2的同时,利用步骤1所述的由蓝色转换的灰度图像进行包含滤波与去噪的预处理,采用固定阈值对灰度图像进行预分割处理,检测到各个细胞核包含粘连细胞核的共同边界,再由此边界生成细胞核待检测封闭区域内的Cityblock距离图,以每个封闭区域内距离图中距离最大的三分之一部分所对应的像素组成了各个细胞核的自适应形状标记;

4、利用步骤3的自适应形状标记,采用基于自适应形状标记的分水岭算法,沿基于步骤1所述的由蓝色转换的灰度图像计算的灰度梯度图进行扩张,从而检测相互粘连的细胞核之间的分界线,作为细胞核的准确边界检测的依据;

5、利用步骤2和步骤4的检测结果,将染色体荧光标记点和细胞核检测的结果相融合,形成对所有单个细胞核及其中包含的染色体荧光标记点的位置标定,并根据细胞核内某种染色体的个数判定该细胞是否为肿瘤细胞。

在本发明优选地实施方式中,所述的彩色RGB图像分解方法如下:

a)以三维矩阵形式读取原始FISH彩色RGB图像,其中第3维度表示红色(R)、绿色(G)和蓝色(B)各颜色分量;

b)对于细胞核图像,读取原始FISH图像三维矩阵中蓝色分量,并以二维矩阵形式存储,生成仅包含细胞核的灰度图像;

c)对于橙色标记的染色体荧光标记点图像,读取原始FISH图像三维矩阵中红色与绿色分量,并将蓝色分量设置为0,计算红色与绿色分量中各对应像素亮度值的比例,仅保留亮度比为255:127上下10%范围内的像素所对应的红色和绿色分量,其余像素的红色和绿色分量均设置为0,由此生成仅包含染色体橙色荧光标记点的RGB彩色图像,再将该RGB图像转换为二维矩阵形式的灰度图像;

d)对于绿色标记的染色体荧光标记点图像,读取原始FISH图像三维矩阵中绿色分量,并以二维矩阵形式存储,生成仅包含染色体绿色荧光标记点的灰度图像;

e)对于红色标记的染色体荧光标记点图像,读取原始FISH图像三维矩阵中红色分量,并以二维矩阵形式存储,生成仅包含染色体红色荧光标记点的灰度图像。

在本发明优选地实施方式中,所述的荧光标记点检测方法如下:

a)根据步骤2所述的荧光标记点检测方法,对由橙色转换的灰度图像进行预处理,先利用上限为4个像素,下限为1个像素的带通滤波器去除点噪声,后利用3×3像素大小的搜索窗口遍历图像,去除图像中灰度值异常的噪声;

b)利用2×2像素大小的搜索窗口,采用自适应阈值算法计算出窗口内像素灰度中值,并对窗口内像素进行二值化处理,高于中值的像素设置为1,其它像素设置为0,在对整幅图像搜索完成后得到二值化图像,作为染色体橙色荧光标记点的准确位置与形态检测的依据;

c)对由红色和绿色转换的灰度图像重复进行步骤a)、b)的处理过程,分别得到染色体红色和绿色荧光标记点的二值化图像,作为染色体红色和绿色荧光标记点的准确位置与形态检测的依据。

在本发明优选地实施方式中,所述的细胞核自适应形状标记方法如下:

a)根据步骤3所述的细胞核自适应形状标记,对由蓝色转换的灰度图像进行预处理,利用15×15像素大小的搜索窗口遍历图像,采用高斯低通滤波去除图像中的点噪声;

b)采用固定阈值对灰度图像进行二值化处理,得到包含所有细胞核区域的初步二值化图像;

c)对初步二值化图像中所有连通区域进行面积检测,去除面积小于100像素的噪声区域,并对剩余连通区域中的孔洞进行修补,形成包含封闭细胞核区域的待处理二值化图像;

d)提取步骤c)生成的二值化图像所有封闭区域的边缘,检测到各个细胞核包含粘连细胞核的共同边界,再由此边界生成细胞核待检测封闭区域内的Cityblock距离图,以每个封闭区域内距离图中距离最大的三分之一部分所对应的像素组成了各个细胞核的自适应形状标记。

在本发明优选地实施方式中,所述的基于自适应形状标记的分水岭边缘检测与分割方法如下:

a)根据步骤4所述的基于自适应形状标记的分水岭边缘检测与分割方法,基于步骤1所述的由蓝色转换的灰度图像,计算图像的灰度梯度,生成灰度梯度图;

b)利用步骤3的自适应形状标记,以每个细胞核的形状标记为出发点,沿灰度梯度图进行扩张,对每个像素的灰度级进行从低到高排序,然后在从低到高实现淹没过程中,对每一个局部极小值在h阶高度的影响域采用先进先出(FIFO)结构进行判断及标注;

c)在两个相邻细胞核的梯度汇合处形成分水岭,从而检测到相互粘连的细胞核之间的分界线,作为细胞核的准确边界检测的依据

在本发明优选的实施方式中,所述的肿瘤细胞判定方法如下:

a)根据步骤5所述的肿瘤细胞判定方法,利用步骤2和步骤4的检测结果,将染色体荧光标记点二值化图像和细胞核边缘检测与分割图像相融合,生成包含细胞核边界和其中各颜色染色体荧光标记点的二值化图像;

b)对步骤a)生成的二值化图像中所有单个细胞核进行遍历,分别对其中包含的各颜色染色体荧光标记点计数,作为判定该细胞是否为肿瘤细胞的依据;

c)对于单个细胞核,其中包含的橙色、红色或绿色荧光标记点中某一颜色点个数为2时为非分裂期正常细胞,个数为3时为非分裂期肿瘤细胞,个数为4时为G2-M期正常细胞,个数为5时为G2-M期肿瘤细胞。

在本发明的一个优选地实施方式中,在分解原始FISH彩色RGB图像后,对包含细胞核和染色体荧光标记点的图像进行并行处理,并在完成并行处理之后对结果进行融合分析。

在本发明一个优选地实施方式中,对于单个细胞核中包含的各种颜色荧光标记点,如果个数>5,则判定为多个细胞核在垂直方向上重叠,该类细胞核作为例外情况,不计入肿瘤细胞判定结果。

本发明解决其技术问题所采用的技术方案主要包含下列步骤:

1、对来源于肿瘤组织切片或CTC的FISH图像进行预处理,包含图像分解和灰度化等步骤,得到仅包含细胞核的灰度图像和分别仅包含橙色、绿色和红色染色体荧光标记点的灰度图像;

2、并行处理仅包含细胞核的灰度图像和分别仅包含橙色、绿色和红色染色体荧光标记点的灰度图像,并在完成并行处理之后对结果进行融合分析,具体实现过程分五步如下:

2.1、将FISH彩色RGB图像分解为蓝色、橙色、绿色与红色四种单色图像并分别转为灰度图像,其中蓝色对应灰度图像显示待检测的细胞核,橙色、绿色与红色对应灰度图像分别用于显示标记的某种特定的染色体,三种颜色与染色体的具体对应关系可根据实验要求确定,并且可以互换;

2.2、对由橙色、绿色与红色转换的灰度图像分别进行包含滤波与去噪的预处理,利用2×2像素大小的搜索窗口,采用自适应阈值算法计算出窗口内像素灰度中值并对窗口内像素进行二值化处理,在对整幅图像搜索完成后得到染色体荧光标记点的二值化图像,作为各种颜色所对应的染色体荧光标记点的准确位置与形态检测的依据;

2.3、与此同时,利用由蓝色转换的灰度图像进行包含滤波与去噪的预处理,利用50×50像素大小的搜索窗口,采用自适应阈值算法,通过计算出窗口内像素灰度中值并对窗口内像素进行二值化处理,检测到各个细胞核包含粘连细胞核的共同边界,再由此边界生成细胞核待检测封闭区域内的街区距离图,以每个封闭区域内距离图中距离最大的三分之一部分所对应的像素组成了各个细胞核的自适应形状标记;

2.4、基于自适应形状标记,采用基于自适应形状标记的分水岭算法,沿基于由蓝色转换的灰度图像计算的灰度梯度图进行扩张,从而检测相互粘连的细胞核之间的分界线,作为细胞核的准确边界检测的依据;

2.5、将染色体荧光标记点和细胞核检测的结果相融合,形成对所有单个细胞核及其中包含的染色体荧光标记点的位置标定,并根据细胞核内某种染色体的个数判定该细胞是否为肿瘤细胞。

根据本发明的一个优选的实施方式中,根据本发明的基于自适应形状标记分水岭算法的荧光原位杂交(FISH)图像并行处理与分析方法主要包含下列步骤:

(1)将FISH彩色RGB图像分解为蓝色、橙色、绿色与红色四种单色图像并分别转为灰度图像,其中蓝色对应灰度图像显示待检测的细胞核,橙色、绿色与红色对应灰度图像分别用于显示标记的某种特定的染色体,三种颜色与染色体的具体对应关系可根据实验要求确定,并且可以互换;

(2)利用步骤(1)所述的由橙色、绿色与红色转换的灰度图像分别进行包含滤波与去噪的预处理,利用2×2像素大小的搜索窗口,利用50×50像素大小的搜索窗口,采用自适应阈值算法,通过计算出窗口内像素灰度中值并对窗口内像素进行二值化处理,在对整幅图像搜索完成后得到染色体荧光标记点的二值化图像,作为各种颜色所对应的染色体荧光标记点的准确位置与形态检测的依据;

(3)在进行步骤(2)的同时,利用步骤(1)所述的由蓝色转换的灰度图像进行包含滤波与去噪的预处理,采用固定阈值对灰度图像进行预分割处理,检测到各个细胞核包含粘连细胞核的共同边界,再由此边界生成细胞核待检测封闭区域内的街区距离图,以每个封闭区域内距离图中距离最大的三分之一部分所对应的像素组成了各个细胞核的自适应形状标记;

(4)利用步骤(3)的自适应形状标记,采用基于自适应形状标记的分水岭算法,沿基于步骤(1)所述的由蓝色转换的灰度图像计算的灰度梯度图进行扩张,从而检测相互粘连的细胞核之间的分界线,作为细胞核的准确边界检测的依据;

(5)利用步骤(2)和步骤(4)的检测结果,将染色体荧光标记点和细胞核检测的结果相融合,形成对所有单个细胞核及其中包含的染色体荧光标记点的位置标定,并根据细胞核内某种染色体的个数判定该细胞是否为肿瘤细胞。

在本发明的一个优选地实施方式中,所述的基于自适应形状标记分水岭算法的FISH图像并行处理与分析方法,其特征在于:所述的彩色RGB图像分解方法如下:

a)以三维矩阵形式读取原始FISH彩色RGB图像,其中3个维度分别表示红色(R)、绿色(G)和蓝色(B)各颜色分量;

b)对于细胞核图像,读取原始FISH图像三维矩阵中蓝色分量,并以二维矩阵形式存储,生成仅包含细胞核的灰度图像;

c)对于橙色标记的染色体荧光标记点图像,读取原始FISH图像三维矩阵中红色与绿色分量,并将蓝色分量设置为0,计算红色与绿色分量中各对应像素亮度值的比例,仅保留亮度比为255:127上下10%范围内的像素所对应的红色和绿色分量,其余像素的红色和绿色分量均设置为0,由此生成仅包含染色体橙色荧光标记点的RGB彩色图像,再将该RGB图像转换为二维矩阵形式的灰度图像;

d)对于绿色标记的染色体荧光标记点图像,读取原始FISH图像三维矩阵中绿色分量,并以二维矩阵形式存储,生成仅包含染色体绿色荧光标记点的灰度图像;

e)对于红色标记的染色体荧光标记点图像,读取原始FISH图像三维矩阵中红色分量,并以二维矩阵形式存储,生成仅包含染色体红色荧光标记点的灰度图像。

在本发明的一个优选地实施方式中,所述的基于自适应形状标记分水岭算法的FISH图像并行处理与分析方法,所述的荧光标记点检测方法如下:

a)根据步骤(2)所述的荧光标记点检测方法,对由橙色转换的灰度图像进行预处理,先利用上限为4个像素,下限为1个像素的带通滤波器去除点噪声,后利用3×3像素大小的搜索窗口遍历图像,去除图像中灰度值异常的噪声;

b)利用2×2像素大小的搜索窗口,采用自适应阈值算法计算出窗口内像素灰度中值,并对窗口内像素进行二值化处理,高于中值的像素设置为1,其它像素设置为0,在对整幅图像搜索完成后得到二值化图像,作为染色体橙色荧光标记点的准确位置与形态检测的依据;

c)对由红色和绿色转换的灰度图像重复进行步骤a)、b)的处理过程,分别得到染色体红色和绿色荧光标记点的二值化图像,作为染色体红色和绿色荧光标记点的准确位置与形态检测的依据。

在本发明的一个优选地实施方式中,所述的基于自适应形状标记分水岭算法的FISH图像并行处理与分析方法,所述的细胞核自适应形状标记方法如下:

a)根据步骤(3)所述的细胞核自适应形状标记,对由蓝色转换的灰度图像进行预处理,利用15×15像素大小的搜索窗口遍历图像,采用高斯低通滤波去除图像中的点噪声;

b)采用固定阈值对灰度图像进行二值化处理,得到包含所有细胞核区域的初步二值化图像;

c)对初步二值化图像中所有连通区域进行面积检测,去除面积小于100像素的噪声区域,并对剩余连通区域中的孔洞进行修补,形成包含封闭细胞核区域的待处理二值化图像;

d)提取步骤c)生成的二值化图像所有封闭区域的边缘,检测到各个细胞核包含粘连细胞核的共同边界,再由此边界生成细胞核待检测封闭区域内的街区距离图,以每个封闭区域内距离图中距离最大的三分之一部分所对应的像素组成了各个细胞核的自适应形状标记。

在本发明的一个优选地实施方式中,所述的基于自适应形状标记分水岭算法的FISH图像并行处理与分析方法,所述的基于自适应形状标记的分水岭边缘检测与分割方法如下:

a)根据步骤(4)所述的基于自适应形状标记的分水岭边缘检测与分割方法,基于步骤(1)所述的由蓝色转换的灰度图像,计算图像的灰度梯度,生成灰度梯度图;

b)利用步骤(3)的自适应形状标记,以每个细胞核的形状标记为出发点,沿灰度梯度图进行扩张,对每个像素的灰度级进行从低到高排序,然后在从低到高实现淹没过程中,对每一个局部极小值在h阶高度的影响域采用先进先出(FIFO)结构进行判断及标注;

c)在两个相邻细胞核的梯度汇合处形成分水岭,从而检测到相互粘连的细胞核之间的分界线,作为细胞核的准确边界检测的依据。

在本发明的一个优选地实施方式中,所述的基于自适应形状标记分水岭算法的FISH图像并行处理与分析方法,所述的肿瘤细胞判定方法如下:

a)根据步骤(5)所述的肿瘤细胞判定方法,利用步骤(2)和步骤(4)的检测结果,将染色体荧光标记点二值化图像和细胞核边缘检测与分割图像相融合,生成包含细胞核边界和其中各颜色染色体荧光标记点的二值化图像;

b)对步骤a)生成的二值化图像中所有单个细胞核进行遍历,分别对其中包含的各颜色染色体荧光标记点计数,作为判定该细胞是否为肿瘤细胞的依据;

c)对于单个细胞核,其中包含的橙色、红色或绿色荧光标记点中某一颜色点个数为2时为非分裂期正常细胞,个数为3时为非分裂期肿瘤细胞,个数为4时为G2-M期正常细胞,个数为5时为G2-M期肿瘤细胞。

在本发明的一个优选地实施方式中,所述的基于自适应形状标记分水岭算法的FISH图像并行处理与分析方法,在分解原始FISH彩色RGB图像后,对包含细胞核和染色体荧光标记点的图像进行并行处理,并在完成并行处理之后对结果进行融合分析。

在本发明的一个优选地实施方式中,对于单个细胞核中包含的各种颜色荧光标记点,如果任意一种颜色荧光标记点个数>5,则判定为多个细胞核在垂直方向上重叠,该类细胞核作为例外情况,不计入肿瘤细胞判定结果。

本发明的主要优点在于:

(1)本发明的方法中,并行处理与分析染色体荧光标记点检测和细胞核边缘检测,极大的缩短了FISH图像处理的运行时间,提高了图像处理效率;

(2)本发明的方法,能够准确的识别细胞核边界,正确的匹配荧光标记点与其所属细胞核的关系,从而实现精确的肿瘤细胞识别。

(3)使用本发明的方法对活体组织切片或循环肿瘤细胞进行检测,速度快、效率高,而且能够保证肿瘤细胞识别的精确度。

(4)使用本发明的方法能够实现在线实时肿瘤细胞检测。

下面结合附图和实施例对本发明作进一步说明。

实施例1肿瘤细胞的FSIH检测

取肿瘤细胞,分别使用带有下列颜色的荧光染料对1号(绿色)、7号(红色)、8号(橙色)、17号(蓝色)染色体进行FISH染色后,再进行FISH成像。

使用本发明的基于自适应形状标记分水岭算法的FISH图像并行处理与分析方法,对获得的FISH图像进行分析,如图1所示,主要包含下列步骤:

1、对来源于肿瘤组织切片的FISH图像进行预处理,包含图像分解和灰度化等步骤,得到仅包含细胞核的灰度图像和分别仅包含橙色、绿色和红色染色体荧光标记点的灰度图像,具体实现过程分五步如下(参见附图2):

1.1以三维矩阵形式读取原始FISH彩色RGB图像,其中第3维度表示红色(R)、绿色(G)和蓝色(B)各颜色分量;

1.2对于细胞核图像,读取原始FISH图像三维矩阵中蓝色分量,并以二维矩阵形式存储,生成仅包含细胞核的灰度图像;

1.3对于橙色标记的染色体荧光标记点图像,读取原始FISH图像三维矩阵中红色与绿色分量,并将蓝色分量设置为0,计算红色与绿色分量中各对应像素亮度值的比例,仅保留亮度比为255:127上下10%范围内的像素所对应的红色和绿色分量,其余像素的红色和绿色分量均设置为0,由此生成仅包含染色体橙色荧光标记点的RGB彩色图像,再将该RGB图像转换为二维矩阵形式的灰度图像;

1.4对于绿色标记的染色体荧光标记点图像,读取原始FISH图像三维矩阵中绿色分量,并以二维矩阵形式存储,生成仅包含染色体绿色荧光标记点的灰度图像;

1.5对于红色标记的染色体荧光标记点图像,读取原始FISH图像三维矩阵中红色分量,并以二维矩阵形式存储,生成仅包含染色体红色荧光标记点的灰度图像。

2、对由橙色、绿色与红色转换的灰度图像分别进行包含滤波与去噪的预处理,并采用自适应阈值滤波检测各种颜色的荧光标记点,具体实现过程分三步如下(参见附图3):

2.1对由橙色转换的灰度图像进行预处理,先利用上限为4个像素,下限为1个像素的带通滤波器去除点噪声,后利用3×3像素大小的搜索窗口遍历图像,去除图像中灰度值周围邻近像素差异明显的噪声,去除图像噪声结果如图3(d)所示;

2.2利用2×2像素大小的搜索窗口,采用自适应阈值算法计算出窗口内像素灰度中值,并对窗口内像素进行二值化处理,高于中值的像素设置为1,其它像素设置为0,在对整幅图像搜索完成后得到二值化图像,作为染色体橙色荧光标记点的准确位置与形态检测的依据,二值化结果如图3(d)所示,其中白色亮点部分表示检测到的荧光标记点,黑色部分为背景图像;

2.3对由红色和绿色转换的灰度图像重复进行步骤2.1、2.2的处理过程,分别得到染色体红色和绿色荧光标记点的二值化图像,作为染色体红色和绿色荧光标记点的准确位置与形态检测的依据。

3、对由蓝色转换的灰度图像进行细胞核自适应形状标记,具体实现过程分四步如下(参见附图4):

3.1对由蓝色转换的灰度图像进行预处理,利用15×15像素大小的搜索窗口遍历图像,采用高斯低通滤波去除图像中的点噪声,去除图像噪声结果如图4(b)所示,其中绿色线条表示预分割处理后检测到各个细胞核包含粘连细胞核的共同边界;

3.2采用固定阈值对灰度图像进行二值化处理,得到包含所有细胞核区域的初步二值化图像;

3.3对初步二值化图像中所有连通区域进行面积检测,去除面积小于100像素的噪声区域,并对剩余连通区域中的孔洞进行修补,形成包含封闭细胞核区域的待处理二值化图像;

3.4提取步骤3.3生成的二值化图像所有封闭区域的边缘,检测到各个细胞核包含粘连细胞核的共同边界,再由此边界生成细胞核待检测封闭区域内的街区距离图,以每个封闭区域内距离图中距离最大的三分之一部分所对应的像素组成了各个细胞核的自适应形状标记,如图4(d)所示,其中绿色标记部分表示各细胞核内部的形状标记。

4、对由蓝色转换的灰度图像中细胞核进行基于自适应形状标记的分水岭边缘检测与分割,具体实现过程分三步如下(参见附图4):

4.1基于由蓝色转换的灰度图像,计算图像的灰度梯度,生成灰度梯度图;

4.2利用步骤3的自适应形状标记,以每个细胞核的形状标记为出发点,沿灰度梯度图进行扩张,对每个像素的灰度级进行从低到高排序,然后在从低到高实现淹没过程中,对每一个局部极小值在h阶高度的影响域采用先进先出(FIFO)结构进行判断及标注;

4.3在两个相邻细胞核的梯度汇合处形成分水岭,从而检测到相互粘连的细胞核之间的分界线,作为细胞核的准确边界检测的依据,细胞分界线如图4(e)、4(f)所示,其中图4(e)为表示粘连细胞核分割后各细胞边界轮廓的示意图,4(f)为标记粘连细胞核分割后各细胞边界轮廓与原始FISH图像对于灰度图的叠加示意图。

5.将染色体荧光标记点检测的二值化图像与细胞核边缘检测与分割的二值化图像相融合,依据细胞核内荧光标记点的个数对肿瘤细胞进行判定,具体实现过程分四步如下(参见附图5):

5.1利用步骤2和步骤4的检测结果,将染色体荧光标记点二值化图像和细胞核边缘检测与分割图像相融合,生成包含细胞核边界和其中各颜色染色体荧光标记点的二值化图像;

5.2对步骤5.1生成的二值化图像中所有单个细胞核进行遍历,分别对其中包含的各颜色染色体荧光标记点计数,作为判定该细胞是否为肿瘤细胞的依据;

5.3对于单个细胞核,其中包含的橙色、红色或绿色荧光标记点中某一颜色点个数为2时为非分裂期正常细胞,个数为3时为非分裂期肿瘤细胞,个数为4时为G2-M期正常细胞,个数为5时为G2-M期肿瘤细胞;

5.4对于单个细胞核中包含的各种颜色荧光标记点,如果任意一种颜色荧光标记点个数>5,则判定为多个细胞核在垂直方向上重叠,该类细胞核作为例外情况,不计入肿瘤细胞判定结果,图5(b)中红色虚线圈内为检测到垂直方向上细胞重叠情况示意图。

补充结果:融合图片如图5(b)所示,本实施例中分析用时约30秒,检测出3个肿瘤细胞,6个正常细胞,1个垂直方向上细胞叠加的例外情况。

本发明与传统固定阈值方法的染色体荧光标记点检测对比示意图如图6所示,其中(a)为原始FISH颜色RGB图像,(b)为去除噪声后的绿色单色图,(c)为绿色单色图对应各像素灰度值的伪彩色染色图,其中蓝色表示灰度值较低像素,红色表示灰度值较高像素,(d)为本发明检测到的绿色荧光标记点二值化图,其中白色亮点部分表示检测到的荧光标记点,黑色部分为背景图像,(e)为传统灰度固定阈值方法阈值偏低时荧光点检测二值化图像,(f)为传统固定灰度阈值方法阈值偏高时荧光点检测二值化图像,可见传统方法中灰度阈值调整困难,检测效果难以保证,而本发明方法可自适应自动设定阈值,检测结果更为可靠;

本发明与传统固定阈值标记分水岭算法的细胞核边缘检测与分割对比示意图如图7所示,其中(a)为包含细胞核的蓝色单色图,(b)为本发明方法生成的形状标记,以绿色叠加到细胞核灰度图像表示,(c)为本发明方法分割细胞核结果,以绿色线条表示细胞核间边界,(d)为包含细胞核的蓝色单色图,(e)为传统分水岭算法过分割情况下生成的形状标记,以绿色叠加到细胞核灰度图像表示,(f)为传统分水岭算法过分割情况下分割细胞核结果,以绿色线条表示细胞核间边界,(g)为包含细胞核的蓝色单色图,(h)为传统分水岭算法欠分割情况下生成的形状标记,以绿色叠加到细胞核灰度图像表示,(i)为传统分水岭算法欠分割情况下分割细胞核结果,以绿色线条表示细胞核间边界,可见传统分水岭算法形状标记质量难以保证,造成细胞核分割结果不准确,而本发明方法可自适应生成形状标记,细胞分割结果更为可靠。

实施例2循环肿瘤细胞的FSIH检测

在实施例2中,对全血细胞溶解红细胞后,阴性富集去除多量白细胞,用DAPI染细胞核,标记橙色的探针染染色体,标记红色的抗体染白细胞。使用与实施例1基本相同的方法,对循环肿瘤细胞进行检测。实施用例2中对包含60个细胞的循环肿瘤细胞图像进行检测,在具有2.4GHz CPU、4GB内存的普通台式机上处理速度为5秒/幅图像,对于肿瘤细胞检测精度为92.9%,与常规方法相比,检测速度和精度显著提高。

本发明对循环肿瘤细胞FISH检测示意图如图8所示,其中(a)为包含细胞核的蓝色单色图,(b)为采用橙色荧光染料对8号染色体染色图,(c)为采用红色荧光染料对7号染色体和细胞表面染色图,(d)为蓝色、橙色、红色荧光染料分别染色后的合成图。如图8中白色箭头所示,可通过检测细胞内荧光点的个数判断细胞属于肿瘤细胞或白细胞。

在本发明提及的所有文献都在本申请中引用作为参考,就如同每一篇文献被单独引用作为参考那样。此外应理解,在阅读了本发明的上述讲授内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号