首页> 中国专利> 一种基于移动视觉焦点的图像视觉显著性检测方法

一种基于移动视觉焦点的图像视觉显著性检测方法

摘要

本发明提供一种基于移动视觉焦点的图像视觉显著性检测方法,包括:输入原始图像,运用基于图的分割算法将原始图像分割成K个区域;对原始图像进行量化及高频颜色筛选;利用分割图像得到量化图像对应的分割区域并进行区域对比计算以获取某一区域的显著值从而获得初始显著图;以图像中心为初始视觉焦点对初始显著图进行加权计算;利用显著性引力模型计算视觉焦点的移动距离及移动方向以获取下一个视觉焦点,直到当前焦点距离与上一焦点距离小于1为止;运用最终的视觉焦点对获得最终视觉焦点的前一次得到的显著图加权从而获得最终显著图。相比于现有技术,本发明的检测方法的显著图准确率更高,可均匀突出显著物体,并很好地抑制图像背景。

著录项

  • 公开/公告号CN103810707A

    专利类型发明专利

  • 公开/公告日2014-05-21

    原文格式PDF

  • 申请/专利权人 华东理工大学;

    申请/专利号CN201410042192.2

  • 申请日2014-01-28

  • 分类号G06T7/00;G06T7/40;

  • 代理机构上海智信专利代理有限公司;

  • 代理人邓琪

  • 地址 200237 上海市徐汇区梅陇路130号

  • 入库时间 2024-02-20 00:15:49

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2016-08-17

    授权

    授权

  • 2014-06-25

    实质审查的生效 IPC(主分类):G06T7/00 申请日:20140128

    实质审查的生效

  • 2014-05-21

    公开

    公开

说明书

技术领域

本发明涉及计算机视觉及图像处理领域,尤其涉及一种基于 移动视觉焦点的图像视觉显著性检测方法。

背景技术

在漫长的人类进化过程中,人们已经具备了快速获取视觉信 息,并对这些信息进行快速准确抉择的能力。在各种图像处理技 术中,计算机所关注的并不是图像的全部内容,而是一部分感兴 趣区域或者非感兴趣区域。通过视觉显著性算法去检测图像的显 著区域,并给予不同区域的处理优先级,从而更好地利用计算资 源,提高计算效率。现今,视觉显著性检查技术已经被广泛运用 到图像检索、图像和视频压缩、目标检测、图像及视频分割等许 多图像处理领域,并很好地促进了这些领域的发展。图像视觉显 著性检测旨在检测图像的显著区域,便于图像的后期处理,是目 前重要的研究领域之一。显著性检测过程通过计算机去模拟人类 观察图像的过程,去计算获取符合人体视觉焦点的图像显著性区 域,从而完成计算机的自适应处理。

对于图像视觉显著性检测算法,现有技术中的一种解决方案 为,基于自底向上的视觉注意机制,分析人眼对图像内容的理解, 利用图像的底层特征、视觉特性并引入引力模型区检测出更加准 确的图像显著性区域。由于纯计算的显著性计算方法速度快,符 合人类视觉系统快速获取显著物体的视觉原理,所以这类方法也 是目前研究得比较多的方法。此外,现有方案中还包括基于局部 对比分析法获得图像显著图、基于多尺度对比分析的显著性区域 提取法、频率调谐的视觉显著性算法、最大对称周边的视觉显著 性检测算法,然而,基于局部对比分析法得到的视觉显著图,在 图像的边缘具有较高的显著性,但并未均匀地突出整个物体;基 于频率调谐的视觉显著性算法,并不适用于那些显著物体占据太 多像素的图像;而最大对称周边的显著性检测算法,并未考虑空 间信息对视觉显著性的影响。

有鉴于此,如何设计一种新颖的图像视觉显著性检测算法, 以改善或消除现有的上述缺陷,使视觉显著图的准确率更高,是 业内相关技术人员亟待解决的一项课题。

发明内容

针对现有技术中的图像视觉显著性检测方法所存在的上述缺 陷,本发明提供了一种基于移动视觉焦点的图像视觉显著性检测 方法,可使视觉显著图的准确率更高,并且能够均匀突出显著物 体和很好地抑制图像背景。

依据本发明的一个方面,提供了一种基于移动视觉焦点的图 像视觉显著性检测方法,包括以下步骤:

输入该原始图像,运用基于图的分割算法将原始图像分割成K 个区域;

对输入的所述原始图像进行量化及高频颜色的筛选;

利用分割图像得到量化图像对应的分割区域并进行区域对比,计 算获取第i个区域的视觉显著值从而获得初始显著图,1≤i≤K;

以图像中心为初始视觉焦点,对所获得的所述初始显著图进行加 权计算;

利用显著性引力模型计算视觉焦点的移动距离及移动方向,获取 下一个视觉焦点,直到当前视觉焦点的距离与上一视觉焦点的距离小 于1为止;以及运用最终的视觉焦点对获得最终视觉焦点的前一次得 到的显著图加权以获得最终显著图。

在其中的一实施例中,上述对原始图像进行量化及高频颜色筛选 的步骤还包括:将所述原始图像的RGB通道的颜色值量化为12个不 同的值,其计算式为:

[Ps,t1,R,Ps,t1,G,Ps,t1,B]T=Int(12255[Ps,tR,Ps,tG,Ps,tB]T)

其中,s=1,2,…,m;t=1,2,…n;分别表示原始图像中 的像素点在RGB颜色空间每个通道的颜色值;分别表 示量化后图像中的像素点在RGB颜色空间每个通道的颜色值;Int(.) 表示将浮点型转换为整型,此时图像集被重新定义为如下:

D1={I11,I21,···IN01}

对于每个像素通过下面的公式结合三个通道的颜色值:

Ps,t2=Ps,t1,RPs,t1,GPs,t1,B122121

s=1,2,…,m;t=1,2…,n.

其中,表示三通道值经过转化后,得到的单通道值;分别表示像素点Ps,t在RGB颜色空间下每个通道的颜色值,此时 图像集被重新定义为一个矩阵集:

D2={I12,I22,···IN02}

通过一个有序的统计直方图去获得每种颜色出现的频率,对于每 一个颜色频率统计操作H:如下:

H(Ii2)=(f0i,f1i,···,fNii)

其中,是第i幅图像中颜色m出现的频率,m={0,1,2…,Ni};而 H(·)操作包括从小到大的排列;

统计出现频率高的颜色并确保这些颜色覆盖95%像素,其余颜色 用与其颜色距离差最近的颜色替代,具体步骤如下:

ski=Σj=0kfji,k=0,1···,Ni

其中,表示需要累加得到的颜色数目,k表示截断时第k种颜色 的索引颜色舍去阈值被定义为:

C1=0.05×m×n

最大限度的截断范围Mi定义如下:

Mi=k,ifskiC1andsk+1i>C1256,Ni-k256

每个像素的颜色索引函数如下:

index(f(Ps,t1))=j,if>(Ps,t2)=fji

其中,表示像素点的统计函数,

图像的颜色可以被截断为U1和U2两部分:

U1i={Ps,t1Ii1|index(f(Ps,t1))Mi}

U2i={Ps,t1Ii1|index(f(Ps,t1))>Mi}

对于每一个像素量化函数如下:

Ps,t3=q(Ps,t1),Ps,t1U1iPs,t1,otherwise

其中,

q(Ps,t1)=argminPU2id(Ps,t1,P),PU2i

d(Ps,t1,P)=|Ps,t1,R-PR|2+|Ps,t1,G-PG|2+|Ps,t1,G-PG|2

出现频率较低的颜色将会被最相似的颜色所替代,此时图像集被 重新定义为:

D3={I13,I23,···,IN03}.

在其中的一实施例中,将分割图像与量化图像结合计算所述初 始显著图采用以下计算式:

S(sk)=Σsksiexp(-Ds(sk,si)/σs2)w(si)Dc(sk,si)

其中,S(sk)表示分割区域sk的显著值;w(si)是区域si的权值,用 来控制它对区域sk显著值的影响,这里取区域si中像素点的个数作为 它的值;Ds(sk,si)是区域sk和si之间的空间距离,这个距离指的是两 个区域重心之间的欧氏距离;σ2用来控制空间权值强度,Dc(sk,si)是 区域sk和区域si之间的颜色距离度量,计算公式如下:

Dc(s1,s2)=Σi=1c1Σj=1c2f(c1,i)f(c2,j)D(c1,i,c2,j)

其中,f(ck,i)是分割区域sk中第i种颜色在该区域所有颜色ck出现 的频数,k={1,2};c1和c2分别表示区域s1和区域s2的颜色总数目。

在其中的一实施例中,以图像中心为初始视觉焦点对初始显著图 进行加权计算采用如下计算式:

S(sk)=WiΣsksiexp(-Ds(sk,si)/σs2)w(si)Dc(sk,si)

Wi=exp(-δ×Ds(sk,VFi))

其中,Ds(sk,VFi)是分割区域sk和初始视觉焦点VFi之间的距离,这 里计算的是分割区域sk的重心与VFi之间的距离,δ是用来控制视觉焦 点的强度。

在其中的一实施例中,上述利用显著性引力模型计算视觉焦点 的移动距离及移动方向获取下一个视觉焦点的步骤还包括:

计算图像中每个像素点对原始视觉焦点显著性引力,计算式为:

Fi=S(pi)exp(-λ×D2(pi,VF))

其中,S(pi)表示像素点pi的显著值;D2(pi,VF)表示像素点pi到视 觉焦点VF的距离,λ用来控制空间权值的强度;

计算每个像素点在水平方向和垂直方向上的分力,其计算式如下:

FH=F×sinθFV=F×cosθ

其中,

sinθ=px-VFxD(pi,VF)cosθ=py-VFyD(pi,VF)

其中,px和py分别表示当前像素点在水平方向和垂直方向的坐 标,VFx和VFy分别表示视觉焦点在水平方向和垂直方向的坐标, D(pi,VF)表示像素点pi到视觉焦点VF的欧氏距离;

获得所有像素点在水平方向和垂直方向的合力,其计算式如下:

FcH=Σi=1m×nFiHFcV=Σi=1m×nFiV

其中和分别表示所有像素点在水平方向和垂直方向的合 力,和分别表示每个像素点在水平方向和垂直方向的显著性引 力;

量化和使得其与像素点的坐标在同一个量化范围内,其计 算式如下:

dx=FcHm×ndy=FcVm×n

其中,和表示当前视觉焦点在水平方向和垂直方向上移动 的距离,m×n表示图像中像素点的总数目;

计算下一个视觉焦点的坐标,其计算式如下:

[VFx,VFy]=[VFx+dx,VFy+dy].

在其中的一实施例中,上述直到当前焦点距离与上一焦点距离小 于1为止的重复计算步骤还包括,每次计算保留上一个视觉焦点位 置,然后计算下一个视觉焦点位置与上一个视觉焦点位置之间的距 离,直到两者间的距离小于1时停止计算。

在其中的一实施例中,上述对获得最终显著焦点的前一次得到的 视觉显著图进行最终显著焦点加权采用计算式:

S(sk)=WfΣsksiexp(-Ds(sk,si)/σs2)w(si)Dc(sk,si)

Wf=exp(-δ×Ds(sk,VFf))

其中,VFf表示最终的视觉焦点。

采用本发明的基于移动视觉焦点的图像视觉显著性检测方 法,在计算视觉显著图的时候,引入视觉焦点这一视觉特性,并 通过显著性引力模型计算视觉焦点的移动距离及移动方向,获取下 一个视觉焦点,直到当前视觉焦点的距离与上一视觉焦点的距离小于 1为止从而获取正确的视觉焦点进行显著性计算。相比于现有技术, 运用本发明的检测方法所得到的视觉显著图准确率更高,既可均 匀地突出显著物体,还能很好地抑制图像背景,更有利于后期目 标物体分割等应用。

附图说明

读者在参照附图阅读了本发明的具体实施方式以后,将会更 清楚地了解本发明的各个方面。其中,

图1是本发明基于移动视觉焦点的图像视觉显著性检测方法 的流程图;

图2是通过GB分割算法得到的分割图像与原始图像的比较图;

图3是经过量化得到的量化图像与原始图像的比较图;

图4是初始视觉焦点加权得到的视觉显著图;

图5是最终视觉焦点加权得到的视觉显著图;以及

图6是最终和其他方法对比显著图。

具体实施方式

为了使本申请所揭示的技术内容更加详尽与完备,可参照附 图以及本发明的下述各种具体实施例,附图中相同的标记代表相 同或相似的组件。然而,本领域的普通技术人员应当理解,下文 中所提供的实施例并非用来限制本发明所涵盖的范围。此外,附 图仅仅用于示意性地加以说明,并未依照其原尺寸进行绘制。

下面参照附图,对本发明各个方面的具体实施方式作进一步 的详细描述。本发明的视图显著性检测方法的硬件条件为,CPU频 率2.20Ghz,内存4G的PC,软件工具为Visual Studio 2010以及 OpenCV2.4.3。

如图1所示,本发明的基于移动视觉焦点的图像视觉显著性检测 方法包括以下步骤:

输入原始图像,采用基于图的快速分割算法(Felzenszwalb等人 2004年提出的快速的基于图的图像分割算法)将图像分割成若干个 小块区域,输入图像与分割图像如图2所示;

对原始图像进行量化及高频颜色的筛选。在一具体实施例中,对 原始图像量化和筛选的步骤如下:

(2-1)将原始图像RGB通道的颜色值量化为12个不同的值,其 计算式为:

[Ps,t1,R,Ps,t1,G,Ps,t1,B]T=Int(12255[Ps,tR,Ps,tG,Ps,tB]T)---(1)

其中,s=1,2,…,m;t=1,2,…n;分别表示原始图像中像 素点在RGB空间每个通道的颜色值;分别表示量化后 图像中像素点在RGB空间的每个通道的颜色值;Int(.)表示将浮点型 转换为整型。此时图像集被重新定义为如下:

D1={I11,I21,···IN01}---(2)

(2-2)对于每个像素通过下面的公式结合三个通道的颜 色值:

Ps,t2=Ps,t1,RPs,t1,GPs,t1,B122121---(3)

s=1,2,…,m;t=1,2…,n.

其中,表示三通道值经过转化后,得到的单通道值;分别表示像素点Ps,t在RGB颜色空间下每个通道的颜色值。此时 图像集被重新定义为一个矩阵集:

D2={I12,I22,···IN02}---(4)

(2-3)通过一个有序的统计直方图去获得每种颜色出现的频率, 对于每一个颜色频率统计操作H:如下:

H(Ii2)=(f0i,f1i,···,fNii)---(5)

其中,是第i幅图像中颜色m出现的频率,m={0,1,2…,Ni};而 H(·)操作包括从小到大的排列。

(2-4)统计出现频率高的颜色并确保这些颜色覆盖95%像素,其 余颜色用与其颜色距离差最近的颜色替代,具体步骤如下:

ski=Σj=0kfji,k=0,1···,Ni---(6)

其中,表示需要累加得到的颜色数目,k表示截断时第k种颜色 的索引颜色舍去阈值被定义为:

C1=0.05×m×n(7)

最大限度的截断范围Mi定义如下:

Mi=k,ifskiC1andsk+1i>C1256,Ni-k256---(8)

Ni-k≥256条件表示当累加到5%的像素数目时,如果剩余的颜色 数目仍然超过256,为了避免过多颜色的相似性,就取Mi=256。

每个像素的颜色索引函数如下:

index(f(Ps,t1))=j,if>(Ps,t2)=fji---(9)

其中,表示像素点的统计函数。

图像的颜色可以被截断为U1和U2两部分:

U1i={Ps,t1Ii1|index(f(Ps,t1))Mi}U2i={Ps,t1Ii1|index(f(Ps,t1))>Mi}---(10)

对于每一个像素量化函数如下:

Ps,t3=q(Ps,t1),Ps,t1U1iPs,t1,otherwise---(11)

其中,

q(Ps,t1)=argminPU2id(Ps,t1,P),PU2i---(12)

d(Ps,t1,P)=|Ps,t1,R-PR|2+|Ps,t1,G-PG|2+|Ps,t1,G-PG|2---(13)

公式(11)定义的函数表明出现频率较低的颜色将会被最相似的颜 色所替代。此时,图像集被重新定义为:

D3={I13,I23,···,IN03}---(14)

量化后的图像如图3所示。

(1)利用分割图像得到量化图像对应的分割区域并进行区域对 比计算获取第i个区域的显著值从而获得初始显著图,将步骤(1)的分 割图像与步骤(2-4)的量化图像结合计算初始显著图,其计算式为:

S(sk)=Σsksiexp(-Ds(sk,si)/σs2)w(si)Dc(sk,si)---(15)

其中,S(sk)表示分割区域sk的显著值;w(si)是区域si的权值,用 来控制它对区域sk显著值的影响,这里取区域si中像素点的个数作为 它的值;Ds(sk,si)是区域sk和si之间的空间距离,这个距离指的是两 个区域重心之间的欧氏距离;σ2用来控制空间权值强度,这里σ2取 0.4。Dc(sk,si)是区域sk和区域si之间的颜色距离度量,计算公式如下:

Dc(s1,s2)=Σi=1c1Σj=1c2f(c1,i)f(c2,j)D(c1,i,c2,j)---(16)

其中,f(ck,i)是分割区域sk中第i种颜色在该区域所有颜色ck出现 的频数,k={1,2};c1和c2分别表示区域s1和区域s2的颜色总数目。初 始显著图如图4所示。

(2)以图像中心为初始视觉焦点对初始显著图进行加权计算, 其计算式如下:

S(sk)=WiΣsksiexp(-Ds(sk,si)/σs2)w(si)Dc(sk,si)---(17)

其中,

Wi=exp(-δ×Ds(sk,VFi))   (18)

其中,Ds(sk,VFi)是分割区域sk和初始视觉焦点VFi(图像的中心)之 间的距离,这里计算的是分割区域sk的重心与VFi之间的距离。δ是用 来控制视觉焦点的强度,这里δ设置为0.4。初始加权显著图如图5 所示。

(3)利用显著性引力模型计算视觉焦点的移动距离及移动方向 获取下一个视觉焦点,其具体步骤如下:

(5-1)计算图像中每个像素点对原始视觉焦点显著性引力,其计算 式如下:

Fi=S(pi)exp(-λ×D2(pi,VF))   (19)

其中,S(pi)表示像素点pi的显著性值;D2(pi,VF)表示像素点pi到 视觉焦点VF的距离。λ用来控制空间权值的强度,这里λ设置为9。

(5-2)计算每个像素点在水平方向和垂直方向上的分力,其计算式 如下:

FH=F×sinθFV=F×cosθ---(20)

其中,

sinθ=px-VFxD(pi,VF)cosθ=py-VFyD(pi,VF)---(21)

其中,px和py分别表示当前像素点水平方向和垂直方向上的坐 标。VFx和VFy分别表示视觉焦点水平方向和垂直方向上的坐标。 D(pi,VF)表示像素点pi到视觉焦点VF的欧氏距离。

(5-3)获得所有像素点在水平方向和垂直方向上的合力,其计算式 如下:

FcH=Σi=1m×nFiHFcV=Σi=1m×nFiV---(22)

其中,和分别表示所有像素点在水平方向和垂直方向上的 合力,和分别表示每个像素点水平方向和垂直方向上的显著性 引力。

(5-4)量化和使得其与像素点的坐标在同一个量化范围内, 其计算式如下:

dx=FcHm×ndy=FcVm×n---(23)

其中,和表示当前视觉焦点在水平方向和垂直方向上移动 的距离,m×n表示图像中像素点的总数目。

(5-5)计算新的视觉焦点的坐标,其计算式如下:

[VFx,VFy]=[VFx+dx,VFy+dy]---(24)

(4)重复步骤(5)直到当前焦点距离与上一焦点距离小于1为 止,重复计算步骤(5)下面的具体计算步骤,每次计算保留上一个焦点 的位置,然后计算新的焦点位置与上一个焦点位置之间的距离,直到 两者间的距离小于1时停止计算。

(5)运用最终的视觉焦点对获得的视觉显著图加权从而获得最 终显著图。对获得最终视觉焦点的前一次得到的视觉显著图进行最终 视觉焦点加权,其计算式如下:

S(sk)=WfΣsksiexp(-Ds(sk,si)/σs2)w(si)Dc(sk,si)---(25)

Wf=exp(-δ×Ds(sk,VFf))   (26)

其中,VFf表示最终获得的视觉焦点。最终显著图如图6所示。

上文中,参照附图描述了本发明的具体实施方式。但是,本 领域中的普通技术人员能够理解,在不偏离本发明的精神和范围 的情况下,还可以对本发明的具体实施方式作各种变更和替换。 这些变更和替换都落在本发明权利要求书所限定的范围内。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号