法律状态公告日
法律状态信息
法律状态
2020-07-31
授权
授权
2019-09-17
实质审查的生效 IPC(主分类):G06F16/26 申请日:20190521
实质审查的生效
2019-08-23
公开
公开
技术领域
本公开涉及二维标量场数据可视化技术领域,特别是涉及基于颜色表优化的二维标量场数据可视化方法及系统。
背景技术
本部分的陈述仅仅是提到了与本公开相关的背景技术,并不必然构成现有技术。
在实现本公开的过程中,发明人发现现有技术中存在以下技术问题:
二维标量数据是科学模拟与应用中常见的数据表达方式,针对二维标量数据的可视化对于科学家发掘数据中的特征、分辨数值有着非常重要的意义。在众多的二维标量数据可视化方法中,颜色表映射是一种有效且常用的方法,它指的是将可辨别颜色赋予可量化数据值的映射过程。不同颜色表对于表达数据的特征存在较大的差异,好的颜色表能够让数据里蕴含的变化更为清晰,不好的颜色表可能隐藏数据中的变化。因此,选取一个好的颜色表对于二维标量场数据可视化而言是一个非常重要且极具挑战的问题。
在实践中,科学家经常使用一些可视化工具选择现有的颜色表,并通过颜色映射方案(如线性映射)将其应用于数据。这个过程中的一个问题是,数据往往分布不均匀,而颜色表往往是均匀分布的,两者之间存在不一致性,导致数据中用户感兴趣的细微变化可能被隐藏。为了揭示潜在的数据特征,科学家们通常通过不断试错过程选择和调整颜色表,该过程往往耗时较长且对领域经验要求较高。
目前,在可视化领域中有众多定量和定性的指导规则可用于颜色表的自动评估和设计。Bujack等人最近提出了一套对颜色表综合评价的框架,它对现有的设计规则(如顺序、均匀性等)进行了分类以及数学建模,可进一步应用于颜色表的量化和自动选取。然而,这一类工作主要关注于颜色表本身而没有考虑数据。此外,领域内有学者提出根据统计元数据或直方图均衡化来调节颜色表中的控制点,然而这类方法不能表达全局数据范围内的连续特征。
发明内容
为了解决现有技术的不足,本公开提供了基于颜色表优化的二维标量场数据可视化方法及系统;
第一方面,本公开提供了基于颜色表优化的二维标量场数据可视化方法;
基于颜色表优化的二维标量场图像数据可视化方法,包括:
接收输入的初始颜色表以及二维标量场数据;计算初始颜色表中的主要颜色,将主要颜色设为控制点;
利用分段线性函数,计算两两控制点之间的线性插值,生成颜色表,并将颜色表映射至二维标量场数据;
对控制点的坐标位置和映射后的二维标量场数据建立能量优化方程;所述控制点的坐标位置是将控制点对应的颜色表中的索引值进行归一化,得到的0至1之间的数值;
对能量优化方程进行求解,得到优化后的控制点坐标位置,利用分段线性函数和优化后的控制点坐标位置,生成新的颜色表,并将新的颜色表映射至二维标量场数据,得到最终可视化结果。
第二方面,本公开还提供了基于颜色表优化的二维标量场数据可视化系统;
基于颜色表优化的二维标量场图像数据可视化系统,包括:
输入模块,其被配置为接收输入的初始颜色表以及二维标量场数据;计算初始颜色表中的主要颜色,将主要颜色设为控制点;
映射模块,其被配置为利用分段线性函数,计算两两控制点之间的线性插值,生成颜色表,并将颜色表映射至二维标量场数据;
能量优化方程建立模块,其被配置为对控制点的坐标位置和映射后的二维标量场数据建立能量优化方程;所述控制点的坐标位置是将控制点对应的颜色表中的索引值进行归一化,得到的0至1之间的数值;
可视化模块,其被配置为对能量优化方程进行求解,得到优化后的控制点坐标位置,利用分段线性函数和优化后的控制点坐标位置,生成新的颜色表,并将新的颜色表映射至二维标量场数据,得到最终可视化结果。
第三方面,本公开还提供了一种电子设备,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成第一方面所述方法的步骤。
第四方面,本公开还提供了一种计算机可读存储介质,用于存储计算机指令,所述计算机指令被处理器执行时,完成第一方面所述方法的步骤。
与现有技术相比,本公开的有益效果是:
本公开针对二维标量场数据提出了一种面向数据感知的颜色表优化方法。通过使用优化后的颜色表,能够凸显出细微的数据变化信息,在科学可视化领域具有广泛的应用前景。
本公开通过有机融合颜色表特性以及数据分布特性,针对二维标量数据场,提出一种能够凸显细微数据变化、保持原颜色表特征、最大化前背景对比度的颜色表优化方法,并定义了多种交互式探索方式,能够充分满足科学数据分析与可视化过程中对于颜色表设计与选择、交互式探索等方面的迫切需求。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。
图1为本实施例的流程图;
图2(a)为初始灰度颜色表和颜色表控制点;
图2(b)为颜色表对应的颜色映射数据;
图2(c)为修改后的灰度颜色表和对应颜色表控制点;
图2(d)为颜色表对应的颜色映射数据;
图3(a)为输入颜色表及对应颜色映射数据;
图3(b)为输入颜色映射数据的局部差异;
图3(c)为边界似然函数可视化结果;
图3(d)为优化后颜色表及对应颜色映射数据;
图3(e)为优化后颜色映射数据的局部差异;
图4(a)为输入颜色表及对应颜色映射数据;
图4(b)为η=100所对应的优化颜色表及其对应颜色映射数据;
图4(c)为η=1所对应的优化颜色表及其对应颜色映射数据;
图4(d)为η=0.01所对应的优化颜色表及其对应颜色映射数据;
图5(a)为输入颜色表及对应颜色映射数据;
图5(b)为α=1,β=0,γ=0所对应的优化颜色表及其对应颜色映射数据;
图5(c)为α=0,β=0,γ=1所对应的优化颜色表及其对应颜色映射数据;
图5(d)为α=1,β=0.5,γ=0.5所对应的优化颜色表及其对应颜色映射数据;
图6(a)为输入颜色表及对应颜色映射数据,放大部分为用户感兴趣区域可视化;
图6(b)为正常优化后的颜色表及其对应颜色映射数据;在此基础上,用户选择感兴趣的区域,如白色虚线所示。
图6(c)为用户选取约束感兴趣ROI区域的颜色表优化结果及其对应颜色映射数据;
图7为背景遮罩工具使用流程及每一步对应结果。
具体实施方式
应该指出,以下详细说明都是示例性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一,本实施例提供了基于颜色表优化的二维标量场图像数据可视化方法;
图1为本公开的流程框架图。基于颜色表优化的二维标量场图像数据可视化方法,包括:
S1:接收输入的初始颜色表以及二维标量场数据;计算初始颜色表中的主要颜色,将主要颜色设为控制点;
S2:利用分段线性函数,计算两两控制点之间的线性插值,生成颜色表,并将颜色表映射至二维标量场数据;如图2(a)、图2(b)、图2(c)和图2(d)中所示的控制点;
S3:对控制点的坐标位置和映射后的二维标量场数据建立能量优化方程;所述控制点的坐标位置是将控制点对应的颜色表中的索引值进行归一化,得到的0至1之间的数值;
S4:对能量优化方程进行求解,得到优化后的控制点坐标位置,利用分段线性函数和优化后的控制点坐标位置,生成新的颜色表,并将新的颜色表映射至二维标量场数据,得到最终可视化结果。
作为一个或多个实施例,所述初始颜色表,是指:用户指定的或者系统默认的颜色表,比如黑白颜色表、彩虹颜色表等。
作为一个或多个实施例,所述二维标量场数据,是指二维空间的标量数据,比如地球网格平面上的温度分布。
作为一个或多个实施例,计算初始颜色表中的主要颜色,将主要颜色设为控制点,具体步骤为:
设置聚类个数K,采用聚类算法计算初始颜色表中的主要颜色;并将主要颜色作为控制点,每个控制点包括控制点自身在初始颜色表上的坐标位置和控制点自身所对应的颜色。
应理解的,将主要颜色作为控制点具体表示为:
l={(p1,c1),(p2,c2),…(pw,cw)};>
其中,pw为控制点w在颜色表上的坐标位置(0≤pw≤1);cw为控制点w所对应的颜色,l表示控制点集合。
需要注意的是,本实施例优化算法仅对控制点坐标位置进行调整,而不改变控制点颜色。
作为一个或多个实施例,利用分段线性函数,计算两两控制点之间的线性插值,生成颜色表,并将颜色表映射至二维标量场数据,具体步骤包括:
其中,p表示控制点的坐标位置;c表示控制点的颜色;
通过将分段线性函数应用于任意两相邻控制点,从而生成含有多个颜色的新的颜色表;新的颜色表在后续应用中利用颜色映射过程ξ建立颜色与数据之间的映射关系,从而生成颜色映射后的数据,颜色映射过程利用
对于任意二维标量场数据,利用最大最小值归一化法将其归一化至0到1参数空间,通过公式(2)建立颜色与控制点坐标位置之间的映射关系。
作为一个或多个实施例,颜色映射过程ξ:假设用C来表示一个含有n个颜色的颜色表,C={C1,C2,…,Cn},用T={T1,T2,…,Tn},0≤T≤1表示按升序排列的归一化到0-1之间的二维标量场数据的数值,通过将C分配给与T中具有相同下标的元素。
作为一个或多个实施例,对控制点的坐标位置建立能量优化方程;具体步骤包括:
所述能量优化方程,包括边界项、对比项以及保真项加权求和。
其中,x为映射后的二维标量场数据,
图5(a)、图5(b)、图5(c)和图5(d)示意了不同权值因子对于结果的影响。
作为一个或多个实施例,对能量优化方程进行求解,得到优化后的控制点坐标位置;具体步骤包括:
将控制点的坐标位置作为优化求解的变量,在序列二次规划优化算子中进行迭代优化;
计算边界项,其作用在于保证颜色映射数据的边界分布与二维标量场数据边界分布一致;二维标量场数据边界指的是不同数值之间的变化;
计算保真项,其作用在于保证优化后颜色表与初始颜色表之间的差异最小;
计算前景与背景对比项,其作用在于保证颜色映射后的数据的前景颜色与背景颜色对比度最大,以增强前景数据的可识别性;
得到优化后的控制点坐标位置。
作为一个或多个实施例,边界项定义为:
其中,
(4-1)对于二维数据场中的每一个数据点xi,计算数据点xi的边界似然函数:
如图3(b)所示;
(4-1-1)计算参数σ,σ为理想边界的模糊参数,定义为:
其中,f′(0)表示二维标量数据的一阶导数最大值,f″(-σ)表示二维标量数据的二阶导数最大值,二维标量数据的一阶导数通过梯度算子计算,二维标量数据的二阶导数通过拉普拉斯算子计算;
(4-1-2)计算参数h(xi),h(xi)表示数值等于xi所对应数据点的二阶导数的平均值;
(4-1-3)计算参数g(xi),g(xi)表示数值等于xi所对应数据点的一阶导数的平均值;
(4-1-4)参数η为边界权重,用于控制边界效果的强弱;图4(a)、图4(b)、图4(c)和图4(d)示意了不同η下的优化结果;如图3(a)、图3(b)、图3(c)、图3(d)和图3(e);
(4-2)通过方程
(4-2-1)对于任一颜色映射数据点xi,设置领域大小为Ω;
(4-2-2)对于邻域内的任一数值点,求解该点颜色映射数值与xi颜色映射数值之间的差;
(4-3)在(4-1)、(4-2)所涉及技术基础上提出一种用户感兴趣区域的交互控制方式。
(4-3-1)用户利用拉索工具选择数据中感兴趣的区域;
(4-3-2)利用以下公式增强用户选择的感兴趣区域内数值点所对应的边界似然函数:
其中ω为感兴趣区域权值。
图6(a)、图6(b)和图6(c)展示了该交互控制方式在医学图像可视化领域的应用场景,该场景二维标量场数据为脑肿瘤病人的头部放射剂量数据(以下简称“放射剂量数据”),默认颜色表为彩虹颜色表(rainbow colormap)。图6(a)将彩虹颜色表映射至放射剂量数据中,并将生成的可视化结果以75%不透明度与脑部CT图像叠加;图6(b)展示了利用(4-1)、(4-2)描述技术对彩虹颜色表进行优化后,并映射至放射剂量数据中的可视化结果,从该可视化结果中,医生观察到肿瘤病人脸部右侧高放射剂量区域有较大变化,便用拉索工具选中该区域以进一步探索其中所包含的数据信息;图6(c)展示了利用(4-3)中所描述的交互式方法对选中区域进行权值加强所得到的新的彩虹颜色表,以及将其映射至放射剂量数据后的可视化结果。
作为一个或多个实施例,保真项:
其中,ζ为初始颜色表所对应的弧长函数;
(5-1)颜色表弧长函数计算:
(5-1-1)将初始颜色表映射至三维色彩空间,形成一条三维连续颜色曲线;
(5-1-2)在颜色曲线上,对于每一个控制点,求解该点至初始控制点的弧长距离;初始控制点是从初始颜色表上选取的若干个主要颜色;
(5-1-3)根据每个控制点至初始控制点的的弧长距离,利用线性插值算法,生成弧长函数;
(5-2)利用
(5-3)
作为一个或多个实施例,前景与背景对比项:
所谓背景,指的是用户自定义的不想观察的数据;背景颜色用单一颜色Cb表示。
(6-1)根据方程
(6-2)
(6-2-1)计算前景数值点与背景数值点之间的欧式距离。
(6-2-2)对距离函数从大到小排序,找到各前景数值点所对应的最近的背景数值点。
(6-3)H(xi)表示的是步骤S1输入数据中数值等于xi的数据点数量。
(6-4)本公开对(6-1)、(6-2)、(6-3)等技术进行了拓展,使其能够支持前景区域用户交互操作。具体而言,用户可以删除不感兴趣的前景区域,该部分区域将有背景区域替换;本公开将根据用户交互结果,依据下述公式对颜色表进行优化:
其中,为任意背景颜色。
图7展示了该交互控制方式在医学图像可视化领域的应用场景,该场景二维标量场数据为肺部肿瘤病人的放射断层造影数据(Positron Emission Tomograph,以下简称“PET数据”),图7中下标为(a)的图像的颜色映射至PET数据中,并示意将生成的可视化结果以80%不透明度与胸部CT图像叠加的过程;图7中下标为(b)的图像展示了图7中下标为(a)的图像叠加后的可视化结果,以及相应区域的放大结果;图7中下标为(c)的图像展示了利用(6-1)、(6-2)、(6-3)中描述技术对彩虹颜色表进行优化后,并映射至PET数据中的可视化结果;图7中下标为(d)的图像示意了用户删除部分不感兴趣前景的过程;图7中下标为(e)的图像示例了删除不感兴趣部分后的前景PET数据与背景CT图像叠加的可视化结果,相比图7中下标为(c)的图像,更多地胸部CT图像呈现出来;图7中下标为(f)的图像展示了针对更为丰富的背景区域,利用(6-4)中所描述的方式进行优化所得到的新的颜色表,以及将其映射至PET数据后的可视化结果。
作为一个或多个实施例,利用分段线性函数和优化后的控制点坐标位置,生成新的颜色表;具体步骤包括:
将优化后的控制点坐标位置输入到分段线性函数中,就得到新的颜色表。
本公开可以应用的具体的技术领域有:科学数据可视分析、医学数据可视分析、物理模拟等。
本公开的输入数据具体包括:任意二维标量场数据,包括但不限于二维表面温度场、海水表面流速大小、海水盐度、肿瘤辐射剂量、无人机电磁模拟数据等
本公开提出了一种包含边界项、保真项以及对比项的颜色表数学方法,该方法创新性地将数据变化引入颜色表的评估与优化过程中,并加入对原始颜色表保真性以及前背景对比性的约束。该数学表达可拓展性强,容易拓展增加更多领域先验相关的约束。
本公开提出了一种感兴趣区域(ROI)交互探索与优化方法,基于用户指定的ROI区域,该优化算法将仅针对该区域进行优化。此外,还提出了一种基于背景替换的交互探索与优化方法,可帮助用户仅关注感兴趣区域的变化以及前背景差异。以上交互探索工作对于科学数据分析有着非常重要的意义。
本实施例提出了一种面向数据感知的优化算法来设计颜色表,用于凸显二维标量场可视化中与数据变化相关的连续特征。本公开核心思想在于将颜色表调整转化成一个非线性约束的优化问题,通过迭代调整颜色表中控制点的参数位置以获取最优颜色表。
实施例二,本实施例还提供了基于颜色表优化的二维标量场数据可视化系统;
基于颜色表优化的二维标量场图像数据可视化系统,包括:
输入模块,其被配置为接收输入的初始颜色表以及二维标量场数据;计算初始颜色表中的主要颜色,将主要颜色设为控制点;
映射模块,其被配置为利用分段线性函数,计算两两控制点之间的线性插值,生成颜色表,并将颜色表映射至二维标量场数据;如图2(a)、图2(b)、图2(c)和图2(d)中所示的控制点;
能量优化方程建立模块,其被配置为对控制点的坐标位置和映射后的二维标量场数据建立能量优化方程;所述控制点的坐标位置是将控制点对应的颜色表中的索引值进行归一化,得到的0至1之间的数值;
可视化模块,其被配置为对能量优化方程进行求解,得到优化后的控制点坐标位置,利用分段线性函数和优化后的控制点坐标位置,生成新的颜色表,并将新的颜色表映射至二维标量场数据,得到最终可视化结果。
实施例三,本实施例还提供了一种电子设备,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成方法中的各个操作,为了简洁,在此不再赘述。
所述电子设备可以是移动终端以及非移动终端,非移动终端包括台式计算机,移动终端包括智能手机(Smart Phone,如Android手机、IOS手机等)、智能眼镜、智能手表、智能手环、平板电脑、笔记本电脑、个人数字助理等可以进行无线通信的移动互联网设备。
应理解,在本公开中,该处理器可以是中央处理单元CPU,该处理器还算可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC,现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器可以包括只读存储器和随机存取存储器,并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如,存储器还可以存储设备类型的信息。
在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本公开所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元即算法步骤,能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其他的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能的划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外一点,所显示或讨论的相互之间的耦合或者直接耦合或者通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
机译: 二维标量场设计方法及系统
机译: 二维标量场设计方法及其系统
机译: 基于三维颜色表示的模型参数优化系统和方法