用于相对颜色质量的自然语言评价的系统

摘要

本发明涉及用于相对颜色质量的自然语言评价的系统。本发明的实施例包括一种用于提供对参考与源图像之间的相对颜色质量的自然语言客观评价的系统。该系统可以包括接收在参考图像与源图像之间的差值测量并且基于差值测量来确定颜色属性改变的颜色转换器。颜色属性可以例如包括色调偏移、饱和度改变和颜色变化。此外，量值指数设施确定已确定的颜色属性改变的量值。另外，自然语言选择器将颜色属性改变和该改变的量值映射到自然语言并且生成颜色属性改变和颜色属性改变的量值的报告。然后可以用文本或者音频形式或者用文本和音频形式两者向用户传送输出。

说明书

技术领域

本公开涉及图片质量分析并且更具体地涉及一种提供使用自然语言来评价在参考与源图像之间的相对颜色质量的系统。

背景技术

视频经常从原始视频流改变成修改的视频流。改变的动力经常与如下目标介质的带宽有关，将通过该目标介质来传输修改的视频流的。但是存在修改视频的多种原因。处理视频的其他原始因例如包括针对不同显示器的编辑、压缩和解压、重新格式化、视频插入和叠加、传输差错的最小化以及修改颜色。

视频行业对修改的视频中的颜色再现施加限制。换而言之，行业建立所得视频为了可接受而必须通过的标准。经常出现的一个问题是从原始到修改的视频的颜色偏移。颜色偏移在多数视频处理中是常见的并且难以在经验上评价，因为颜色的确定是基于生理的并且因此必然主观。

用于检测这样有问题的颜色改变的先前方法已经需要：a）直接查看之前和之后的视频，这耗费时间并且有时之前和之后的视频源不是同时可用于查看）；b）使用矢量显示器（vectorscope）或者“颜色”，这需要受训练人员解释，并且甚至然后可能由于缺乏人类视觉模型被误导，即颜色的亮度遗漏，因此黑色经常在矢量显示器上显现为亮色；c）“颜色”（ 基于YUV的UV或者RGB）峰值信号噪声比（PSNR）测量，这可以是自动化的，但是也如矢量显示器解决方案那样遭受缺乏人类视觉模型方面的问题；d）人类视觉模型类型的视频质量分析产品（诸如TEKTRONIX PQA300质量分析器）可以确定可感知的颜色改变是否已经发生，但是它缺乏为了准确预测颜色如何不同（并且在一些情况下对于特定查看条件而言即使颜色显得不同）而需要的许多重要适配机制；或者e）使用更高级的人类视觉模型技术，诸如在2009年12月10日提交、标题为METHOD AND APPARATUS FOR IMPLEMENTING MOVING IMAGE COLOR APPEARANCE MODEL FOR VIDEO QUALITY RATINGS PREDICTION并且通过引用而结合于此的美国专利申请12/635,456、中描述的Moving Image Color Appearance Model (MICAM)。然而MICAM的输出可能难以让未受训练的操作者解释并且修改的视频中的一些差别可能甚至让专家也难以察觉。

本发明的实施例解决现有技术中的这些和其他限制。

发明内容

在本发明的一些方面中，提供一种用于生成对在参考与源图像之间的相对颜色质量的自然语言客观评价的系统。该系统可以包括接收在参考图像与源图像之间的差值测量并且基于差值测量来确定颜色属性改变的颜色转换器。颜色属性可以例如包括色调偏移、饱和度改变和颜色变化。此外，量值指数设施确定已确定的颜色属性改变的量值。另外，自然语言选择器将颜色属性改变和该改变的量值映射到自然语言并且生成颜色属性改变和颜色属性改变的量值的报告。然后可以用文本或者音频形式或者用文本和音频形式两者向用户传送输出。

在本发明的其他方面中，提供用于产生对在参考图像与源图像之间的相对颜色质量的自然语言评价的方法。这些方法可以包括接受在参考图像与源图像之间的颜色比较差值测量并且将颜色比较差值测量转换成二维颜色空间差值。根据值确定颜色属性改变以及颜色属性改变的量值，将颜色属性改变和颜色属性改变的量值映射到自然语言词语集合以基于比较为用户生成报告。

附图说明

图1是根据本发明实施例的自然语言评价系统的框图。

图2是根据CIECAM02标准的用于描述颜色的二维框架的常规图。

图3是图1的自然语言生成器系统的部件的示例实施例的框图。

图4是根据本发明实施例的用于测量色调偏移并且用自然语言表现的示例过程的流程图。

图5是根据本发明实施例的用于测量饱和度偏移并且用自然语言表现的示例过程的流程图。

图6是根据本发明实施例的用于测量颜色多样性（variety）和/或颜色变化并且用自然语言表现的示例过程的流程图。

具体实施方式

图1是根据本发明实施例的自然语言评价系统10的框图。

对于观看修改或者处理的视频比对未处理的视频的人类，视频的总体印象可以概括为：1）颜色饱和度的改变，诸如增加的饱和度或者减饱和度（desaturation）；或者2）颜色色调的总体偏移，一般经由白色偏移变得最明显（即不同色温或者色彩（tint）改变（诸如白颜色显得更绿或者更品红/紫））；或者3）饱和度改变与色调总体偏移的组合。本发明的实施例生成这样的比较的自然语言输出，视频生产人员可以在评价修改的视频时更容易使用该输出。

自然语言评价系统10包括上文介绍的MICAM的实施例12。在MICAM 12中，接收测试图像和参考图像（这些图像也可以是相应图像系列）作为向单独可选格式转换器20、21中的单独输入。格式转换器20、21转换用于显示模型24、25的输入，这些模型又将相应输入转换成用于向相应查看和感知模型28、29、30和31输入的模拟光。相应感知模型30、31以CIECAM02 {a, b}为单位输出每个空间（例如像素）和时间（例如帧）样本的相应颜色响应。CIECAM02是CIE技术委员会8-01于2002年发行的公知Color Appearance Modeling for Color Management Systems。这些相应{a, b}视频响应用来估计在（一个或多个）参考图像与（一个或多个）修改（测试）图像之间的感知差值。

除了感知模型30、31之外，可以向系统添加诸如在TEKTRONIX PQA 500/600质量分析器中发现的认知模型。在选择器42中选择图像内感兴趣的区域，其可以是空间或时间或两者中的区域。在一些实施例中，感兴趣的默认区域是用于（一个或多个）测试和参考图像的整个长度的（一个或多个）全部帧。MICAM 12的输出是如图1中所示的测试与参考图像之间比较的一组统计摘要。尽管国际标准团体推荐将颜色建模用于静态图像颜色块，但是使用CIECAM02作为用于构建对于视频而言充分准确的颜色视觉模型的基础。设计、校准和验证CIECAM02以确定颜色差的阈值、方向和量值。

然而如在上文提到的‘456申请中描述的MICAM的最终输出被设计成（除了PQR、图片质量评级、预测之外还）预测视频质量摘要分数（诸如差值平均意见分数（DOMS））。尽管MICAM 12产生用于（一个或多个）测试和参考图像的在CIECAM02颜色空间中的{a, b}坐标，这又潜在地实现测试和参考颜色差除了DMOS和PQR度量之外的统计分析，但是它未直接向用户通知有价值的直接颜色评价。

图2是根据CIECAM02标准的用于描述颜色的二维框架的常规图。用直角坐标（诸如图2中所示坐标）表达CIECAM02标准的Lab。框架80沿着“a”轴描述“微红”到“微绿”并且沿着“b”轴描述“微黄”到“微蓝”。{a, b}平面的横向描述照度。“a”和“b”轴两者在正和负方向上延伸。将颜色描述为在{a, b}平面中的从原点（“a”和“b”轴的交点）以某一角度延伸的线上。沿着该线的颜色位于不同饱和度水平。然而CIECAM02未针对任何特定颜色区在侵占（encroach）另一颜色之前有多宽归因于容差。另外，尽管CIECAM02包括用于确定个别颜色的饱和度的方法，但是它既未解决多个颜色的趋势也未解决颜色改变的自然语言评价。

回顾图1，MICAM 12的输出是向自然语言创建器系统50的输入，该系统50对数据执行下文描述的各种过程并且比较输入数据与用于色调、量化最高级（superlative）和增加比对减少指示分类的阈值。参照下图给出细节和示例例子。

图3是图1的自然语言生成器系统50的部件的示例实施例100的框图。图3的自然语言生成器系统100包括属性测量部分110，该部分包括三个子系统——色调测量设施112、饱和度测量设施114和颜色多样性/变化测量设施116。这些设施112、114、116根据从图1的MICAM 12接收的输入生成输出。

色调测量设施112生成对测试图像从参考图像的色调偏移（图1）的测量。

总体色调偏移

平均测试和参考差值数据{a, b}（平均值差值或者优选实施例为差值平均）{mean aDiff, mean bDiff}取自于MICAM 12的输出并且用来确定总体色调偏移。使用CIECAM02色调角度函数h(a, b)来计算色调偏移角度：

平均色调差值角度 = h(mean aDiff, mean bDiff) 

                                 = atan( mean bDiff, mean aDiff)，

其中atan函数计算遍及图2的{a, b}图形的所有4个象限（即，从0到360度）内的唯一角度。这在图4中图示为流程400的过程410。

然后在过程420中比较平均色调差值角度或者色调角度与主颜色（cardinal color）的限制，主颜色的限制如基于如R.M. Boynton和R.E. MacLaury和K. Uchikawa在Centroids of Color Categories Compared by Two Methods , Color Research and Application 14(1), 6-15, 1989 (“Boynton”)中描述的美国光学协会（OSA）jgL相等感知递增颜色空间生成。

更具体而言，来自这一参考文献和相似研究的数据是用于确定用于描述色调改变的主色调以及用于每个主色调的极端色调角度的基础。这些研究使用来自不同文化的对象和不同语言的对应说母语人士（尽管Boynton参考文献主要聚焦于说英语和日语人士）并且标识d的颜色空间的如下大部分，基本颜色类别基本上驻留于这些部分。例如Boynton参考文献包括粉红色、红色、棕色、橙色、黄色、绿色、蓝色和紫色的OSA（美国光学协会）gjL（通用图像库）颜色空间中的绘图。由于棕色在色调角度上与红色和橙色大量重合（主要通过L轴代表的亮度/照度来区分），所以未使用它。这留下粉红色、红色、棕色、橙色、黄色、绿色、蓝色和紫色作为主颜色。可以在对应名称之间使用连字符或者斜线来系统地命名在连续主颜色之间的颜色。例如落在绿色与黄色区域之间的颜色称为“绿-黄色”或者“绿/黄色”。

通过穷举地采样跨OSA颜色空间的颜色并且在主颜色类别中对每个颜色分类（或者未分类）来标识Boynton参考文献的主颜色的界限。使用在CIECAM02文档中描述的方法将用于每个主颜色类别的一组颜色从OSA gjL转换成xyY并且然后进一步转换成CIECAM02 {ab}空间和对应色调角度h(a, b)。

总言之，CIE的颜色空间和颜色差模型（包括CIE 1931 xyY颜色空间（在诸多照片/谱分析产品中的目前常见/标准））包括来自CIE的诸多改进，包括Luv、Lab（包括CIECAM02）和CIE颜色差模型。这些改进中的诸多改进具有如下关联表，这些表具有数以百计到数以千计的颜色名称和向颜色空间坐标的映射的条目。一种使用准颜色命名惯例作为颜色空间坐标的部分的颜色空间是Munsell颜色空间，其具有向CIE xyY的示例映射，如在Gunter Wyszecki和W.S. Stiles的Color Science: Concepts and Methods，Quantitative Data and Formulas, 第2版, 1982, John Wiley & Sons, NY中描述的。然而这些技术/标准无一可以用来如在前述PQA和MICAM系统中那样直接评估视频。另外尽管PQA和MICAM系统的输出使用每帧每个像素的标准单位（即输出单位分别是每个空间和时间位置的CIE {u, v}和CIECAM02 {a, b}），但是向颜色名称的映射太具体而无法用于总体颜色偏移分析、往往使用如下文化特有语言，该语言未很好地翻译成其他语言并且未考虑颜色量化，该颜色量化往往在形成如在Boynton参考文献中那样归类的一起获得的颜色意见时发生。

回顾图4，过程420图示了颜色比较和量化，这里参照表1描述该过程的实施例。表1是如使用图2中所示CIECAM02 {ab}空间通过照最大和最小角度测量的主颜色的确定界限。表（诸如表1）可以被存储为如下色调表113，该色调表在色调测量设施112内或者耦合到色调测量设施112。

表1（色调颜色）

颜色         最小角度      最大角度

红             9.761             20.549

橙             22.549           39.399

黄             75.159           90.000

绿             101.780         164.250

蓝             216.551         237.530

紫             291.772         317.314

粉红         337.464         13.290

在图4的过程430中将这些主色调角度与在过程410中确定的色调角度进行比较以将色调量化成主色调或者“在主色调之间的”色调之一。可以在对应名称之间使用连字符或者斜线来系统地命名在连续主颜色之间的颜色。例如落在绿颜色与黄颜色区域之间的颜色称为“绿-黄色”或者“绿/黄色”。因此可以建立色调类别。

回顾图3，色调类别与下文描述的饱和度测量和颜色变化测量一起传递到量值确定器120。

使用与上文描述的方法相似的方法，再次使用转换成CIECAM02 {a, b}的来自Boynton参考文献的数据，可以通过相对于每个主颜色的区域内的颜色质心归一化{mean aDiff, mean bDiff}的矢量长度来确定颜色改变的相对量值。在表2中列举用于归一化的参考量值并且可以在量值确定器120内包括这些量值作为量值表121。

表2（相反色调颜色）

颜色                                     参考量值

红                                         0.941

红橙                                     0.948

橙                                         0.956

橙黄                                     0.930

黄                                         0.904

黄绿                                     0.678

绿                                         0.453

绿蓝                                     0.475

蓝                                         0.497

蓝紫                                     0.444

紫                                         0.392

紫粉红                                  0.512

粉红                                      0.633

桃红（PinkRed）                 0.787

例1：

角度:= 13

量值:= 红.12

参考量值:= 红

相对量值:= 量值/参考量值

相对量值= 0.12。

例如，如果确定色调差值角度为13（将落在来自表1的“红”n内），则相反色调颜色落为来自表2的“绿蓝”。另外如在上式中所示确定量值为.12。将这一过程图示为图4中的440。

颜色改变的归一化量值然后从量值确定器120传递到自然语言选择器130以根据用于色调和相反色调的一组类别量化阈值从自然语言表131选择适当定量最高级词语或者短语。将这图示为图4的过程450。

在表3中图示了用于特定颜色偏移阈值的示例自然语言表131。

表3（最高级阈值和量化仓）

量化仓          最小阈值      最大阈值      自然语言最高级

0                    0                    0.008             否

1                    0.009             0.048             略微

2                    0.049             0.168             明显

3                    0.169             0.368             有些

4                    0.369             0.648             可观

5                    0.649             1.000             严重

一旦图3的色调测量设施112、量值确定器120和自然语言选择器130已经分别确定色调、相反色调和最高级，自然语言选择器就可以生成比较（一个或多个）参考图像与（一个或多个）测试图像的色调的自然语言句子如下：

总言之，视频看来{最高级1}更{色调}（{最高级2}不太{相反色调}。

这使用来自上例1的数据变成：

“总言之，视频看来有些更红（有些不太蓝绿）。”

将这图示为图4的过程460。

饱和度的总体改变

现在参照图2和图5描述饱和度测量设施114（图2）的功能。

饱和度测量设施114（图2）接受来自MICAM 12（图1）的平均绝对测试和参考{ mean(|a|),mean(|b|) }并且使用它确定在（一个或多个）参考图像与（一个或多个）测试图像之间的总体饱和度改变。

首先如下文并且如在图5的示例流程500的示例过程510中所示确定这些相应值的测试与参考值之间的差：

diffOfMeanAbs_a = meanAbsTest_a - meanAbsRef_a 

其中diffOfMeanAbs_a对应于图1的“mean Abs(a)Diff”。注意平均比对差值的运算顺序可互换而a或者b的绝对值居首。

每个diffOfMeanAbs_a和diffOfMeanAbs_b的绝对值中的每个然后分别在图5的过程520中用来根据一组类别量化阈值从自然语言表131（图3）选择适当定量最高级词语或者短语，而相应符号用来在“更”或者“不太”之间选择：

例2：

如果以下值是向饱和度测量设施114的输入：

meanAbsTest_a:=.1     meanAbsRef_a:=.11

meanAbsTest_b:=.08   meanAbsRef_b:=.1

则diffOfMeanAbs_a:=meanAbsTest_a - meanAbsRef_a = -0.01

    diffOfMeanAbs_b:=meanAbsTest_b - meanAbsRef_b = -0.02

首先如描述为图5的过程510那样，如上文给定的那样确定在（一个或多个）测试与参考图像之间的距离。然后在过程520中确定相应距离的量化仓，这意味着确定哪个指数值对应于每个diffOfMeanAbs_a和diffOfMeanAbs_b。如果两个距离量化到相同仓（表3的相同阈值水平），则图3的自然语言选择器130可以如在图5的过程530和540中所示生成用于描述特定条件的以下文本：

总言之，视频颜色看来{最高级1} {更饱和/更不饱和}

这使用来自例2的数据变成：

“总言之，视频颜色看来略微不饱和。”

例3：

如果以下值是向饱和度测量设施114的输入：

meanAbsTest_a:=.3      meanAbsRef_a:=.11

meanAbsTest_b:=.08    meanAbsRef_b:=.1

则diffOfMeanAbs_a:=meanAbsTest_a - meanAbsRef_a = 0.19

    diffOfMeanAbs_b:=meanAbsTest_b - meanAbsRef_b = -0.02

这里不同于例2，当用于“a”和“b”的量化仓根据表3不同时，图3的自然语言选择器130可以生成以下文本：

总言之，视频具有{最高级1} {更饱和/更不饱和}红色和/或绿色以及{最高级2} {更饱和/更不饱和}蓝色和/或黄色。

这使用来自例3的数据变成：

“总言之，视频具有明显更饱和红色和/或绿色以及略微不饱和蓝色和/或黄色。”

颜色多样性/变化的总体改变

颜色多样性/变化测量设施116（图2）根据MICAM 12的输出确定（一个或多个）测试和参考图像的标准偏差{ stdev(a), stdev(b) }。

首先如图6中所示流程600的过程610中所示，确定（一个或多个）测试与参考图像的标准偏差之差如下：

diffStdev_a = stdevTest_a - stdevRef_a

其中diffStdev_a对应于图1的"stdev(a)Diff"。

每个diffStdev_a和diffStdev_b的绝对值中的每个然后分别用来根据一组分类量化阈值例如从图3的自然语言表131选择适当定量最高级词汇或者短语。图3的自然语言选择器130使用比较的相应符号在“更”或者“不太”之间选择：

下例进一步举例说明这一用于总体色调偏移测量翻译成自然语言的方法：

例4：

如果以下值是向颜色多样性/变化测量设施116的输入：

stdevTest_a:=.1        stdevRev_a:=.11

stdevTest_b:=.08      stdevRev_b:=.1

则diffStdev_a:=stdevTest_a - stdevRef_a    = -.01

    diffStdev_b:=stdevTest_b - stdevRef_b     = -.02

比较每个diffStdev_a和diffStdev_b的标准偏差的差值与自然语言表131（图3）中的阈值以选择每个值的对应量化仓。

如果diffStdev_a和diffStdev_b均量化成相同值，则图3的自然语言选择器130如在图6的过程630和640中所示生成用于描述特定条件的以下文本：

总言之，视频具有{最高级1} {更多/更少}颜色多样性。

这在例4中由于diffStdev_a和diffStdev_b均量化到仓1而变成：

“总言之，视频具有略微更少颜色多样性。”

例5：

如果以下值是向颜色多样性/变化测量设施116的输入：

stdevTest_a:=.3       stdevRev_a:=.11

stdevTest_b:=.08     stdevRev_b:=.1

则diffStdev_a:=stdevTest_a - stdevRef_a    = .19

     diffStdev_b:=stdevTest_b - stdevRef_b   = -.02

比较每个diffStdev_a和diffStdev_b的标准偏差的差值与自然语言表131（图3）中的阈值以选择每个值的对应量化仓。

当diffStdev_a和diffStdev_b均量化成不同值时，图3的自然语言选择器130然后如在图6的过程630和640中所示生成用于描述特定条件的以下文本：

总言之，视频具有{最高级1} {更多/更少}红色和/或绿色多样性以及{最高级2} {更多/更少}蓝色和/或黄色多样性。

这在例5中由于diffStdev_a量化到仓2并且diffStdev_b量化到仓1而变成：

“总言之，视频具有明显更多红色和/或绿色多样性以及略微更少的蓝色和/或黄色多样性。”

回顾图1和图3，虽然已经参照文本书面语言评价来说明上述示例，但是本发明的某些实施例还包括口语模块60、140。口语模块60、140可以包括如下语音处理器，该处理器被构造成从自然语言创建器系统50、130接受自然语言评价并且生成评价的音频消息。这些实施例可能在不便读取文本消息的实例中是重要的。例如视频编辑者可以在观看视频之时实时编辑修改的视频，而本发明的实施例定期给予实时测量属性的口头提示。以这一方式，视频编辑者可以保持他的或者她的目光聚焦于处理的视频流而无需在编辑过程期间读取可变颜色属性的报告、也无需注视原始视频。

如上文描述的那样，本发明的实施例包括一种用于提供对在参考与源图像之间的相对颜色质量的自然语言客观评价的系统。该系统可以包括如下颜色转换器，该颜色转换器接收在参考图像与源图像之间的差值测量并且基于差值测量来确定颜色属性改变。颜色属性可以例如包括色调偏移、饱和度改变和颜色变化。此外，量值指数设施确定已确定的颜色属性改变的量值。另外，自然语言选择器将颜色属性改变和该改变的量值映射到自然语言并且生成颜色属性改变和颜色属性改变的量值的报告。然后可以用文本或者音频形式或者以文本和音频形式两者向用户传送输出。

虽然已经描述具体实施例，但是将清楚本发明的原理并不限于那些实施例。可以进行变化和修改而未脱离如在以下权利要求书中限定的本发明原理。