检测视频中视觉应力和光敏性癫痫诱因的方法和缓解装置

摘要

公开了检测视频中视觉应力和光敏性癫痫诱因的方法和缓解装置。本发明的实施例包括一种用于检测视频中的视觉应力场景的方法。首先，接收包括可能对某些观看者引起视觉应力的场景的视频。然后，生成表示来自视频中的场景的人感知响应的信号。将包络跟随器应用于感知响应，由其可以生成视频包含视觉应力场景的指示。该输出还可以用来控制对比度限制电路，其修改原始视频以去除可能造成视觉应力的那些场景或使其最小化。另外，可以将来自包络跟随器的输出转换成模拟EEG信号并用来通过将模拟EEG信号与从观看同一视频的观看者直接测量的一个相比较来验证准确建模。

说明书

技术领域

本公开针对视频分析系统，并且更特别地，涉及准确地检测视频中的视觉应力和光敏性癫痫诱因（photosensitive epilepsy trigger）的系统和方法以及缓解此类诱因的装置。

背景技术

癫痫是促使受折磨的那些人具有发作（seizures）的神经紊乱。有时，外部刺激触发发作。例如，具有光敏性癫痫（PSE）的那些人在被暴露于包括光的强对比度和暗区域的脉动光或图案时具有增加的经历发作的可能性。即使没有发作诱发，脉动、闪烁或高对比度图像也可能对视频的观看者造成视觉不适，诸如电视上的或电影院中所显示的广播。闪烁图像可能是由于视频内容和/或视频处理的效果而引起的。某些国家要求针对此类PSE诱因预先筛选广播视频。当前要求规定针对在屏幕的超过四分之一上具有超过20尼特差的闪烁和棋盘或条状图案检查视频。虽然国际电信联盟（ITU）标准包括闪烁的检查，但不存在除建议手动方法之外概述的检测方法：观看者使用ITU-R BT.500指定的家庭观看条件来观看视频，并且确定视频是否看起来具有闪烁等。也没有包括所有PSE诱因的方针。

一个市售产品、剑桥研究体系的硬化闪烁和图案分析器（Harding Flash and Pattern Analyzer）声称能遵循方针筛选诱因，这意味着其可能在视频中搜索时间（闪烁）或空间（条或棋盘）图案检测。

然而，没有当前系统分析视频图像并产生视觉不适的定量指示、预测、警报以及原因。此外，不存在主动地检测具有可能诱发PSE发作的场景的视频并主动地缓解此类场景的设备。

本发明的实施例解决了现有技术的这个及其他限制。

发明内容

可缩放（相对于图像分辨率、帧速率、实时对比较高准确度等方法提供了视觉不适的定量、指示、预测、警报和原因。这些方法可以用来实现现有联合王国、日本、ITU以及其他广播方针以及未被这些方针直接覆盖的PSE诱因视频刺激的相当大的超集。其在允许全域中的关于光敏性的变化同时对可能的视觉不适的程度进行量化。此外，其说明由于不同的显示器和观看条件而引起的刺激的差异，诸如那些家庭观看屏幕以及电影、PDA以及可以观看视频的其他常见方式。

本发明的特定实施例是针对一种用于检测视频中的视觉应力场景的方法，包括接收包括可能引起某些观看者的视觉应力的场景的视频并生成表示来自视频中的场景的人感知响应的信号。接下来，将包络跟随器应用于感知响应信号，并且基于包络跟随器的输出来生成视频包含视觉应力场景的指示。其他实施例包括基于特定场景可能对某些用户造成视觉应力的测量可能性来主动地降低输入视频的对比度。此外，可以将包络跟随器的输出转换成模拟EEG信号并与来自观看相同视频的观看者的实际测量EEG信号相比较，以验证视觉应力检测器的准确度。

附图说明

图1是具有视觉应力检测系统的画面/视频质量分析器的功能方框图。

图2是包括诱发机理和被认为负责PSE发作的大脑区域的人视觉模型的功能方框图。

图3是根据本发明的实施例的包括视觉应力检测和测量系统的质量分析器的部分的功能方框图。

图4是根据本发明的实施例的包括视觉应力检测和测量系统的另一质量分析器的部分的功能方框图。

图5是根据本发明的实施例的来自被用作图3和4的视觉应力检测电路的一部分的包络跟随器的输出的图表。

图6是图示出根据本发明的实施例的包络跟随器以及图3和4的丘脑皮层回路模拟块的输出的响应的图表。

图7A、7B、7C、7D、7E、7F和7G图示出使用本发明的实施例生成的一系列模拟EEG信号。

图8和9是图示出在某些条件下显示出光致惊厥EEG响应的光敏性的病人的比例的实际上测量和用本发明的实施例模拟的响应的图表。

图10和11是图示出在其他条件下显示出光致惊厥EEG响应的光敏性病人的比例的实际上测量和用本发明的实施例模拟的响应的图表。

图12是使用本发明的实施例来主动地缓解视频流的视觉应力区域的示例性系统的功能方框图。

具体实施方式

图1是根据本发明的实施例的具有视觉应力检测系统的画面/视频质量分析器的功能方框图。画面质量分析器100以视频形式接受画面或画面流作为输入。在本公开中，将分析器100称为画面质量分析器，或者仅仅分析器，无论其是否接受视频或静止图像。早期视觉感知响应块110通过早期视觉感知来处理输入视频，诸如将已处理视频分离到两个路径中之前的时空滤波。测量块120然后分析视频并生成定量和定性度量，其中的一部分或全部可以作为数据发送到分析器100之外，或者可以在内部使用。视觉应力检测模块130针对可能潜在地引起视觉应力（诸如用于用户的不适），或者可以潜在地充当用于患有光敏性癫痫（PSE）的一个人的发作的诱因的场景或图案对预处理视频进行分析。为了简便起见，在本公开中，将可能引起视觉应力的所有场景称为PSE诱因，无论视觉应力是否足够严重，或者具有足够的持续时间促使发作发生。

图2是作为用于本公开的素材（material）的人视觉输入及其结果得到的大脑响应区域的功能方框图。丘脑皮层辐射212是连接大脑中的丘脑和大脑皮层的纤维，而丘脑皮层回路216是功能性回路系综（ensemble），每个包括皮层、网状和丘脑皮层神经元。皮层刺激在网状细胞中引起一系列纺锤波并在丘脑皮层细胞中引起一系列尖峰。丘脑皮层回路控制感觉信息的传播并在睡眠纺锤和失神发作的产生中被涉及。可以使用EEG（脑电图））监视并评估大脑输出。

图3和4是根据本发明的实施例的包括视觉应力检测的质量分析器的一部分的功能方框图。在图3中，现有质量分析器320可以提供显示建模322、观看环境324和早期视觉感知响应312的功能。例如在题为Predicting Human Vision Perception and Perceptual Difference的美国专利6,975,776中可以找到这些功能的描述。这些功能包括时空池，给定表示每个时间样本的感知对比度的标量值（即每个视频帧的总感知对比度值）。早期视觉感知响应312的输出是非常准确的，并且非常紧密地跟随人视觉感知响应。由于显示模型322和观看环境324，感知响应说明输出显示器的不同色彩响应以及显示特性和其中正在观看显示器的观看环境。然而，将自适应、非线性滤波器用于视觉感知响应块312的此精确度是以相对高的计算成本实现的。替代地，在图4中，可以出于本发明的目的用一系列空间和时间滤波器来替换早期视觉感知响应312块。例如，图4的归一化时空带通滤波器412可以包括用于中心和周围区域的单独三维滤波器，每个为空间和时间滤波器的级联。在以下情况下（仅示出了时间滤波），考虑空间滤波器输出是到时间滤波器的输入。然后，针对视频帧中的每个像素，可以如下应用时间滤波器（n在本示例中是表示时间样本或帧数的指数）。

这是接近于在美国专利6,907,143中描述的时空滤波器方法的时间部分的形式，其技术可以用于上述滤波器。请注意，由于b0cmin＝1，时间中心滤波器是透明的且对于此采样率而言可以去除。这是不准确地匹配人视觉系统的相应解剖部分的响应的最优化步骤，但是下述包络跟随器部分具有对此进行补偿的低通响应。并且，进一步调整（justify）b0cmin（以及K1＝0设置），因为针对光刺激，我们对检测PSE诱因感兴趣，一般地，时空对比度是大的且峰值亮度（luminance）通常大到足以促使surLum[n]*K1项大到足以促使b0[n]值钳位于一。

可以用在上文参考的'143专利中公开的技术来执行空间处理，由于surLum[n]*K1在峰值期间是最大而再次被简化。这些简化一起允许更多的流线型、更快的时空滤波。

然后，滤波差是

diffLum: = centLum – surLum。

用以下简化模型来近似作为用于高对比度视频的中心、周围和差的函数的感知对比度：

。

来自图4的归一化时空带通块412的此pcdiff[n]输出对应于图4的感知响应312的输出，每个帧的感知对比度响应。图3和4的块的任何输出或从其导出的数据可以从质量分析器输出，包括作为输入视频的视觉不适的定量指示、预测、警报以及原因的视觉应力指示。

返回参考图3和4，出于视觉应力和PSE诱因检测的目的，本发明的实施例用包络跟随器电路314对图2的丘脑皮层辐射212进行建模，如下文参考图5详细地描述的。另外，还在下文描述的丘脑皮层回路模拟块316、416是生成可以与来自被已知正在经历视觉应力的那些人的EEG数据相比较的输出的验证模拟。针对此类EEG数据匹配来自丘脑皮层回路模拟块316、416的输出确认包络跟随器314、414准确地对经历PSE诱因的那些人的突发性大脑响应的对开始（攻击）、持续时间和衰退的刺激进行建模。

对于4×29.97＝119.88样本/秒的示例性时间采样速率而言，示例性包络跟随器314、414具有如下给出的攻击和衰退参数：

包络跟随器：

图5是来自包络跟随器、诸如图4的包络跟随器414和图3的314的输出的图表。在图5中，提供了达约2秒的交替正和负的示例性输入信号脉冲串，其表示图4的归一化早期感知输出412。包络跟随器输出响应于输入而呈指数地上升。然后，在输入信号停止调制之后，在约2秒时，包络跟随器缓慢地衰退，如图5中所示。并且，示出了放大包络跟随器输出，其跟随与包络跟随器相同的输出，但是具有较高增益。

如上所述，图3和4的丘脑皮层回路模拟块316、416产生对EEG信号进行建模的信号，该EEG信号被用于验证包络跟随器314、414产生准确的结果，尽管有将此类简单模型用于丘脑皮层回路的看起来的简化。以下模型公式被用于模拟EEG。此简单模型包括噪声项以更完整，但是对于我们的验证目的并不是要求的，因此在这里被设置为0。图6—11一起示出了此模型如何说明EEG模拟。  

其中，用于此特定情况的f()是：

f[n] = G1 *f[n-delay] *(1-G2*f(n-Delay)), 其中

·G1 = （视觉皮层增益）*（丘脑皮层增益）

·G2 = 丘脑网状增益

·Delay = 丘脑皮层回路延迟

或者，等价地，

f[n+delay] = G1*f[n]*(1-G2*f[n])

针对被归一化成1的延迟：

f[n+1] = G1*f[n]*(1-G2*f[n])

以及对于用x[n]替代G2*f[n]

x[n+1]/G2 = (G1*x[n]/G2)*(1-x[n])

将两边乘以G2：

x[n+1] = G1*x[n]*(1-x[n])

并且，对于此EEG模拟而言，可以将钳位函数（clip function）实现为

clip (x) = if( x > 1, 1, if( x < 0, 0, x))。

在图6中图示出来自此公式的输出，其为图示出包络跟随器314、414两者的响应以及图示出丘脑皮层回路模拟块316、416的一部分的图表。脉冲串表示并模拟PSE诱因输入，在此图表的左手侧示出。图表顶部附近的“r”值是具有被校准以在两个不同的采样速率（1个样本的延迟对比~21个样本的延迟）下导致期望的r值的增益的放大包络跟随器输出。这些响应几乎是相同的且看起来被叠加在图6上。还图示出分别是图3和4的丘脑皮层回路模拟块316、416的输出的模拟丘脑皮层回路响应，分别地，来自其用作输入的不同“r”值（包络跟随器响应）的每个的一个。

图7A-7G图示出作为单独（3细胞）丘脑皮层回路的系综产生的一系列模拟EEG信号。图7A是用于根据上文给出的EEG模拟方程产生的单个回路的输出。图7B、7C、7D和7E被类似产生的，不同的是模拟EEG信号包括在引入延迟的同时被加在一起的多个信号。这对丘脑皮层回路本身内的活动进行建模，其包括基于其生物化学组成的延迟量。图7B图示出基于来自三个并行回路的输出的模拟EEG信号，而图7C图示出基于来自三个回路的输出的模拟EEG信号。图7D图示出四个回路，而图7E图示出十个回路。图7F通过使用来自IIR滤波器的输出来模拟回路的非常大的熹宗。图7G图示出覆盖在具有从文献获取的相同刺激定时的示例性突发性EEG上、以便检查响应定时的图7F的模拟EEG输出。注意用回路的大的系综产生的模拟EEG如何多准确地与图7G中的实际测量EEG匹配。

图8-9解释如何使用本发明的实施例来检验在时间（闪烁）频率上的人口灵敏度。一般地，图8-9示出了示出各种时间频率上的对闪烁的光致惊厥（突发性）响应以及使用本发明的实施例所产生的模拟响应的人口百分比，诸如上文参考图3和4所述的，其已被根据以下方程组转换成概率：

max(prob271)的值是从在相应图中所示的用于特定测试号的实验数据获取的最大概率，并且如图8和9所示的p(power)值是2。因此，probPerPcDiffEnv是在被提高至p阶幂之后对pcDiffEnv输出进行缩放的归一化常数（标量值），使得预测响应和测量响应的最大值相符。

图8图示出光敏性病人的比例的实际上测量和由本发明的实施例模拟的响应，所述光敏性病人对间歇性光显示出光致惊厥EEG响应，表示为来自已知研究的闪烁频率的函数。使用100%对比度时间方波来模拟该刺激，具有1000尼特的平均亮度。图9类似于图8，不同的是对于图8而言，针对170个病人（测试271）获取数据，而在创建图9的图表时使用用于仅16个病人（测试275）的数据。

从上文回想，具有光敏性诱因的那些人的一部分不仅对闪烁图像敏感，而且甚至对包含高对比度的静态图像敏感。本发明的实施例还可以用来提供以概率方式测量的被识别为对各种空间频率下的图案具有光致惊厥（突发性）响应的人是否实际上将对特定图案具有响应的预测。

图10图示出对高对比度光图案显示出光致惊厥EEG响应的光敏性病人的比例的实际上测量和由本发明的实施例模拟的响应。激起图10中所示的响应的刺激是具有75%对比度的条的图案，具有300尼特的平均亮度。在图10中示出了测量响应以及用本发明的实施例预测的响应。另外，在图10中图示出最大和最小测量极限。图11类似于图10，不同的是等价模拟刺激是4 cpd方波，具有55尼特的平均亮度。

返回参考图3和4，丘脑皮层回路模拟块316、416在确定包络跟随器314、414对经受PSE诱因时的大脑中的突发性事件的开始、持续时间和衰退准确地进行建模时是有用的。丘脑皮层回路的简化近似、以及因此结果得到的预测准确度的证实是由于单模映射（unimodal map）的性质，其是非线性系统理论的示例。模拟丘脑皮层回路的单模映射方法是基于可以将丘脑皮层回路近似地建模为逻辑映射的假设，该逻辑映射具有用时空感知对比度响应的包络调制的最大函数值。解剖证据以及单模映射的通用原理一起提供支持此假设的证据。

丘脑皮层回路的性质：

丘脑皮层回路延迟：单神经元

·平均启动响应延迟：~10.1 ms

·轴突信号传播延迟：

·延迟/长度：0.35-0.68 mm/ms

·用于丘脑至皮层的平均~= 70mm

· 平均轴突延迟 ~= 70*0.515 = 36.05 ms

·突触延迟：~ 21.55 ms

丘脑皮层回路延迟：皮层、丘脑皮层&网状

·皮层、丘脑皮层：启动+轴突+突触延迟：

每个10.1 + 36 + 21.55 ~= 68 ms

·网状：启动+~可忽略轴突+突触延迟：

10.1 + 21.55 ~= 32 ms

·总丘脑皮层回路延迟：

68ms + 68ms + 32ms = 168 ms

·与对视觉刺激的反应时间相比较：

190 - 268 ms

可以使用以上性质来将单模映射聚合。

丘脑皮层回路映射：

y[n] = G1 *y[n-delay]*(1-G2*y(n-Delay)), 其中

·G1 = （视觉皮层增益）*（丘脑皮层增益）

·G2 = 丘脑网状增益

·Delay = 丘脑皮层回路延迟

此模式是一种单模映射形式。因此，其符合单模映射的稳定性、周期加倍以及其他性质特性的定量通用性性质。

考虑单模逻辑映射示例：

x[n+1] = f(x[n]) = r*x[n]*(1-x[n])

· “稳定”、“固定”输出对应于下式的交集

x[n+1] = x[n] = f(x[n])

· “稳定”振荡&“固定”输出对应于下式的交集

x[n+delay] = x[n] = f^delay(x[n]) ,

其中，对于延迟＝2,

f^2(x[n]) = f(f(x[n])) = x(n+2), 等

此外，蛛网分析规定如果“r”值、上述包络跟随器314、414的输出大于或等于三，则这指示预测到突发性响应。

接下来，单模映射周期加倍的定量通用性表明其中发生频率加倍的连续r值（和确定相对AC振幅的相应x值）的差的比大约是相同的，无论函数f(x(n))如何，只要f()是单模映射。因此，由于上述丘脑皮层回路的模型反映出在实际丘脑皮层回路中观察到的兴奋与抑制，两者都对应于单模映射，并且因此，这些质量对于给定模型和被建模的实际神经网络而言类似地存在。

图12图示出使用本发明的实施例来主动地缓解视频流的视觉应力区域的示例性系统。换言之，使用此系统，可以处理视频，使得其降低引起视觉应力和PSE诱因的概率。参考图12，限制器710接收可以包括或可以不包括PSE诱因的视频流。在方框712中确定用于视频的感知响应，或者如上文参考图4所述，归一化时空带通滤波器可以被代替。另外，可以使用如上文参考图3和4所述的色彩转换和观看环境处理来处理输入视频。如上所述，包络跟随器714从其输入生成输出信号。然而，与上述不同，包络跟随器714产生用于活动对比度限制器718的其输出信号，活动对比度限制器718也接收输入视频。活动对比度限制器718可以在限制器710内部或外部。

对比度限制器718相对于最大期望对比度相对于输入信号的对比度降低视频输入信号的对比度，如下：

mitigated signal（缓解信号） = centLum * contrastReduction + surLum

其中

ContrastReduction = contrastLUT[desiredEnvelopeOutput]/

contrastLUT[EnvelopeOutput])。

换言之，将时空对比度降低导致期望包络输出所需的因数，其对应于用于引起视觉应力和PSE的相应较低目标概率（target probability）。

Michelson对比度被定义为：

MaxLum - MinLum/MaxLum + MinLum , 其中MaxLum和

MinLum分别表示感兴趣区域的最高和最低亮度。上述对比度降低方法降低此Michelson对比度。

降低对比度而不是如上所述降低信号的动态部分的增益的替换是将缓慢地降低整个视频信号内的增益，然后在已经通过PSE诱因场景之后再次缓慢地提高增益。应缓慢地执行此类降低，约1/2秒或更长，以防止整个视频信号快速地暗化，其本身可能是视觉应力的来源。

在用查找表（LUT）的实施例中，可以高效地执行上述任何对比度处理。

在其他实施例中，可以使用检测方法来动态地缓解或修正视频信号，如上所述，或者可以充当到照相机、编辑设备、广播设备、机顶盒、DVR、个人计算机或显示器720（诸如消费者电视）中的视频的后处理的输入，其降低PSE诱发场景的效果。

在各种实施例中，可以用硬件、软件或两者的组合来实现本发明的部件，并且其可以包括通用微处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）等。

根据前述讨论将认识到的是本发明表示视频应力检测领域中的显著进步。虽然已经出于举例说明的目的图示出并描述了本发明的特定实施例，但将理解的是在不脱离本发明的精神和范围的情况下可以进行各种修改。因此，如由所附权利要求之外，不应限制本发明。