基于自适应肤色建模与深度学习的视频肤色增强方法研究

摘要

在视频采集与跨媒体再现的过程中，由于摄像设备的色域限制，例如色域范围较小的廉价相机，获取的图像会出现色彩失真现象；另外，部分年代较早的图像同样存在色域范围较小的问题，与现代宽色域显示器不匹配。因此，需要对图像进行色彩增强，提高图像、视频画质。在各类色彩中，人类肤色更易吸引观众的注意力，通过肤色增强技术提高视频中肤色的色彩质量，可以有效改善视频画质，在视频处理与显示设备优化等领域具有广泛的应用前景。 肤色增强任务需要对不同视频场景中的人类肤色区域进行准确检测与处理，这需要算法具备良好的自适应性。并且，由于视频处理任务对于实时性的要求较高，算法需要维持较低的计算量。为提高肤色增强算法在不同视频场景中的自适应性，同时降低算法的计算量，本文分别基于自适应肤色建模与深度学习两种设计思路，提出了两种不同的肤色增强方法。 第一种方法基于人类肤色在 YCbCr 色彩空间的分布特征，建立一种自适应肤色检测模型；其次，该方法通过主观实验，统计观众对于不同种族肤色的主观偏好，建立相应的偏好肤色预测模型；此外，该方法基于对视频帧间特征差异的研究，通过视频分割与节点标记来引导肤色模型更新，与现有技术中逐帧更新模型的方法相比，降低了算法的计算量。 第二种方法设计了一种轻量级肤色分割网络，通过多分辨率特征融合引导模型对不同维度特征信息的学习，并且基于人类肤色在 YES 色彩空间，即 E-R/G色彩平面的分布特征，引入一种色彩注意力机制，引导模型对人类肤色特征的拟合，从而实现快速肤色检测。该方法以较低的模型复杂度，实现了与现有语义分割网络相近的肤色检测性能，降低了肤色检测误差对肤色增强的影响。 实验证明，本文提出的两种方法在主观质量评价中均优于现有方法。第一种方法模型复杂度较低，且无需逐帧更新模型，可应用于各类平台，完成实时性视频肤色增强任务；第二种方法与第一种方法相比，虽然提高了算法计算量，但是降低了阈值对于肤色检测性能的影响，获得更优的肤色增强效果，可应用于高性能计算平台或云端服务器，完成高质量视频肤色增强任务。此外，鉴于Android操作系统的普及，本文对两种方法分别进行了面向Android平台的APP实现。