基于纹理传输的多风格视频艺术化处理

摘要

视频艺术化处理是把给定的一段视频转化到不同的艺术风格进行呈现，在视频娱乐、电影和动漫制作等方面有着广泛的应用。而现有的视频艺术化算法，对视频的艺术化风格模拟种类有限，另外虽然有些算法实现了视频的多风格处理，但算法复杂，不易于实现。针对上述问题，本文提出了一个基于纹理传输方法的多风格视频艺术化处理方法。本文采用基于流场的纹理合成计算表示风格的纹理层，通过传输不同的样本纹理获取不同的艺术风格，且通过流场指导的可控合成可以更好地模拟纹理风格的变化。直接基于光流场传输纹理层会出现纹理拉伸走样现象，本文进一步采取局部纹理修补技术使得不同帧之间的纹理层平滑衔接，保证艺术化后的视频时域连续性。为了提高视频艺术化处理的速度，本文在视频抽象阶段引入GPU加速，利用并行计算框架CUDA实现视频抽象阶段的快速并行加速计算，使其速度较基于CPU的计算有了大幅度提升。同时，对于传输纹理层的修补，也使用了GPU加速，相比较于CPU的修补，速度得到了大幅提升，而且使得处理速度与视频复杂度相分离。本文根据不同的输入纹理风格的设定，模拟了油画、水彩画、点画以及风格化线条等艺术风格，均取得了令人满意的效果。最终，本文完成了一个基于纹理传输的多风格视频艺术化的交互系统，系统根据输入的视频、样本纹理以及光流场数据，逐步完成视频拆分成帧、纹理层的合成传输与修补、视频抽象和视频纹理层融合、封装成视频等操作，得到视频的渲染结果。
　　本文的主要贡献总结如下:
　　1.基于纹理层传输的视频多风格艺术化:将对应不同风格的样图纹理传输并合成到纹理层，将纹理层与源视频合成得到不同的视频艺术化结果。在合成时利用方向场实现带方向的“各向异性”纹理合成，使得视频艺术化合成质量更高。
　　2.面向视频时域连续性的局部纹理修补:采用基于局部纹理合成的方法，对经过光流传输后发生拉伸走样的纹理层进行快速有效修补，从而实现视频艺术化的时域连续性。
　　3.基于GPU加速的纹理修补与视频抽象:利用CUDA加速框架把最大程度并行纹理层的修补，使之相较于CPU端修补速度提升明显。同时，将原有的CPU端的视频抽象算法改为GPU上的并行计算，从而大大提高视频抽象效率。
　　4.多风格视频艺术化系统的设计与实现:利用Qt框架搭建了系统的操作交互界面，根据用户选择的不同视频或者样本纹理完成不同风格的视频渲染。该系统结合CUDA并行处理框架实现了基于可编程图形硬件的视频风格化加速计算。

目录

声明

摘要

第1章 绪论

1．1 论文的研究背景和意义

1．2 论文研究内容

1．3 方法和技术路线

1．4 论文组织结构

第2章 视频风格化及图形可编程硬件加速相关工作

2．1 基于光流的视频艺术化

2．2 基于分割的视频艺术化

2．3 基于非线性滤波的视频艺术化

2．4 GPU加速框架CUDA

2．5 本章小结

第3章 多风格纹理层合成及传输

3．1 纹理传输层的合成

3．1．1 基于样图的块纹理合成

3．1．2 基于方向场的块纹理合成

3．2 多风格样本纹理及方向场的获取

3．2．1 多风格纹理样图的获取

3．2．2 方向场的计算

3．3 基于光流场的纹理层传输

3．4 本章小结

第4章 保持时域连续性的局部纹理修补

4．1 基于局部纹理合成的纹理层修补

4．1．1 拉伸走样纹理定位

4．1．2 纹理合成邻域的选取

4．1．3 纹理合成顺序的确定

4．2 视频纹理层的融合

4．2．1 基于YIQ颜色空间的图像融合

4．2．2 灰度图像的融合算法

4．3 本章小结

第5章 基于GPU的视频风格化加速

5．1 基于GPU的纹理层修补加速

5．1．1 基于GPU的并行纹理修补算法

5．1．2 基于GPU的并行纹理修补邻域选取

5．1．3 纹理修补的邻域羽化

5．2 基于GPU的快速视频抽象

5．2．1 视频抽象算法简介

5．2．2 基于形态学操作的视频抽象算法及其加速

5．3 GPU加速算法结果和比较

5．3．1 纹理修补的CPU端和GPU端速度与效果对比

5．3．2 视频抽象的CPU端和GPU端速度对比

5．4 本章小结

第6章 基于纹理传输的多风格视频艺术化系统设计与实现

6．1 系统界面及模块设计

6．2 多风格视频艺术化系统流程

6．3 本章小结

第7章 多风格视频艺术化处理结果与分析

7．1 水彩画效果对比

7．2 梵高油画效果

7．3 普通油画和水彩画效果

7．4 自定义点画、风格化线条效果

7．5 本章小结

第8章 总结与展望

参考文献

致谢

攻读学位期间参加的科研项目和成果