基于计算机图像风格迁移的音乐可视化智能设计研究

摘要

目的基于Processing程序识别音乐特征和图像特征,控制图像风格迁移的实时生成效果,尝试将人对音乐和图像的联觉进行可视化表达。方法预处理阶段分别分析输入的音乐文件和图像文件,提取音乐文件中左右声道的实时强度等特征,识别图像文件中色彩空间及单位像素的亮度。数据交互阶段,建立随机生成效果,并以音乐特征和图像特征为因变量控制粒子生成的位置、时机等。画面生成阶段,通过蠕虫效果对每个有效粒子进行动态视觉展示,根据实时更新的有效特征值指导渲染效果,主要控制渲染过程中新粒子的位置和数量,以及粒子的形状、颜色和速度等。结果音乐文件与图像文件同时对图像风格迁移的可视化表达产生影响,不同搭配方式生成视觉画面和风格属性是独特的唯一的;同时,图像重建过程动态可视,屏幕从空白到完成人像效果呈现的完整过程与音乐播放进程实时同步输出。结论将传统的音乐可视化和图像风格迁移相结合,为音乐可视化增加了具体内容表达,为图像风格迁移增加了时序表达;这种实时信息可视化是人工智能模仿人类通感的一种艺术表达形式,同时是一种表演艺术。这种可视化效果可以帮助用户用音乐生成独一无二的个性肖像;也可被广泛应用于艺术家表达音乐和视觉的关联性。