基于生成对抗网络的舞蹈生成系统设计与实现

摘要

图像生成旨在通过计算机算法学习源图像到目标图像的映射关系，属于计算机视觉中图像内容生成的一个重要分支。目前广泛应用于互动娱乐应用、图像视频生成、图像着色、根据条件重构对象等场景。另外一方面，近几年随着生成对抗网络的蓬勃发展，以及和其他深度学习方法比较，在图像内容生成方面生成对抗网络的研究更有优势。因此，本论文基于生成对抗网络技术，对图像生成领域中的舞蹈生成任务进行算法研究并应用到实际项目，具有极为重要的学术意义和实用价值。 在现实应用中，由于舞蹈中肢体活动较灵活和摄像头角度变化，导致人体各部位的可视信息变化颇大，从而为生成高分辨率的目标舞蹈图像带来巨大挑战。为了生成更有视觉吸引力的合成舞蹈图像，基于生成对抗网络的舞蹈生成算法被提出并将被应用到高分辨率视频生成任务上。根据给定专业舞者的跳舞源视频以及目标人物做一系列标准动作的视频作为输入，生成对抗网络技术被用来将就专业的舞蹈表现转移到目标人物上，并作为具有时空平滑的图像到图像的转换。其中人体骨架图被作为源视频和目标视频之间的中间表示，故问题被转化为学习人体骨架到目标主体外观的映射。同时，PyTorch深度学习框架和PyQT5框架分别用来建立舞蹈生成算法模型和系统图形界面设计，以便实现舞蹈生成应用程序。 两种标准图片质量评估指标SSIM,FID被用来对本算法进行评估。实验结果保证了生成结果的质量也展现了复杂的舞蹈生成的有效性，对人物身材、场景环境以及等影响也具有一定的鲁棒性，取得了很好的生成效果。

目录

第一个书签之前