基于轻量级神经网络和残差流式传输的云渲染方法和装置

摘要

本发明公开了一种基于轻量级神经网络和残差流式传输的云渲染方法和装置，云端利用基于轻量级神经网络构建的图像预测模型，对输入数据进行图像预测计算，输出预测的低质量图像；同时基于三维场景数据生成高质量图像，计算高质量图像与云端预测的低质量图像的图像残差，并将图像残差经流式数据压缩方法压缩后传输至终端，终端利用基于轻量级神经网络构建的图像预测模型，对输入数据进行图像预测计算，输出预测的低质量图像，将接收的图像残差叠加至终端预测的低质量图像，得到当前帧的重建结果作为当前帧的最终渲染图。该方法和装置通过引入流式传输的图像残差，在不要求高传输带宽，在保持终端上低延迟、高帧率的同时，获得实时高质量图像。