基于视觉语义引导的图像去模糊方法

摘要

基于视觉语义引导的图像去模糊方法，涉及计算机视觉和人工智能领域。提出结构化空间语义嵌入模型，构造S3树用于自动推断结构化内容和在推理期间提供结构化空间特征，连接图像语义理解和图像去模糊两大模块，在多任务中实现语义的建模和嵌入，以获得最佳的特征图；在模糊图像去模糊过程中，将获得的最佳的特征图采用卷积与合并操作输入到去模糊模块中；该去模糊模块基于树结构的生成对抗网络进行训练；其中损失函数包括：S3树引导的对抗损失以及S3树引导的内容损失；模糊图像自动描述和图像去模糊协同训练，对树模型进行行优化。采用基于结构化空间语义嵌入的全新深度学习网络设计，解决了模糊图像去模糊中没有考虑图像语义内容等问题。