一种融合图像过滤器的多模态摘要生成方法

摘要

本发明涉及一种融合图像过滤器的多模态摘要生成方法，包括步骤：获取输入文本的隐藏表示，得到文本上下文向量；提取输入图像的全局图像特征向量，并进行加权和计算得到图像上下文向量；对文本上下文向量与图像上下文向量进行融合，得到多模态信息的融合向量；采用图像过滤器来过滤图像中的噪声，选择最显著的图像特征，对图像上下文向量进行权重更新，并得到更新后的融合向量；采用单向的长短期记忆网络作为解码器，将更新后的融合向量解码得到最终的文本摘要。本发明从图像信息和文本信息融合出发，充分利用不同模态的信息提高文本摘要质量，并且能够应用于更大规模数据集应用场景。