基于融合门网络的图像理解算法设计与应用

摘要

为了提高图像理解(Image Captioning)的预测性能,设计了一种基于"融合门"的深度神经网络模型.该"融合门"网络模型基于编码器-解码器结构设计,是卷积神经网络与循环神经网络的融合.算法首先将输入图像通过VGGNet-16网络进行卷积,得到对应的4096维输出向量,然后将卷积后的输出向量与标注语句向量合并,作为输入向量进入改进后的"融合门"网络,最后获得新的网络输出结果.上述过程按照时间步逐次迭代,最终完成网络训练.使用权威的CI-DEr评价指标来评估该"融合门"网络的预测结果,实验结果表明,该网络的CIDEr值比"Neural Talk"网络的CIDEr值提高10.56％,其他相关的评价指标也有较大幅度提高.该网络结构不但预测指标高,而且其网络参数个数比"注意力机制"网络参数少21.1％,所需要的计算机资源更少,这使得将该网络应用在边缘计算中成为可能,对图像理解成果的推广起到关键作用.