基于联合媒体相关模型的图像标注及其应用

摘要

利用人工图像标注结果作为索引信息并且使用此信息检索图像库是一种昂贵而费力的过程。与此同时，自动图像标注由于在图像理解和检索方面的潜在巨大影响而逐渐受到人们的重视。 一方面，结合共现模型和翻译模型的主要思想，本文提出一种基于联合媒体相关模型的图像标注算法(CMRM算法)。给定一张待标注的图片，利用训练数据集合、单词集合、及视觉词元集合等信息建立联合媒体相关模型，即运用其统计信息建立概率模型并估计单词与给定图片的视觉词元的联合概率，从而通过概率值大小提取最有代表性的语义作为图像的标注结果。基于联合媒体相关模型技术，CMRM算法可以有效地利用大规模的带丰富标注的训练数据，从而达到比现有图像自动标注算法更好的查全率和查准率。在Corel数据集上的实验验证了该算法的有效性。 另一方面，如何在图像检索中有效利用标注结果还没有很好的解决方法。本文引入基于标注的文本化检索框架并且提出基于概率模型的分级检索和直接检索模型。给定一个查询，可以将图像库进行自动标注，然后根据文本检索方式得到与查询相关的检索结果。为了实现分级检索的目的，可以通过联合概率模型计算给定查询与图像库中图片的相关程度，从而达到分级检索图片的结果。另一种实现方法是将查询语言转化为视觉词元语言，并且基于K-L测度计算给定查询内容与图片之间的距离，然后通过距离准则实现分级检索图片的目的。在Corel数据集上的实验证明了这三种检索方式的有效性。

目录

文摘

英文文摘

声明

致谢

1 绪论

1.1 背景

1.2 研究现状

1.3 本文研究内容

1.3.1研究内容概述

1.3.2论文结构

2 基础知识

2.1 概率论基础

2.2 信息论基础

2.2.1自信息量

2.2.2信息熵

2.2.3相对熵

2.3 图像自动标注模型综述

2.3.1共现模型

2.3.2机器翻译模型

3 基于联合媒体相关模型的自动图像标注

3.1 离散特征向量

3.2 联合媒体相关模型

3.3 基于CMRM的自动图像标注

3.4 实验分析与讨论

3.4.1实验数据集介绍

3.4.2模型评测标准

3.4.3模型参数凋整

3.4.4模型比较

3.4.5讨论

3.5 本章小节

4 基于联合媒体相关模型的图像检索

4.1 基于自动图像标注结果的图像检索

4.1.1基于文本标注的图像检索

4.1.2基于概率模型的图像检索

4.2 基于联合媒体相关模型的直接检索

4.2.1 CMRM逆过程

4.2.2分级检索

4.3 实验分析与讨论

4.3.1实验数据

4.3.2 PACMRM与DRCMRM性能比较

4.4 本章小节

5 总结与展望

5.1 总结

5.2 展望

参考文献

作者简历