图像语义标注方法研究及其系统实现

摘要

随着网络技术、多媒体技术、数据库技术的发展和互联网的不断普及，人们对越来越广泛应用的图像等多媒体数据的需求也越来越强烈。传统的基于文本的图像检索已不能完全满足人们的要求，基于内容的检索虽然解决了人们对图像视觉特征所代表的特征语义，但图像的底层视觉特征与图像的语义表达之间存在“语义鸿沟”，不能满足人们按语义检索图像的需求。所以建立图像的语义表示和检索机制势在必行，而对图像进行语义标注是基于语义的图像检索中的核心模块，也是图像理解要解决的关键问题。因此本文选择“图像语义标注方法研究及其系统实现”为研究课题。 图像检索系统CSIR是为了能同时向用户提供基于内容的图像检索和基于语义的检索而设计的系统。在此系统的基础上，本文分析和研究了一种实时图像语义标注方法，并设计和实现了基于语义检索的核心部分-图像语义标注系统。本文的主要贡献在以下几点： (1)深入分析和研究了实时图像语义标注方法RALIP(Real-time AutomaticLinguistic Indexing of Pictures)。其主要内容有：非欧式空间的图像相似性度量、机器学习算法D2聚类(Discrete Distribution[D2-]Clustering)、基于概率的MM混合模型(Mixture Model)以及基于模型的实时标注方法。 (2)提出了基于不确定性推理融合标注结果的方法。本文对RALIP进行了部分改进，采用基于单个特征训练模型并标注图片，最后用不确定性推理融合基于不同特征的标注结果。实验表明，该方法通常情况下能较好地标注图片。 (3)设计并实现了实时图像语义标注系统。该系统是对改进的RALIP方法的实现，由两部分组成：模型训练子系统和图像标注子系统。两个子系统是相对独立的，模型训练子系统可以离线执行，对图像训练集进行训练获得模型；图像标注子系统可在线执行，对未标注的图片进行实时标注。

目录

文摘

英文文摘

声明

第一章绪论

1.1研究背景

1.2研究现状

1.2.1图像标注模型

1.2.2多媒体标注工具

1.3论文主要工作

1.4论文组织结构

第二章图像检索技术概述

2.1基于文本的图像检索

2.1.1描述性文本提取

2.1.2图像检索模型

2.1.3目前存在的问题

2.2基于内容的图像检索

2.2.1 CBIR的基本原理

2.2.2图像内容特征表示

2.2.3图像相似度模型

2.2.4图像检索中相关反馈

2.3基于语义的图像检索

2.3.1图像语义层次模型

2.3.2图像语义提取

2.3.3图像语义标注

2.4典型的图像检索系统

2.5本章小结

第三章一种实时图像语义标注方法

3.1 RALIP基本思想

3.1.1相关概念

3.1.2 RALIP基本思想

3.1.3 RALIP实时性

3.2图像特征提取

3.3图像相似性度量

3.3.1存在的问题

3.3.2 Mallows距离

3.3.3图像相似性

3.4 D2聚类算法

3.4.1 D2聚类基本理论

3.4.2 D2聚类初始化

3.5 MM混合模型

3.5.1假设局部映射

3.5.2模型参数估计

3.5.3求解非线性方程

3.6图像语义标注

3.6.1基于MM混合模型的标注方法

3.6.2一种近似的图像相似性度量

3.7线性规划问题

3.7.1线性规划表示

3.7.2单纯形算法

3.8基于不确定性推理的决策级融合

3.8.1 RALIP问题分析

3.8.2不确定性推理

3.8.3决策级融合标注结果

3.9本章小结

第四章实时图像语义标注系统

4.1图像检索系统简介

4.2实时图像语义标注系统设计

4.2.1系统总体框架

4.2.2系统模块设计

4.2.3数据结构设计

4.2.4主要文件设计

4.3实时图像语义标注系统实现

4.3.1特征提取模块

4.3.2模型建立模块

4.3.3图像标注模块

4.3.4优化功能实现

4.4实验和分析

4.4.1图像数据集

4.4.2实验和分析

4.5本章小结

第五章总结与展望

5.1总结

5.2展望

致谢

参考文献

在学校期间的研究成果