基于语义的图片集可视化模型

摘要

在信息时代，用户产生的海量图片、文本信息，给我们的管理和分析工作提出了巨大的挑战。大规模图片集的交互式可视分析工具，可以帮助我们挖掘图片数据中的潜在价值，有着重大的意义。大多数先前的研究工作主要基于图片的底层视觉特征，例如几何形状和颜色，来产生可视化布局，从而忽略了图片中的语义信息。本文提出了一个新的可视分析模型，能够在清晰地展现图片集语义信息的同时，保持图片与关键词内在以及相互之间的相似性。这个模型主要包含两个部分:一个语义抽取器和一个布局生成器。语义抽取器使用了一个基于深度神经网络的图片文本描述模型，可以得到图片的文本描述，并转化为关键词的集合。布局生成器使用了一个基于词与词、词与图片、图片与图片之间的相互关系的协同镶嵌模型，将词和图片共同投影到一个二维平面中。用户可以将自身的知识整合进协同投影的过程中。此外，本文在一个原型系统中实现了上述可视分析模型，通过案例和用户研究证明了该方法的有效性，并且对图片可视化的工作提出了指导意见。

目录

声明

摘要

1．1 课题背景

1．2 研究现状

1．3 研究目的和完成工作

1．4 章节安排

第2章 相关工作

2．1 图片可视化

2．2 文本可视化

2．3 降维投影算法

第3章 基于语义的图片集可视化模型

3．1 需求分析与设计原则

3．2 方法概览

3．3 语义信息抽取器

3．4 布局生成器：协同投影模型

3．4．1 预处理

3．4．2 获取图片集的局部语义机构

3．4．3 在语义空间重构图片集

第4章 模型评测

4．1 原型系统与时间效率

4．1．1 原型系统和数据集

4．1．2 时间效率

4．2 参数设置

4．3 用例场景

4．4 布局比较

4．5 用户研究一：布局研究

4．5．1 实验设计与任务

4．5．2 实验流程

4．5．3 结果分析

4．6 用户研究二：可用性评估

4．6．1 实验设计与任务

4．6．2 实验流程

4．6．3 结果分析

4．7 反馈

4．8 讨论

5．1 全文总结

5．2 未来工作展望

参考文献

攻读硕士学位期间主要的研究成果

致谢