感知,思维,行为:层次化的视频内容分析技术研究

摘要

基于内容的视频分析技术是解决当前信息超载现象的重要方法,已经成为多媒体分析领域的研究热点。本文的研究目标是模拟人类认知过程研究有效的视频内容分析技术,使用户可以在海量视频中便捷地发现自己喜欢的视频片段。本文根据认知心理学理论体系,提出了基于“感知,思维,行为”的层次化视频内容分析框架,并重点对用户注意力建模、视频语义事件检测及视频精彩镜头的个性化推荐进行了较深入地研究。论文的创新性工作主要表现在以下三个方面:
　　 1、提出了通用的视频内容分析框架:与现有以视频类型为中心的分析框架不同,本文以认知心理学的理论框架为基础,提出了符合人类认知过程的“感知,思维,行为”层次化视频内容分析框架。该框架可以将视频内容分析相关技术按照人类认知过程有机结合起来,并且该框架不再受制于多样的视频类型、复杂的编辑规则等客观因素。
　　 2、提出了符合人类认知过程的各层核心问题及其解决方法:感知层的核心问题是对人的注意力的研究,本文提出了基于韦伯.费希纳定律的用户注意力模型来进行视频显著性分析；思维层的核心问题是人类对概念和逻辑推理的研究,根据人类逻辑推理的两种方式,即演绎推理和归纳推理,本文提出基于规则、统计模型以及决策融合的三类语义事件检测方法,从而实现视频语义事件的自动标注；行为层的核心问题是行为动机,为了达到使用户便捷的获取信息这一目标,本文通过融合视频内容和用户偏好信息研究了视频精彩镜头的个性化推荐方法。
　　 3、提出了面向实际应用的视频内容浏览系统:为了分析各层研究内容对用户视频浏览的重要性,我们在视频结构化的基础上利用各层核心技术开发了结构化视频浏览和显著性标注系统、结构化视频浏览和语义标注系统以及视频精彩镜头的个性化推荐系统。
　　 本文综合客观评价和主观评价方式对基于“感知,思维,行为”的层次化视频内容分析框架及其各层核心技术进行了评测。对于视频字幕提取和语义事件建模核心技术,主要以查全率和查准率为标准证明本文提出的方法的准确性和鲁棒性。对于本文提出的层次化视频分析框架及开发的三个系统,采用了基于用户反馈的主观评价方式,通过与传统的线性视频浏览系统的比较可知:该框架能够使计算机自动分析视频内容显著性和语义,在此基础上,本文通过融合用户个人信息开发了视频精彩镜头的个性化推荐系统,该系统可以通过个性化的推荐列表为用户提供导航服务,以满足用户动态变化的个人偏好以及便捷的视频浏览需求。

目录

文摘

英文文摘

第一章 绪论

1.1 研究背景

1.2 研究现状

1.2.1 特征提取

1.2.2 分类器选择

1.2.3 多模态信息融合

1.2.4 整体框架设计

1.2.5 存在的问题

1.3 论文的主要研究工作及创新点

1.3.1 主要研究工作

1.3.2 主要创新点

1.4 论文结构

第二章 层次化的视频内容分析框架

2.1 相关背景知识

2.1.1 人工智能

2.1.2 智能信息系统

2.2 认知心理学

2.3 层次化的视频内容分析框架

2.3.1 感知

2.3.2 思维

2.3.3 行为

2.4 本章小结

第三章 感知层:用户注意力模型

3.1 概述

3.2 注意力模型的建立

3.2.1 问题描述

3.2.2 子模型构建

3.2.3 子模型融合

3.3 注意力模型的应用

3.3.1 视频精彩单元的检测

3.3.2 结构化视频浏览和显著性标注系统

3.4 实验结果

3.4.1 视频字幕信息提取实验结果

3.4.2 注意力模型性能分析

3.5 本章小结

第四章 思维层:视频语义事件检测

4.1 概述

4.2 基于规则的语义事件检测

4.2.1 问题描述

4.2.2 应用举例:新闻视频主播镜头检测

4.3 基于统计模型的语义事件检测

4.3.1 问题描述

4.3.2 应用举例:基于HMM的色情镜头检测

4.4 基于决策融合的语义事件检测

4.4.1 问题描述

4.4.2 应用举例:多模态融合的采访镜头检测

4.5 语义事件检测的应用

4.6 实验结果

4.6.1 新闻视频主播镜头检测实验结果

4.6.2 色情镜头检测实验结果

4.6.3 采访镜头检测实验结果

4.6.4 结构化视频浏览和语义标注系统性能评价

4.7 本章小结

第五章 行为层:视频精彩镜头的个性化推荐

5.1 概述

5.2 视频精彩镜头的个性化推荐

5.2.1 问题描述

5.2.2 视频内容和用户偏好信息发现

5.2.3 镜头关联网络构建

5.2.4 网络结构分析

5.2.5 个性化推荐策略

5.3 个性化推荐的应用

5.4 实验结果

5.4.1 个性化推荐方法的实验结果

5.4.2 个性化推荐系统评价

5.5 本章小结

第六章 总结与展望

6.1 总结

6.1.1 通用的层次化视频内容分析框架

6.1.2 符合人类认知过程的各层核心问题及其解决方法

6.1.3 面向应用的视频内容浏览系统

6.2 展望

6.2.1 视频语义分析

6.2.2 以人为中心的研究方法

6.2.3 统一的评测方法和通用的数据集

参考文献

发表论文和科研情况说明

致谢