基于上下文关联的多模态信息融合方法研究

摘要

互联网上聚集了海量的图文声像等各种类型的信息资源，它们具有实时的或者非实时的、确定的或者模糊的、互补的或者互斥的不同特征，这些特征要求信息服务系统为用户提供多模态信息以满足用户的信息要求。然而多模态信息的表达方式多样，关系复杂，若孤立对待则可能造成信息资源的浪费，因此有必要对这些信息进行融合，从而为用户提供更为丰富准确的信息。现有的信息融合技术充分利用了多源信息的互补性和增益性，提高了信息处理的质量，但是对于当前互联网环境下的多模态信息集成服务而言，已有的信息融合技术存在一定的局限性:无法有效融合多模态信息中的多态语义;难以实现多模态信息融合中所需的协同性要求。
　　本文借助高层语义的指导性以及多模态信息环境的上下文信息，通过协作学习方法建立多模态联合特征表示与联合空间，实现多模态信息特征层次融合和决策层次融合。
　　文章研究的主要内容如下:
　　第一章是绪论，主要介绍了多模态信息融合的研究背景及意义，信息融合的国内外发展状况和本文的主要研究内容。
　　第二章的研究内容为上下文信息，关联分析，信息融合中关联方法的研究与发展，以及融合进程中上下文信息的使用分析。
　　第三章结合相关文献著作比较分析了多模态信息融合方法。
　　第四章的研究内容为特征层次多模态信息融合过程，融合方法及其应用。
　　第五章的研究内容为决策层次多模态信息融合过程，融合方法及其应用。
　　第六章的研究内容为混合层次多模态信息融合过程，融合方法及其应用。
　　第七章为本文的总结，包括本文的研究成果和展望。
　　文章的研究方法主要有文献分析法，文献研究法等。本文详细分析了上下文信息在多模态信息融合中的应用，归纳总结了多模态信息融合方法，以及对不同融合层次所涉及的融合方法在相关著作中的具体应用作了详细的调查研究。

目录

声明

摘要

1 绪论

1．1 研究背景及意义

1．2 国内外研究现状

1．3 本文的研究内容

2 上下文信息在多模态信息融合中的应用分析

2．1 上下文信息

2．2 关联分析

2．3 融合进程中上下文信息的使用分析

3 多模态信息融合方法研究

3．1 基于规则的融合方法

3．1．1 线性加权融合

3．1．2 多数表决规则

3．1．3 自定义规则

3．1．4 小结

3．2 基于分类的融合方法

3．2．1 支持向量机

3．2．2 贝叶斯推理

3．2．3 D-S证据理论

3．2．4 动态贝叶斯网络

3．2．5 神经网络

3．2．6 最大熵模型

3．2．7 小结

3．3 基于估算的融合方法

3．3．1 卡尔曼滤波

3．3．2 扩展卡尔曼滤波

3．3．3 粒子滤波

3．3．4 小结

4 特征层次多模态信息融合方法研究

4．1 多模态信息特征层融合过程

4．1．1 多模态信息的特征类型

4．1．2 多模态信息的特征提取方法

4．1．3 多模态信息的关联方法

4．1．4 特征层次多模态信息融合过程

4．2 多模态信息特征层融合方法及其应用

5 决策层次多模态信息融合方法研究

5．1 多模态信息决策层融合过程

5．2 多模态信息决策层融合方法及其应用

6 混合层次多模态信息融合方法研究

6．1 多模态信息混合层融合过程

6．2 多模态信息混合层融合方法及其应用

7 总结与展望

7．1 总结

7．2 展望

参考文献

在校期间发表的论文

致谢