基于深度学习的多模态数据特征提取与选择方法研究

摘要

随着互联网的发展以及科学技术的不断进步，在现实生活与科学研究中都积累了大量类型不同的数据。而且其中大部分数据都呈现为结构各异的非结构化数据，具有维度较高，表现形式迥异，含有大量冗余信息等特点。而传统的机器学习方法又无法直接利用这些多模态非结构化数据，提出一种用于多模态数据的特征提取方法成为迫切需要。同时因为不同模态中包含着冗余信息甚至噪声信息，对于这一问题需要提出一种能够对不同数据模态的特征进行选择的方法，以便去除冗余与噪声信息。
　　本文提出了一系列基于深度学习的多模态数据特征提取与特征选择方法。首先为了解决多模态环境下不同数据模态之间结构差异巨大，传统机器学习方法无法直接应用这一现实问题，本文引入了深度学习这一特征提取方法，将深度学习的思想应用于多模态特征提取。本文提出了一种多模态神经网络，对于每一种模态都有一个独立结构的多层子神经网络与之对应，用于将不同模态下的特征转换为同模态特征。同时通过位于这些子神经网络之上的所有模态共有的一个网络层，在这些这些不同的模态之间建立联系，最终将多个异构模态转换成为同一模态并且从中提取出多种数据模态的融合特征。
　　另一方面，不同的模态对于当前的学习任务作用也不尽相同，为了评价不同模态对于当前学习任务的重要程度，本文提出了一种结合了深度神经网络与稀疏表达学习的多模态特征评价与选择方法。首先使用多模态神经网络将不同模态的异构特征转换成为同模态下的同构特征，随后采用基于结构化稀的特征选择方法，得到不同模态的重要性权值，选择出对于当前学习任务最重要的特征，从而达到剔除冗余信息与噪声的作用。一系列的实验结果均表明，本文提出的方法可以有效地对多模态特征进行特征提取，并且可以对不同模态进行正确的相关性评价，有效去除冗余与噪声信息。

目录

声明

摘要

第1章 绪论

1．1 研究背景与研究意义

1．2 国内外研究现状

1．3 论文研究内容及主要成果

1．4 论文结构安排

第2章 相关工作综述

2．1 单模态环境中的特征提取方法

2．1．1 手工提取规则设计用于特征提取

2．1．2 线性映射方法用于低维特征提取

2．1．3 非线性映射方法用于低维特征提取

2．2 深度神经网络在特征学习中的应用

2．2．1 深度学习的方法

2．2．2 深度置信网络

2．2．3 深度卷积神经网络

2．2．4 深度自动编码机

2．3 深度神经网络在多模态特征提取中的应用

2．4 本章小结

第3章 基于半监督多模态神经网络的特征提取方法

3．1 多模态融合特征提取的应用背景

3．2 多模态共享融合特征提取方法

3．3 基于深度学习的多模态融合特征提取

3．3．1 模型结构设计

3．3．2 根部神经网络的同构特征提取

3．3．3 基于自编码机的半监督融合特征学习

3．4 实验设计

3．4．1 实验数据集描述

3．4．2 实验设置

3．5 实验结果分析

3．6 本章小结

第4章 结合深度学习与结构化稀疏的特征选择方法

4．1 多模态特征选择的应用背景

4．2 多模态环境下特征选择常见算法

4．3 结合深度学习与结构化稀疏的特征选择模型

4．3．1 模型总体结构

4．3．2 多模态深度降噪自动编码机

4．3．3 同构多模态特征的评价与选择

4．4 实验设计

4．4．1 实验数据集描述

4．4．2 实验设置

4．5 实验结果分析

4．6 本章小结

第5章 总结与展望

5．1 总结

5．2 展望

参考文献

发表论文和参加科研情况说明

致谢