基于感知替代的视听信息融合方法研究

摘要

随着科技的发展，现代化的机电设备趋向于：高自动化、高智能化、高自适应性及高自我决策性，这种趋势也是由机电设备的作业条件及实际中需要解决的问题决定的。因此，为了能让现代化的机电设备高效、稳定的工作，就需要对作业现场进行实时监测，并根据监测结果让设备自身做出相应的决策控制，以便更好实现其功能，合理、高效完成实际任务，即机电设备能具有类似人类等生物体处理自身感知信息的能力：融合多种感知信息的能力。
　　本文首先理解和分析了生物、生理学及脑科学关于对视听感知信息的处理、传导机制，并受相关研究成果的启示，构建了面向视听信息的融合体系模型。其次，在此模型框图的指导下，研究与分析了现有融合理论与方法，对其各自的优缺点及适应性进行了分析，确定了适合课题研究的融合方法。以解决实际问题为出发点，构建了面向机电系统状态监测的视听信息采集、处理及融合体系。此体系在融合层级上，根据现有硬件处理信息的能力及实际待解决问题的需要，确定对视听传感信息在数据层进行融合。以感知替代为生理学启示，采用vOICe基本原理将声音与图像进行一致性编码，采用主成分分析算法（PCA）提取视听传感信息中的特征值，同时对信息进行融合，构成描述视听传感信息的特征向量空间，将这组特征向量作为BP网络识别器的输入，通过识别器自身算法的处理，输出一组能准确描述机电设备状态的数据，并对数据进行编码处理，以直观的方式对机电系统的状态进行描述。
　　最后，在理论研究知识的指导下，构建了解决实际问题的视听传感信息融合应用系统，系统用于对机械手在抓取物体运动过程中的状态进行监测与判断。结果表明，这套系统可以准确判断设备的运行状态，与传统的监测系统相比，减少了误判、错判的概率，也证明了论文所构建的视听信息融合理论体系的可行性。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1引言

1.2课题背景及意义

1.3国内外研究现状

1.4 论文主要研究工作

第二章 视听信息的生理学研究及启示

2.1 引言

2.2 视听信息生理学传导机制及启示

2.3 视听感知模式的相关性研究及启示

2.4人类大脑中视听信息融合现象与分析

2.5 视听信息生理学启示性处理模型

2.6 本章小结

第三章 信息融合理论与方法

3.1引言

3.2融合策略

3.3 识别算法

3.4 视觉信息转化为听觉信息

3.5 主成分分析算法描述与研究

3.6 融合算法框架的搭建

3.7 本章小结

第四章 视听信息融合主要算法的建立与分析

4.1引言

4.2 视觉信息与听觉信息的前期处理

4.3 对图像进行可听化处理

4.4视听信息的预处理

4.5主成分分析

4.6基于BP神经网络的分类器设计

4.7 从维度角度分析算法

4.8 算法的融合层级讨论

4.9 本章小结

第五章 算法的实现与实验验证

5.1 引言

5.2 硬件实验平台组成及工作原理

5.3 软件系统实验

5.4 实验结论

5.5 本章小结

第六章 总结和展望

参考文献

致谢