语音与人体动作识别在船舶操纵中的应用研究

摘要

据统计约80％的海上事故是由船员的操作不当引起的，其中当驾驶员发出操纵命令时，由于舵工的疏忽而没有正确执行，甚至反向操纵车钟、舵轮，从而造成的事故偶有发生，且又很难发现。目前尚未有预防此类事故的有效措施。此外，大连海事大学现有的船舶操纵模拟器桌面系统中只能采用鼠标和键盘来操纵车钟、舵轮及仪器仪表等，界面较多，用户注意力较易分散，人机交互体验较弱。
　　语音识别及图像跟踪技术近年来得到飞速发展，已在许多领域得到成功应用。本文分析了语音信号的预处理、MFCC特征;研究了语言模型和声学模型的常用算法，面对海量网络文本数据，从对网络文本数据的筛选、数据困惑度筛选以及模型插值方面对语言模型进行了改进，提升了语言模型性能;同时研究了图像跟踪相关技术，包括基于高斯混合模型的前景分割、Camshifi算法的人手跟踪及基于历史图像更新的运动方向识别等;最终将以上语音识别及图像跟踪技术应用到船舶操纵过程中，搭建了以下系统及实验平台:
　　首先，搭建了船舶操纵安全监测原型系统。该系统可自动识别船长或驾驶员所下达的命令同时实时监测舵工的操作，对错误的舵轮与车钟操作方向及时发出警告，保证船舶安全航行。
　　其次，在船舶操纵模拟器桌面系统中加入语音识别功能，用户可通过语音对系统发出指令，控制车钟、舵轮、仪器仪表及锚泊等的操纵，实现自然的人机交互。
　　最后，为了使语音识别技术在航海领域得到更广阔的应用，搭建了基于隐马尔科夫模型和深度学习声学模型方法的大词汇语音识别平台，为今后的进一步深入研究做好准备。

目录

声明

摘要

第1章 绪论

1．1 本课题研究的目的和意义

1．2 语音识别概述

1．2．1 语音识别的分类

1．2．2 语音识别技术国内外研究现状

1．2．3 语音识别技术

1．3 视频图像跟踪概述

1．4 本文研究内容及章节安排

第2章 语音识别的基本原理

2．1 语音信号预处理

2．1．1 语音信号的采样

2．1．2 语音信号的预加重

2．1．3 语音信号的分帧加窗

2．1．4 语音信号的端点检测

2．2 语音信号的特征提取

2．2．1 线性预测倒谱系数

2．2．2 Mel频率倒谱系数

2．3 本章小结

第3章 语音识别模型研究

3．1 语言模型

3．1．1 N-Gram统计语言模型

3．1．2 语言模型的评价

3．1．3 语言模型的平滑技术

3．1．4 语言模型性能提升方法

3．1．5 语言模型训练过程及格式

3．2 基于隐马尔科夫模型的声学模型研究

3．2．1 马尔科夫链

3．2．2 隐马尔科夫模型

3．2．3 隐马尔科夫模型的三个基本问题

3．2．4 高斯混合模型

3．3 基于深度学习的语音识别研究

3．3．1 基于深度信念网络的语音识别总体结构

3．3．2 受限制玻尔兹曼机的模型定义

3．3．3 受限制玻尔兹曼机的学习方法

3．3．4 受限制玻尔兹曼机的误差评估

3．3．5 受限制玻尔兹曼机的微调

3．3．6 深度信念网络的语音识别代码结构

3．4 本章小结

第4章 系统实现与实验分析

4．1 船舶操纵安全监测原型系统的设计与实现

4．1．1 视频图像的运动跟踪与方向判断

4．1．2 基于隐马尔科夫模型的车舵令语音识别系统

4．1．3 原型系统的初步实现

4．2 桌面系统的语音识别功能

4．2．1 航海仪器的操纵指令识别

4．2．2 船舶操纵模拟器桌面系统相关操作命令的识别

4．3 大词汇量连续语音识别的实验分析

4．3．1 基于隐马尔科夫模型的语音识别实验分析

4．3．2 基于深度信念网络的语音识别实验分析

4．4 本章小结

第5章 总结与展望

参考文献

攻读学位期间公开发表论文

致谢

作者简介