基于多模态信号识别的无障碍电子书阅读器的研究和实现

摘要

随着智能手机的大范围应用，手机上的电子书App渐渐成为人们学习和阅读的主要方式之一。但是视障人群由于视力问题在使用电子书的过程中遇到了很多问题，比如很多电子书App无法支持语音朗读、控件不符合无障碍设计，使得视障人群使用电子书效率低下，甚至根本无法使用，所以为视障人群定制一款无障碍电子书阅读器十分重要。于是本文设计并实现了一款为视障人群使用的无障碍电子书阅读器。
　　首先，本电子书实现了市面上一般电子书的通用功能，并且添加了很多手势和语音合成部分，实现了基于语音识别的交互技术，可以通过简单的语音指令实现一系列操作。本文对传统的语音信号端点检测算法稍作改进，然后用线性插值法替代了逐帧移动算法来进行关键字检出，提高了时间效率。
　　其次，为了解决视障人群键盘输入图书名字困难的问题，改进了基于神经网络的图像匹配算法，用该算法使得视障人群通过拍摄书本封面图片然后和数据库中的图片库进行匹配即可得到电子书资源。本文对传统的特征点检测算法Fast算法进行改进使之具有缩放不变性和尺度信息，然后用稀疏自编码器训练数据来计算特征描述子，并且对其进行改进，在损失函数中加入了参数正交的约束并且将全连接改为了局部连接，使得参数更加有效，计算出来的特征描述子更具有表达性。通过该算法使得视障人群检索书目更加方便。
　　第三，本文针对视障人群之间分享交流电子书冗余的问题提出了基于加密二维码的分享功能。将电子书的URL进行RSA加密后生成二维码再分享给其他用户，其他用户扫码解密后即可进行电子书的下载。RSA加密算法保证了电子书分享过程中的安全性，二维码分享的形式大大简化了视障人群之间分享交流的流程。
　　最后，本文结合以上所述技术实现了iOS平台上的无障碍电子书阅读器，使得视障人群的学习阅读更加便利高效。

目录

声明

摘要

图目录

表目录

第1章 绪论

1．1 课题背景

1．2 主要工作

1．3 文章组织结构

1．4 本章小结

第2章 系统相关技术综述

2．1 基于特征的图像匹配算法

2．1．1 特征点提取

2．1．2 特征描述子

2．1．3 图像匹配

2．2 稀疏自编码器

2．3 语音信号端点检测算法

2．4 本章小结

第3章 基于神经网络的图像匹配算法

3．1 特征点提取算法

3．1．1 Fast特征点提取算法

3．1．2 改进的Fast特征检测算法

3．2 特征描述子

3．2．1 基于稀疏自编码的特征描述子

3．2．2 改进后的FastSparse算法

3．3 实验

3．3．1 数据集

3．3．2 图像匹配实验

3．3．3 旋转不变性实验

3．4 本章小结

第4章 基于语音识别的交互模块

4．1 模块架构

4．2 语音端点检测算法

4．3 语音关键词检出算法

4．4 实验

4．4．1 采集数据

4．4．2 评价标准

4．4．3 实验

4．5 本章小结

第5章 无障碍电子书阅读器的设计与实现

5．1 电子书阅读器的通用功能

5．1．1 图书的获取

5．1．2 分页算法和电子书的显示

5．1．3 电子书的语音合成

5．1．4 电子书的存储

5．1．5 无障碍手势

5．1．6 其他功能

5．2 图片搜索模块的实现

5．3 基于语音识别的交互模块

5．4 电子书分享模块的实现

5．5 本章小结

第6章 总结和展望

6．1 总结

6．2 展望

参考文献

致谢