多模态码字信息无序交融输入系统设计与实现

摘要

身份认证技术一直是人们关注的焦点与热点,尽管现在出现了许多比较安全的生物特征信息身份认证的可实用技术,但是由于一些主观和客观因素的影响,作为一种独特的认证方式-密码码字,它是无法被其他方式所取代,并且其使用一直与人们的日常生活息息相关。随着社会的不断发展,密码使用的安全性问题逐渐被人们所重视。
　　针对传统单模态密码码字生成方式的缺陷,本文提出了多模态无序交融的理念,重点讨论了集密码键盘模态、黑箱子密码指书模态以及扩展模态于一体的多模态码字无序交融输入系统的硬件以及软件的设计与实现方法。硬件主要包括主控模块、键盘模块、指书键盘模块、通信接口模块、语音提示模块和可扩展模态模块,它们主要实现各类模态信息的采集、上位机与下位机数据之间的传输与交换、对使用者的操作进行语音提示等功能。软件主要实现下位机模态信息采集后数据的归一化、数据上传至上位机、上位机进行信息还原与预处理和信息识别等相关功能。本系统的本质是将多种不同模态的码字生成方式无序融合于一个系统中,最后将采集到的数据转换为上位机可读取与识别的码字信息。
　　本文主要的创新内容为:
　　(1)针对单模态的不足以及多模态的优势,将多模态的概念引入到密码码字生成领域,通过多种模态实现码字信息的生成工作;
　　(2)提出了多模态码字信息无序融合输入系统的体系结构,设计并实现了系统的硬件原理与装置;
　　(3)提出了应对多模态码字无序交融输入的码字信息获取、处理及融合的软件结构系统。
　　实验结果表明,单独使用键盘模态时,识别率高,但是存在硬件受损等客观因素影响,且防类似肩窥效果差;单独使用指书模态时,主要存在码字信息识别率问题,误码率较高可能导致密码被锁,但是安全性较键盘模态高,人机交互更简便;但是当进行双模态交融输入时,虽然各模态的缺点仍然存在,但是可以通过模态间优势的互补性,来克服自身模态的缺陷。该系统相较于传统单模态码字生成方式,通过实现各模态相互间信息和操作性的融合性,从本质上增强了安全性。安全性分析表明,该输入方式的安全隐患仅存于双模态时序同步摄像,进行密码盗取所需的设备成本和技术等将是目前所有密码肩窥行为中最高的。
　　本系统已申请发明专利并进入实审阶段,专利申请号:NO.20110095848。

目录

封面

声明

中文摘要

英文摘要

目录

第1章 绪论

1.1 研究背景及意义

1.2 多模态信息融合的研究现状

1.3 基于码字信息的多模态融合技术

1.4 本文的主要工作

第2章 码字信息生成模态

2.1 键盘模态

2.2 触摸模态

2.3 语音模态

2.4 手势模态

2.5 本章小结

第3章 系统架构及硬件设计

3.1 系统体系结构

3.2 系统的硬件架构设计

3.3 模态信息前置处理

3.4 模态信息分类

3.5 本章小结

第4章 多模态码字信息处理

4.1 密码码字获取

4.2 信息格式归一化

4.3 前置处理

4.4 特征提取

4.5 码字识别

4.7 本章小结

第5章 实验效果及其安全性分析

5.1 码字符号信息采集及识别

5.2 多模态码字输入实验

5.3 安全性分析

总结与展望

参考文献

致谢

附录A（攻读硕士期间投发论文、申请专利及成果展示）