基于音频特征的键盘输入侦听方法研究与实现

摘要

随着科技的不断发展，在我们的社交生活中，利用键盘接入互联网进行信息交流以及使用键盘输入关键信息进行运算的方式占据了越来越大的比重。利用键盘敲击产生的大量声学信号将可能使得窃听者有机会通过对其进行远程窥探，然后进行相应的数学分析还原出键盘敲击的某些敏感信息。随着对安全隐私问题的日益重视，对于按键监控可以直接从键盘敲击产生的声学信号提取用户敏感信息的这一课题引起了广泛的研究关注。 现有的键盘监听方案有：分析键盘上每一个按键敲击音频，建立一个不断学习的过程，从而得到一个基于键盘按键的训练库，利用机器学习的方法虽然能成功识别出每一个敲击的键，但是在攻击场景中，没有机会对被攻击者的键盘进行相应的机器学习，同时学习成本巨大也是该方案的弊端之一。还有的方案基于位置固定，即使用来进行监听的智能手机与被监听的键盘的相对位置是固定的，但是在实际的监听场景中，依赖于预先知道手机键盘相对位置的假设是不现实的。 为了解决这个问题，文中提出了一种无需预先固定移动设备与键盘的监听方法，使用单个手机的两个麦克风对键盘按键进行音频记录，通过利用语音之间的依赖性以及键盘按键的具体布局，开发了一种几何方法来估计手机与键盘相对位置和角度，然后再利用计算得到的手机与键盘之间的相对位置，与计算得到的按键音频到达两个麦克风的时间差便可以进行有效的键盘按键监听。另外给出了一种基于上述过程，通过分析单个按键的梅尔倒谱系数以及k-means聚类的方法有效的提高了键盘按键的识别准确率。在我们的实验中，利用三星智能手机进行实验仿真，结果表明，定位方案实现了高精度，与现有的键盘监听方法相比，按键识别准确率提高了32.6%。

目录

声明

第一章 绪 论

1.1 选题背景与意义

1.2 国内外研究现状

1.3 论文的研究目标与内容

1.4 论文主要研究成果与创新

1.5 本文的组织结构

第二章 理论基础及相关工作

2.1 侦听键盘按键工作概述

2.2 音频信号的端点检测

2.2.1 端点检测的特征参数

2.2.2 音频信号分段与按键提取

2.3 音频按键的TDoA值

2.3.1 TDoA的定义

2.3.2 TDoA的计算

2.4 按键音频的特征参数

2.4.1 梅尔倒谱系数的原理

2.4.2 梅尔倒谱系数的提取

2.5 k-means聚类算法

2.6 本章小结

第三章 PoKeMon系统设计

3.1 侦听键盘按键系统设计

3.2 系统设计的数据处理

3.2.1 按键音频的特征参数提取

3.2.2 语言学统计数据的处理

3.3 “定位按键”的选取

3.4 手机与键盘相对位置的确定

3.5 基于位置确定的按键识别

3.6 本章小结

第四章 按键识别

4.1 基于位置确定的按键识别

4.1.1 “实验TDoA”值的计算

4.1.2 “理论TDoA”值的计算

4.2 改进的按键识别

4.2.1 按键“理论TDoA”值的分组

4.2.2 按键音频的特征参数聚类

4.3 本章小结

第五章 实验仿真与分析

5.1 实验的软硬件环境

5.1.1 硬件环境

5.1.2 软件系统配置

5.2 实验设计

5.3 实验数据分析

5.4 本章小结

第六章 总结与展望

6.1 论文工作小结

6.2 未来研究方向

致谢

参考文献

攻读硕士期间取得的成果