屏幕软键盘自动识别技术研究

摘要

随着互联网技术的快速发展，网络娱乐、互联网交易、网络银行等互动网络平台得到广泛的应用，为了加强平台安全，往往都在其登陆界面中加入屏幕软键盘进行登录。由于软键盘使用的繁琐性，急需一种可以自动识别屏幕软键盘的工具帮助用户提高效率，而目前市场上还没有一款能够自动识别网页上特定软键盘上字符的软件。基于此，我们决定运用所学知识，创新改进先进的图像处理和模式识别算法，开发一款具有应用价值的字符识别系统——屏幕软键盘自动识别系统。
　　本文首先对在网银页面键盘区域搜索进行研究。在分析比较目前比较常用的几种图像匹配方法的基础上，结合图像金字塔思想提出了一种基于块和金字塔的模板匹配的策略算法。这种算法在继承模板匹配算法准确性的同时，可以大幅降低模板匹配的计算量同时保证模板匹配的准确性。实验表明，采用这种方法可以快速、准确地完成模板匹配过程，在色彩斑斓的网页中找到软键盘。其次在键盘区域内分割虚拟按键部分，对已有图像边缘检测、边缘提取方法进行了实验对比分析，最终运用漫水填充法和椭圆拟合的办法对字符进行分割的方法，实验表明，该方法可以有效地将每个字符准确分割出来，为后续准确的特征提取和字符识别奠定良好基础。进而在字符识别部分，对字符特征提取、随机决策树进行了探讨，寻找到了29个适合本系统的字符特征，设计出了三级级联随机训练树分类器。这种分类器充分利用字符自身的特征，通过前两级的粗分类缩小第三级识别范围，在第三级中运用随机决策树精确分类，实验表明，该方法有效的提高了字符识别的训练效率和识别率。最后结合上述所研究算法设计并实现了屏幕软键盘自动识别系统。本文在系统总体结构、各个子模块的设计与实现、系统的性能指标等方面进行了详细论述。本系统还在随机选取的各种类型的网银登陆界面下进行了实验，文中对系统时实性、系统稳定性、系统可扩展性等指标进行了评估。大量实验结果表明，网页软键盘识别准确性、字符分割精确度、字符识别准确率等方面该系统满足预定的性能指标。

目录

屏幕软键盘自动识别技术研究

RESEARCH OF SCREEN SOFT KEYBOARD AUTOMATIC IDENTIFICATION TECHNOLOGY

摘 要

Abstract

目 录

第1章 绪 论

1.1 课题背景

1.2 屏幕软键盘识别的现状和发展

1.2.1 屏幕软键盘识别技术的现状

1.2.2 光学字符识别的发展

1.3 本文研究内容及论文安排

第2章 键盘区域搜索

2.1 彩色图像灰度变换

2.2 图像的二值化

2.3 图像匹配

2.3.1 角点匹配

2.3.2 模板匹配

2.4 图像金字塔

2.5 键盘区域搜索的方法—基于块和金字塔算法的模板匹配

2.6 本章小结

第3章 虚拟按键分割

3.1 图像去噪

3.2 图像边缘检测

3.2.1 传统的边缘检测

3.2.2 直线检测

3.3 图像轮廓提取

3.4 漫水填充算法

3.4.1 种子填充法

3.4.2 漫水填充法

3.5 椭圆拟合

3.5.1 椭圆的表示方法

3.5.2 最小二乘椭圆拟合法

3.6 虚拟按键分割过程

3.7 本章小结

第4章 字符识别

4.1 图像缩放及插值算法

4.2 图像细化

4.3 特征提取

4.3.1 字符识别常用特征提取方法

4.3.2 本系统采用的特征提取方法

4.4 特征匹配字符识别

4.4.1 常用的字符识别方法

4.4.2 随机决策树

4.4.3 本系统采用的识别方法—三级级联分类器

4.5 本章小结

第5章 系统设计与实现

5.1 系统需求

5.2 系统结构

5.3 系统运行原理

5.4 系统实现过程

5.4.1 网页图像样本采集

5.4.2 基于块和金字塔算法的模板匹配

5.4.3 虚拟按键分割

5.4.4 三级级联分类识别

5.5 实验结果与性能分析

5.5.1 实验结果

5.5.2 性能分析

5.6 本章小结

结 论

参考文献

哈尔滨工业大学硕士学位论文原创性声明

哈尔滨工业大学硕士学位论文使用授权书

致 谢