基于RGB--D相机的视障人士纸币识别

摘要

为视障人士设计的可穿戴辅助设备中，纸币识别是必不可少的基本功能。根据文献调研，传统的纸币识别方法多应用于金融服务系统，识别场景固定、背景单一、光照无明显变化，少数应用于视障人士领域的方案均采用RGB相机，实时性较差，无法满足视障人士纸币识别的实际应用。 本文提出了一种有效的解决方法，测试者只需在可穿戴样机前面放置一张纸币，样机可立即准确识别面值并反馈结果。该方法首先通过RGB-D相机获取深度不超过0.8米手臂长度范围的近距离场景，通过Haar特征和Adaboost算法训练获得的分类器检测近距离场景中的疑似纸币区域;将这些区域的SURF特征点与标准纸币区域的SURF特征点匹配，匹配过程采用优化算法，可以筛选出高质量匹配点对，匹配点对数量的极大值对应的面值即为纸币识别的结果;最后，将结果通过声音传递给测试者。同时，为形成完整的纸币识别系统，结合视频流的输入，加入帧间差分检测、深度填充比判断、多帧累计结果输出，提高算法的实时性与稳定性。 该方法使用RGB-D相机，结合机器学习和SURF的改进算法，使最终的纸币识别继承了SURF算法的尺寸不变性和旋转不变性的优点，并且可以在图像有缩放、旋转、部分遮挡、光照变化、方向颠倒、运动模糊、背景杂乱和多张纸币时均可以得到正确的检测结果，具有良好的鲁棒性;同时，使用机器学习大图像粗定位，SURF特征小区域精匹配，兼顾了实时性，可应用于视障人士的实时纸币识别。

目录

声明

致谢

摘要

1绪论

1．1视障人士现状

1．2盲人视觉辅具的发展

1．3盲人辅具的需求分析

1．4研究目标及内容

1．4．1研究目标

1．4．2研究内容

2纸币识别方法研究

2．1颜色及纹理模板匹配

2．2机器学习

2．3特征点匹配

2．4本章小结

3基于RGB-D相机的纸币检测和纸币识别

3．1深度提取

3．1．1近距离深度提取

3．1．2帧间差分

3．2纸币检测

3．2．1特征提取

3．2．2 Adaboost训练分类器

3．2．3纸币特征提取

3．2．4纸币检出

3．2．5深度填充比的非纸币区域抑制

3．3纸币识别

3．3．1 SURF算法

3．3．2标准纸币的SURF特征点及其描述子获取

3．3．3特征点匹配的算法改进

3．3．4多帧累计结果输出

3．4本章小结

4用于盲人辅助的纸币识别系统

4．1图像获取

4．2声音交互

5纸币识别实验与分析

5．1特征点提取的标准区域尺寸选择实验

5．2深度信息对纸币识别性能影响实验

5．3算法鲁棒性实验

5．4纸币识别结果

6总结与展望

6．1总结

6．2展望

参考文献

作者简介及硕士期间主要研究成果