基于人工神经网络和GPU加速的手写数字识别并行算法

摘要

字符识别是模式识别领域的一个重要研究分支，其中手写数字识别更是一个具有现实意义且富于挑战性的课题。近年来神经网络广泛应用于手写体数字识别算法，但神经网络的执行需要进行大量的矩阵和向量的计算。而传统的加速方法，大都使用昂贵并且很难维护的大型并行机或网络，普通用户却并不具备使用这些高端设备的条件。随着GPU性能的大幅度提高以及可编程特性的发展，基于图形硬件的通用计算(GPGPU)已成为新的研究热点。
　　 针对上述问题，本文提出一种基于人工神经网络和GPU加速的手写数字识别方法，该方法根据神经网络层内结点彼此独立，训练和执行过程分开的特点，提高了手写数字识别网络的泛化性能，并将识别的计算过程在GPU中并行加速，从而大幅度提高了手写数字识别的运算速度。
　　 该方法主要思想是将预失真处理以及二阶方法等措施应用于神经网络训练，综合考虑学习率的变化特性，修正、补充和完善了使用五层脑回路神经网络进行手写数字识别的模型，从而使手写数字识别获得更高的精准率；在并行加速方面，将手写数字的识别过程移植到GPU上执行，充分利用其并行性，大幅度提升了手写数字识别速度，使实时识别成为可能；同时为神经网络在GPU上执行提供了基本途径。
　　 实验结果表明用以上方法进行手写数字识别，可以获得较高的识别精准率，同时在使用廉价的硬件设备的条件下，获得更好的速度性能。

目录

文摘

英文文摘

声明

引 言

1 手写体数字识别综述

1.1 手写体数字的研究背景

1.1.1 字符识别的发展

1.1.2 手写数字识别的应用

1.1.3 手写数字识别的意义

1.2 手写数字识别的一般方法

1.2.1 识别流程

1.2.1 识别方法

1.3 手写数字数据库MNIST

1.4 手写数字识别的技术难点

1.4.1 技术难点

1.4.2 精度

1.4.3 速度

1.5 本文的识别方法

2 基于GPU的通用计算技术

2.1 GPU的发展及特点

2.1.1 GPU的发展

2.1.2 GPU通用计算的特点

2.2 GPU通用计算的应用与发展现状

2.2.1 GPU通用计算的应用

2.2.2 GPU通用计算的发展现状

2.3 GPU通用计算的限制

2.4 CUDA简介

2.4.1 什么是CUDA

2.4.2 CUDA性能

3 基于人工神经网络的手写数字识别

3.1 神经网络基础理论

3.1.1 基本结构

3.1.2 前向反馈和作用函数

3.1.3 后向反馈

3.2 脑回路神经网络

3.2.1 脑回路神经网络基本原理

3.2.2 脑回路神经网络结构

3.3 训练

3.3.1 基本训练

3.3.2 加快训练速度的方法

3.4 实验

3.4.1 图形界面说明

3.4.2 神经网络性能分析

3.5 结果分析

4 GPU加速识别过程

4.1 CUDA编程

4.2 识别过程在GPU上的并行

4.2.1 L5CANN在GPU上的并行模型

4.2.2 如何使用Shared Memory优化

4.3 移植L5CANN识别过程

4.3.1 变量定义

4.3.2 GPUANN的工作流程

4.4 实验结果分析

结 论

参考文献

攻读硕士学位期间发表学术论文情况

致 谢