基于组合三值量化的神经网络压缩算法研究

摘要

近年来，深度学习再次掀起了人工智能技术的浪潮，并被成功地应用于许多领域。然而以卷积神经网络为代表的深度学习模型，参数规模巨大且计算成本高昂，非常依赖GPU甚至GPU集群等高性能计算设备。这严重限制了深度学习模型部署应用在硬件资源有限的边缘计算场景中，因此对深度神经网络进行模型压缩成为目前的研究热点。量化作为卓有成效的压缩方法之一，使用低精度数值替代原始浮点参数，可以有效降低模型参数内存和计算能耗。当神经网络的权重和激活值都被量化到1bit或2bit时，加速效果最为显著。然而，量化比特数越低，伴随的计算误差越大，并且这些误差还会在神经网络的前向计算和反向传播时层层累加，从而不可避免地造成严重的精度损失。针对这一问题，采取合理的量化策略，在算法通用性、压缩能力和精度损失之间取得平衡，具有重要意义。本文在卷积神经网络的三值权重量化和激活值定点量化的基础上，做了以下相关工作：　　(1)提出了组合三值量化权重的算法，以多个尺度系数和三值权重的乘积组合量化卷积层权重。与直接量化相比，带尺度系数的二值或三值权重能够减小量化误差。组合三值量化虽然会增加少许参数和计算量，却能突破单个量化权重的局限，具有更好的拟合效果。　　(2)基于2bit定点量化，提出使用箱型图统计激活值张量的数据分布，截断其中的异常值。研究了直接定点量化激活值时，可能存在一些数值较大的离群点，导致大量信息在量化后被丢失。该方法可以使得量化前数据的分布更加均匀集中，让量化误差保持在正常范围之内。　　(3)结合权重和激活值量化策略，形成整体的卷积模型量化架构，根据反向传播算法，给出了量化架构的完整训练流程，并详细介绍了训练算法中的相关细节。在模型推断计算时，可以将绝大部分浮点数运算转换为更高效的定点整数运算。在图像识别任务中，对比原始浮点数模型和其他量化模型的预测准确度，该量化算法在保证通用性和压缩能力的同时，还能有效降低精度损失。

目录

声明

第 1 章 绪论

1.1 研究背景及意义

1.2 国内外研究现状

1.2.1 低秩分解

1.2.2 剪枝

1.2.3 知识蒸馏

1.3 量化算法概述

1.3.1 权重共享量化

1.3.2 定点量化

1.4 本文的研究内容及方法

第 2 章 神经网络和量化理论基础

2.1 人工神经网络

2.1.1 神经元

2.1.2 激活函数

2.1.3 深度前馈网络

2.1.4 参数学习与反向传播算法

2.2 卷积神经网络

2.2.1 卷积与卷积核

2.2.2 稀疏连接与权重共享

2.2.3 池化

2.2.4 深度残差网络

2.3 网络优化和正则化

2.3.1 梯度下降优化

2.3.2 批量归一化

2.3.3 正则化

2.4 定点量化器

2.5 本章小结

第 3 章 量化策略

3.1 引言

3.2 权重量化

3.2.1 量化函数

3.2.2 梯度近似

3.3 组合三值量化

3.3.1 数值求解

3.3.2 误差对比

3.3.2 组合量化

3.4 激活值量化

3.4.1 定点量化分析

3.4.2 统计截断

3.5 本章小结

第 4 章 组合三值量化网络

4.1 引言

4.2 训练算法

4.3 权重初始化

4.4 推断计算

4.5 本章小结

第5章实验及结果分析

5.1 引言

5.2 数据集介绍

5.3 模型选择

5.4 对比实验

5.4.1 N 的取值

5.4.2 综合对比

5.5 本章小结

结论与展望

参考文献

攻读学位期间研究成果和发表专利情况

致 谢