面向DNN的多内存分布式参数存储及读写优化方法

目录

声明

致谢

1 引言

1.1 论文的研究背景与意义

1.1.1 DNN参数的发展

1.1.2 面向深度学习的处理器发展现状

1.2 论文的研究现状

1.3 本文的主要工作和结构

2 相关技术和理论基础

2.1 片上网络

2.1.1 片上网络的基本组成

2.1.2 片上网络的拓扑结构

2.1.3 片上网络的包交换技术

2.1.4 片上网络的路由算法

2.2 OPNET网络仿真平台

2.3 DNN训练过程描述

2.4 排队论模型

2.5 本章小结

3 DNN 训练的访存特征

3.1 DNN训练访存特征分析

3.1.1 场景假设

3.1.2 DNN访存过程分解

3.2 单内存和多内存架构下的访存冲突

3.2.1 单内存架构下的访存冲突

3.2.2 多内存架构下的访存冲突

3.3 DNN训练硬件资源架构

3.3.1 单内存架构下的硬件资源

3.3.2 多内存架构下的硬件资源

3.4 结合排队论的单内存和多内存架构的延时分析

3.4.1 访存排队系统运行指标

3.4.2 单内存架构下的访存排队延时

3.4.3 多内存架构下的访存排队延时

3.5 本章小结

4 分布式参数存储及仿真实现

4.1 资源的映射和分配

4.1.1 神经元到片上网络处理器核 PE的映射

4.1.2 数据到内存地址的映射

4.1.3 PE到四内存的全相连分配

4.1.4 PE到四内存的组相连分配

4.2 片上网络仿真建模

4.2.1 创建数据包

4.2.2 内存节点模型

4.2.3 内存节点进程模型

4.2.4 PE节点模型

4.2.5 PE节点进程模型

4.2.6 路由节点模型

4.2.7 路由节点进程模型

4.3 性能评价指标

4.4 实验结果及分析

4.5 本章小结

5 读写性能优化方法

5.1 场景描述

5.2 读写请求队列交换机制

5.3 仿真实验结果分析

5.4 本章小结

6 总结与展望

6.1 成果总结

6.2 展望

参考文献

作者简历及攻读硕士学位期间取得的研究成果

独创性声明

学位论文数据集