通信高效的分布式并行随机优化算法的研究

目录

声明

摘要

第1章绪论

1．1 研究背景

1．1．1关注的问题

1．1．2基本算法

1．2研究现状与研究动机

1．3符号、定义和假设

1．3．1符号

1．3．2定义

1．3．3假设

1．4本文主要贡献

1．5本文组织结构

第2章相关工作

2．1 通信高效的分布式随机优化算法

2．1．1高效通信算法

2．1．2低通信复杂度算法

2．1．3计算和通信并行

2．2 Local-SGD算法扩展

2．2．1联邦学习场景

2．2．2 自适应通信周期

2．2．3利用方差约减加速

2．3阶段性算法

第3章CoCoD-SGD算法

3．1 算法流程

3．2 CoCoD-SGD相关理论

3．2．1收敛性分析

3．2．2时间加速比分析

第4章STL-SGD算法

4．1 元算法：Local-SGD

4．2 STL-SGD算法

4．2．1 STL-SGDsc算法

4．2．2 STL-SGDnc算法

4．3与已有研究结果的对比

第5章实验

5．1．1 实验设置

5．1．2同构环境

5．1．3异构环境

5．2 STL-SGD算法的相关实验

5．2．1 凸问题

5．2．2非凸问题

第6章总结与展望

6．1研究内容总结

6．2工作展望

参考文献

补充材料

致谢

在读期间发表的学术论文与取得的研究成果