声明
摘要
1．1研究背景和意义
1．2研究内容和贡献
1．3论文组织结构
第2章相关理论与技术研究
2．1强化学习原理及技术介绍
2．1．1马尔可夫决策过程
2．1．2强化学习交互过程
2．1．3行动器-评价器方法
2．2生成对抗理论及发展
2．2．1生成对抗网络
2．2．2生成对抗网络的发展
2．2．3对抗强化学习
2．3强化学习在电商场景的应用
2．4生成对抗理论在电商场景的应用
2．5本章小结
第3章广告竞价排序问题描述
3．1电商广告业务介绍
3．1．1广告平台操作流程
3．1．2广告业务常用词
3．1．3广义第二价格
3．2广告竞价排序问题的决策视角
3．3广告竞价排序模型
3．3．1广告竞价排序模型架构
3．3．2广告竞价排序模型视角
3．4广告主决策模型
3．4．1广告主与广告平台
3．4．2决策模型及策略仿真
3．5本章小结
第4章基于深度对抗强化学习的广告排序决策模型
4．1问题建模
4．2广告主决策的行动器-评价器模型
4．2．1广告主决策模型架构
4．2．2基于LSTM的广告动态特征转移
4．2．3基于PPO的广告主决策模型
4．2．4基于GAE的优化的广告主决策模型
4．2．5模型优化技巧
4．3基于对抗强化学习的广告竞价排序仿真平台
4．3．1仿真平台模型
4．3．2预训练模型
4．3．3仿真平台算法
4．3．4激活函数的选择
4．4本章小结
第5章仿真平台实验验证
5．1数据集选择与问题分析
5．2数据预处理与特征提取
5．2．1数据预处理
5．2．2数据集分割及特征提取
5．3实验环境及参数的设置
5．3．2模型参数设置
5．4实验的设计与结果评价
5．4．1预训练结果分析
5．4．2状态转移模型训练结果分析
5．4．3Virtual-ADer训练结果分析
5．5本章小结
6．1论文工作总结
6．2未来工作展望
参考文献
致谢
攻读学位期间发表的学术论文
山东大学;
