互联网广告点击率预测模型的研究

摘要

随着互联网的日益壮大与电子商务的不断发展，计算广告学，作为一门新兴的学科交汇科学，受到了广泛关注。计算广告学涉及到诸多学科的理论和技术，包括广告学、信息检索、文本分析、统计模型、机器学习及微观经济学等。计算广告旨在向特定的观众群体做广告，并且一直是新兴互联网应用领域的热点问题。在线广告的点击率预估（Click-Through-Rate Prediction，简称CTR Prediction）问题作为计算广告领域的核心问题，对互联网广告应用起着至关重要的作用。点击率预估通常用来判断一条广告被用户点击的概率，对每次广告的点击做出预测，把用户最有可能点击的广告找出来，是广告技术最重要的算法之一。广告点击率关系着广告投放的排序和点击收费等因素，良好的点击率预估模型可以为广告平台提高平台收益，为广告主的产品和预算带来优化，为用户带来更好的广告体验。现代的互联网广告主要分为搜索广告和展示广告，其中搜索广告是规模最大，增长最快的广告形式，搜索广告的点击率与广告投放顺序、点击费用等相关，这对整个搜索广告的收入起着至关重要的作用。 以搜索广告为例，本文利用了LightGBM框架对点击率预测，相对传统的机器学习算法（如XGBoost），LightGBM具有更快的训练速度，可处理大规模数据集，占用更低的内存等优点，从海量数据出发，本文系统研究了数据预处理、特征选择和集成模型等相关理论和技术。根据常见的广告点击率预测模型，本文主要研究了其中几个模型，主要改进的方面是特征提取和模型改进，集成了几个单模型的优点，充分挖掘线性和非线性特征，提出一种集成模型，从而提出了更好的点击率预测解决方案。 论文完成的主要工作概括如下： （1）数据的分析和处理。在已有的数据集上对数据进行分析和预处理，从统计分析的角度分析了样本的差异性、分布性等，对缺失值数据进行分析处理。 （2）特征的处理。删除不相关或冗余的特征，基于原始数据集构造人工特征，对类别特征进行独热编码（One-Hot Encoding），测试了人工特征在多种模型下的效果，验证了所构造的人工特征的有效性。 （3）模型的处理。本文实现了传统的逻辑回归（Logisitic Regression）模型和时下流行的几种机器学习算法（如LR，FM，FFM，RF）方法对点击率进行预测，并基于以上模型，提出了一种融合集成学习的广告点击率预测模型，实验结果证明了该模型的有效性。

目录

声明

1 绪论

1.1 研究背景及意义

1.2 国内外研究现状

1.3 论文的主要工作

1.4 论文的组织结构

2 相关理论和技术

2.1 逻辑回归模型

2.2梯度提升决策树

2.3 因子分解机模型

2.4 FFM模型

2.5 LightGBM框架

2.5.1 Goss算法

2.5.2 EFB算法

2.6本章小结

3 数据处理与特征工程

3.1 数据分析框架

3.2 数据来源与预处理

3.2.1 数据集来源及介绍

3.2.2 数据集预处理

3.3 特征处理

3.3.1 特征提取

3.3.2 特征编码

3.4特征选择算法

3.4.1 特征选择算法介绍

3.4.2 特征选择算法分类

3.4.3 特征选择方法分类

3.4 本章小结

4 数据分析与传统模型构建

4.1 数据分析

4.2经典学习模型构建与算法实现

4.2.1 基于逻辑回归模型的点击率预测

4.2.2 基于因子分解机模型的点击率预测

4.2.3 基于随机森林模型的点击率预测

4.3评价指标

4.3.1 评价指标-AUC

4.3.2 评价指标-Log-loss

4.4实验分析对比

4.5本章小结

5 集成模型

5.1集成学习

5.1.1 个体学习器

5.1.2 Boosting

5.1.3 Bagging

5.1.4 结合策略

5.2 实验框架

5.3实验结果与分析

5.3.1 模型参数设置

5.3.2 实验结果对比分析

5.4 本章小结

6 总结与展望

6.1 全文总结

6.2 展望

参考文献

致谢

个人简历、在学期间发表的学术论文与研究成果