搜索广告转化率的预测——基于LightGBM和XGBoost

摘要

广告，就如同字面上的意思，广泛地向大众宣传告知事件或是事物。21世纪大数据和电商等互联网行业得到了巨大的发展，其中搜索广告已经成为商业互联网广告中重要的一员。它出现在人们使用互联网产品或是上网页等接触到的最多的一种广告类型，因此其转化率的预测也变成学者们热衷研究的对象。转化率和点击率不同，它是直接导向是购买，因此高转化率是广告主、广告媒介的重点研究对象，因为其直接带来的是较高的投入产出比。　　本文主要研究搜索广告的转化率预测模型及其特征处理。由于阿里淘宝是目前中国较大规模的电商平台，其广告几乎都是搜索广告，且近期公开了其一部分的数据，因此本文的研究数据选择使用开源的阿里平台的2018年搜索广告的数据。首先，本文对获取的该数据进行了描述性的统计分析，主要从以下四个角度进行分析：用户的信息数据、商品的信息数据、店铺的信息数据以及补充的商品上下文数据信息。然后对数据进行了缺失值处理、文本特征处理和时间处理，在此数据预处理的基础之上本文对数据进行了特征处理提取，包括隐藏信息提取，如商品描述详尽程度等;对特征进行分段处理提取，如店铺评价数量等级的分段;点击率的组合特征提取等。最后得到的数据为：478138个样本，10075个不同的广告商品，以及3959个不同的商铺，270个解释变量。　　接着本文用Python分别采用LightGBM和XGBoost算法对数据进行搜索广告转化率预测模型的构建。针对重要超参数，本文还采取了网格搜索的算法进行较优参数的寻找，确保训练出较好的预测模型。评价方面，本文分别采用了logloss损失值、auc、rmse（均方误差）以及训练时间对LightGBM模型和XGBoost模型进行了优劣比较。结果显示：对该数据而言，logloss值、auc值和rmse均方误差值三个评估指标 LightGBM 所得数据均比 XGBoost 更为精确。特别地， LightGBM的运算效率非常高，比XGBoost的运算速度快了将近几十倍。　　无论是LightGBM算法还是XGBoost算法，两者均是近些年以来较前沿的机器学习算法。本文将 LightGBM 算法和XGBoost 算法应用到搜索广告转化率的预测模型中，不仅在搜索广告转化率的预测研究中拓宽了算法模型的选择，而且针对这两个算法而言，也提升了 LightGBM 和 XGBoost 算法的使用范围。不过因为与XGBoost 和 LightGBM 相关的研究都处于比较初步的阶段，且搜索广告转化率的预测研究也只处在定量研究的初期，因此相关文献较为少见，所以本文还有很大的提升空间。LightGBM算法和XGBoost算法在搜索广告转化率方面的研究是本文做的一次尝试，还未将该两种算法结合其他机器学习算法进行构建研究。相信随着未来学者们对 LightGBM 和 XGBoost 算法研究的深入，以及对搜索广告转化率研究的逐渐深入，未来定会出现更适合预测模型的相关算法。

目录

声明

绪论

第一节 研究背景与研究意义

一、研究背景

二、研究意义

第二节 文献综述

一、国内研究现状

二、国外研究现状

三、国内外研究动态简评

第三节 研究内容和研究方法

一、研究内容

二、研究方法

第四节 研究的创新

第一章 相关理论基础概述

第一节 模型算法理论基础概述

一、Boosting理论基础概述

二、决策树理论基础概述

三、GBDT梯度提升树理论基础概述

第二节 XGBoost算法理论基础概述

一、XGBoost的原理基础概述

二、XGBoost算法的优点概述

三、XGBoost算法的优化提升方法

第三节 LightGBM算法理论概述

一、LightGBM算法的原理概述

二、LightGBM算法的优点概述

三、LightGBM算法的优化提升方法

第四节 LightGBM算法和XGBoost算法的性能比较

第二章 数据的描述性分析和特征预处理

第一节 数据的获取与结构

一、数据的来源与获取

二、数据的结构介绍

第二节 数据的描述性统计分析

一、基础数据的描述性统计分析

二、用户信息数据集的描述性统计分析

三、店铺信息数据集的描述性统计分析

四、广告商品信息数据集的描述性统计分析

五、上下文信息数据集的描述性分析

第三节 数据的特征提取和处理

一、数据的预处理

二、数据的特征提取

第三章 基于预处理后的数据进行转化率的预测

第一节 建立基于LightGBM算法的二分类模型

一、建立LightGBM模型并进行预测效果检验

二、LightGBM预测模型中的贡献度高的解释变量

第二节 建立基于XGBoost算法的二分类模型

一、建立XGBoost模型并进行预测效果检验

二、XGBoost预测模型中的贡献度高的解释变量

第三节 基于建立的LightGBM模型与XGBoost模型损益比较分析

一、解释变量贡献度比较

二、模型损益比较

结论与展望

参考文献

附录A 参数网格搜索结果