基于张量分解的实时竞价广告响应预测方法

摘要

迅速崛起的实时竞价广告实现了需求方由“媒体”购买转向“受众”购买，实现了更精准的广告投放，成为数字广告未来发展的大趋势。需求方平台是实时竞价交易系统的核心，为了实现精准广告投放，需求方平台必须具有极高的流量评价、流量选择和自主控制能力，因此需求方平台的技术和算法的难度最大。需求方平台最主要的差别是出价策略，出价直接决定着需求方平台的流量基本单位成本，决定着利润。点击率和转化率预测是直接影响出价质量的重要方面，如何准确地估计点击率和转化率成为实时竞价广告中需要解决的核心问题。本文重点研究实时竞价系统中，面向需求方平台如何提升广告点击率和转化率的预测性能，以提升需求方的投资回报率。需求方进行广告响应预测主要面临着四个方面的严酷挑战。第一，数据的稀疏性太高导致预测结果不可靠；第二，实时竞价过程对点击率和转化率预测算法的时间效率要求高；第三，用户、上下文和广告三者之间的交互作用特别复杂导致预测难度大；第四，训练数据集类别严重不平衡导致预测准确率低。本文基于张量分解模型研究各种挑战的解决策略并寻求有效地综合解决方案。具体来说，本文的主要工作包括以下四个方面：
　　第一，为了解决实时竞价广告响应预测面临的严峻的数据稀疏问题，进行了基于异构信息融合的广告响应预测方法研究。首先尝试从用户生成标签中挖掘新特征来扩展用户特征，然后分析了基于特征的矩阵分解模型集成附加信息的常用策略，面向张量分解模型进行借鉴和改进，针对实时竞价中不同类型异构信息的性质和特点研究了不同的融合策略，提出了基于张量分解模型的异构信息融合综合解决方案和具体实现方法。最后，本文在三个不同的数据集上通过实验对比了在不同级别的特征融合情况下，结果显示我们的融合策略能够较好地提升矩阵分解模型和传统张量分解模型进行广告响应预测的性能。
　　第二，传统的基于Tucker分解和CP分解的模型很难在预测性能和预测时间效率上同时满足实时竞价广告响应预测的需要，为了改进传统张量分解模型的预测时间效率，进行了基于隐语义立方分解模型的广告点击率预测方法的研究。首先深入剖析了隐语义矩阵分解模型与矩阵奇异值分解的内在关系，然后基于高阶奇异值分解是矩阵奇异值分解向高阶张量的扩展的思想，借鉴隐语义矩阵分解模型的建模原理，使用截断的高阶奇异值分解，采用直接在观测数据上建模的方法，提出了隐语义立方分解模型。隐语义立方分解模型具有较少的模型参数，实现简单，训练速度快。本文通过实验分析了隐语义立方分解模型的训练和预测时间效率，并和常用的张量分解模型进行了预测性能对比，实验结果表明隐语义立方分解模型既保证了较低的预测时间复杂度又保证了较好的预测性能。
　　第三，针对用户、上下文和广告之间复杂的交互关系，为了同时获得三者之间全交互作用下的最佳特征表示，进行了基于全交互张量分解模型的点击率预测方法研究。首先分析了两对交互张量分解模型的基本思想，深入剖析了它与传统张量分解模型之间的关系，并分析了它解决广告响应预测问题的局限性。然后，提出了能够克服这种局限性的全交互张量分解模型，这种模型具有全交互关系表示能力，充分挖掘了用户、上下文和广告三者之间复杂的两两全交互关系。最后，通过实验对比了基于异构信息融合的传统张量分解模型、隐语义立方分解模型和全交互张量分解模型的预测性能，实验结果表明本文提出的新模型在保证较低的时间代价情况下取得了最优越的预测性能。
　　第四，为了解决训练样本类别不平衡问题，同时利用点击和转化反馈信息进行了基于三元组排序优化学习的广告响应预测方法的研究。首先将广告响应预测问题形式化为排序问题，将广告展示按照响应类别的正确排序作为优化目标，提出了基于转化、仅点击和未点击的三元组排序优化学习策略。然后分析了三元组排序优化和成对比较排序优化的关系。接着，给出了基于随机梯度下降的三元组排序优化学习算法以及使用该算法实现逻辑回归、矩阵分解和全交互张量分解模型训练的方法。最后通过实验对比和分析了三元组排序优化学习、成对比较优化学习和逐点回归优化学习策略的预测性能。实验结果表明本文提出的基于三元组排序优化学习策略不仅同时提升了点击和转化预测的性能，而且能够有效地解决转化、仅点击和未点击广告展示的三分类排序问题。
　　总之，本文面向需求方平台，基于张量分解模型，针对实时竞价广告中的点击率和转化率预测面临的严峻数据稀疏问题、较高的预测时间效率要求、复杂的三维交互关系以及严重的类别不平衡问题，提出了相应的解决方法和技术方案，有效地提升了广告响应预测性能。

目录

封面

中文摘要

英文摘要

目录

第1章 绪论

1.1 课题的背景及意义

1.2 需求方平台广告响应预测面临的主要挑战

1.3 国内外研究现状与分析

1.4 本文的主要研究内容

第2章 基于异构信息融合的广告响应预测方法

2.1 引言

2.2 基于用户生成标签的特征挖掘

2.3 基于特征融合的矩阵分解模型

2.4 基于异构信息融合的张量分解模型

2.5 实验与分析

2.6 本章小结

第3章 基于隐语义立方分解模型的广告点击率预测方法

3.1 引言

3.2 矩阵奇异值分解与隐语义矩阵分解模型的关系

3.3 隐语义立方分解模型

3.4 隐语义立方分解模型的预测时间复杂度分析

3.5 基于异构信息融合的隐语义立方分解模型

3.6 实验与分析

3.7 本章小结

第4章 基于全交互张量分解模型的广告点击率预测方法

4.1 引言

4.2 两对交互张量分解模型

4.3 全交互张量分解模型

4.4 基于异构信息融合的全交互张量分解模型

4.5 实验与分析

4.6 本章小结

第5章 基于三元组排序优化的广告响应预测方法

5.1 引言

5.2 基于三分类排序优化的广告响应预测问题描述和符号定义

5.3 基于三元组排序优化的学习策略

5.4 基于三元组排序优化学习的模型训练

5.5 实验与分析

5.6 本章小结

结论

参考文献

攻读博士学位期间发表的论文及其他成果

声明

致谢

个人简历