一种基于改进Transformer的广告点击率预估方法

摘要

本发明公开了一种基于改进Transformer的广告点击率预估方法，其特征在于，获取用户的历史行为记录构建用户历史点击序列，同时得到目标广告特征向量、上下文特征向量以及用户画像特征向量；输入到嵌入层，通过嵌入层的Embedding技术得到对应的嵌入向量；将用户历史点击序列的嵌入向量输入到改进的Transformer网络，对用户点击序列的物品位置进行改进编码并抽取出用户的历史兴趣，采用Sampleloss监督兴趣的抽取，将用户历史兴趣和目标广告的嵌入向量通过注意力机制，得到经过目标广告相关度加权后的用户历史兴趣；将加权后的用户历史兴趣和目标广告特征、上下文特征以及用户画像特征的嵌入向量进行拼接，然后输入到后续的多层感知机，通过softmax激活函数得到预估的广告点击概率。