基于键值存储的RTB广告买方平台的研究与设计

摘要

随着互联网用户规模的增加，互联网广告行业也在迅速发展。近几年出现的广告实时竞价的模式与传统广告投放模式有很大区别。RTB广告（实时竞价广告）使广告投放的重心转移到受众身上，通过对用户数据的搜集和用户属性的挖掘，来实现广告投放效果的最大化。RTB广告近几年在美国发展迅速，并于2012年由谷歌公司引入中国。
　　DSP是RTB广告投放系统中的买方平台。DSP为广告商提供管理广告的功能，同时DSP搜集互联网受众的信息，从大量受众数据中分析出受众的兴趣、购物倾向等属性，再根据这些属性进行针对性的广告投放，以提升广告效果。根据受众属性和兴趣投放广告，是DSP业务的核心竞争力。其中用于存放受众数据的存储系统必须有良好的可伸缩性，传统关系数据库在可伸缩性方面很难满足DSP的要求，所以设计合理的并且拥有良好的可伸缩性的大数据存储方案显得尤为重要。
　　DSP系统中使用键值存储策略来存放受众数据。DSP系统中的受众数据在广告投放过程中将不断的增多，因此受众数据的存储系统必须拥有良好的可扩展性，同时还要有良好的查询性能。本文研究了目前存在的一些常见的键值数据库，设计了适合本DSP系统的键值存储方案。键值存储的关键问题是数据划分、数据备份和负载均衡。本文使用改进的一致性哈希算法解决数据划分问题。引入虚拟节点的概念，数据主键与物理存储节点的映射过程分为两个步骤，第一步将数据主键通过一致性哈希算法映射到虚拟节点，第二步以虚拟节点为单位完成其与物理数据节点的映射。传统的一致性哈希算法难以实现动态负载均衡，本文的负载均衡算法是以虚拟节点为单位进行的，使动态负载均衡的实现成为可能。
　　DSP系统的主要用户是广告商和广告代理商。广告商上传广告到DSP系统，为广告定制投放定向和投放计划，DSP系统根据广告投放计划为用户投放广告。DSP为广告商提供了地域定向、语言定向和设备定向等七种定向，并综合多种因素对广告请求进行出价。DSP系统的前端界面使用了三级菜单，将系统功能充分展示在用户面前，为用户提供友好的使用界面。在架构上尽量减少网页的深度，使开发逻辑清晰。DSP使用多个广告竞价服务器处理竞价请求，利用web服务器将高频率的竞价请求分散到各个竞价服务器，来达到应用级别的负载均衡。

目录

声明

摘要

第一章 绪论

1．1 研究背景及意义

1．2 互联网广告投放模式

1．3 本文的工作和创新

1．4 本文的内容和组织

第二章 相关知识和工具

2．1 RTB广告投放系统简介

2．2 RTB广告的计价模式

2．3 买方平台的工具选择

2．4 通用网关接口(CSP)

2．4．1 CSP的同类产品介绍

2．4．2 CSP简介

2．4．3 CSP应用开发

2．5 web前端开发技术

2．5．1 XHTML

2．5．2 javascript工具

2．5．3 其他工具

本章小结

第三章 系统键值存储技术

3．1 存储技术简介

3．1．1 键值数据库的特点

3．1．2 常见的键值数据库

3．2 系统架构

3．3 需要解决的问题

3．4 请求响应流程

3．5 数据划分

3．5．1 一致性哈希

3．5．2 改进的一致性哈希算法

3．5．3 从虚拟节点到数据服务器的映射

3．6 数据冗余备份

3．7 负载均衡

本章小结

第四章 买方平台的开发

4．1 前端的开发

4．1．1 前端的组织架构

4．1．2 各功能的开发

4．2 服务器端的设计

4．2．1 逻辑结构

4．2．2 系统数据流

4．2．3 RTB竞价模块

本章小结

第五章 总结与展望

参考文献

在校期间发表的论文、科研成果

致谢