基于深度学习的短视频中物体检测与内容推荐的研究

摘要

随着移动互联网时代基础设备与网络环境的优化改善，消费者的生活娱乐习惯发生了巨大转变。网络的内容主流和用户交流媒介正在由文本向图片或者视频过渡，视频移动化趋势势不可挡，并催生了短视频行业的迅猛发展。
　　短视频承载信息大，用户创作门槛低，易于传播与分享，满足用户社交需求，且符合用户碎片化消费习惯，因而短视频正成为新的内容传播媒介。因其强大的用户粘性和行业规模，短视频行业正成为一个重要的新的“内容变现”实现场景。
　　内容变现最直接的方式还是广告投放。近年来，广告投放呈现出从个人电脑端往移动端迁移的趋势。但是以往长视频在视频前、中、后插播一段广告的贴片方式不适合时间短的短视频，严重影响用户体验。短视频的题材较丰富，单一视频的内容有限，主题明确，因此短视频并不适合盲目无针对性地投放广告。现阶段市场十分需要一种适于短视频的广告投放方式。
　　随着计算机视觉技术的发展，使得物体级的视频检测成为一种可能。本文依据高相关，低打扰，短而精的准则，提出了一种基于深度学习的视频物体检测与内容推荐系统方案。通过视频中的物体检测和识别，将视频内容与相关的产品内容进行匹配，进而提升投放广告的有效性，均衡广告推荐和用户体验。
　　根据短视频来源、网络环境等不同，本论文有两种主要实现模式:云端模式和移动终端模式。云端模式由服务器、内容分发网络（Content Delivery Network，CDN）和终端组成，服务器可预先对CDN短视频内容进行物体检测和识别，通过内容推荐算法将短视频与对应广告内容匹配，并在移动端播放。移动终端模式主要处理本地视频，在移动端有限的资源上完成短视频的物体检测和识别，以及内容推荐。两种模式下系统均可根据用户行为统计，形成个性化内容推荐。本文的主要研究工作如下:
　　(1)云端模式下，服务器上实现了视频帧获取和关键帧提取，采用基于FasterR-CNN物体检测方法完成物体检测与识别，并在检测出的物体处投放与之匹配的广告信息，由此实现短视频物体检测和广告投放，供移动端播放展示。
　　(2)移动终端模式下，通过自研发播放器内核提前获取短视频的视频帧并进行关键帧提取，采用基于MobileNet轻量级模型的Faster R-CNN物体检测与识别方法，在移动设备上完成物体检测，通过物体与广告主题的匹配，实现短视频的广告投放，并根据用户偏好裁剪广告类别等方法优化系统的实时性。
　　(3)搭建一套完整的视频物体检测与内容推荐系统平台，并测试了云端模式和移动终端模式的可行性和效果，对物体检测的速度、准确率和广告推送的匹配度进行了分析评价。

目录

声明

摘要

第一章 绪论

1．1 研究背景与意义

1．2 国内外研究现状

1．2．1 视频广告综述

1．2．2 短视频广告投放方式

1．2．3 物体级视频广告投放技术

1．2．4 物体检测与分类技术的应用

1．2．5 内容推荐技术

1．2．6 物体级短视频广告推荐

1．3 本文的主要研究内容和工作

1．3．1 运行场景与工作模式

1．3．2 云端模式

1．3．3 移动终端模式

1．3．4 本文主要工作

1．4 本文组织架构

第二章 系统核心技术

2．1 全连接神经网络与卷积神经网络

2．2 物体检测技术

2．2．1 基于滑动窗口的传统方法

2．2．2 基于区域候选的深度学习的物体检测方法

2．3 关键帧提取技术

2．3．2 关键帧提取技术

2．3．3 关键帧提取方法的选择

2．4 安卓视频播放器框架

2．4．1 安卓系统介绍

2．4．2 安卓播放器相关原理

2．5 本章小结

第三章 云端模式系统设计

3．1 系统架构设计

3．2 主要功能模块设计

3．2．1 视频帧获取模块

3．2．2 关键帧提取模块

3．2．3 物体检测模块

3．2．4 广告匹配

3．2．5 移动端展示

3．2．6 推荐系统模块

3．3 云端模式下视频处理方案

3．4 关键帧提取模块

3．5 物体检测与识别模型

3．6 推荐系统

3．6．1 基于反馈的推荐系统

3．6．2 推荐系统实现与细节设置

3．7 本章小结

第四章 移动终端模式系统设计

4．1 移动终端模式视频处理方案

4．2 研发播放器内核提取关键帧

4．3 物体检测与识别轻量级模型

4．4 数据集类别裁剪

4．5 本章小结

第五章 系统实现与测试

5．1 系统架构设计

5．1．1 云端预处理层

5．1．2 网络接口层

5．1．3 客户端层和视频展示层

5．2 软件功能模块

5．3 相关参数实验

5．3．1 关键帧采样测试实验

5．3．2 喜好阈值设置实验

5．4 深度学习模型训练与测试

5．4．1 软硬件环境与深度学习平台

5．4．2 数据集与模型训练

5．5 系统及性能测试

5．5．1 物体检测模块测试与分析

5．5．2 内容推荐模块测试与分析

5．5．3 基于反馈的推荐系统测试

5．5．4 系统其它性能测试

5．6 误差分析

5．6．1 画面模糊

5．6．2 图像分辨率

5．7 本章小结

第六章 总结与展望

6．1 本文工作总结

6．2 本文工作展望

参考文献

攻读硕士学位期间取得的科研成果

致谢