基于衣服属性感知的人体姿势预测

摘要

近年来在图像分析、动作识别等领域，人体姿势预测这个基本问题得到了科学家们广泛的关注。从已有的工作来看，人的头部、身躯等部位已经取得了很高的精度，但是手臂由于其丰富的姿势变化，目前还只有0.7的精度，这几乎是人体姿势预测领域最大的挑战。一个简单的想法是，衣服属性信息对于姿势的精准预测有很大的帮助。前人也有很多利用衣服属性信息去帮助姿势预测的工作，但是需要人为地去标注大量的衣服属性标签信息，这是一项极其耗时的工作。
　　在本文中，我们提出了基于隐式衣服属性的人体姿势预测（Human Pose Estimation）模型。本文通过对图画式结构（Pictorial Structure）进行扩展来形式化人体姿势预测问题，特别地，我们将衣服属性作为隐变量来建模。跟传统的基于标注信息进行预测的方法不同，我们不需要衣服属性的标注信息，而且可以高效的进行求解。在本文中，我们定义了几种比较重要的衣服属性，并且建立了衣服属性和人体部位之间的关系（比如袖子和手臂等）。进而，我们设计了两种特征，一是人体躯干对应的特征，二是人体躯干和衣服属性的联合特征。基于联合特征，采用隐式结构式支持向量机（Latent Structure SVM）算法来进行模型的训练。所有的隐变量问题都会涉及到隐变量的初始化问题，我们采用K-Means聚类算法来初始化隐变量。接着，采用增量迭代的方式来进行参数的学习，即就是最小化隐式结构式支持向量机的目标函数。本文采用迭代的方式来求解最优解，首先当衣服属性变量确定的时候，本文采用动态规划（Dynamic Programming）的算法进行人体姿势的求解。其次，当人体姿势确定的时候，我们可以采用算法2来确定衣服属性的变量。在两个公开的数据集上，本文进行了大量的实验，结果显示本文的方法超过了传统最好的方法，特别是在手臂的预测上，本文比前人工作提高了8个百分点，并且本文将具有同样衣服属性的照片聚在了一起。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 引言

1.1 背景和意义

1.2 研究内容和方法

1.3 本文的贡献

1.4 论文组织

1.5 本章小结

第二章 相关工作

2.1 人体姿势预测

2.2 衣服属性分析

2.3 隐变量结构式学习

2.4 本章小结

第三章 背景知识

3.1 图模型

3.2 图画式结构

3.3 结构式学习

3.4 形变部位模型

3.5 本章小结

第四章 基于隐式衣服属性变量的姿势预测

4.1 联合特征分析与设计

4.2 基于隐变量的结构式学习

4.3 有环图的预测

4.4 本章小结

第五章 人体姿势预测的应用案例

5.1 基于多媒体数据的事件挖掘

5.2 基于电商平台的衣服搜索

5.3 基于图片的广告推荐

5.4 本章小结

第六章 实验结果

6.1 数据集

6.2 实验评测规则

6.3 实验结果分析

6.4 本章小结

第七章 总结与展望

参考文献

致谢

攻读学位期间发表的学术论文目录