基于机器学习的排序优化及其在行人再识别中的应用研究

摘要

近年来，计算机视觉中的行人再识别问题受到了研究者的重点关注，已成为一个新兴的研究领域。目前，行人再识别技术存在许多挑战，特别是重排序或后排序优化问题。行人再识别问题的目标是当其出现在其它相机中时，对其进行再识别。这类视觉系统主要用于人流密集场所的监控，如机场、银行和购物中心等。受遮挡、光照变化、相机视角、相机/目标运动、背景变化等的复杂因素影响，对行人进行准确、鲁棒的再识别存在巨大的挑战。行人再识别的研究主要集中在两个方面:1）产生鲁棒的特征表示或特征描述子;2）建立高效的信息相似性度量机制。大多数方法基于提取的差异特征计算查询图像和图像库之间的相似度，然后再进行排序。此类相似性无法表示图像之间复杂和高层的关系，因此会导致次优的匹配结果，尤其是在秩1排序中，该类方法性能较差。现有的再识别方法在某些特定场景中表现良好，但在秩1排序中的性能仍有待提高。同时，由于需要人为调整，该类视觉系统易用性较差。
　　对此，本文提出排序优化和优先排序方法进行行人再识别。本文提出了两种解决方法:第一种是基于图像预排序分类的行人再识别方法，第二种是基于后排序优先级的行人再识别方法，是本文研究的重点。此外，本文还给出了后排序优化方法的设计和评估细节。
　　本文的主要工作和贡献如下:
　　1)针对行人再识别中大型图像数据库图像查询时间代价大的问题，本文提出基于色彩类别进行预排序分类，创建了六种色彩类别。为产生签名，本研究使用了显著稠密颜色特征，并基于SIFT特征和凸包检测实现目标提取，将行人图像分割为三个水平条以提取特征，然后基于增量线性判别分析进行训练，同时采用最大相关和最小冗余技术减小计算量。
　　2)针对后排序优化问题，本研究提出两种改善基线法结果的方法，分别为基于超图的后排序优化和基于多特征融合的重排序算法。基于图的方法已被证实可有效应用于计算机视觉领域，特别是图像检索和识别问题。但此类方法无法表达样本之间的高层关系，因此本研究采用比基于图的方法更有效的超图方法，并提出了一个基于超图的学习策略，不仅提高了秩1排序的准确性，还对图像之间复杂和高层关系进行建模。该方法首先通过基线法获得初始排序列表，然后应用一种新的优化方法对排序结果进行分类。该算法计算每个图像在列表中的位置并自动查找相关信息。为发现样本之间的关系，本文使用超图进行重排序学习，使用软分配技术学习超图权重。该方法的优点为:1）降低对人工的依赖，提高了视觉系统的自动化性能;2）减少了初始排序列表，因此降低了最终的计算代价;3）对噪声具有较高的鲁棒性而且估计结果具有较高的相关性。
　　3)针对基于单个特征行人再识别系统判别能力不足的问题，本研究提出了一种基于多特征融合的重排序框架。目前，大部分传统方法一般利用独立模式提取长特征向量对图像进行描述。本文提出从样本中提取多种特征，生成混合向量并以此构造联合特征向量，利用曼哈顿距离度量图像对之间的相似性。基于联合特征向量和距离度量方式，本文提出基于树的重排序算法。因此，通过结合不同类型特征的优势，得到了更好的重排序结果。此外，该方法的另一优点是可以对内存进行有效管理。
　　4)本文算法降低了计算代价，能有效表达样本之间的高层关系，将多特征融合集成到重排序过程，实现了更好的重排序性能，提高了行人再识别和重排序的结果。在更有挑战性的VIPeR，CUHK，GRID和ETHZ等公开数据集上进行扩展实验，使用累积匹配特征CMC曲线评估算法性能，结果表明本文提出的重排序方法优于现有算法，而且本文提出的排序优化和优先排序方法可以与基线法相结合以获得较为鲁棒和准确的重排序结果。
　　5)行人再识别后排序问题是目前的研究热点，因此本文介绍了后排序优化(POP)方法的设计和性能评估细节，详细分析了各种后排序算法，基线方法选择机制和基准数据集的选择。此外，本文讨论了设计和评估POP方法的未来研究方向。

目录

声明

摘要

ABSTRACT

Table of Contents

List of Figures

List of Tables

Chapter 1 Introduction

1．1 Introducfion

1．2 Motivations

1．3 Contributions

1．4 Dissertation Organization

Chapter 2 Literature Review

2．1 Introduction

2．2 Appearance-based Person Re-Id

2．2．1 Feature Representation

2．2．2 Feature Description

2．3 Metric Learning Methods

2．3．1 Large Margin Nearest Neighbor (LMNN)

2．3．3 Probabilistic Relative Distance Comparison (PRDC)

2．3．5 Cross-view Quadratic Discriminant Analysis (XQDA)

2．3．6 Symmetry-Driven Accumulation of Local Features (SDALF)

2．4 Post-Rank Optimization and Prioritization Methods

2．4．1 Soft Biometrics Attribute-based Re-ranking

2．4．2 Post-rank Optimization (POP)

2．4．3 Bi-directional Re-ranking

2．4．4 Saliency Re-ranking

2．4．5 Discriminative Content and Context Analysis (DCIA)

2．5 Evaluation Metrics

2．6 Discussions

Chapter 3 Pre-rank Prioritization

3．2 System Overview

3．2．1 Person Tracking and Detection

3．2．2 Color-based Pre-ranking

3．2．3 Signature Generation and Training

3．3 Results and Discussions

3．3．1 Datasets

3．3．2 Feature Extraction and Evaluation Protocols

3．3．3 Comparison with Other Person Re-Id Methods

3．4 Summary

Chapter 4 Post-rank Optimization via Hypergraphs

4．1 Introduction：Post-rank Optimization and Prioritization

4．2 Hypergraph-based Post-rank Optimization

4．2．1 Motivations of Using Hypergraph

4．2．2 Basic Notations Used in Hypergraph

4．3 System Overview

4．3．1 The Rank List Refinement

4．3．2 Hypergraph Learning for Re-ranking

4．3．3 Weight Learning of Hyperedges

4．4 Experiments and Results

4．4．1 Datasets

4．4．2 Feature Extraction and Evaluation Protocols

4．4．3 Evaluation with State-of-the-art Post-ranking Approaches

4．4．4 Evaluation with State-of-the-art Ranking Approaches

4．5 Summary

Chapter 5 Multi-feature Fusion Based Rank Optimization

5．1 Introduction：Multi-feature Fusion

5．2 System Overview

5．2．1 Multi-feature Selection and Fusion

5．2．2 Low Dimensional Embedding

5．2．3 Image Tree-based Re-ranking

5．3 Experiments and Results

5．3．1 Datasets

5．3．2 Evaluation Setting

5．3．3 Comparison with Other Methods

5．3．4 Comparison with Single Features

5．4 Summary

Chapter 6 POP：System Design and Performance Evaluation Considerations

6．1．1 POP Methods：Key to Good Results／Prioritization

6．1．2 Feature／Descriptor Level Challenges

6．1．3 Baseline Method Selection

6．1．4 Benchmark Datasets

6．1．5 Experimental Setup and Evaluation Protocols

6．2 Summary

Chapter 7 Discussions

7．1 Concluding Remarks and Summary of Contributions

7．2 Future Work

Appendix

References

ACKOWLEDGEMENT

List of Publications