搜救现场人体的旋转不变视觉检测方法研究

摘要

救援机器人在战场或灾后救援工作中的作用日益凸显，其广泛采用的视觉传感器能够提供丰富的环境和目标信息。如何充分利用视觉传感器这一最接近人类的感知媒介，辅以合理有效的算法实现搜救现场人体的自主检测，是提高机器自主、提升作业效率的关键，有着巨大的理论意义与应用价值。
　　与保持直立状态的行人相比，搜救现场中的人体目标位姿变化更为复杂，其中最根本的不同在于人体目标与成像设备之间有着不确定的平面旋转角度。论文分别以图像特征构建、分类策略优化、旋转不变语义描述为切入点，开展复杂目标的旋转不变检测方法研究，有效解决了搜救现场人体检测中的旋转问题，取得了如下研究成果：
　　1.基于行人检测领域中应用最成功的方向梯度直方图（Histograms of Oriented Gradients，HOG）特征，开展了适用于复杂目标旋转不变检测的图像特征研究。首先，在梯度方向定义方面，摒弃了HOG特征中的固定坐标系，使用动态的局部径向－切向坐标系作为像素点梯度方向计算的参考坐标系，使得各像素点梯度方向在图像旋转过程中保持不变；然后，在空域采样方面，以检测窗中心为原点构建极坐标系，使用扇环作为空域采样的最小单元，使得图像旋转对最终特征的影响仅限于相位差异，而该差异可以通过向量的循环移位进行弥补；最后，对 HOG特征中梯度插值和高斯权重窗口的实现过程进行调整，以适用于新特征的空域采样设置。由于新特征的最小采样单元为扇环形，因此称为扇环状方向梯度直方图（Sector-ring HOG，SRHOG）。在实验部分，我们将SRHOG特征与线性支持向量机（linear Support Vector Machine，linear SVM）结合，应用在INRIA行人数据集、INRIA128×128行人数据集以及 VD01搜救现场人体数据集中。实验结果表明：SRHOG特征具有与HOG特征相当的行人识别能力，并能在搜救现场人体检测中优于其他先进的行人检测方法。
　　2.将增强随机蕨（Boosted Random Ferns，BRFs）算法与SRHOG特征相结合，开展了适用于复杂目标的旋转不变检测策略研究。首先，在SRHOG特征空间内定义局部二值特征和特征蕨，并使用连续Adaboost算法筛选识别能力较强的蕨组成最终的强分类器，获得SRHOG-based BRFs检测方法。然后，在此基础上提出两种目标旋转不变检测策略：“多方向检测”策略和“方向估计”检测策略。其中前者完全基于SRHOG特征对旋转目标语义描述的便利性，使用向量的循环移位代替图像旋转，完成对图像的多方向检测；后者引入了方向估计环节，只在预测方向上对图像进行检测。最后，我们还在两种检测策略之初加入了窗口初筛环节，用于对待测图片的背景信息过滤，减少后续操作计算量。为了便于对比其他文献研究，实验在Freestyle Motocross公开数据集中开展，对SRHOG-based BRFs方法的目标识别能力以及两种检测策略的旋转问题处理能力进行评价。结果表明，我们的方法均能获得与其他先进方法相当的检测结果，并且实现简单，更加适用于搜救机器人等计算能力有限的轻型平台；两种检测策略中，“多方向检测”策略能够搜寻到更多的旋转目标，“方向估计”检测策略则能够预测更精确的目标位姿方向。
　　3.结合旋转不变HOG（Rotation-Invariant HOG，RIHOG）特征和视觉词包（Bag of Visual Words，BoVWs）模型，开展了适用于复杂目标的旋转不变语义描述方法研究。针对现有旋转不变特征识别力不强的特点，借鉴了 HOG特征从局部特征中获取全局描述的思想，将全局特征描述分成底层特征计算和中层语义提取两个环节，分别采用 RIHOG特征和 BoVWs模型进行实现。RIHOG-BoVWs方法能够在保证旋转不变描述的前提下，捕捉目标的局部特性，具有较其他旋转不变特征更强的识别能力。实验部分，将RIHOG-BoVWs语义描述方法与 linear SVM结合，应用于Freestyle Motocross公开数据集。实验结果显示，RIHOG-BoVWs方法能够在非旋转目标检测中获得与HOG特征相当的检测效果，并在旋转目标检测中远优于HOG特征，充分验证了RIHOG-BoVWs方法用于复杂目标语义描述的可行性以及处理平面旋转问题的优越性。同时，RIHOG-BoVWs方法具有良好的区域特征平移不变性，能够降低对待测图片进行滑窗搜寻时的计算复杂度，大幅度提升检测效率。
　　4.针对灾后伤员搜寻的实用化需求，开展了搜救现场中的人体旋转不变检测实验研究。分别模拟无人机和地面机器人的任务视角，构建了两个具有不同复杂度的搜救现场人体数据集，用于对前述旋转不变检测方法的评价。结果表明， linear SVM+RIHOG-BoVWs和linear SVM+SRHOG的检测结果均优于其他方法。由于无人机和地面机器人视角下人体形态特点的差异，两数据集中各方法的表现也不甚相同。对于无人机视角下的搜救现场人体数据集，linear SVM+RIHOG-BoVWs和linear SVM+SRHOG方法检测效果相当，远优于其他方法；对于地面机器人视角下的搜救现场人体数据集，linear SVM+SRHOG方法则表现最好。此外，在所有方法中，linear SVM+RIHOG-BoVWs检测速度最快，检测耗时仅为HOG特征的一半左右。
　　综上所述，本论文围绕搜救现场中的人体旋转不变检测问题，提出了一种图像特征SRHOG，两种使用SRHOG-based BRFs方法的检测策略，以及一种旋转不变语义描述方法RIHOG-BoVWs，并通过构建无人机视角和地面机器人视角下的搜救现场人体数据集对各检测方法进行评价。结果显示，本论文中提出的检测方法均能获得较其它方法更优秀的检测结果，对于推动计算机视觉技术在救援机器人中的应用研究、提高我国和我军的应急救援能力有着重要意义。

目录

声明

缩略词表

图索引

表索引

第1章 绪论

1.1 课题背景及研究意义

1.2 基于视觉的人体检测技术研究现状

1.3 基于视觉的目标旋转不变检测技术研究现状

1.4 主要研究内容

1.5 论文组织安排

第2章 用于搜救现场人体旋转不变检测的SRHOG特征

2.1 相关工作

2.2 SRHOG特征构建

2.3 应用SRHOG特征的旋转不变检测方法

2.4 实验研究

2.5 本章小结

第3章 基于SRHOG-based BRFs的目标旋转不变检测方法

3.1 相关工作

3.2 SRHOG-based BRFs算法

3.3 基于SRHOG-based BRFs算法的旋转不变检测策略

3.4 实验研究

3.5 本章小结

第4章 RIHOG-BoVWs旋转不变语义描述方法

4.1 相关工作

4.2 HOG特征旋转不变性分析

4.3 RIHOG-BoVWs旋转不变语义描述方法

4.4 实验研究

4.5 本章小结

第5章 针对搜救现场人体的旋转不变检测实验研究

5.1 搜救现场人体数据集的制作

5.2 实验方法与参数设置

5.3 实验结果

5.4 本章小结

第6章 总结与展望

6.1 主要结论

6.2 创新点

6.3 展望

参考文献

在学期间取得的成果及发表的代表性论著

作者简历

致谢