三维目标群及动态表面的重建和跟踪

摘要

三维目标群是由大量的个体组成的群体，这些个体在三维空间中移动形成复杂的三维形状和运动模式。三维目标群广泛存在于自然界中，例如许多鸟类都成群结队地飞行，很多鱼类也会成群地游动，另外昆虫如蜜蜂，蝗虫等也会以群体的方式移动。多年以来，科学家们对这些生物行为表现出极大的兴趣，试图从中揭示出这些现象的一些普遍的规律以及形成这些现象的原因。然而，一直以来都没有有效的方法能够准确获得这些群体中每个个体的三维运动轨迹，这使得科学家不能对这些群体行为进行定量的研究。高速相机的发展使得人们可以在可接受的分辨率下拍摄到这些群体的运动，但是如何从拍摄得到的视频中重建出每个个体的三维轨迹仍然是一个很有挑战性的任务。
　　本文介绍一个三维目标群跟踪系统，在这个系统中，多台高速相机拍摄得到目标运动的视频，而跟踪算法可以自动从这些视频中恢复出目标的三维运动轨迹。本文的跟踪算法可以很充分地利用图像中包含的每个细小目标微弱的视觉信息，同时能够有效地减少遮挡及噪声对于跟踪器的干扰。实验表明，该算法在跟踪模拟产生的不同密度的目标群以及真实的生物目标中都能够取得准确的三维轨迹。
　　三维动态表面的重建和跟踪是计算机视觉里另外一个重要的问题，很多表面如人脸，布料的运动呈现出复杂的非刚体性，因此很难用几个有限的参数来描述，如何对这些表面进行有效的建模以及估计模型的参数都很有挑战性。本文提出一种方法将每一时刻的表面局部看作是具有9个参数的微小的时空平面，并且提出一种有效的区域增长策略让这些微小平面的参数得到正确的估计。为了保持得到的三维形状在运动时间上一致性，我们提出一种方法用前面得到的运动场来驱动三维的网格模型。实验表明，本文的方法能够有效地处理较大的运动并且重建出亚像素精度的三维形状以及运动。

目录

摘要

第一章 前言

§1．1 三维目标群的跟踪的研究背景及挑战

§1．2 本文解决三维目标群跟踪的思路和主要贡献

§1．3 动态表面的重建与跟踪的研究背景

§1．4 本文解决动态表面跟踪问题的思路和主要贡献

§1．5 本文组织

第二章 相关工作和理论基础

§2．1 相机模型

§2．2 相机标定

§2．3 光流和图像配准

§2．3．1 全局优化法

§2．3．2 局部优化法

§2．3．3 全局和局部方法比较

§2．4 三维重建

§2．4．1 立体匹配

§2．4．2 多视角三维重建

§2．5 表面运动获取

§2．6 目标跟踪

§2．6．1 贝叶斯滤波

§2．6．2 多目标跟踪

§2．6．3 多视角跟踪

第三章 大规模三维目标群的重建与跟踪

§3．1 引言

§3．2 假想目标的产生

§3．2．1 目标检测

§3．2．2 寻找无遮挡的瞬间

§3．2．3 双极线约束

§3．3 三维跟踪器

§3．3．1 目标状态和动态模型

§3．3．2 观测模型

§3．3．3 粒子滤波

§3．3．4 遮挡情况下的跟踪

§3．3．5 跟踪器状态的评估以及反向跟踪

§3．4 问题数据的处理

§3．4．1 重复轨迹的检测

§3．4．2 最长轨迹原则

§3．4．3 失败的情况

§3．5 实验结果

§3．5．1 模拟实验

§3．5．2 真实实验

§3．5．3 计算时间

§3．5．4 实验结果的后续分析

§3．6 本章小结

第四章 动态表面的运动获取

§4．1 引言

§4．2 区域增长的可行性

§4．3 局部的时空平面模型

§4．4 基于区域增长的场景流估计

§4．4．1 特征点的检测与匹配

§4．4．2 可见程度的更新以及优化评估

§4．4．3 区域增长

§4．4．4 外观变化的处理

§4．4．5 区域增长的算法总结

§4．4．6 优化过程的细节

§4．5 三维模型长时间序列跟踪

§4．5．1 已知三维模型条件下的运动场重建

§4．5．2 三维模型的顶点的跟踪

§4．5．3 网格模型的形变

§4．6 实验

§4．6．1 模拟数据

§4．6．2 真实拍摄的数据

§4．6．3 实验结果的讨论

§4．6．4 网格模型跟踪结果

§4．7 本章小结

第五章 总结和展望

参考文献

攻读博士期间的主要工作

致谢

声明