面向多投影显示墙的画面校正与三维交互技术研究

摘要

随着半导体技术和图像处理软硬件技术的不断发展，单台PC机的计算能力和单片图形加速卡的三角形处理能力都有了极大的提高。然而，这些远不能满足交互式虚拟现实系统、数字化商业展出、科学可视化等领域对绘制速度、真实感和显示分辨率等方面的实际需求。基于PC集群的并行绘制系统整合了多台PC机的计算和绘制能力，可以完成单台PC机无法实现的火规模复杂场景的实时真实感绘制，并提供高分辨率、高亮度的显示画面。由于其町伸缩的绘制性能和高分辨率的显示输出，基于PC集群的并行绘制系统成为目前实现高性能、低成本大型绘制平台的首选解决方案。 为了将并行绘制系统生成的高质量图像完整地显示出来，图形显示设备同样需要具有高分辨率、高亮度等特性，因此，单台显示器或投影仪的分辨率和亮度有限性成为实现基于PC集群并行绘制系统的主要瓶颈之一。综合考虑系统性能和构造成本等多种因素，利用计算机图形学和图像处理技术将多台投影仪拼接起来实现多投影显示墙系统成为一个跨学科的研究热点。另一方面，由于通过多台PC机的网络链接实现的并行绘制系统具有节点分布离散、较火通讯延迟和交互空间广阔等特点，传统的单机交互协议和交互方式难以直接进行移植和复用。为了满足在基于PC集群的并行绘制环境下进行三维交互时保持不同绘制节点之间场景状态时空一致性和提高交互方式友好性的需要，交互协议和人机交互方式的研究成为实现交互式并行绘制系统的酋要问题之一。 本文深入研究了多投影显示墙画丽校正中存在的主要问题和基于PC集群并行绘制环境下的三维交互技术，主要贡献如下： 1．结合一种新的条形校正图案，通过综合考虑识别的鲁棒性和准确性，设计了相应的特征线拟合和特征点检测算法，实现了针对平面幕多投影显示墙的亚像素级几何校正；然后通过曲面逼近算法，将该方案推广到环幕多投影显示墙的几何校正中。 2．根据投影仪工作原理，分析了多投影显示墙环境下影响大屏幕显示效果的各种因素，提出了一种投影仪广义颜色模型，并借助于有理函数逼近的思想，设计了相应的最佳有理逼近算法来估计该广义模型的参数。 3．分析了造成几何校正后多投影显示墙颜色不均匀的多方面因素，尤其是投影仪内部和投影仪之问的颜色差异，提出了一种混合模拟退火与优胜劣汰思想的视觉无缝全局颜色校正算法。该算法通过自适应地剔除颜色严重畸变点，有效地提高了画面校正后的图像质量和显示亮度。 4．从提高交互的可感知性和自然性出发，根据基于PC集群的并行系统中节点分布离散性等特点和三维交互时绘制节点间场景对象状态的时空一致性的需要，设计了一种并行绘制环境下的三维交互协议。 5．提出了一种基于模糊预测控制理论的手臂运动估计算法(记作FPC-AME算法)，用来实现形象化的六自由度手臂导航操作；然后综合手臂运动跟踪结果和数据手套状态输出，提出了一种面向多投影显示墒系统的沉浸式交互方案，其中手臂运动跟踪算法主要提供交互指示器的位移信息，数据手套输出则用于生成对象选中、平移和旋转等编辑命令。 6．提出了一种简洁的Tortoise模型来描述人手部的基本几何特征，并根据该模型建立和训练手势模式库；然后设计与实现了一个完全基于视频信息的简单手势交互系统。该系统基于优胜劣汰规则在几何与纹理混合特征窄问中进行目标手形与模式库中预定义手形的分级匹配，在降低手势误判率的同时，有效地提高了手势交互操作的实时性。

目录

文摘

英文文摘

第一章 绪论

1.1多投影显示墙的画面校正概述

1.1.1几何校正

1.1.2颜色校正

1.2并行绘制环境下的交互技术概述

1.2.1并行环境下的交互协议

1.2.2人机交互技术

1.2.3手势交互

1.3本文的研究工作

1.3.1多投影显示墙的画面校正

1.3.2并行绘制环境下的交互技术

1.4论文结构

第二章 多投影显示墙的几何校正

2.1问题描述

2.2基本概念

2.3平面幕几何校正

2.3.1校正图案选择与识别

2.3.2预扭曲矩阵计算与实时应用

2.3.3实例研究

2.4立体型平面幕几何校正

2.4.1预扭曲矩阵计算

2.4.2实例研究

2.5环幕几何校正

2.5.1环幕几何校正的特殊性

2.5.2基于曲面逼近思想的环幕几何校正

2.5.3实例研究

2.6小结

第三章 多投影显示墙的颜色校正

3.1问题描述

3.2基本概念

3.3基于简化模型的颜色校正

3.3.1算法概述

3.3.2 ITF简化模型

3.3.3全局颜色映射

3.3.4试验结果

3.4基于广义颜色模型的颜色校正

3.4.1广义颜色模型

3.4.2视觉无缝算法

3.4.3误差分析与结果比较

3.5小结

第四章 并行绘制环境下的交互技术研究

4.1问题描述

4.2交互协议

4.2.1背景知识

4.2.2 PRS-IP协议描述

4.2.3消息定义

4.2.4同步机制

4.3交互信息获取

4.4实例研究

4.4.1系统框架

4.4.2性能分析

4.5小结

第五章 手势交互技术

5.1问题描述

5.2基本概念

5.3手臂运动估计

5.3.1标识环的特征提取

5.3.2手臂运动估计的模糊预测控制

5.3.3实例研究

5.4手势辨识

5.4.1人手部Tortoise模型

5.4.2实时手势辨识

5.4.3实例研究

5.5小结

第六章 结束语

6.1结论

6.2展望

参考文献

攻读学位期间发表和录用的学术论文

致谢

词汇表