一种基于双目图像和距离信息的虚实遮挡处理方法

摘要

本发明提出了一种基于双目图像和距离信息的虚实遮挡处理方法，包括：基于双目图像物体边缘检测半遮挡现象；给出双目图像的光强阶跃与激光测距的距离阶跃、以及两种阶跃之间的映射关系；根据光强阶跃与距离阶跃之间的映射关系，确定双目图像和距离信息之间的空间坐标映射关系；利用激光测距补充双目图像的真实场景深度信息，在半遮挡区域内实现虚拟物体与真实物体之间的虚实遮挡处理。本发明可以广泛地应用于军事、航空、航天、教育、娱乐等领域的虚实融合场景生成。

说明书

技术领域

本发明属于虚拟现实领域，具体地说是一种基于双目图像和距离信息的虚实遮挡处理方 法。

背景技术

增强现实，是虚拟现实的进一步拓展，它借助必要的设备使计算机生成的虚拟环境与客 观存在的真实环境共存于同一系统中，从感官上给用户呈现出虚拟对象与真实环境融为一体 的增强现实环境。在利用视频图像描绘真实环境的增强现实系统中，虚实结合技术在获得真 实环境信息的基础上，需要计算虚拟物体在视频图像中相应空间位置，确定虚拟物体与真实 物体之间的遮挡关系，建立虚拟物体与真实环境融为一体的逼真场景。虚拟对象与真实物体 的空间遮挡关系直接影响到用户对于虚实无缝融合的体验效果，所以，虚实遮挡处理是增强 现实系统中虚实结合技术的重要组成部分。而实虚遮挡的判断则需要先获得虚拟对象、真实 物体分别与观察者视点的距离，然后比较二者之间的大小

增强现实系统中虚实遮挡处理多采用计算机视觉的方法解决，传统视觉计算理论具有不 确定性，其原因在于把三维世界投影成二维图像，然后通过建立起该图像数据与成像过程及 景物特征的数学关系来恢复三维景物的，因而存在信息丢失问题，其中最重要的是深度信息。 针对不确定问题，国外学者提出双目视觉方法加以补充。双目视觉理论建立在对人类视觉系 统研究的基础上，通过双目立体图像的处理，获取场景的三维信息，其结果表现为深度图， 再经过进一步处理就可得到三维空间中的景物，实现二维图像到三维空间的重构。双目视觉 模型中，双摄像机彼此参数一致，光轴平行且垂直于基线，构成一共极性结构，这样做是为 了缩小对应的搜索空间，只有水平方向的视差，简化了对应过程。

利用多种传感器的融合，来完善现有增强现实中的三维处理涉及到的各种问题，具有很 现实的实用意义。在当前利用视频图像来描绘真实环境的增强现实系统中，需要确定真实环 境中的物体在视频图像中的空间位置，再通过计算虚拟物体在视频图像中的相应空间位置， 才能正确地表现二者之间的遮挡关系。虽然面向虚实遮挡处理的双目视觉方法可以计算真实 场景的深度信息，但是却难以处理真实物体之间存在半遮挡现象的场景。可以利用距离传感 器来补充半遮挡区域内的物体的深度信息。

当前对于场景深度处理通常采用双目视觉技术，而双目视觉技术必然会存在半遮挡现 象。当重要目标出现在半遮挡区域时，纯粹的双目视觉已经无法满足需求。现有的对半遮挡 问题的研究仅限于针对点的匹配，消除半遮挡带来的误差与噪声，没有从根本上去解决半遮 挡问题。而基于视频设备的虚实遮挡处理，也并没有解决半遮挡问题，只是依赖利用空间关 系，事先在场景上方添加摄像机等方式回避了半遮挡问题。基于多类传感器的虚实遮挡处理， 也采用了相对较复杂的设备，并且对场景的事先布置也要求较高。丧失了双目视觉的简单与 快速以及不需要事先布置场景的优点。本发明利用距离传感器，在必要的时候直接获取被遮 挡区域目标的深度信息为双目视觉提供补充信息。从而既保持双目视觉的被动及快速的优 势，又不过分增加设备的复杂性，更好地完成了虚实遮挡处理。

发明内容

本发明的目标是提供一种基于双目图像和距离信息的虚实遮挡处理方法，基于双目图像 匹配及多传感器配准的技术，实现在增强现实环境中的进行虚实遮挡处理，解决双目视觉固 有的半遮挡问题。本发明的重点是如何根据双目图像物体边缘确定物体间的半遮挡现象，如 何利用激光测距补充基于双目图像的真实场景深度信息，为虚实融合场景生成奠定基础。

本发明采用的技术方案是：首先，通过检测双目图像获得真实物体的边缘信息，提取每 一个边缘点对应的若干边缘像素(包括位于边缘两侧的像素)，并且将两幅图像的边缘像素 进行灰度匹配，判断真实物体之间是否存在半遮挡现象；其次，利用双目图像和激光测距分 别确定光强阶跃集合与距离阶跃集合，根据阶跃之间的距离，将光强阶跃集合与距离阶跃集 合进行匹配，基于能量函数计算每次匹配的能量值，由最小能量值确认两个集合之间的最佳 匹配，并且以该最佳匹配表示光强阶跃与距离阶跃之间的映射关系；根据光强阶跃与距离阶 跃之间的映射关系，建立双目图像和距离信息之间的空间坐标映射关系，确定补充基于双目 图像的真实场景深度信息；基于激光测距补充的真实场景深度信息，在半遮挡区域完成虚拟 物体与真实物体之间的虚实遮挡处理。

半遮挡现象是指在双目图像中，某个物体在一个视频设备的视场区域中出现，而该物体 在另一个视频设备的视场中却被其它物体遮挡的现象。如图1所示：由于物体A的遮挡，左摄 像机和右摄像机彼此各有一个盲区b和c，还有一个公共盲区a，而物体B恰恰处于左摄像机的 盲区b内，因此左摄像机是“看”不到物体B。于是，双目视觉算法会将整个b区域均视为背 景处于无穷远处。在虚实遮挡处理过程中，即使虚拟物体的深度应该大于物体B的实际深度， 但由于B所在的区域深度被视作无穷远，显然虚拟物体就会被直接绘制在B之前。本发明提 出的基于双目图像物体边缘的半遮挡现象检测方法，首先通过边缘识别，再将两幅图像中物 体边缘区域的局部信息进行灰度匹配。未被匹配成功的边缘信息，则在一定概率下反应了被 遮挡目标的存在性。

基于双目图像的光强阶跃是指对于视频采集到的场景图像，由于光线分布的特点，在不 同景深的位置，光强是不一样的，并且由于物体本身的遮挡产生的阴影，也会造成局部区域 光线较强烈的变化，因此距离近的物体向距离远的物体过渡处(或者是物体边缘处)，会在 双目图像上产生一个光强阶跃。

基于测距仪测的距离阶跃是指对于测距仪测得的物体与传感器的距离，与传感器不同距 离的物体，其边缘信息的变化，就产生了不同的距离阶跃。

本发明与现有的技术相比，其有益的特点是：1、本发明根据基于双目图像物体边缘的 半遮挡现象检测结果，决定是否需要激光测距提供真实场景的补充信息，当检测结果显示没 有半遮挡现象，则不需要激光测距补充信息，一定程度上减少计算量；2、本发明通过双目 图像的光强阶跃与激光测距的距离阶跃之间的映射关系，确定双目图像和距离信息之间的空 间坐标映射关系，实现真实场景深度信息补充；3、利用激光测距补充基于双目图像的真实 场景深度信息，在半遮挡区域实现虚拟物体与真实物体之间的虚实遮挡处理。

附图说明：

图1是本发明半遮挡场景示意图；

图2是本发明基于双目图像与距离信息的虚实遮挡处理总体流程图；

图3是本发明边缘集合图；

图4是本发明方差和灰度匹配图；

图5是本发明算法流程图；

图6是本发明基于合成深度信息的遮挡处理绘制流程图。

具体实施方式：

参阅图2本发明的主流程图，首先根据采用双目摄像机采集的视频图像数据(即双目图 像)，进行半遮挡检测；若检测发现有半遮挡现象，则进行双目图像光强阶跃分析、激光测 距及基于激光测距的距离阶跃分析，求解使能量最小的光强阶跃和距离阶跃之间的映射关 系，再对比视觉差值及补充视觉差值；最后进行虚实遮挡处理。

图像灰度信息是物体及场景所固有的，是可以量化的数据信息；而图像特征信息则是与 物体本身所固有的，可以用来进行界定与区分的信息。在理想场景中，物体之间的间隔可以 体现在物体的边缘信息上。边缘通常代表了图像信息最丰富的结构，常被用作于图像匹配的 特征。基于双目图像物体边缘的半遮挡现象的检测方法，通过图像边缘检测来获取物体的边 界信息，并以此为依据，获得用于灰度匹配的边缘信号集合，主要包括四个部分：边缘点生 成、边缘集合生成、边缘信号元素匹配、以及匹配结果修正与判断。

边缘点生成，即确定两个需要匹配集合的内容。边缘信息通过边缘检测来完成。在边缘 检测之前，先对图像进行滤波，以消除噪声。常用消除噪声方法有邻点平均法、中值滤波法 和高斯滤波法。本发明采用高斯函数对双目图像对进行高斯滤波去噪。高斯滤波法，又称σ 滤波法，其基本思想是对被处理的像素，用它邻域内一些像素的平均值代替，不过这些像素 的灰度必须落在中心像素灰度的一个固定的σ范围内，其优点是对高斯分布的噪声有很强的 抑制能力，而大多数图像噪声是高斯分布。

边缘检测算法通过梯度算子来实现，在求边缘的梯度时，需要计算对每个象素位置。在 实际中常用小区域模板卷积来近似计算，模板是N×N的权值方阵，经典的梯度算子模板： 索贝尔模板、普鲁伊特模板、罗伯茨模板、拉普拉斯模板等。由于索贝尔算子采用图像差分 和滤波计算梯度，速度快，具有一定的噪声抑制能力，因此本发明中采用索贝尔算子。

仅仅得到全局各点的梯度值并不足以确定边缘，为确定边缘，必须保留局部梯度最大的 点，即非极大值抑制。一个像素点沿其方向角方向上有两个相邻的像素点，如果当前像素点 比这两个点的梯度都大，则当前像素点可能为边界点。遍历所有点集，将可能的边界点，保 留在结果集中。

所有局部梯度最大的点，只是在某个局部区域内得到了可能的边界点。但是这些点并不 代表就是真实物体的边界。因此设定一个梯度阈值T₂，将梯度小于此阈值的像素点从集合中 删除。T₂通常设定为一个比较大的值，因此得到的结果含有较少的假边缘图n₂[i，j]，但有间 断(不闭合)。因此再次设定一个阈值T₁(≈T₂/2)。重新结合原梯度矢量矩阵对图像进行处理， 得到一个低阈值的边缘图n₁[i，j]。首先把n₂[i，j]中的边缘点连接成轮廓，然后在n₁[i，j]中迭 代查找可以连接到轮廓上的边缘点并与之连接，直到这些轮廓成为比较完整的物体边缘。

边缘集合的生成，即将已有的边缘点扩充为连续的曲线。以上生成的边缘集合是单像素 宽度的，尽管双阈值分割尽可能保持边缘的连续性，仍有可能同一个物体的边缘信息会有不 连续的现象。由于本发明的采集环境中，摄像设备是左右并列放置，因此主要考查纵向边缘， 故在边缘检出时，从一个起始点出发，只连接其方向角在其上方与下方的边缘点，直到其上 下方向没有相邻边缘点，左右方向的边缘点不予考虑。

从某个始点开始，其上下方共有6个点，如图3所示，分别编号为1、2、3、7、8、9。 如果是采用从上至下的搜索策略，那么只搜索下方的7、8、9号点，反之就搜索上方的1、2、 3号点，并且构建一个数组A[i]来记录变化趋势。本发明采用从上至下策略，优先选择8号 点，并记录A[i]＝0。如果8号点为非边缘点，则选择7号或者9号点。同时，使用数组A[i] 记录当前斜率，也即如果选择7号点，则记录A[i]＝-1；如果选择9号点，则记录A[i]＝1； 再以选择的点为当前点，考查其下方的三个点，重复上述过程。

边缘信号元素的匹配，即匹配两幅图像的边缘信号集合。图像匹配通常分为三种：基于 灰度的匹配、基于特征值的匹配、基于纹理信息的匹配，本发明采用基于灰度的匹配。基于 灰度的匹配，直接使用像元灰度，逐像素地把一个以一定大小的实时图像窗口的灰度矩阵与 参考图像的所有可能的窗口灰度阵列按某种相似性度量方法进行搜索比较的匹配方法。

方差和算法是目前被普遍采用的一种针对灰度图像的匹配算法。该算法的基本原理是通 过求取两个像素点窗口中对应像素灰度差平方和的最小值来确定最佳匹配。如图4所示，假 设立体像对的左图中一个基准点P(i，j)，取其大小为(2k+1)×(2h+1)的像素邻域M，右图中 一待定匹配点为P′(i，j+d)，d为视差值，取其大小同为(2k+1)×(2h+1)的像素邻域N。如果 P(i，j)和P′(i，j+d)互为匹配点，那么根据方差和算法，则P(i，j)和P′(i，j+d)的像素邻域M和 N对应像素灰度差平方和Δ_k必须满足：

${\Delta }_k=\underset{x=1}{\overset{2k+1}{\Sigma }}\underset{y=1}{\overset{2h+1}{\Sigma }}{[M(x,y)-N(x,y)]}^2=\min ({\Delta }_1,{\Delta }_2,...{\Delta }_k,...{\Delta }_z),$

Δ₁，Δ₂，...Δ_k，...Δ_z分别指右图中预定视差搜索范围Z内的第1，2，…k，…，z个像素点的像 素邻域与P(i，j)的像素邻域M对应像素灰度差平方和。该式说明，在预定的视差搜索范围内 所有待定匹配点中，最佳匹配点与基准点的像素邻域M对应像素灰度的差平方和是最小的。

通常使用方差和的前提是有一个作为匹配模板的基准像元，用这个模板去逐块搜索被匹 配图像。从中找到差平方和最小的区域作为匹配区域。由于半遮挡区域在匹配前是未知的， 因此无法得到含有半遮挡区域中完整物体的匹配模板。本发明采用如下的边缘信号匹配指导 思想：边缘特征确定匹配区域，灰度匹配采用灰度差平方和进行量化匹配。以任一图中每个 边缘信号元素作为模板，从另一图中查找对应匹配，所述边缘信号元素是像素间断曲线段， 每一曲线段为一个边缘信号元素。对于每个边缘信号元素，从原图中对应位置取各点的灰度 值，采用灰度差平方和进行量化，将两幅图像的各个区域进行分别计算。由于各边缘信号大 小不一致，因此其边缘区域也会大小不一致，因此参照两者中比较大的区域，将小区域的边 缘信号元素进行扩展，直至两者大小一致。

假设图像A的边缘信号集合为s_A＝{ESE_A1，ESE_A2，...，ESE_Ai，...，ESE_Am}，图像B 的边缘集合为s_B＝{ESE_B1，ESE_B2...，ESE_Bj，...，ESE_Bn}。不妨假设，半遮挡区域出现在 图像A中，也即可以理解为存在ESE_occ∈s_A，在s_B中找不到对应匹配区域。于是我们需要将 任意ESE_Ai∈s_A与ESE_Bj∈s_B比较，将能够匹配出来的ESE_Ai去除，重复迭代后，剩下在集合s_A 中的边缘信息即为ESE_occ。

针对s_A中的每个元素ESE_Ai，分别与s_B中的ESE_Bj进行绝对差值法匹配：

${\Delta }_{\mathrm{Ai}-\mathrm{Bj}}=\Delta (\mathrm{ES}{E}_{\mathrm{Ai}}-{\mathrm{ESE}}_{\mathrm{Bj}})=\underset{u=1}{\overset{r}{\Sigma }}\underset{v=1}{\overset{s}{\Sigma }}{[P_u(x,y)-Q_v(x,y)]}^2(\mathrm{Ai}=\mathrm{1,2,3},..m;\mathrm{Bj}=\mathrm{1,2,3},...,n),$

P_u(x，y)代表ESE_Ai中第u个像素点的灰度值，Q_v(x，y)代表ESE_j中第v个像素点的灰度值。 取ΔESE_Ai＝min(Δ_Ai-B1，Δ_Ai-B2，...Δ_Ai-Bj，...Δ_Ai-Bn)。在实际匹配过程中，可能会发生多个边缘匹 配到同一目标上。对于这种冲突情况，采用次小值匹配避免重复计算。

为了防止由于纹理图案造成的伪边缘信号，本发明定义如下修正准则：

为某边缘集合的光强，也即该区域的灰度信息总和，r为元素 ESE_Ai包含像素点的个数。对于满足条件

(其中m为s_A中元素的个数)的边缘信号，则保留在s_A中， 否则去除；对于满足条件

(其中n为s_B中元素的个数)的边缘信号，则保留在s_B中，否则去除；ω为一个阈值，由于各场景纹理信号是不同的，因此这个阈值应该根据不同 的场景进行调整，本发明取经验值ω＝50％，即边缘信号强度低于信号平均值的50％时，视 为伪边缘信号元素。

以边缘集合s_A中的每一个信号元素ESE_Ai作为方差和中的匹配模板去集合s_B中找寻一 个最小相异的匹配元素ESE_Bj，匹配结果记为有序偶对集合为LR＝{...，<ESE_Ai，ESE_Bj>，...}。因 为半遮挡区域是未知的，所以上述匹配极有可能发生错误，即s_A中半遮挡区域内的物体边缘 信号元素也被匹配到s_B的边缘信号元素。再以边缘集合s_B中的每一个元素所作为方差和中的 匹配模板去s_A中找寻一个最小相异的匹配元素，所得到的结果为RL＝{...，<ESE_Bj，ESE_Ai>，...}。

假设，左右图像没有发生半遮挡现象，并且所有匹配都是正确的，从双目视觉算法中LRC 原则的思想可以知道，“如果以左图某个区域a为模板，对应于右图的区域b，则当以右图的 b为模板时，从左图搜索到的匹配结果也应为a”。显然，若<ESE_Ai，ESE_Bj>∈LR，则一定会有 <ESE_Bj，ESE_Ai>∈RL。于是，若<ESE_Ai，ESE_Bj>∈LR，但是，或者 <ESE_Bj，ESE_Ai>∈RL而，则ESE_Ai与ESE_Bi的配对关系是不被认可的。

由于半遮挡现象必然是发生在某个物体左侧或者右侧，构造两个边缘集合：

L′＝{ESE_Ai|<ESE_Ai，ESE_Bj>∈LR，且$<{\mathrm{ESE}}_{\mathrm{Bj}},{\mathrm{ESE}}_{\mathrm{Ai}}>\notin \mathrm{RL}\}$

$R^{\prime }=\left\{{\mathrm{ESE}}_{\mathrm{Bj}}\right|{\mathrm{ESE}}_{\mathrm{Ai}},{\mathrm{ESE}}_{\mathrm{Bj}}>\notin \mathrm{LR},$且<ESE_Bj，ESE_Ai>∈RL}

则集合L′、R′必然有一个为空。可以得出结论：当则左图像有半遮挡区 域，即右摄像机被遮挡；当则右图像有半遮挡区域，即右摄像机被遮挡； 当则没有发生半遮挡现象。

双目图像与距离信息的匹配：对于视频采集到的场景图像，由于光线分布的特点，在不 同景深的位置，光强是不一样的，并且由于物体本身的遮挡产生的阴影，也会造成局部区域 光线较强烈的变化，因此近距离物体向远距离物体过渡，会在视频图像上产生一个光强阶跃， 其与视频图像有对应的关系，即物体边缘处容易出现光强阶跃信号。对于测距仪测得的物体 与传感器的距离，相当于从上向下俯视整个场景，也即物体向水平平面投影的结果。与传感 器不同距离的物体，其边缘信息的变化，就产生了不同的距离阶跃。离测距仪测较近的平面 向物体边缘过渡，对应的投影图像就会产生距离阶跃信号。

距离信息阶跃：由于传感器设备没有纵向运动的传动机构，本发明所使用的距离传感器 只做横向运动。分析距离图像的阶跃信号，主要是分析图像的边缘的变化。首先利用角点检 测算法，探测斜率有所变化的像素点所在位置。以某像素点为中心，若图像灰度沿任何方向 都变化强烈，则该像素点被检测为角点。考虑图像中任意像素点和以它为中心的圆形区域， 当任意一条直线通过中心像素点N交圆形区域边界于点P和点P′时，定义角点反应函数：

R_N＝min((f_p-f_N)²-(f_p′-f_N)²)

其中f_N表示中心像素点的灰度值，f_p和f_p′分别表示点P和P′的图像灰度值，点P和P′关 于点N对称。反应函数有三种取值：(a)至少有一条通过中心像素点的直线使得角点反映函 数值为零；(b)只有一条通过中心像素点的直线使得角点反映函数值为零；(c)通过中心像 素点的任何直线都使得角点反映函数值为2。在实际图像中，由于灰度值是0到255变化而 不是简单的0和1，所以(a)和(b)两种情况得到的角点反应函数值较小，而(c)的角点 反应函数值很大。选择适当的阈值可区分角点和非角点。计算分两步，首先计算水平和竖直 方向的灰度变化：

r_a＝((f_a-f_N)²+(f_a′-f_N)²)

r_b＝((f_b-f_N)²+(f_b′-f_N)²)

f_a和f_a′表示水平方向上点a和a′的图像灰度值，f_b和f_b′表示竖直方向上点b和b′的图像灰 度值。取R_N＝min(r_a，r_b)，若此时R_N小于阈值R，则中心像素不是角点。否则，利用进行线 性插值的方法得到近似足够多的方向上的灰度变化。

由于探测出来的角点是杂乱无序的，因此首先要对结果进行排序，排序依据是角点x的 坐标值，然后再按顺序判断前后两个角点的斜率关系，当前后角点之间连线的斜率保持半径 方向时，则可以理解为没有发生阶跃，一旦斜率显著改变，则应该认为发生了阶跃。当再次 回到半径方向时，再一次发生阶跃。如此反复，即可以得到物体的距离阶跃信息。

双目图像光强阶跃：对于双目图像，取像素点沿纵向几个像素点，将其光强相加，得到 光强统计图，统计图的陡峭部分，也即是场景光强阶跃的部分。

视频图像与距离图像映射视频信息图像与距离信息图像存在的某种内在映射关系，可 以利用两种阶跃的相关性来进行分析。根据以上求解，记双目图像的光强阶跃集合为 α＝(α₁，α₂，α₃，...，α_n)，距离图像的距离阶跃集合为β＝(β₁，β₂，β₃，...，β_m)。由于纹理及边缘检 测的缘故，光强阶跃集合中存在伪阶跃，而且距离阶跃集合很少存在伪阶跃。因此，它们的 匹配原则基于假设：距离图像的距离阶跃是准确的。以β₁、β₂为基准，通过α₁到α_n中，任 取两个边缘α_i，α_j进行匹配，并以匹配结果作为比例因子，分别去计算β₃，β₄，...，β_m对应的 光强阶跃。定义能量函数：

K_i＝ΔX*δ₁+ΔT*δ₂＝δ₁*|X_β-X_α|+δ₂*|T_β-T_α|

其中，δ₁与δ₂为影响因子，分别代表了边缘所在位置的坐标与其斜率对匹配的影响程度，随 不同场景有所不同，X_α、X_β为边缘在平面图像中的坐标，T_α、T_β为边缘的斜率。

首先假设β₁与α₁匹配：以scale＝(α₂-α₁)/(β₂-β₁)为比例尺，分别求β₃，β₄，…，β_m对 应的α_j，并且分别计算(K₁，K₁，……，K_m-2)，记录累加值为K₁₁。再分别以 scale＝(α₃-α₁)/(β₂-β₁)，得到累加值K₁₂；scale＝(α₄-α₁)/(β₂-β₁)，得到累加值K₁₃，……， 得到累加值K_1(n-m+1)。再假设β₁与α₂匹配(即α₁为伪边缘)，以scale＝(α₃-α₁)/(β₂-β₁)为 比例尺，分别求β₃，β₄，…，β_m对应的α_j，并且分别计算(K₁，K₁，……，K_m-2)，记 录累加值K₂₁。再分别以scale＝(α₄-α₁)/(β₂-β₁)，得到累加值K₂₂，……，得到累加值K_2(n-m)。 依此类推，最后假设β₁与α_n-m+1匹配(即α₁至α_n-m均为伪边缘)，得到累加值K_(n-m+1)1。经过 上述匹配后，可以得到一个能量值矩阵：

$K_{\mathrm{energy}}=\left(\begin{array}{ccccccc}{K}_{11}& K_{12}& K_{13}& ...& ...& ...& K_{1(n-m+1)}\\ K_{21}& K_{22}& K_{23}& ...& ...& K_{2(n-m)}& \infty \\ ...& ...& ...& & \infty & \infty & \infty \\ K_{(n-m+1)1}& \infty & \infty & \infty & \infty & \infty & \infty \end{array}\right)$

其中，K_ij代表β₁与α_i匹配，β₂与α_j匹配时，计算出的所有其它β相应的能量值的总和。取 K_xy＝min(K_energy)时的scale组合，即α_i匹配β₁，α_j匹配β₂作为最终认可的匹配。重新计算 其它视频图像上的边缘与距离图像上的边缘的对应关系，最终根据各边缘距离值，得到视频 图像与距离图像的坐标变换关系。

距离图像中由边缘划分的区域P₁，P₂，……，P_i……，分别对应于双目图像中的区域Q₁， Q₂，……，Q_i……。于是变换公式为：

$Q_i=P_i{M}_i=P_i\left(\begin{array}{cccc}{A}_1& A_2& ...& A_n\\ B_1& B_2& ...& B_n\\ C_1& C_2& ...& C_n\end{array}\right),(i=\mathrm{1,2,3},...,n)$

其中，A_i代表距离图像第i个区域内的点向视频图像进行映射的x轴变换参数，B_i为y轴变 换参数，C_i为z轴变换参数，也即深度变换。M_i代表距离图像不同区域所对应的变换矩阵， 且

$M_1=\left(\begin{array}{cccc}{A}_1& 0& ...& 0\\ B_1& 0& ...& 0\\ C_1& 0& ...& 0\end{array}\right),$$M_2=\left(\begin{array}{cccc}0& A_2& ...& 0\\ 0& B_2& ...& 0\\ 0& C_2& ...& 0\end{array}\right),$，……，$M_n=\left(\begin{array}{cccc}0& 0& ...& A_n\\ 0& 0& ...& B_n\\ 0& 0& ...& C_n\end{array}\right)$

于是P₁在视频图像上对应的点为Q₁(x，y，z)＝(A₁x，B₁y，C₁d_p)；同理，区域P₂在视频图像上对 应的点为Q₂(x，y，z)＝(A₂x，B₂y，C₂d_p)；依次类推，可以得到所有距离图像区域到视频图像上 的映射位置。这样我们就可以得到视频图像上对应区域之间的深度关系。依据预先测定的深 度缓存值与真实值的比例关系，我们可以同双目视觉得到的场景其它区域的深度信息相比 较，从而得到全局的完整深度信息，从而为后续的虚实遮挡处理打下基础。

虚实遮挡处理包括双目视频图像的视差值获取、视差与深度映射、虚拟对象与视频图像 场景融合。本发明采用斯坦福大学Birchfield在1998年提出来的算法计算双目视觉的视差 值。该算法的步骤简明直观，运算速度较快，精度高，是双目视觉比对中较为优秀的算法之 一。该算法计算双目视觉的视差值分两步：第一步，从左、右图像的第一行象素开始逐行往 下扫描，利用动态规划算法逐个比对象素视差；第二步，将第一步比对得到的可信度较高的 视差值“传播”修正邻近扫描线上的视差值，提高第一步比对得到的视差图的精度，该过程 如图5所示。

假设左、右图像对应扫描线上的匹配序列为：SM＝{(1，0)，(2，1)，(6，2)，...，(x，y)，...}，其中 (x，y)表示左扫描线上的象素x和右扫描线上y的象素对应于真实场景中同一点，没有匹配的 象素点为半遮挡区域。为了衡量匹配序列接近真实匹配序列的程度，定义如下代价函数：

$\gamma \left(M\right)=N_{\mathrm{occ}}{k}_{\mathrm{occ}}-N_m{k}_r+\underset{i=1}{\overset{N_m}{\Sigma }}d(x_i,y_i)$

N_occ和N_m分别是匹配序列中遮挡和匹配的象素个数，k_occ表示遮挡的“惩罚”，可以理解为 象素之间至少相差k_occ大小的亮度，即视差；k_r表示匹配的“回报”，可以理解为匹配的两个 象素之间亮度的最大差异。d(x_i，y_i)衡量匹配象素x_i和y_i对应于空间中同一点的可信程度。 定义为右扫描线上象素的线性插值函数，则x_i落入y_i周围的线性插值区域的适合程度由以 下函数衡量：

$\bar{d}(x_i,y_i,I_L,I_R)=\underset{y_i-\frac{1}{2}\le y\le y_i+\frac{1}{2}}{\min }|I_L\left(x_i\right)-{\hat{I}}_R\left(y\right)|$

其中，I_L和I_R分别是左、右匹配扫描线上象素亮度的函数曲线，由下列式子计算得出：

$I_R^{-}\equiv {\hat{I}}_R(y_i-\frac{1}{2})=\frac{1}{2}(I_R\left(y_i\right)+I_R(y_i-1))$

$I_R^{+}\equiv {\hat{I}}_R(y_i+\frac{1}{2})=\frac{1}{2}(I_R\left(y_i\right)+I_R(y_i+1))$

令$I_{\min }=\min (I_R^{-},I_R^{+},I_R\left(y_i\right)),$$I_{\max }=\max (I_R^{-},I_R^{+},I_R\left(y_i\right)),$则$\bar{d}(x_i,y_i,I_L,I_R)$也可以由以下式子计 算得到：

$\bar{d}(x_i,y_i,I_L,I_R)=\max \{0,I_L\left(x_i\right)-I_{\max },I_{\min }-I_L\left(x_i\right)\}$

根据视频图像的视差深度图，距离图像的深度图，我们可以得到视差深度图与距离深度 的映射关系。设视频图像上某像素P的坐标为：

P(x，y，d_p)＝[x_p y_p d_p]^T  (d_p为视差深度图值)， 其在距离图像上对应点P′的坐标为：

P′(x，y，d′_p)＝[x_p y_p d′_p]^T  (d′_p为距离深度值)， 而半遮挡区域的像素Q的坐标为：

Q(x，y，d_q)＝[x_q y_q ∞]^T  (半遮挡区域内的距离值为无穷∞)， 其在距离图像上对应点Q′的坐标为：

Q′(x，y，d′_q)＝[x_q y_q d′_q]^T

需要由P，Q的关系及Q′，求解出Q的深度d_q。根据前面提到的视频图像与距离图像 映射矩阵：

$M_i=\left(\begin{array}{cccc}{A}_1& A_2& ...& A_n\\ B_1& B_2& ...& B_n\\ C_1& C_2& ...& C_n\end{array}\right)$

因为：

Q(x，y，d_q)＝Q′(x，y，d_q)M_i＝(A_ix，B_iy，C_id′_q)

P(x，y，d_q)＝P′(x，y，d_q)M_j＝(A_jx，B_jy，C_jd_q) 所以：根据上述方式，即可以求出深度距离对应的视差值。

通过双目视觉获得视差图后，可以认为对应于双目立体图像上所有象素的视差值即是真 实场景在双目视觉设置下深度值的倒数。再根据半遮挡判断，获得被遮挡目标的视差值，从 而获得完整的场景视差值。因此，可以进入下一步工作，基于深度值判断实虚空间遮挡关系。 其实现过程是：将带有视差的象素值写入OpenGL的深度缓存，并令OpenGL绘制循环在绘制 虚拟物体的三维图形时进行深度测试，如图6所示。OpenGL深度测试会比较三维几何模型的 Z值和深度缓存中的深度值，Z值小于深度缓存的深度值(即离视点更近)点会被绘制出来， Z值大于深度缓存的深度值的点不被绘制(被真实物体遮挡)。

以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变换，均 应属于本发明的保护范围。