在三维(3D)呈现中使用浮动窗口的方法和系统

摘要

本发明描述了一种用于呈现立体图像的方法和系统，其中，显示立体图像的同时立体图像对的至少一个立体图像的一部分被遮挡。所述遮挡部分的宽度至少等于与在图像的竖直边缘附近或在用于显示图像的区域的竖直边缘附近的图像区域关联的最小视差的量。通过在内容显示期间遮挡该部分图像，可避免在图像或显示区域边缘附近的深度线索冲突。

说明书

相关申请交叉引用

本专利申请要求2010年4月1日递交的第61/319972号美国临时专利申请 “用于三维（3D）呈现的浮动窗口补偿”的优先权。该临时专利申请的教 导整体明确地通过引用并入本文。

技术领域

本发明涉及准备用于立体呈现的图像。

背景技术

在电影和静态照片的立体三维（3D）呈现中，一般惯例为，如果应出 现在屏幕或照片前的物体接触右眼或左眼边缘，则剪裁对应右眼或左眼边 缘的右眼和/或左眼图像。该惯例的目的在于避免观看物体时的深度冲突， 一般称为浮动窗口或浮动边缘，且为手动设置。

但是，在剧场环境中实际呈现时，屏幕任一侧的遮蔽物可能会影响或 遮蔽将显示浮动边缘的区域，因此破坏了增加浮动边缘的目的。在3D视频 显示中，如果监视器显示的图像少于原始图像内容的全光栅，也可能会产 生同一情况。

在显示环境或装置中恢复浮动边缘必须考虑底层图像，从而使浮动边 缘不对内容的前景元素产生影响。但是，在剧场环境中或进行独立三维视 频显示时，专业设置的浮动窗口调节并不切实际，这些情况要求自动的浮 动边缘（或浮动窗口）创建和/或调节。

发明内容

本发明的实施例提供了一种用于立体呈现的方法和系统，其中，显示 立体图像时立体图像对的至少一个立体图像的一部分被遮挡。通过基于与 图像区域关联的最小视差为遮挡部分提供宽度，可避免图像或显示区域的 边缘附近的视深冲突。

一个实施例提供了一种方法，所述方法包括：获取与第一立体图像的 区域关联的最小视差，根据最小视差限定在所述区域附近的第一立体图像 的一部分，并在遮挡所限定部分的显示同时显示第一立体图像。

另一个实施例提供了一种方法，所述方法包括：确定在图像显示区域 的边缘附近的立体图像的区域内的物体的视深，并遮挡立体图像的一部分 的显示，其中，所述部分的宽度是基于所述物体的视深而选择的。

又一个实施例提供了一种系统，所述系统包括至少一个处理器，所述 处理器被配置用于确定与第一立体图像的区域关联的最小视差，根据最小 视差限定在所述区域附近的第一立体图像的一部分，并在显示第一立体图 像期间遮挡所限定部分。

附图说明

结合附图考虑以下详细说明，可容易地理解本发明的教导，在附图 中：

图1示出了呈现中的场景的一个示例；

图2示出了图1的场景中的三维镜头或构图的左眼视图；

图3示出了图1的场景中的三维镜头或构图的右眼视图；

图4示出了图2-3的叠加左眼和右眼图像形成的立体图像视图；

图5示出了从立体图像中感知的三维想象视图；

图6示出了显示视觉深度冲突的想象视图；

图7示出了施加了浮动边缘的立体图像对；

图8示出了显示浮动边缘如何解决视觉深度冲突的想象视图；

图9示出了立体图像的被遮掩以至造成浮动边缘无效的一部分；

图10示出了与图9的遮掩区域相邻的还原的浮动边缘；

图11示出了显示还原浮动边缘如何解决图9的遮掩区域造成的视觉深 度冲突的想象视图；

图12示出了具有遮掩区域的立体图像，所述遮掩区域消除了浮动边缘 的必要性；

图13示出了删除了浮动边缘的图12的立体图像；

图14示出了自动放置浮动边缘的一个实施例的流程图；

图15示出了自动放置浮动边缘的另一个实施例的流程图；

图16示出了自动调节浮动边缘的另一个实施例的流程图；

图17示出了用于实施本发明的方法的系统的一个实施例。

为了便于理解，在可能的情况下使用相同参考数字表示附图中共有的 相同元件。

具体实施方式

根据本发明的实施例，在实施三维呈现（数字影院或视频）时，内容 呈现期间可动态应用浮动窗口或遮蔽物，以减轻应出现在屏幕前的边缘附 近的物体被屏幕边缘的实际位置夹回屏幕表面的效果。可选择多种模式的 浮动窗口或浮动边缘，包括，例如，使用元数据提供浮动边缘的信息，实 时动态提供浮动边缘或将其预先记录在立体图像中，并对浮动边缘提供不 同特性或尺寸。

实时提供浮动边缘对预先记录方法来说具有优势，因为仅使用单眼图 像视图（例如，仅显示左眼图像）便可以二维方式观看内容，而具有预先 记录的浮动边缘的内容的二维方式观看会使边缘任意起伏，分散观看者的 注意力。

在本发明中，术语“浮动窗口”和“浮动边缘”用于描述立体图像对 的左眼和/或右眼图像在对应左边缘和/或右边缘处的剪裁。这种剪裁的目 的在于减少或消除在“前景物体”与屏幕的一个或两个侧边缘（例如，竖 直边缘）相交（即，物体的图像延伸到屏幕的侧边缘之外）时观看者产生 的心理视觉冲突。在该说明中，术语“前景物体”是指立体图像内具有负 视差的物体，即，视深位置应处于屏幕与观看者之间的物体。术语“视 深”为观看者对屏幕的深度感知，由左眼图像和右眼图像之间的视差产 生。视差和视深为可互相转换的相关量。三维呈现一般受限于提供视深， 因为不同位置的观看者会对图像中的相同元素感知到不同视深。产生心理 视觉冲突的原因在于，物体的图像的一部分被可见屏幕的边缘遮蔽，可见 屏幕的边缘具有在物体后方的实际深度位置。

遮掩是深度排序的一个明显视觉线索。靠近观看者的物体会隐藏远离 观看者的物体。在大多数情况下，遮掩是比双目视差更明显的深度排序的 视觉线索。因此，虽然图像中物体的视差暗示其为前景物体，屏幕边缘的 线索会与此冲突并将其覆盖，使物体的视位退到屏幕上。如果后退的前景 物体本身的一部分遮蔽其他前景物体，会产生大量视深线索矛盾。

这种矛盾的结果是，观看立体呈现不再是一项观看者通过丰富的感知 深度观赏内容的直观活动，而变成某些物体明显出现于其后方的物体后方 的视觉错乱，导致混淆。这分散了观看者对所讲故事的注意力，从而损坏 内容。

本发明可用于数字影院剧院设备和视频设备，例如，头端广播或流媒 体系统以及消费端设备，包括电视监视器、机顶盒、DVD播放器、录像 机、个人计算机、手持式显示器（例如，视频播放器或智能手机上的手持 式显示器），以及其他移动或便携装置。

本发明的实施例提供了浮动边缘的自动应用和/或调节，同时考虑了特 定显示环境或装置中会减少显示器可见区域并造成意外效果，例如，显示 图像中的深度感知冲突的侵入因素。因此，对于指定图像显示区域或系统 配置（例如，屏蔽、图像尺寸恢复或系统相关设置限定的图像显示区域或 系统配置），本发明使适当浮动边缘自动添加和/或调节到合适位置，以提 供具有改进美观性的显示器。另外，如果前景物体完全被侵入因素遮挡， 则可消除或减少先前建立的用于避免与该物体的深度线索冲突的任何浮动 边缘。

会干扰正常立体显示器的侵入因素或系统配置有多种可能来源。例 如，在剧院中，投影仪由于屏幕的曲率、投影角度、不理想的透镜尺寸或 调节而投射到屏幕的边界之外，使图像空间大大减小。屏幕遮蔽物或帷幕 可能会侵入投影屏幕的可用区域，或可能将梯形图像剪裁成更美观的矩 形。

在另一个示例中，家用监视器，例如，大屏幕电视机，可将图像过扫 描（以在完整屏幕上显示图像的子集），（例如）以避免显示内容的边缘 或在不需要改变尺寸的情况下呈现高分辨率内容。在某些模式下，例如， 如果纵横比为16:9的HD（高清晰度）监视器接收纵横比为4:3的SD（标准 清晰度），个体监视器可能会将纵横比与监视器本身的纵横比不同的图像 扩展，使图像的特定部分被剪裁掉。可通过根据本发明的实施例调节浮动 边缘的放置而避免对浮动边缘的适当应用的这种干扰或阻碍。另外，在特 定情况下，即使不对图像进行过扫描（例如，仅在水平方向对图像进行拉 伸或扩展，或纵向拉伸不超过监视器高度），使用根据本原理的浮动边缘 仍然有利。

浮动边缘可指定为从上到下跨越立体图像对的对应左眼图像或右眼图 像的整个左竖直边缘或右竖直边缘的矩形框。所述矩形的宽度至少应等于 图像边缘通过（例如）侧边遮蔽物而剪裁的最前景物体的视差的量。另 外，如果图像中的前景物体与边缘相交（例如，实际上仅物体的一部分呈 现于图像中时），根据本发明的浮动边缘还可用于避免可能出现的深度线 索冲突。例如，在立体图像对的左边缘，视差为水平视差，或为表示前景 物体上的点的右眼图像的最左像素与表示左眼图像中的同一物体上的同一 点的像素之间的偏移。

可替代地，浮动边缘可为某些其他规则或任意形状，至少占据沿前景 物体与图像边缘交叉或目测与图像边缘交叉的边缘的垂直区域。这种浮动 边缘的宽度可沿垂直方向保持恒定，或可随着每个像素行而变化，每行的 浮动边缘的宽度至少等于该行该边缘的对应前景物体的视差。因此，浮动 边缘可不连续式，例如，其一个或多个像素行具有零宽度。

立体图像对可在无任何浮动边缘的情况下呈现，或可由至少一个浮动 边缘，例如，左浮动边缘、右浮动边缘或左浮动边缘和右浮动边缘进行增 强或补充。（图像由浮动边缘“增强”或“补充”是指浮动边缘与图像组 合在一起或一起显示）。浮动边缘可在前景物体的出现或移动之前逐渐显 示和消失，或可基于美学决定通过特定选择突然出现或消失。

为了设置后续附图的上下文，图1示出了呈现的代表场景，例如，花 园中的场景，下文所述的后续镜头在所述花园中获得。花园场景100显示 了站立于一组花园大小的棋子102中间的演员103，所述棋子102包括前景 中的一个特定棋子，车101。演员103的后方有一棵树104。灯105在演员 103后方约相同位置处，处于右侧，建筑106在更远位置。图2-13所示的花 园场景100的镜头在位于图1中所示的有利位置的略微右侧的位置获得。

图2和3表示了花园场景100中的镜头或构图的立体图像对，图2示出了 左眼图像200，图3示出了右眼图像300。每个图像200或300包括花园场景 100中的个别物体的记录图像，从而使花园场景中的每个物体在左眼和右 眼图像200和300中具有对应记录图像。为了避免场景100与立体图像200和 300的物体图像之间的潜在混淆，所述立体图像还可称为左眼和右眼构图 200和300。因此，演员103具有对应图像103L和103R，车101具有对应图像 101L和101R，树104具有对应图像104L和104R，灯105具有对应图像105L 和105R，建筑106具有对应图像106L和106R。

图4为图像200和300的叠加，其中，左眼图像200以虚线显示，以使得 能够显示左眼和右眼图像（200，300）之间的立体视差或位置偏移。

图4图解了多个视差。例如，与车101关联的车视差401（例如，作为 右车和左车图像101R和101L的对应竖直边缘之间的间隔而测量）在水平方 向上约为-40个像素，右眼图像在左眼图像右侧时，测量值为正值。在车 101的情况下，由于右眼图像101R位于左眼图像101L左侧，注视车101的观 看者的眼睛会在显示该立体图像对的显示器（或屏幕或监视器）前方会 聚，即，车101会出现于显示器前方。

在演员的衣袖处测量的位于屏幕平面稍前方的演员视差403约为-5个像 素。树图像104L和104R显示的视差404约为+40个像素，右眼图像104R处 于左眼图像104L的右侧。这样，在观看者看来，树104将处于显示器或屏 幕的后方。灯105在图像105L和105R之间的视差405约为+45个像素，建筑 106在每个都呈现于比树104更远的位置的106L和106R之间的视差406约为 +60个像素。

图5为观看立体图像400的具有左眼511和右眼512的观看者510感知到 的三维效果的想象视图500。（图5称为想象视图的原因在于，该视图实际 上无法从该有利位置观察）。对于观看者510，所述立体车视差401使车图 像501在显示立体图像400的屏幕前方被感知。演员图像503（具有偏移或 视差403）位于屏幕稍前方。树视差404、灯视差405和建筑视差406均产生 对应图像504、505和506位于屏幕后方的递增距离处的感觉。

与不同物体对应的图像在图5中显示为平面图像，但在实践中，观看 者510会将物体图像501、503、504、505和506感知为与各个视差对应的各 个距离处的三维图像。图5示出了感知到的具有各个视差401、403、404、 405和406（另见图4）的物体的三维位置。每个物体的感知位置用从左眼 511和右眼512通过参考点（在参考点上测量指定物体的视差）追踪的各个 射线的交叉表示。

根据本发明的实施例的使用浮动窗口或边缘进行立体呈现的不同情境 和方法参考图6-17进行说明。

图6示出了添加了左眼和右眼视线611和612以显示视觉矛盾的想象视 图500的特写镜头。对于右眼512，屏幕的竖直边缘610阻碍了阻碍线613左 侧的车图像501的可见性。这使车图像501在屏幕的边缘610的后方被感 知。但是，由于视差401（负量）的原因，车图像501看起来处于屏幕前方 的立体会聚点601。

在图7中，立体图像700的左边缘增加了浮动边缘，包括仅位于立体图 像700的左眼图像中的黑色区域702L。黑色区域702L具有宽度701，所述宽 度701至少等于前景物体（车）101的视差401。在实际实践中，对于左边 缘浮动窗口，前景物体的视差401（此处在车的一个城齿的右眼和左眼图 像101R和101L之间测量）优选在靠近物体的左边缘的位置测量，但是，为 了明确起见，此处显示车101的最前测量点（即，屏幕前方最远的点）。

图8示出了具有左浮动边缘702L的结果想象视图800。现在，图像700 的左边缘并非出现于屏幕边缘610上，观看者510感知到立体图像700的左 边缘处于边缘线813上，其深度处于车图像501上或其前方（注意，在边缘 线813的左侧看不到车图像501）。由于图像在边缘线813上的感知边缘看 起来会遮盖车图像501，且其立体视差不大于车图像501的立体视差（因此 处于车图像501上或更靠近观看者510），所以深度线索冲突的问题得到了 解决。

一个或多个浮动边缘或窗口，例如，黑色区域702L的添加，可在准备 包括立体图像500的内容时完成，因此，将其发送给电影院时（无论作为 电影还是作为数字文件），或广播或发送到观看者的家庭显示器时（例 如，通过流媒体视频或DVD），浮动窗口已经存在。

在一个不同实施例中，在进行内容准备时，浮动边缘没有提供（例 如，如同图4中不具有黑色区域702L的立体图像400一样），但是作为替代 提供了元数据，用于指定要动态添加到左眼图像的左边缘的黑色区域702L 的宽度701。形成左浮动边缘和/或右浮动边缘（如果有）的黑色区域的动 态提供可由（例如）数字影院服务器、对应数字影院投影仪、DVD播放 器、机顶盒、计算机或三维感知视频显示器完成。可实时进行修改，或提 前更改内容。

在又一个实施例中，元数据用于至少描述针对左边缘和右边缘中的每 个的、最前面的前景物体（例如，车101）（如果有）的视差（例如， 401）。可包括额外元数据，以改进该信息，例如，提供右边缘和左边缘 附近的视差的部分视差图；或在至少覆盖右边缘和左边缘附近的区域的低 分辨率网格中提供最小视差的简化视差图。

在大多数剧院中，围绕投影屏幕的左侧和右侧遮蔽物遮盖投影屏幕的 可投影或可观看区域的至少一部分。为了在这种情况下成功地提供浮动边 缘，内容必须特别准备，以使图像完整地在遮蔽物内投影。否则，由于剧 院的遮蔽物，提供的黑色区域（例如，示例702L）的宽度将明显减小，或 完全消失，从而使明显图像边缘的移动不充分（明显图像边缘613充分向 前移动的情况，如图6所示）。

消费者视频显示器也产生了相似的不利影响，监视器（或DVD播放器 或机顶盒）无法显示完整立体图像，而是仅显示一部分。如果内容的纵横 比与显示器的纵横比不匹配，图像被剪裁和/或缩放到充满显示器的程度， 就会经常发生这种问题。例如，生成的具有高清晰度16:9纵横比的内容可 显示在标准清晰度4:3纵横比监视器上。显示的一个方法为（被称为“信 箱”）将按比例缩小的16:9纵横比图像插入4:3显示区域，将水平黑色区域 留在屏幕的顶部和底部。但是，某些消费者不喜欢黑色区域，认为黑色区 域和对应降低分辨率很讨厌。为了解决该缺陷，将高清晰度较小幅度地按 比例缩小，仅从上到下充满屏幕，但剪裁左侧和右侧，以符合4:3纵横比。 这种情况下，立体图像的左边缘和右边缘都被剪裁。在某些消费者显示器 中，图像区域的某些内部子集（称为“安全区域”）仅部分显示，例如， 内部的90%，从而丢弃每个边缘（侧边、顶部和底部）的5%之多。

图9示出了与（例如）剧院侧边遮蔽物隐藏的或消费者视频系统剪裁 的立体图像700（或图4中的图像400）的一部分对应的遮蔽区域900。先前 应用的浮动边缘，即，可在摄影棚烧录到内容中或动态应用的图7所示的 黑色区域702L，现在被遮蔽区域900完全或部分隐藏。因此，图6中的关于 车图像501的视觉冲突基本上还原（但视觉冲突现在在遮蔽区域900的右边 缘出现，而不是在图6中的图像400的左边缘出现）。

这个问题的一个解决方案如图10所示，其中，修改的立体呈现1000包 括位于遮蔽区域900的右边缘的延伸浮动边缘，显示为具有可见宽度1001 的黑色区域1002L。宽度1001至少等于与遮蔽区域900的右边缘相交的最前 面的前景物体（如果有）的视差的量，在该示例中，至少等于城齿图像 101R和101L上的车101的最前部分的视差的量。在另一个实施例中，可使 浮动边缘或遮挡部分与图像的区域重叠，以使得至少一部分前景物体也被 遮挡。如果浮动边缘足以完全隐藏前景物体，使其不可见，则不再有任何 视觉深度冲突。

图11示出了结果想象视图1100，其中，观看者501可见的图像1000的 左边缘的位置用边缘线1113表示，因为两个眼睛511，512都将看不到车图 像501在边缘线1113左侧的部分。这种情况下，浮动边缘1002L的存在解决 了视觉冲突，其中，图像1000在明显边缘线1113上的明显边缘看起来遮蔽 了车图像501，且其深度位置不比车图像501的深度位置远。

图12示出了不同情境，其中，在左边缘具有明显深度冲突的前景物体 （车101）被屏幕底部的遮蔽区域1200隐藏时，立体图像700的左眼图像中 的黑色区域702L产生的左浮动边缘变得多余。这种情况下，虽然浮动左边 缘没有产生视觉冲突，但优选地，应减少或消除立体图像对700的左眼图 像的剪裁。例如，如果形成浮动边缘的黑色区域702L的应用通过元数据进 行引导，而不是烧录到立体图像700的内容中，则在图13中，取消左浮动 边缘的浮动或消除左浮动边缘会生成立体图像1300，其基本与立体图像 400相同，但具有遮蔽区域1200。

可替代地，在另一情境中，如果遮蔽区域1200和区域900都呈现于图9 （未示出）中，则不再需要对已经处于合适位置的浮动边缘（例如，黑色 区域702L）进行任何动作。由于车图像501会被遮蔽区域1200隐藏，屏幕 的左边缘附近不会再存在任何深度冲突，因此，左浮动边缘，即，黑色区 域702L（图12）会变得多余。不需要对左浮动边缘702L进行任何动作，因 为其会被遮蔽区域900隐藏。

图14为对立体图像对的对应左眼和右眼图像中的左浮动边缘和/或右浮 动边缘进行定位的自动浮动边缘放置处理1400（如果需要，在需要时）的 流程图，如图7和8的示例所示。一般适用于不同显示系统上的任何立体呈 现的处理1400从步骤1401开始，此时立体图像对不具有任何浮动边缘。用 于准备或应用浮动边缘的元数据（如下文所述）还可在需要时提供或导 出。

在步骤1402中，适合左边缘，或者，一般地说，左眼立体图像的两个 相对边缘的其中之一（即，左边缘或右边缘）的最小视差被自动确定。确 定最靠近观看者或处于屏幕前方最远位置的左边缘附近的物体的最小视 差。在该上下文中，如果物体位于距屏幕边缘的指定或预定距离范围内， 使屏幕边缘开始对物体的视深产生不利影响（例如，造成深度线索冲 突），则物体则被认为处于所述左边缘附近。该距离范围可基于政策决定 进行选择，并可根据情况从屏幕边缘开始指定为特定数量的像素，例如， 10个像素，或其他数量的像素。确定边缘的“附近”区域内的物体的最小 视差的该过程与先前情境的不同之处在于，基于边缘剪裁或截断的物体确 定浮动边缘是否必要。即使浮动窗口并非绝对必要（即，使用不太严格的 标准）也应用浮动窗口的政策或美学决定可优选地在应使用浮动窗口时不 提供浮动窗口。注意，一般来说，在确定浮动边缘的宽度时，不需要考虑 物体距边缘的距离。

该视差可以不同方式获得。例如，其可作为元数据而提供（例如，作 为左边缘附近的物体的最小视差），或从元数据中导出（例如，如同计算 与左边缘附近的最前物体的视深对应的视差的功能一样），或从与左边缘 相邻的区域的视差或深度图中获得（可在步骤1402中搜索，以确定最小 值），或通过对左眼和右眼图像的视差分析而获得。可使用Zhang等人的 标题为“用于通过前向和后向深度预测进行图像深度提取的系统和方法” 的国际公开申请WO 2009/145749或Zhang等人的标题为“利用基于区域的 过滤进行深度图提取的系统和方法”的国际专利申请WO2009/061305中所 述的技术执行视差分析，所述两个申请均与该申请有共同转让。两个PCT 申请的内容通过引用完整地并入本文。

注意，确定的左侧边缘的最小视差可指适用于从上到下的整个左边缘 的单个最小值（即，整个左边缘上为恒定值），或可指沿边缘变化的一个 或多个值。由于最小视差的量将形成将应用的浮动边缘的宽度的基础，所 以这也指浮动边缘可作为基于单个最小视差值沿整个边缘具有恒定宽度的 浮动边缘而提供，或可在沿左边缘的不同位置处具有不同宽度。另外，左 边缘的最小视差可为不连续式（例如，在某些点上具有零宽度，这样，沿 左边缘留有未被遮蔽的跨距），甚至在每个图像像素行上建立浮动边缘的 消隐或遮挡（blank or block），或者其间设置任何粗度。

在步骤1403中，检查步骤1402中确定的最小视差，即，沿整个左边缘 的恒定最小视差或沿边缘的不同位置处的不同最小视差是否小于零。如果 不是，即，步骤1402中的最小视差大于或等于零，则跳过步骤1404。否 则，在步骤1404中，通过在左侧边缘提供遮挡左眼图像的黑色区域而创建 左浮动边缘，其宽度至少为步骤1402中确定的最小视差的量。该遮挡可直 接施加给左眼图像的内容，例如，将黑色区域702L烧录到左眼图像中，或 可在元数据中被指定稍后由（例如）数字影院服务器、投影仪或视频机顶 盒、DVD播放器、个人计算机或手持式视频播放器，例如，智能手机或其 他移动装置进行应用。

在步骤1405中，以相似方式确定右侧边缘（或与步骤1402中的边缘相 对的边缘）的最小视差。在步骤1406中，如果确定的最小视差大于或等于 零，则跳过步骤1407。否则在步骤1407中，创建右浮动边缘，其中，右眼 图像在右侧边缘遮挡，与上文所述的步骤1404中的左眼图像相似。

处理1400在步骤1408结束，立体图像对被施加了零个、一个或两个浮 动边缘，所述浮动边缘烧录到内容中或作为限定了将在显示前消隐或遮挡 的区域的元数据。

简而言之，可通过在立体图像中提供至少一个浮动边缘而实施三维呈 现。所述处理涉及确定与至少一个立体图像的边缘（例如，左眼图像的左 边缘和右眼图像的右边缘）关联的最小视差，并遮挡该图像的一个区域， 所述区域的宽度（从图像的对应边缘测量）至少等于确定的最小视差的 量。与该边缘关联的最小视差由最靠近观看者（或显示器前最远）的图像 中的物体的视差指定，其中所述物体处于预定距离范围（作为政策而建 立）限定的该边缘附近，所述预定距离范围用（例如）像素数量表示，- 1、0或10个像素，可为分数，负号表示出现于屏幕前方的物体的视差。在 本原理的上下文中，仅前景物体（屏幕前方）的最小视差与浮动边缘的应 用相关。

注意，将消隐或遮挡的区域的向内边缘（或内边缘，靠近显示器的中 心）可为平滑状（与锯齿状相反），所述区域可羽化为渐晕外观。但是， 在平滑和羽化的情况下，为了促进在步骤1402和步骤1405中确定的结果， 还应有额外消隐，即，平滑和羽化不应使将被消隐的区域的任何实质部分 变得不被遮蔽，因为这会重新导致该处理力图消除的视觉矛盾。对浮动边 缘实施羽化、锯齿状内边缘或其他相似变化的目的在于达到不同风格或美 学效果，但根本目的保持一致，即，避免屏幕平面边缘隐藏的前景物体的 深度线索冲突。

图15示出了图10和11的示例所示的提供自动或动态浮动边缘定位的处 理1500的流程图。与假定整个图像都可见而实施浮动边缘的处理1400不 同，处理1500提供浮动边缘时考虑了显示系统的任何图像屏蔽或剪裁的情 况。处理1500从步骤1501开始，在该步骤中提供立体图像对。可选择地， 所述立体图像对已烧录浮动边缘或将其作为元数据而提供。还可在需要时 提供或导出额外元数据（例如，包括视差信息，如上所述）。

在步骤1502中，确定呈现屏幕的清晰区域，例如，如Redmann在标题 为“用于为显示器准备字幕的方法和仪器”的公开专利申请WO 2010/096030所述。所述“清晰区域”在图像空间中具有对应部分，即，左 或右图像在屏幕上可见的、不因电子监视器的屏蔽或剪裁而被遮蔽的部 分。在图10的示例中，屏幕的清晰区域为ABCD部分。用于确定清晰区域 的校准过程的一个示例为：在屏幕上投射坐标网，并注意最靠近屏幕拐角 的可见的最外坐标。这些拐角坐标内部的区域将限定投影图像区域的清晰 区域，而这些拐角坐标外部的区域将不可见。一般来说，可在立体操作模 式下或通过停用立体操作而在二维操作模式下对任一眼睛进行校准。

在某些情况下，清晰区域可通过预先测量或通过识别一个或多个共有 遮蔽物而预定。这对专业或消费者视频监视器特别准确，但对投影系统的 可能性小。例如，具有4:3纵横比，呈现高清晰度16:9内容，但不使用居中 信箱格式，不在垂直方向进行额外剪裁的任何监视器将在左边缘和右边缘 具有明确限定的遮蔽区域。如果这种显示器被定义为具有共有类别，则该 类别的所有显示器将显示共有的明确限定的清晰区域。对于这种情况，清 晰区域可基于属于特定类别或类型的显示器的显示器确定，或参考显示器 的型号索引的查询表确定，或通过使清晰区域由显示器自动报告为元数据 而确定，或可从提供的其他元数据中导出（例如，视频电子标准协会标准 化的增强型扩充显示器识别数据中提供的（例如）原始分辨率）。在某些 实施例中，可在机顶盒或其他视频源上决定是否对显示器缩放和/或剪裁图 像，随后在可能不同于内容的原始纵横比下以原始视频速率对监视器进行 馈送。这种情况下，清晰区域的这种预定是根据政策或视频源的首选项设 置而进行的。

在步骤1503中，沿清晰区域的左边缘的最小视差基于（例如）具有最 小视差（即，处于显示器前方最远位置）的左边缘附近的物体确定。与处 理1400的步骤1402相似，最小视差可确定为沿清晰区域的左边缘从上到下 确定的单个最小值，或可在沿清晰区域的左边缘的多个区域或点上以图像 的每个像素行为间隔而确定。

在步骤1504中，如果确定的所有视差都大于或等于零，则跳过步骤 1505。否则，在步骤1505中，将具有特定宽度的浮动边缘或窗口应用到左 眼图像上，使图像的该部分被遮挡。浮动窗口的宽度从与清晰区域的左边 缘（例如，图10中的屏蔽区域900的右边缘AB）对应的点上测量为至少等 于确定的最小视差的量的宽度。如图10所示，浮动窗口（黑色区域） 1002L的宽度1001至少等于视差401。虽然浮动窗口的宽度也可一直延伸到 左眼图像的左边缘，但屏蔽区域900隐藏的浮动窗口的该部分没有出现的 必要。

换句话说，如果在步骤1504中，靠近左边缘的物体的最小视差确定为 负，则在步骤1505中，左眼图像被应用在清晰区域的左边缘的浮动边缘遮 挡或遮掩。该遮挡区域（图10-11中的1002L）的内部边界或内侧界限基于 最小视差确定，这种情况下，位于清晰区域的左边缘的右侧，其间的距离 等于最小视差的量。左眼图像可被区域1002L遮挡，并可能通过区域900延 续到左侧。虽然只需遮掩区域1002L，因为区域900被遮蔽（图10的示 例），但可能需要进一步遮掩区域900，防止遮蔽区域的测量不够精确。 可替代地，该消隐可编码为元数据，虽然假定该消隐专用于特定显示器， 在步骤1502中确定其清晰区域，但没有充分理由延迟其应用。

同样，清晰区域右边缘附近的物体的最小视差在步骤1506中确定。在 步骤1507中，如果确定的最小视差大于或等于零，则跳过步骤1508，处理 在步骤1509中结束。否则，在步骤1508中，从与清晰区域的右边缘对应的 点向图像的中心部分消隐右眼图像，到步骤1506中确定的最小视差的量的 程度，可选地，到右眼图像的右边缘（与图10中的遮蔽区域900的情境相 似）。与步骤1505一样，可替代地，浮动边缘的这种遮挡或增加可编码为 元数据。注意，除步骤1506、1507和1508在清晰区域的不同边缘上（右边 缘对左边缘）执行，其中消隐区域应用到另一立体图像上（右眼对左眼图 像）之外，步骤1506、1507和1508基本上与步骤1503、1504和1505重复相 同操作。

处理1500在步骤1509结束，其中立体图像对在步骤1502确定的清晰区 域内被实施了零个、一个或两个浮动边缘，所述浮动边缘烧录到内容中或 作为限定了将在显示前消隐的区域的元数据。

实施不同处理1400和1500的优点在于，对于未被配置用于执行处理 1500或遮蔽图像部分的简单显示器或系统，处理1400提供的内容可随时使 用（特别是黑色区域，例如，702L烧录到内容中的情况）。但是，知晓其 本身的清晰区域的呈现系统（例如，机顶盒和/或监视器，或数字影院服务 器和/或数字影院投影仪等）可进一步实施处理1500，从而在处理1400在内 容中提供（或作为元数据与内容一起提供）的浮动边缘被呈现系统已知的 遮蔽区域（例如，900）损害时提供自动补偿。

图16示出了浮动边缘自动调节处理1600的流程图，实施了图12和13的 示例中所示的浮动边缘动态减小。此处，处理1600从步骤1601开始，此时 立体图像对已具有与浮动边缘的定位相关的元数据。还可在需要时提供或 导出额外元数据（如上所述）。

在步骤1602中，确定显示器的清晰区域，如处理1500的步骤1502所 述。在步骤1603中，确定与清晰区域的左边缘关联的最小视差，如上所 述。注意，遮蔽区域（例如，图12或13中的区域1200）可能会使前景物体 （例如，图10中的车101）的全部或一部分隐藏到显示器的可见部分之 外。

在步骤1604中，对步骤1603中确定的最小视差（背景物体的视差固定 为零）与元数据规定的左边缘遮掩部分的宽度进行比较。如果最小视差与 零中较小的一个的量大于或等于元数据规定的左边缘的遮掩部分的宽度， 则跳过步骤1605，使元数据提供的遮掩部分不会被减小。否则，如果最小 视差与零中较小的一个的量小于规定的左边缘的遮掩部分的宽度，则在步 骤1605中，左边缘的遮掩部分的宽度可减小，减小的量等于或大于最小视 差与零中较小的一个的绝对值。记住，零视差位于屏幕表面上，“大于” 零的任何视差处于屏幕后方——浮动窗口之外。“小于”零的视差（负） 处于屏幕前方，可潜在地与浮动窗口交互。因此，如果图像中边缘附近的 最近物体处于屏幕后方，浮动窗口减小到零（零与正视差中较小的一 个），但是，如果边缘处的最近物体处于屏幕前方，浮动边缘被设置为该 视差（或其绝对值）或轻微加宽。

对另一个眼睛的图像重复步骤1603、1604和1605中的程序。因此，在 步骤1606中，确定与清晰区域的右边缘关联的最小视差，在步骤1607中， 将其与元数据规定的值相比较。在适当的情况下，在步骤1608中减小规定 的右眼图像在右边缘的消隐。

处理1600在步骤1609结束，其中将可向显示器（例如，监视器或投影 仪）移动的左边缘和右边缘消隐的潜在减少规定作为元数据描述，或可将 消隐烧录到内容中，作为零个（即，没有需要消隐的区域）或更多黑色区 域，每个黑色区域应用到立体内容的左眼和右眼图像的一个或另一个上。

图14-16示出了在右侧边缘之前为立体图像或清晰区域的左侧边缘确定 最小视差（例如，步骤1405之前执行的步骤1402），但还可先对右侧边 缘，随后对左侧边缘执行这些处理步骤。

浮动边缘减小处理1600建议，相比将对应黑色区域烧录到立体内容 中，在处理1400中使用元数据提供浮动边缘可更为有利。元数据方法提供 了更大的灵活性，因为如果确定浮动边缘过大，或完全没有必要（例如， 如同存在遮蔽区域，例如1200的情况一样），这会使智能显示系统减少或 消除与浮动边缘关联的剪裁。如果底层内容具有烧录黑色区域，剪裁的这 种减少或消除不容易执行。

注意，为了解释明晰，步骤1604、1605、1607和1608以及图12-13的上 述说明省略以下细节。如果清晰区域被遮蔽区域（例如，区域900）缚住 侧边，则在步骤1604或1607中与规定消隐宽度进行比较和在步骤1605或 1608中进行条件性减小之前，必须将该遮蔽区域的宽度与最小视差与零中 较小的一个相加。换句话说，如果“消隐”从图像边缘限定到区域（例 如，图11中的1002L）的相对边缘，则消隐的宽度则为1002L的宽度加上区 域900的宽度。

预计处理1400、1500和1600是立体图像序列中最普遍应用的处理。在 这种情境中，任一边缘附近的前景物体的位置和视差可随着帧的不同而改 变，例如，在任务或物体进入或离开场景时改变。为了避免浮动边缘突然 扩展或收缩（不同于场景变化），或连续跳动或调谐，步骤1402、1405、 1503、1506、1603、1606中的最小视差的宽度，或在步骤1404、1407、 1505、1508、1605或1608中烧录到内容中或记录为元数据的结果消隐宽度 可为平滑状或进行了过滤（包括为序列中的后续立体图像预先做准备）， 以预先处理这种变化，并将可能会引起对浮动边缘变化的注意的不必要变 化降到最小。

简而言之，已经将本发明的实施例呈现为适用于自动应用或修改具有 可能会在图像空间的边缘产生深度冲突的前景物体的三维立体图像的浮动 边缘。这些方法中的某些方法适用于最初生成用于呈现的浮动边缘，而其 他方法用于因（例如）显示屏幕被部分遮蔽而校正或调节与内容一起被提 供了的浮动边缘（如通过元数据规定的）。

图17描绘了图解了本发明的一个实施方式的框图。数字影院系统1700 包括数字影院服务器1710和适用于呈现立体图像的数字影院投影仪1720。 至少可对存储装置1712进行读取访问的数字影院服务器1710被配置用于从 存储装置1712中读取构图，并对立体图片和音频元素进行解码。图片元素 （可具有一个或多个烧录的浮动边缘），以及在适用的情况下与浮动边缘 相关的元数据通过连接1714提供给数字影院投影仪1720，所述连接1714可 为单向或双向通信路径。数字影院投影仪1720从立体图片元素中生成立体 图像，并通过透镜1722将结果图像投射到会堂的屏幕（未示出）上。音频 元素通过数字影院服务器1710提供给音频重放通路（未示出），音频重放 通路将与立体图片元素关联的或伴随立体图片元素的音频分量传输给会堂 中的观众。

在本发明中，如果屏幕具有任何遮蔽区域，例如，由于遮蔽物而产生 的任何遮蔽区域，则处理器（例如，投影仪1720中的处理器）可执行程序 指令（例如，存储于存储器1726中的程序指令），以实施处理1500或1600 等处理，以确定是否应对一个或两个立体图像应用任何浮动边缘，或对元 数据规定的浮动边缘进行调节。

在一个替代实施例中，立体图像的浮动边缘的调节可由数字影院服务 器1710执行，并提供给做好显示准备的投影仪1720。

在适用于家庭的又一个实施例（未示出）中，机顶盒或DVD播放器可 对立体图像执行浮动边缘调节，以在具有三维功能的监视器（即，能显示 立体图像的监视器）上显示。可替代地，立体图像的浮动边缘的调节可完 全由三维功能监视器内的计算机执行。

上文对特定示例进行了呈现，但也可使用其他变型实施本原理的一个 或多个特征。例如，并非基于显示器的边缘附近的区域内的最小视差限定 浮动边缘，可使用视深代替最小视差。因此，方法可包括确定图像显示区 域的边缘附近的立体图像的区域内的物体的视深，并遮挡立体图像的一部 分的显示，所述部分的宽度基于物体的视深而选择。

在另一个实施例中，与浮动边缘有关的信息可存储于显示系统的存储 器中，并在立体呈现之前取回。浮动边缘然后可基于取回的信息而应用， 用于遮挡立体图像的特定部分。

在另一个实施例中，可识别立体图像的区域内的多个像素，并通过比 较与立体图像的区域内的多个像素关联的视差而确定该区域的最小视差， 从而获得最小视差信息。

本发明的一个方面还提供了其中存储有特定程序指令的计算机可读介 质（例如，存储器、存储装置、可移动媒体等），指令被一个或多个处理 器执行时，将致使实施（例如）根据本发明的实施例的上述方法。

上文对本发明的各个实施例进行了说明，但只要不脱离其基本范围， 可设计本发明的其他和进一步实施例。因此，应根据以下权利要求确定本 发明的适当范围。