以对象为基础三维信息产生装置与方法及使用的互动系统

摘要

本发明是有关于一种以对象为基础之三维立体信息产生装置与方法，以及使用该装置与方法的互动系统。方法系在一时间点，对同一区域，取得至少两个二维影像；从该至少两个二维影像中，个别萃取出具有特征的对象；建立对象间之对应关系；以及根据对应之对象，产生三维立体信息。装置与互动系统包含至少两个影像撷取单元，用以个别撷取二维影像；以及根据该两影像撷取单元所个别撷取之二维影像，而产生三维信息之处理装置。

说明书

技术领域

本发明是涉及一种以对象为基础的三维立体信息产生装置与方 法，以及使用该装置与方法的互动系统。

背景技术

目前已有各种侦测使用者端之动作，而进行互动的系统，例如射 击游戏等。在此种游戏中，使用者手持游戏机组所附设的指向装置(例 如模拟枪枝)，根据屏幕上的画面而互动采取反应(例如射击)；游戏 机组侦测该指向装置的移动，而相应地在屏幕上产生反应，例如敌人 中弹、房屋爆破，等等。

此种互动系统的缺点在于，只能侦测手持对象的二维位置变化， 而无法将前后方向的“深度”变化纳入进去。因此，虽然此种互动游 戏已经相当具有临场感，但仍未能完全真实地反应使用者的动作状态。

有鉴于此，美国专利第6,795,068号乃提出一种根据对象的二维位 置来决定其三维状态的方法。如图1A、图1B所示，该案提供一个具 有强烈色差的对象(例如球棒)，此对象分为上下两部分301与303， 此两部分必需具有强烈的色差，以便利捕捉影像。图1B的305为摄影 机或影像感测装置所捕捉的二维影像，其中的影像307为对象上方部 分301的二维影像。在二维影像中，所有x-y方向上的信息均为已知， 并利用对象的上方宽度w2与下方宽度w1间的比例，来求取Φ角度， 藉以获得z方向上的信息。但由于该对象可能在真实三维空间的各种位 置间移动，造成二维影像的各种尺寸变化，故为求精确起见，并不能 任意选取上方宽度w2与下方宽度w1的位置；根据该案所述，必须将 该对象上下两端间进行等距划分，取得多个宽度数值，并予以平均。

虽然该案已经成功地商品化，但仍具有以下缺点。首先，整体系 统必须事先定义对象的形状，亦卽使用者不能使用任意形状的对象， 而仅能使用预设好的对象。其次，捕捉对象的影像时，色差对比非常 重要，若因使用者手持位置或其它原因造成遮蔽，将影响系统对对象 形状的判断。第三，系统必须对对象不断进行多个宽度值的运算，造 成处理器的运算负担。

本发明针对以上先前技术的缺点，提出一种完全不同的作法，而 得以产生三维立体信息，但无上述的缺点。又，本发明所谓“产生三 维立体信息”，并不局限于必须根据该三维信息，而在屏幕上对应产生 三维影像；例如，可以是因应所产生的三维信息，进行进一步的处理 而产生相应的反应，如展现受球棒打击的强度等等，亦属本发明的范 围。

发明内容

本发明的第一目的在于提供一种以对象为基础的三维立体信息产 生装置，而无前述先前技术的缺点。

本发明的第二目的在于提供一种以对象为基础的三维立体信息产 生方法。

本发明的第三目的在于提供一种使用上述装置或方法而构成的互 动系统。

为达上述之目的，在本发明的其中一个实施例中，提供了一种以 对象为基础的三维立体信息产生方法，包含：在一时间点，对同一区 域，取得至少两个二维影像；从该至少两个二维影像中，个别萃取出 具有特征的对象；建立对象间之对应关系；以及根据对应之对象，产 生三维信息。

上述方法中，尚可在萃取出对象之后，对该二维对象，给予标记， 或在产生三维信息之后，对该三维信息中的对象，给予标记，以简化 后续的运算。

此外，根据本发明的另一个实施例，提出了一种产生三维立体信 息的电子装置，包含：至少两个影像撷取单元，用以个别撷取模拟影 像，而产生数字二维影像，其中该两影像撷取单元间之距离与各自的 聚焦距离为已知；对象萃取装置，其接收该两影像撷取单元所个别撷 取的数字二维影像，并萃取其中的对象信息；以及处理装置，其根据 对象信息、该两影像撷取单元间之距离、与该两影像撷取单元各自的 聚焦距离，而产生三维信息。

上述电子装置中，可更包含有一个具有低频宽的通讯界面，设置 在该处理装置与该至少两个影像撷取单元之间，或整合在处理装置之 内。

此外，根据本发明的再另一个实施例，也提供一种用以产生三维 立体信息的互动系统，包含：至少两个影像撷取单元，用以个别撷取 模拟影像，经过模拟数字转换而产生数字二维影像，其中该两影像撷 取单元间之距离、与该两影像撷取单元各自之聚焦距离为已知；对象 萃取装置，其接收该两影像撷取单元所个别撷取的数字二维影像，并 萃取其中的对象信息；处理装置，其根据对象信息、该两影像撷取单 元间之距离、与该两影像撷取单元各自之聚焦距离，而产生三维信息； 以及输出界面，用以输出该三维信息。

上述实施例中所述的互动系统，可再包含发光源，且该发光源以 红外线发光源为佳。发光源与该至少两个影像撷取单元可分设于一个 空间区域的两端，或设于一个空间区域的同一端，在后者情况下，互 动系统另包括有反光区块，设于该空间区域的另一端。

上述实施例中所述的互动系统，可更包含有一个具有低频宽的通 讯界面，设置在该处理装置与该至少两个影像撷取单元之间，或整合 在处理装置之内。

以下通过具体实施例详加说明，当更容易了解本发明之目的、技 术内容、特点及其所达成之功效。

附图说明

图1A与图1B为先前技术，根据对象的二维位置来决定其三维状 态的方法。

图2为本发明方法的其中一个实施例。

图3举例说明萃取出对象后，如何建立对象在空间上和时间上的 对应关系。

图4A至图4C说明如何将各组对应对象的二维信息，转换成三维 的立体信息。

图5A与图5B为本发明方法的另外一个实施例。

图6举例说明萃取出对象后，如何建立对象在空间上和时间上的 对应关系。

图7举例说明可能造成对应关系误判的情况。

图8A和图8B示意显示达成本发明的硬件电路实施例。

图9至图11标出使用本发明方法/电路之互动系统的三个实施 例。

图中符号说明

1，2，3，4，5，6，7，8对象

11，12，13，14，15，16，17，18对象

25，26，27，28对象

S21-S24步骤

S31-S34步骤

S41-S46步骤

80L、80R集成电路

81L、8 1R传感器

82L、82R对象萃取电路

83L、83R处理器

84处理器

86输出界面

90屏幕

91L、91R发光源

92L、92R传感器

93手持机组

94反光区块

具体实施方式

本发明不论在系统硬件和产生三维立体信息的方法上，均与先前 技术不同。在本发明中，设置至少一个发光源与至少两个传感器，并 根据传感器对发光源的感测结果，将其转换成三维的立体信息。根据 本发明，发光源以采用红外线发光源为佳，例如可为红外线发光二极 管(IR LED)；传感器也宜对应地采用红外线传感器。但采用其它发光源 与传感器，亦属本案范围。

以下首先说明本发明的方法流程。请参阅图2，此为本发明方法 的其中一个实施例，如图所示，假设使用两个传感器(左方传感器L 与右方传感器R)来观测同一个区域，则这两个传感器先根据观测所得 的模拟影像，转换产生数字二维影像信息。所谓的模拟影像，事实上 是由传感器所捕捉的多个含有亮度和色度信息的光点；这些光点可能 来自光源、或来自物体的反射光。传感器将这些光点转换成数字二维 影像信息之后，该数字二维影像信息首先经过一个“萃取对象”的步 骤(步骤S21)，在此步骤中对二维影像信息进行分析，将其归类成若 干个“对象”。

必须说明的是，所“对象”，并非指真实环境中的一个实际物体。 在本案中，“对象”事实上是指一张影像中具有相似特性的一群像素， 因此其不但不必对应于真实环境中的一个实际物体，甚至也未必需要 是一个连续的整体。例如，有可能将屏幕左上方与右下方的两个不相 连接的区块，视为一个对象。

将二维影像信息归类成对象的作法有多种，例如，在使用一般发 光源的情况下，可根据二维影像的颜色予以分类、或根据形状、面积、 或根据影像的局部亮点/暗点密度、或根据影像纹理(相似像素的连 接关系)等等。在使用红外线发光源的情况下，可根据所感测到的亮 度，将其归类。在以上各种作法中，并不需要将二维影像信息的所有 部分都予以归类成为对象。例如，亮度不到某种强度的部分，可视做 背景，等等。

更进言之，在本发明的较佳作法中，萃取出对象后，甚至不需要 针对整个对象进行运算，而只要取得具有意义的对象特征即可。例如， 可先将二维影像根据某一判断条件(例如亮度临界值)予以二分 (binarization)，将较亮的部分定义为对象，再从对象中取出其特征； 所谓特征，例如可为对象的重心、边界、形状、大小、长宽比、特殊 点(如端点、角落点、高曲率点)等等。

取出特征的目的，是可将复杂运算予以单纯化。例如，可参考同 一申请人所申请的第94147531号申请案，将多笔资料，简化成一个单 纯的重心向量，以加速后续的运算处理。

通过上述萃取对象的步骤S21，可将任意二维影像信息，萃取出 对象、或进一步萃取出其特征。因此，并不需要如先前技术一般，预 先定义对象的形状，并用强烈色差来突显之。

在步骤S21中，针对左右两传感器所得的二维影像信息，个别萃 取出对象之后，接着于步骤S22中，系统将左右两个影像中的对象， 赋予对应关系。请参阅图3，假设于T1的时间点，从左方传感器所得 的二维影像中，萃取出的对象为1，2，从右方传感器所得的二维影像中， 萃取出的对象为3，4，则赋予对应关系的方法，可以是根据各对象的重 心位置，取最接近者，建立对应关系；或根据面积重叠范围，取重叠 大者，来建立对应关系；或根据形状边数(圆形视为无限多边形)，将 接近者建立对应关系；或根据纹理，将纹理内容最接近者建立对应关 系；或根据对象针对一预设条件之符合情况，如包围在一黑色背景内 而形成一空心之对象、二空心之对象、没有空心之对象、……，而建 立对应关系，等等。于图3上方所示的实例中，左方传感器所得影像 的对象1，和右方传感器所得影像的对象3，被视为对应；而左方传感 器所得影像的对象2，和右方传感器所得影像的对象4，被视为对应。

建立对应关系之后，在步骤S23中，便可将各组对象的二维信息， 转换成三维的立体信息。其转换方式如图4A所示，假设左右两传感器 的中心位置距离为T，传感器的聚焦距离为f，某对象在左方传感器所 得二维影像中的x坐标是x₁，在右方传感器所得二维影像中的x坐标是 x_r(假设以传感器的中心位置为原点，则x_r在右方传感器中心位置的左 方，故为负值)，而该对象距离传感器的距离为Z，则根据相似三角形 定理，

x₁/f＝X/Z，且-x_r/f＝(T-X)/Z

故可求出该对象的三维信息：

X＝(T×x₁)/(x₁-x_r)

Y＝(T×y₁)/(x₁-x_r)  (其中y₁在图中未示出)

Z＝f×[T/(x₁-x_r)]

藉此方式，卽可产生对象各点的三维信息。

图4A所示为左右两传感器平行并位于同一准线上的情况，但本发 明并不局限于此。如图4B所示，假设左右两传感器并未位于同一准线 上，且彼此具有一相对角度，则仍可根据两传感器的内部参数、相对 角度、相对距离，来计算得出对象的三维信息。至于具体的计算方式， 已为本技术领域者所熟知，在此不予赘述，可参考Brooks/Cole Publishing Company所出版，由Sonka，Hlavac，与Boyle三位所着之 “Image Processing，Analysis，and Machine Vision”第二版，例如第 460-469页。

若在萃取对象的过程中，为求加速运算而并未保存整体对象信息， 仅取出对象特征，则请参考图4C，仍可根据对象的特征，以及既定的 转换原则，来还原三维对象的整体信息。当然，此整体信息未必和原 始的整体对象信息完全相符，但就应用层面而言，经常并不需要得知 完整的三维对象信息；例如，应用上，可能只需要知道两个不同时间 点间，对象的三维位移，在此种情况下，精确的形状，并没有详知的 必要。如图4C所示，假设所萃取的特征为两个端点，则在得出端点的 三维坐标后，可根据既定的长宽比或形状等转换原则，来还原出对象 的整体三维信息。

根据本发明，获得各对象的三维信息后，可在下一步骤S24中， 对该三维对象作一个标记(例如，赋予一个特征代码、或ID代码)。 此步骤的目的是简化系统的记忆与运算。

请再参阅图3，假设于T1之后的时间点Tn，左右两传感器所得的 二维对象如图中下方所示，则同样经过赋予对应关系(5-7对应，6-8 对应)后，可计算出两个对象的三维信息，并给予标记。此时，藉由 比对可知根据5-7对应关系所得的三维对象信息，与先前1-3对应关系 所得的三维对象信息，两者最为接近，故可计算两者之间的三维位移； 而互动系统便可根据此位移，而产生相应的反应。

以下说明本发明的另一个方法实施例，请参阅图5A、5B和图6。 请先看图5A，时间点T1时的方法步骤。本实施例与前例的不同处在 于，于萃取对象的步骤S31之后，先针对二维对象进行标记(步骤S32)。 进行标记之后，才建立对应关系(步骤S33，此时建立了图6对象11-13 和12-14在空间上的对应关系)。建立对应关系之后，进行步骤S34， 根据各组对应对象的二维信息来产生三维信息；但于产生三维信息之 后，卽不再对该三维对象做任何标记。

请再看图5B，时间点Tn时的方法步骤；Tn为T1之后的某个时 间点。于萃取对象的步骤S41之后，系统先将所萃取出之二维对象， 与先前时间点T1的标记对象进行比对，确立该对象与先前标记对象之 间的关系(步骤S42)；这表示在图6中，分别建立了11-15和13-17 在时间轴上的对应关系。由于11-13之间有对应关系，因此15-17之间 不需要通过比对的过程，卽可直接通过逻辑运算得出其对应关系。如 此，可省略多个对象互相比对所需要的运算时间与硬件负担。之后， 再于步骤S43中，针对二维对象进行标记。标记之后，卽可根据各组 对应的二维对象，产生其三维信息(步骤S45)。根据本发明，在步骤 S45之前或之后，尚可选择性地进行步骤S44或S46(可两者择一，或 皆省略之，当然也可两者皆采)，其中对于对象间的对应关系，再做一 次验证。

可能需要验证的情况如下。假设对象之对应关系是根据形状来建 立，如图7所示，对象25、26之实际三维形体为圆柱体；对象25为 第一圆柱体之顶面，对象28为同一圆柱体之侧面，而对象26为第二 圆柱体之侧面，对象27为同一圆柱体之顶面。由于传感器的观测角度、 及实际物体的移动，造成时间点Tn时，对象25和27的形状十分相近， 且对象26与28的形状十分相近。此时，系统可能误判对象25和27 相对应，而对象26与28相对应。请注意，若仅有一个实际物体的角 度变动时(例如仅有第一圆柱体变动，而第二圆柱体不动)，因系统运 算系在多个对应关系组合中，选取差距值最低者，故此时并不会造成 误判。仅有在两个实际物体的移动恰巧造成相互对应时，才会造成误 判。

虽然这种误判情形发生的可能性极低，但根据本发明，可在步骤 S45进行运算产生三维信息之前，先审慎地验证二维对象之间的对应关 系。验证的方法，例如可先求出各二维对象之重心，并检查各组具有 对应关系的二维对象，其重心距离是否为最近。在图7的例子中，当 将左右两传感器取得的二维影像叠置时，对象25和28的重心位置最 接近，而对象26与27的重心位置最接近，故系统可据此重建对应关 系。重建对应关系之后，再重新给予标记。

上述根据重心位置是否接近来做判断，仅为验证方法之一而已。 其它方法也是可行的，例如可计算各组具有对应关系的二维对象之重 叠面积，是否在所有可能的对应关系中，面积最大；或如果原本不是 根据形状来建立对应关系，则此时便可根据形状是否对应来检查所有 对应关系。

如不在步骤S45之前进行步骤S44的验证，则亦可在步骤S45之 后，于已产生三维信息后，检查原先所给的二维对象标记，与三维对 象是否相符(步骤S46)。如不符合，卽重新建立对应关系并重新进行 三维信息的计算。如前所述，步骤S44和S46，可两者取一，或皆省略， 或皆执行(但实用上，仅采其一应已非常足够)。

本发明之前述各种实施方法，其硬件电路，可用图8A或图8B所 示的做法来达成。先参阅图8A，左右两传感器81L、81R所感测到的 影像，各别传送给对应的对象萃取电路82L、82R(对象萃取电路例如 可为分析亮度的电路)，并将对象萃取电路所产生的对象信息，传送给 对应的处理器83L、83R。处理器可以是任何具有资料运算功能的电路， 例如可以是CPU、MCU、DSP、甚或是ASIC。传感器、对象萃取电路 和处理器可以各自为一个集成电路，或三者整合成一个集成电路，或 如图所示，将传感器与对象萃取电路整合成一个集成电路80L、80R， 而处理器单独为一个集成电路。在图8A所示的安排方式中，两处理器 之一(例如83L)，将其运算所得的二维资料传送给另一个处理器(例 如83R)，而后者针对对应的二维对象资料加以计算，产生三维信息， 并通过输出界面86予以输出。

图8B所示为另外一种硬件做法，其中经过萃取后取得的二维对象 资料传送给同一个处理器84，在该处进行计算产生三维信息，并通过 输出界面86予以输出。

如前所述，与先前技术相较，本发明并不需要预先定义对象的形 状，且对象之使用也无色差条件限制。此外，从上述硬件电路架构， 可看出本发明尚有一个重要的优点。在图8A的两处理器83L、83R之 间，或图8B所示的电路80L、80R和处理器之间，由于只需要传递少 量的对象信息、甚至更少量的特征信息(而非复杂的整个影像信息)， 故其传送和接收界面(通讯界面)所需的频宽很低，而处理速度很高。 例如，在影像取样率(Frame Rate)＝200F/sec的情况下，每张影像的对 象信息少于100Byte/sec，因此频宽仅需20KByte/sec。尤其，若采用 本发明的最佳实施型态，使用红外线发光源、以亮度方式来萃取对象、 并搭配重心计算与对象标记，更可大幅减轻硬件负担，不但是传送接 收界面，也可将处理器所需的计算量降至最低。因此，如前所述，处 理器未必需要采用高阶的CPU、MCU、DSP，而甚至可用ASIC来制 作。所述通讯界面，图中并未示出，可独立设置在图8A的两处理器 83L、83R之间，或也可整合在处理器83L、83R之内，或图8B所示的 电路80L、80R和处理器84之间，或也可整合在处理器84之内。

使用本发明的方法与/或电路，可建构各种形式的互动系统，例 如图9-11所示。在图9中，是将发光源91L、91R设置在屏幕90的一 端，而将传感器92L、92R设置在手持机组93的一端。(发光源以红 外线发光源较佳，下同；又，图中显示两个发光源，仅是举例，发光 源的数目最低只需要一个。)图10中，是将发光源91L、91R设置在 手持机组93的一端，而将传感器92L、92R设置在屏幕90的一端。以 上两种方式中，发光源与传感器分设于一个空间区域的两端。图11中， 则是将发光源91L、91R与传感器92L、92R皆设置在屏幕90的一端， 而手持机组93上仅需要具备以反光材质制成的反光区块94即可。反 光区块94可以为一块或多块，且形状不拘。图11所示的安排方式， 更具有一项优点，此即手持机组93完全不需要电源，较先前技术更佳。

本发明的互动系统可应用于各种游戏平台，亦可供作为三维指针 装置，例如作为PDA、手机、笔记型计算机等携带式装置的输入装置， 或是应用于任何需要追踪三维物体位置变化的装置。

以上已针对较佳实施例来说明本发明，唯以上所述者，仅系为使 熟悉本技术者易于了解本发明的内容而已，并非用来限定本发明之权 利范围。对于熟悉本技术者，当可在本发明精神内，立即思及各种等 效变化。举例而言，各实施例均以两个传感器为例，但当然也可使用 两个以上的传感器；所示两个传感器为左右配置，但当然也可改为上 下配置。传感器为了撷取影像，故如不使用传感器，而使用其它可撷 取影像的装置来代换，当然亦属可行。又，所示之各电路，未必均需 要各自成为一颗独立的集成电路；除已经说明者外，其它部分，也可 以整合成同一个集成电路，例如输出界面与处理器之整合、甚或传感 器、对象萃取电路、处理器、输出界面全部整合成一颗集成电路，等 等。此外如屏幕90可为电视屏幕或专属游戏屏幕等等，有各种等效变 化的可能。故凡依本发明之概念与精神所为之均等变化或修饰，均应 包括于本发明之申请专利范围内。