利用多个照相机拍摄移动的被拍摄体并根据拍摄图像来获取被拍摄体的实际的移动轨迹的方法及系统

摘要

本发明涉及利用多个照相机拍摄移动的被拍摄体并根据拍摄图像来获取被拍摄体的实际移动轨迹的方法及系统。根据本发明的一个技术方案，提供一种方法，用于获取被拍摄体的移动轨迹，该方法包括以下步骤：利用多个照相机拍摄移动的被拍摄体的步骤；从所述多个照相机中的各照相机收集所述被拍摄体的多个图像及与这些多个图像在相应的照相机图像帧上的位置相关的信息的步骤；以及基于所述收集的所述信息获取所述被拍摄体的移动轨迹的步骤。

说明书

技术领域

本发明涉及用于利用多个照相机拍摄移动的被拍摄体并根据拍摄图像来获取被拍摄体 的实际移动轨迹的方法及系统。

背景技术

[关联申请的相互参照]

本申请与由本申请的申请人在与本申请的申请日同一天申请的发明名称为“利用固定的 照相机拍摄移动的被拍摄体并根据拍摄图像以获取被拍摄体的实际移动轨迹的投影图像的 方法及系统”的另一个申请存在相互参照的关系。因此，本发明所属技术领域的本领域技术 人员为了理解或实施本发明可参照上述另一申请的发明或执行其作用。

[背景技术]

为了使高尔夫爱好者们在市中心也能够以低廉的费用虚拟地享受高尔夫的虚拟高尔夫 系统已广泛普及。这种虚拟高尔夫球系统的基本概念是，当高尔夫球爱好者打高尔夫球时， 获取拍摄高尔夫球所得到的多个图像，并根据高尔夫球的轨迹、间距、大小等以测定与高尔 夫球相关的物理量，通过进行模拟将击球的模拟结果显示到屏幕上。

以往，为了掌握与如上所述的物理量相关的信息，特别是为了掌握高尔夫球的移动方向 或移动速度，实际上大多采用利用同时拍摄高尔夫球的方式实现同步化的多个照相机的方 法。

但是，利用这些照相机的方法存在导致系统生产费用增加的缺点以及限制这些照相机配 置的缺点。

因此，本发明的发明人员(们)通过韩国登录专利地1048864号(发明名称：“利用单 一光源和平面传感器部来测定物体的物理量的方法及利用该方法的虚拟高尔夫球系统”)公 开了优秀的虚拟高尔夫球系统(应该认为将上述韩国登录专利的说明书的整体编入到了本说 明书中)，在此基础上提出能与上述虚拟高尔夫球系统、与上述虚拟高尔夫球系统相异的其 他虚拟高尔夫球系统、以及其他种类的体育运动(例如，棒球，足球等)的系统、与其他的 不是球的被拍摄体相关的虚拟现实系统等进行结合以使这些系统仅利用经济性好的结构要 素也能够得出足够良好的模拟结果的新技术。

发明内容

技术课题

本发明的目的在于，根据拍摄到移动的球的图像获取球的实际移动轨迹。

本发明的另一目的在于，使虚拟体育运动系统仅利用经济性好的结构要素也能够得出足 够良好的模拟结果。

本发明目的在于，根据拍摄到移动的被拍摄体的图像来获取被拍摄体的实际移动轨迹。

用于解决课题的手段

为了达到上述目的本发明主要具有如下结构。

根据本发明的一个技术方案，提供一种方法，该方法用于获取被拍摄体的移动轨迹，其 特征在于，包括以下步骤：利用多个照相机拍摄移动的被拍摄体的步骤；从所述多个照相机 中的各照相机收集所述被拍摄体的多个图像及与这些多个图像在相应的照相机图像帧上的 位置相关的信息的步骤；以及根据所述收集的所述信息来获取所述被拍摄体的移动轨迹的步 骤。

除此之外，还提供用于实现本发明的其他方法和系统。

发明效果

根据本发明，根据拍摄到移动的球的图像可获取球的实际移动轨迹。

根据本发明，可使虚拟体育运动系统仅利用经济性的结构要素也能够得出足够良好的模 拟结果。

根据本发明，根据拍摄到移动的被拍摄体的图像可获取被拍摄体的实际移动轨迹。

附图说明

图1是本发明的一个实施例的虚拟高尔夫球系统的整体结构的略图。

图2是本发明的一个实施例的拍摄部100的内部结构的详细图。

图3是本发明的一个实施例的模拟器200的内部结构的详细图。

图4是与本发明中使用的一个概念相关的图。

图5是根据本发明的一个实施例使用两个照相机的情况下获取到的交线的示意图。

具体实施方式

后述的对本发明详细说明，请参照以可实施本发明的特定实施例来图示的附图。这些实 施例可使本领域技术人员可足以实施本发明。本发明的各实施例相互不同，但应理解为相互 之间不需具有排斥性。例如，在本说明书中记载的特定形状、构造及特性，在不脱离本发明 的宗旨和范围的情况下，可以从一个实施例变更为其他实施例来实现。另外，应理解为对各 实施例内的个别结构要素的位置或配置，在不脱离本发明的宗旨和范围的情况下，也可以进 行变更。因此，将后述的详细说明不是用来对本发明进行限定，应理解为本发明的范围包括 由专利权利范围的权利要求项要求保护的范围以及与其等同的所有的范围。在图中，类似的 附图标记表示在多个方面相同或类似的结构要素。

为了使本发明所属的技术领域的技术人员容易地实施本发明，下面参照附图详细说明本 发明的各优选的实施例。

[本发明优选的实施例]

整体系统的结构

图1是本发明的一个实施例的虚拟高尔夫球系统的整体结构的略图。

如图1所示，虚拟高尔夫球系统可包括击打部10、拍摄部100、模拟器200及显示装置 300。

首先，本发明的一个实施例的击打部10可以是高尔夫球爱好者利用虚拟高尔夫球系统 时踩上去放置高尔夫球并击打的部分。该击打部10可包括可调节其倾斜角的公知的摆动板。 作为参考，在将本发明应用到其他种类的虚拟体育运动系统中的情况下，本领域技术人员在 必要的情况下可适当变更击打部10的结构和与该击打部10联动的其他结构要素的结构，以 适合于相对应的体育运动的特性。

接着，本发明的一个实施例的拍摄部100可包括多个照相机(优选为红外线照相机)来 实现使各照相机分别多个移动的高尔夫球的图像的功能。

该拍摄部100可配置在如图1所示可配置在从上方向下俯瞰移动的高尔夫球的位置上， 也可以配置在其他位置。优选地，拍摄部100可如图1所示固定在构筑物上，从而该拍摄部 100的位置和视场方向恒定。并且，优选地，相互分离地配置拍摄部100的多个照相机。

对于拍摄部100的具体结构，参照图2进一步说明。

接着，本发明的一个实施例的模拟器200可执行如下功能，即：从拍摄部100接收由那 些多个照相机分别获取到的移动的高尔夫球的多个图像，获取高尔夫球的实际移动轨迹，并 根据该实际移动轨迹进行模拟。

模拟器200可与拍摄部100及显示装置300通信，并且可包括用于进行虚拟高尔夫球模 拟的专用处理器。该专用处理器可具备存储单元，并且可具有数值运算能力和图像处理能力。 该模拟器200可以与现有的虚拟高尔夫球模拟装置类似。

对于如上所述的模拟器200的结构，参照图3进一步说明。

最后，本发明的一个实施例的显示装置300可执行显示模拟器200的数值运算结果或图 像处理结果的功能。该显示装置300可利用规定的显示单元显示规定的影像，但优选地，可 由可吸收打出去的高尔夫球的冲击并且不直接发光的屏幕和向该屏幕输出影像的投影机构 成。

拍摄部的结构

下面对本发明的一个实施例的拍摄部100的内部结构及各结构要素的功能进行说明。

图2是本发明的一个实施例的拍摄部100的内部结构的详细图。

如图2所示，拍摄部100可包括照相机部110、通信部120及控制部130。

根据本发明的一个实施例，照相机部110、通信部120及控制部130中的至少一部分是 可以与模拟器200进行通信的程序模块。该程序模块可以以操作系统、应用程序模块或其他 程序模块的形式包含在拍摄部100中，物理上可保存在各种公知的存储装置中。另外，该程 序模块也可以保存在能够与拍摄部100进行通信的远程存储装置中。并且，该程序模块包括 执行将根据本发明后述的特定工作或处理特定抽象数据类型的例行程序、子例行程序、程序、 对象、组件、数据构造等，但并不限定于此。

首先，照相机部110可包括以光学方式获取移动的高尔夫球的图像的两个以上的照相 机。该多个照相机中的各照相机可在多个观察点获取移动的高尔夫球的多个图像。在该情况 下，不需对多个照相机实施同步化。

照相机部110可分别将拍摄到移动的高尔夫球的图像与以下两个信息一起传送至控制 部130，这两个信息分别是与相应的照相机相关的识别信息、及与这些图像在相应的照相机 图像帧上的坐标相关的信息。可对多个照相机和相应的拍摄图像进行这种处理。对于照相机 图像帧上的坐标，可参照上述关联申请。

照相机部110的照相机可以如上所述固定到构筑物上之后根据需要对该照相机进行校 正。该校正可以是与现有技术中对照相机图像传感器的失真的校正或对镜头的失真的校正。

接着，通信部120可根据需要执行在控制部130和模拟器200之间发送或接收数据的功 能。对于通信部120可采用的通信方式并未特别限定，但优选地采用如有线LAN通信、电 缆通信等有线通信方式或如无线LAN通信、红外线通信、RF通信、蓝牙通信等无线通信方 式。

最后，控制部130可将从照相机部110接收到的拍摄到移动的高尔夫球的图像传送至模 拟器200。

一方面，根据如后述所述的本发明特有的原理，在未对多个照相机以同时拍摄高尔夫球 的方式实施同步化的状态下也可获取高尔夫球的实际移动轨迹，因而在照相机部110的N 个照相机的拍摄周期都是T的情况下，控制部130控制多个照相机以使各照相机依次相隔 T／N的时间进行拍摄的方式进行控制，由此可得到与恰如使用了具有更短的拍摄周期T／N的 (即，时间分辨率方面的性能更高)照相机的情况相同的效果。

另一方面，在照相机部110的N个照相机的拍摄周期都是T的情况下，控制部130控 制多个相机以使多个照相机中的至少一部分相机相隔规定的时间进行拍摄，由此可得到与恰 如使用了拍摄周期比T短的(即，时间分辨率方面的性能更高)照相机的情况相同的效果。

另一方面，在照相机部110的N个照相机的拍摄周期中的至少一部分相互不同情况下， 控制部130控制多个照相机以使多个照相机中的至少一部分相隔规定的时间进行拍摄，由此 可得到获取更多拍摄数据的效果。

模拟器的结构

下面对本发明的一个实施例的模拟器200的内部结构及各结构要素的功能进行说明。

图3是本发明的一个实施例的模拟器200的内部结构的详细图。

如图3所示，本发明的一个实施例的模拟器200可包括模拟部210、数据保存部220、 通信部230及控制部240。

根据本发明的一个实施例，模拟部210、数据保存部220、通信部230及控制部240中 的至少一部分是可以与拍摄部100或显示装置300进行通信的程序模块。该程序模块可以以 操作系统、应用程序模块或其他程序模块的形式包含在模拟器200中，物理上可保存在各种 公知的存储装置中。另外，该程序模块也可以保存在能够与模拟器200进行通信的远程存储 装置中。并且，该程序模块包括执行将根据本发明后述的特定工作或处理特定抽象数据类型 的例行程序、子例行程序、程序、对象、组件、数据结构等，但并不限定于此。

首先，模拟部210可从拍摄部100接收如前述所述与拍摄到移动的高尔夫球的图像相关 的多个信息。模拟部210可通过利用这些信息进行如下计算处理获取高尔夫球的实际移动轨 迹和移动速度。参照图4进一步说明(图4是与本发明中使用的一个概念相关的图)。

1.由照相机的位置点以及将相应的照相机拍摄到的高尔夫球在多个观察点处的位置点 投影到背景部分上得到的一些点所决定的平面的获取

在图4中，Pc(i)表示多个照相机中的第i个照相机的位置点。模拟部210可以已得知 Pc(i)的坐标。

并且，Pb(i，n)至Pb(i，n+2)表示由第i个照相机在第n次至第n+2次拍摄到的高 尔夫球在拍摄观察点实际所处的一些位置点。这些位置点存在于作为高尔夫球实际移动轨迹 的直线Lt上(此时，高尔夫球的移动轨迹并非一定会描绘为直线，但高尔夫球刚被击打之 后观察到的轨迹几乎接近直线，因而要考虑并承认这种直线Lt)。另外，直线Lt也可以表 示高尔夫球在规定时间内的近似的移动轨迹。

Pr(i，n)表示从第i个照相机观察时Pb(i，n)投影到作为背景部分的地面上得到的 点。模拟部210可利用上述关联申请的发明原理，和根据由第i个照相机拍摄位于Pb(i，n) 的高尔夫球得到的图像在该照相机图像帧上的坐标以及已可知的与第i个照相机相关的坐标 之间坐标变换矩阵等，来决定这些点在地面上的坐标。同样地，Pr(i，n+1)和Pr(i，n+2) 表示从第i个照相机观察点观察时Pb(i，n+1)和Pb(i，n+2)投影到地面上得到的点。也 可以决定这些点在地面上的坐标。

因此，模拟部210可获取Pc(i)和由Pr(i，n)至Pr(i，n+2)所绘直线Lb(i)唯一 决定的平面。

2.获取包含高尔夫球的移动轨迹的多个平面

如上所述的平面可以包括直线Lt。并且，模拟部210也可以将1.的处理由第i+1个照相 机进行。显然，模拟部210根据需要也可以将1.的处理由第i+2个照相机进行。因此，模拟 部210可在每个处理中都可以获取一个包含直线Lt的平面。

3.获取高尔夫球的移动轨迹

模拟部210通过2.的处理所获得的多个平面的交线(图5中的粗线)(图5是根据本发 明的一个实施例使用两个照相机的情况下获取到的交线的示意图)，该交线会与高尔夫球的 实际移动轨迹的直线Lt一致。

4.获取高尔夫球的移动速度

模拟部210还可以通过利用3.的处理所获得的直线Lt和Pc(i)和Pr(i，n)的已知坐 标求出Pb(i，n)。同理，还可求出Pb(i，n+1)的坐标。因此，模拟部210可通过将所 求出的两个坐标之间的距离除以第i个照相机的拍摄周期来获取高尔夫球的实际移动速度。

一方面，虽然上面例示性说明了模拟部210可通过计算获取高尔夫球的移动轨迹和移动 速度，但对于本领域技术人员来说这种计算导出过程的至少一部分是其他计算结构要素，例 如也可以由拍摄部100的控制部130来执行。

接着，数据保存部220可保存在如前述的计算过程中利用或导出的各种信息或其他模拟 所需的信息。该数据保存部220可包括计算机能够读取的记录介质。

接着，通信部230可执行向模拟部210及数据保存部220发送数据或从模拟部210及数 据保存部220接收数据的功能。对于通信部230可采用的通信方式并未特别限定，但优选地 采用如有线LAN通信、电缆通信等有线通信方式或如无线LAN通信、红外线通信、RF通 信、蓝牙通信等无线通信方式。

最后，控制部240可执行对模拟部210、数据保存部220及通信部230之间的数据流进 行控制的功能。即，本发明的控制部240可通过控制从模拟器200外部流进的数据流及流向 模拟器200外部的数据流或模拟器200的各结构要素之间的数据流，来使模拟部210、数据 保存部220及通信部230执行各自固有的功能。

上面主要假定本发明的虚拟体育运动系统是虚拟高尔夫球系统的情况进行了说明，但本 领域技术人员显然可将本发明的技术原理和结构应用到要求进行与被拍摄体的移动相关的 模拟的所有种类的虚拟体育运动系统(例如，虚拟棒球系统或虚拟足球系统)中。

对于上述说明的本发明的实施例可以通过利用各种计算机结构要素执行程序指令语的 形式来实现，并且可将该程序指令语记录到计算机能够读取的记录介质中。上述计算机能够 读取的记录介质可包括程序指令语、数据文件、数据结构等或它们的组合。记录到上述计算 机能够读取的记录介质中的程序指令语可以是为本发明特别设计并构成的程序指令语，或者 可以是计算机软件领域的本领域技术人员公知的能够使用的程序指令语。计算机能够读取的 记录介质的例子包括：如硬盘、软盘及磁带等磁介质；如CD-ROM(只读光盘)及DVD(数 字多功能光盘)等光记录介质；如光磁盘等磁光介质；及如ROM(只读存储器)、RAM(随 机存取存储器)、闪存等的以能够保存并执行程序指令语的方式特别构成的硬件装置。程序 指令语的例子不仅包括如利用编译器做成的机器码，还包括可利用解释器等来在计算机中执 行的高级语言代码。为了执行本发明的处理，可将硬件装置变更为一个以上的软件模块，该 软件模块的作用与硬件装置相同。

上面利用如具体的结构要素等的特定细节和限定的实施例及图来说明了本发明，但这仅 是为了帮助更加整体地理解本发明而提供的，本发明并不限定于上述实施例，只要是本发明 所属的技术领域的技术人员都能够根据这种记述来进行各种修正和变更。

因此，本发明的思想并不限定于上述说明的实施例，不仅后述的专利要求范围属于本发 明的思想范畴，与该专利范围均等或由此进行等价变更的所有范围也都属于本发明的思想范 畴。

附图标记的说明

210：模拟部

220：数据保存部

230：通信部

240：控制部