利用固定的照相机拍摄移动的被拍摄体并根据拍摄图像以获取被拍摄体的实际移动轨迹的投影图像的方法及系统

摘要

本发明涉及利用固定的照相机拍摄移动的被拍摄体并根据拍摄图像来获取被拍摄体的实际移动轨迹的投影图像的方法及系统。根据本发明的一个技术方案，提供一种方法，用于获取被拍摄体的实际移动轨迹的投影图像，该方法包括以下步骤：利用固定的照相机拍摄移动的被拍摄体的步骤；以及将所拍摄的被拍摄体的图像在照相机图像帧上的坐标变换为图像在实际背景部分上的坐标的步骤，其中，变换是根据与如下的两个坐标之间的对应关系相关的信息来进行的，这两个坐标分别是，通过利用固定的照相机预先拍摄实际背景部分的特定图案来获取的特定图案在实际背景部分上的坐标以及拍摄到该特定图案的图像在照相机图像帧上的坐标。

说明书

技术领域

本发明涉及利用固定的照相机拍摄移动的被拍摄体并根据拍摄图像以获取被拍摄体的 实际移动轨迹的投影图像的方法及系统。

背景技术

[关联申请的相互参照]

本申请与由本申请的申请人在与本申请的申请日同一天申请的发明名称为“利用多个照 相机拍摄移动的被拍摄体并根据拍摄图像以获取被拍摄体的实际移动轨迹的方法及系统”的 另一个申请存在相互参照的关系。因此，本发明所属技术领域的本领域技术人员为了理解或 实施本发明可参照上述另一申请的发明或执行其作用。

[背景技术]

为了使高尔夫爱好者们在市中心也能够以低廉的费用虚拟地享受高尔夫的虚拟高尔夫 系统已广泛普及。这种虚拟高尔夫球系统的基本概念是，当高尔夫球爱好者打高尔夫球时， 获取拍摄高尔夫球所得到的多个图像，并根据高尔夫球的轨迹、间距、大小等以测定与高尔 夫球相关的物理量，通过进行模拟将击球的模拟结果显示到屏幕上。这种虚拟高尔夫球系统 中可根据情况存在迫切需要根据所拍摄移动的高尔夫球所获得的图像获取高尔夫球的实际 移动轨迹的投影图像的情况。

因此，本发明的发明人员(们)通过韩国登录专利地1048864号(发明名称：“利用单 一光源和平面传感器部来测定物体的物理量的方法及利用该方法的虚拟高尔夫球系统”)公 开了优秀的虚拟高尔夫球系统(应该认为将上述韩国登录专利的说明书的整体编入到了本说 明书中)，在此基础上提出能与上述虚拟高尔夫球系统、与上述虚拟高尔夫球系统相异的其 他虚拟高尔夫球系统、以及其他种类的体育运动(例如，棒球，足球等)的系统、与其他的 不是球的被拍摄体相关的虚拟现实系统等进行结合以使这些系统仅利用经济性好的结构要 素也能够得出足够良好的模拟结果的新技术。

发明内容

技术课题

本发明的目的在于，根据拍摄到移动的球的图像获取球的实际移动轨迹的投影图像。

本发明另一目的在于，使虚拟体育运动系统仅利用经济性好的结构要素也能够得出足够 良好的模拟结果。

本发明目的在于，根据拍摄到移动的被拍摄体的图像获取被拍摄体的实际移动轨迹的投 影图像。

解决课题的手段

为了达到上述目的本发明主要具有如下结构。

根据本发明的一个技术方案，提供一种方法，用于获取被拍摄体的实际移动轨迹的投影 图像，该方法包括以下步骤：利用固定的照相机拍摄移动的被拍摄体的步骤；以及将拍摄到 的所述被拍摄体的图像在照相机图像帧上的坐标变换为所述图像在实际背景部分上的坐标 的步骤，其中，所述变换是基于与如下的两个坐标之间的对应关系相关的信息来进行的，所 述两个坐标分别是通过利用所述固定的照相机预先拍摄所述实际背景部分的特定图案来获 取的所述特定图案在所述实际背景部分上的坐标以及拍摄到该特定图案的图像在所述照相 机图像帧上的坐标。

除此之外，还提供用于实现本发明的其他方法和系统。

发明效果

根据本发明，根据拍摄到移动的球的图像可获取球的实际移动轨迹的投影图像。

根据本发明，可使虚拟体育运动系统仅利用经济性的结构要素也能够得出足够良好的模 拟结果。

根据本发明，根据拍摄到移动的被拍摄体的图像可获取被拍摄体的实际移动轨迹的投影 图像。

附图说明

图1是本发明的一个实施例的虚拟高尔夫球系统的整体结构的略图。

图2是本发明的一个实施例的拍摄部100的内部结构的详细图。

图3是本发明的一个实施例的模拟器200的内部结构的详细图。

具体实施方式

后述的对本发明详细说明，请参照以可实施本发明的特定实施例来图示的附图。这些实 施例可使本领域技术人员可足以实施本发明。本发明的各实施例相互不同，但应理解为相互 之间不需具有排斥性。例如，在本说明书中记载的特定形状、构造及特性，在不脱离本发明 的宗旨和范围的情况下，可以从一个实施例变更为其他实施例来实现。另外，应理解为对各 实施例内的个别结构要素的位置或配置，在不脱离本发明的宗旨和范围的情况下，也可以进 行变更。因此，将后述的详细说明不是用来对本发明进行限定，应理解为本发明的范围包括 由专利权利范围的权利要求项要求保护的范围以及与其等同的所有的范围。在图中，类似的 附图标记表示在多个方面相同或类似的结构要素。

为了使本发明所属的技术领域的技术人员容易地实施本发明，下面参照附图详细说明本 发明的各优选的实施例。

[本发明优选的实施例]

整体系统的结构

图1是本发明的一个实施例的虚拟高尔夫球系统的整体结构的略图。

如图1所示，虚拟高尔夫球系统可包括击打部10、拍摄部100、模拟器200、显示装置 300及基准图案部400。

首先，本发明的一个实施例的击打部10可以是高尔夫球爱好者利用虚拟高尔夫球系统 时踩上去放置高尔夫球并击打的部分。该击打部10可包括可调节其倾斜角的公知的摆动板。 作为参考，在将本发明应用到其他种类的虚拟体育运动系统中的情况下，本领域技术人员在 必要的情况下可适当变更击打部10的结构和与该击打部10联动的其他结构要素的结构，以 适合于相对应的体育运动的特性。

接着，本发明的一个实施例的拍摄部100可包括至少一个照相机(优选为红外线照相机) 来实现用于获取移动的高尔夫球的图像的功能。

该拍摄部100可配置在如图1示可配置在从上方向下俯瞰移动的高尔夫球的位置上，也 可以配置在其他位置。优选地，拍摄部100可如图1所示固定在构筑物上，从而该拍摄部 100的位置和视场方向恒定。如后述所述该拍摄部100可朝向基准图案部400。

对于拍摄部100的具体结构，参照图2进一步说明。

接着，本发明的一个实施例的模拟器200可执行如下功能，即：从拍摄部100接收拍摄 到移动的高尔夫球的图像，并获取将该高尔夫球的实际移动轨迹投影到成为所述图像的实际 背景部分上以得到投影图像，并根据该投影图像来进行模拟。

模拟器200可与拍摄部100及显示装置300通信，并且可包括用于进行虚拟高尔夫球模 拟的专用处理器。该专用处理器可具备存储单元，并且可具有数值运算能力和图像处理能力。 该模拟器200可以与现有的虚拟高尔夫球模拟装置类似。

对于如上所述的模拟器200的结构，参照图3进一步说明。

接着，本发明的一个实施例的显示装置300可执行显示模拟器200的数值运算结果或图 像处理结果的功能。该显示装置300可利用规定的显示单元显示规定的影像，但优选地，可 由可吸收打出去的高尔夫球的冲击并且不直接发光的屏幕和向该屏幕输出影像的投影机构 成。

最后，本发明的一个实施例的基准图案部400可以是与拍摄部100相对的配置以显示规 定图案的简单的印刷板，或者可以与拍摄部100相对的配置以显示规定图案的程序化的电子 显示器。在后者的情况下，基准图案部400与后述所述的拍摄部100的控制部130协同进行 图案显示。该基准图案部400例如可以是提供公知的用于校正照相机的棋盘图案或正方格子 图案。基准图案部400不是实施本发明所必须的部分，可根据情况以地面或其他背景部分的 特征代替基准图案部400的图案。

拍摄部的结构

下面对本发明的一个实施例的拍摄部100的内部结构及各结构要素的功能进行说明。

图2是本发明的一个实施例的拍摄部100的内部结构的详细图。

如图2所示，拍摄部100可包括照相机部110、通信部120及控制部130。

根据本发明的一个实施例，照相机部110、通信部120及控制部130中的至少一部分是 可以与模拟器200进行通信的程序模块。该程序模块可以以操作系统、应用程序模块或其他 程序模块的形式包含在拍摄部100中，物理上可保存在各种公知的存储装置中。另外，该程 序模块也可以保存在能够与拍摄部100进行通信的远程存储装置中。并且，该程序模块包括 执行将根据本发明后述的特定工作或处理特定抽象数据类型的例行程序、子例行程序、程序、 对象、组件、数据构造等，但并不限定于此。

首先，照相机部110可包括以光学方式获取移动的高尔夫球的图像的照相机。照相机部 110可将拍摄到移动的高尔夫球的图像传送至控制部130。

照相机部110的照相机可以如上所述固定到构筑物上之后根据需要对该照相机进行校 正。该校正可以是与现有技术中对照相机图像传感器的失真的校正或对镜头的失真的校正。

接着，通信部120可根据需要执行在控制部130和模拟器200之间发送或接收数据的功 能。对于通信部120可采用的通信方式并未特别限定，但优选地采用如有线LAN通信、电 缆通信等有线通信方式或如无线LAN通信、红外线通信、RF通信、蓝牙通信等无线通信方 式。

最后，控制部130可将从照相机部110接收到的拍摄到移动的高尔夫球的图像传送至模 拟器200。

另外，控制部130在进行如上所述的传送之前或之后但在照相机固定到构筑物上之后， 对基准图案部400上的多个坐标(即，实际的世界坐标)中的各坐标与利用照相机拍摄到的 相对应的坐标的图案在照相机图像帧上的坐标建立对应关系，并将与各坐标对应关系相关的 信息传递至模拟器200。例如，可在基准图案部400上的K个坐标(Pr(k)，k=1～K)与 照相机图像帧上的K个坐标(Pi(k)，k=1～K)之间，建立如上所述的坐标对应关系。

可以通过由虚拟高尔夫球系统的管理人员对拍摄部100和基准图案部400进行手动操 作，或者由拍摄部100(特别地，控制部130)和基准图案部400进行程序化的相互协同处 理，来建立如上所述的坐标对应关系。

模拟器的结构

下面，对本发明的一个实施例的模拟器200的内部结构及各结构要素的功能进行说明。

图3是本发明的一个实施例的模拟器200的内部结构的详细图。

如图3所示，本发明的一个实施例的模拟器200可包括模拟部210、数据保存部220、 通信部230及控制部240。

根据本发明的一个实施例，模拟部210、数据保存部220、通信部230及控制部240中 的至少一部分是可以与拍摄部100或显示装置300进行通信的程序模块。该程序模块可以以 操作系统、应用程序模块或其他程序模块的形式包含在模拟器200中，物理上可保存在各种 公知的存储装置中。另外，该程序模块也可以保存在能够与模拟器200进行通信的远程存储 装置中。并且，该程序模块包括执行将根据本发明后述的特定工作或处理特定抽象数据类型 的例行程序、子例行程序、程序、对象、组件、数据结构等，但并不限定于此。

首先，模拟部210可从拍摄部100接收如前述所述的与坐标对应关系相关的信息。模拟 部210可利用该信息通过如下的例示性的过程，以导出用于将如照相机图像帧上的坐标变换 为基准图案部400、地面、其他背景部分等成为上述图像的实际背景的部分上的坐标的坐标 变换矩阵。

首先，可将接收到的坐标对应信息表示为如下所示。

假定基准图案部400的K个特定图案的坐标：Pr(k=1～K)、以及

由照相机拍摄上述K个特定图案得到的照相机图像帧上的坐标(像素坐标)：Pi(k) (k=1～K)。

为了方便起见，假定Pr=(x_r，y_r)，Pi=(x_i，y_i)之后，若考虑变换的旋转效果和可能 出现的失真，可认为以下的数学式成立。

[数学式1]

$x_i{a}_{11}+y_i{a}_{21}+x_i{y}_i{a}_{31}+x_i^2{a}_{41}+y_i^2{a}_{51}+a_{61}=x_r$

$x_i{a}_{12}+y_i{a}_{22}+x_i{y}_i{a}_{32}+x_i^2{a}_{42}+y_i^2{a}_{52}+a_{62}=y_r$

若用矩阵式表现数学式1则为如下数学式。

[数学式2]

P_i·A＝P_r

其中，

$P_i=\left(\begin{array}{cccccc}{x}_i& y_i& x_i{y}_i& x_i^2& y_i^2& 1\end{array}\right),$

$A=\left(\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\\ a_{31}& a_{32}\\ a_{41}& a_{42}\\ a_{51}& a_{52}\\ a_{61}& a_{62}\end{array}\right),$以及

P_r=[x_r y_r]。

若仅对第k个坐标对应进行整理则为如下数学式。

[数学式3]

$P_i\left(k\right)=\left(\begin{array}{cccccc}{x}_i\left(k\right)& y_i\left(k\right)& x_i\left(k\right)y_i\left(k\right)& x_i^2\left(k\right)& y_i^2\left(k\right)& 1\end{array}\right),$及

P_r(k)=[x_rk) y_r(k)]。

接着，若利用已有值信息的K个坐标对应将照相机图像帧上的坐标和上述图像的实际 背景部分上的坐标分别用矩阵方式表现，则为如下数学式。

[数学式4]

$P_{r,k}=\left(\begin{array}{c}{P}_r\left(1\right)\\ P_r\left(2\right)\\ ···\\ P_r\left(K\right)\end{array}\right),$及

$P_{i,k}=\left(\begin{array}{c}{\tilde{P}}_i\left(1\right)\\ {\tilde{P}}_i\left(2\right)\\ ···\\ {\tilde{P}}_i\left(K\right)\end{array}\right).$

最终，若利用K个坐标对应重写数学式2，则为如下数学式。

[数学式5]

P_i，K·A=P_r，K

因此，可用如下的数学式来导出坐标变换矩阵(由推定值构成的矩阵)。

[数学式6]

$\bar{A}={({P_{i,k}}^T·P_{i,k})}^{-1}{P_{i,k}}^T·P_{r,k}$

因而，模拟部210可利用数学式6的坐标变换矩阵，将控制部130传送来的移动的高尔 夫球在各图像的照相机图像帧上的坐标变换为上述图像的实际背景部分上的坐标。因此，仅 利用移动的高尔夫球的照相机图像也可以计算导出它们实际移动轨迹的投影图像。如上述所 述在能够相互参照的另一申请的发明等中即使不利用同步化的多个照相机在掌握高尔夫球 的实际移动轨迹等方面，可有效地使用该投影图像。

一方面，虽然上面例示性说明了模拟器200的模拟部210可通过计算导出如上所述的投 影图像，但对于本领域技术人员来说这种计算导出过程的至少一部分是其他计算结构要素， 例如利用也可以由拍摄部100的控制部130来执行。

接着，数据保存部220可保存与坐标对应相关的信息或其他模拟所需的信息。该数据保 存部220可包括计算机能够读取的记录介质。

接着，通信部230可执行向模拟部210及数据保存部220发送数据或从模拟部210及数 据保存部220接收数据的功能。对于通信部230可采用的通信方式并未特别限定，但优选地 采用如有线LAN通信、电缆通信等有线通信方式或如无线LAN通信、红外线通信、RF通 信、蓝牙通信等无线通信方式。

最后，控制部240可执行对模拟部210、数据保存部220及通信部230之间的数据流进 行控制的功能。即，本发明的控制部240可通过控制从模拟器200外部流进的数据流及流向 模拟器200外部的数据流或模拟器200的各结构要素之间的数据流，来使模拟部210、数据 保存部220及通信部230执行各自固有的功能。

上面主要假定本发明的虚拟体育运动系统是虚拟高尔夫球系统的情况进行了说明，但本 领域技术人员显然可将本发明的技术原理和结构应用到要求进行与被拍摄体的移动相关的 模拟的所有种类的虚拟体育运动系统(例如，虚拟棒球系统或虚拟足球系统)中。

对于上述说明的本发明的实施例可以通过利用各种计算机结构要素可执行的程序指令 语的形式来实现，并且可将该程序指令语记录到计算机能够读取的记录介质中。上述计算机 能够读取的记录介质可包括程序指令语、数据文件、数据结构等或它们的组合。记录到上述 计算机能够读取的记录介质中的程序指令语可以是为本发明特别设计并构成的程序指令语， 或者可以是计算机软件领域的本领域技术人员公知的能够使用的程序指令语。计算机能够读 取的记录介质的例子包括：如硬盘、软盘及磁带等磁介质；如CD-ROM(只读光盘)及DVD (数字多功能光盘)等光记录介质；如光磁盘等磁光介质；及如ROM(只读存储器)、RAM (随机存取存储器)、闪存等的以能够保存并执行程序指令语的方式特别构成的硬件装置。 程序指令语的例子不仅包括如利用编译器做成的机器码，还包括可利用解释器等来在计算机 中执行的高级语言代码。为了执行本发明的处理，可将硬件装置变更为一个以上的软件模块， 该软件模块的作用与硬件装置相同。

上面利用如具体的结构要素等的特定细节和限定的实施例及图来说明了本发明，但这仅 是为了帮助更加整体地理解本发明而提供的，本发明并不限定于上述实施例，只要是本发明 所属的技术领域的技术人员都能够根据这样的记述来进行各种修正和变更。

因此，本发明的思想并不限定于上述说明的实施例，不仅后述的专利要求范围属于本发 明的思想范畴，与该专利范围均等或由此进行等价变更的所有范围也都属于本发明的思想范 畴。

附图标记的说明

210：模拟部

220：数据保存部

230：通信部

240：控制部