基于动作捕捉系统的虚拟摄像机拍摄方法

摘要

本发明涉及一种基于动作捕捉系统的虚拟摄像机拍摄方法，其特征在于：动作捕捉摄像机组通过网线连接到摄像机数据传输交换机上，从动作捕捉系统获取的标记点图像信息通过摄像机数据传输交换机传输给高性能图形工作站进行处理与识别计算，场景摄像机渲染得到的图像通过高性能图形工作站输出到附加4个标记点的LED显示屏进行实时的场景预览；通过使用动作捕捉系统快速、准确地获取标记点的真实三维坐标信息，得到不同姿态下标记点之间的变换关系，从而计算出标记点在现实环境中的真实运动轨迹信息来控制场景摄像机在三维虚拟场景中的运动。

说明书

技术领域

本发明涉及一种基于动作捕捉系统的虚拟摄像机拍摄方法，属于机器视觉技术领域。

背景技术

从目前动作捕捉系统的灵活性和成熟性方面来看，光学式动作捕捉系统是使用最广泛而且也是技术最完善的动作捕捉系统，这种类型的动作捕捉系统通过对目标物体上特定标记点的识别和跟踪来完成动作捕捉的任务。在进行动作捕捉任务时，摄像机接收由标记点反射回来的光线，并根据灰度信息获取标记点在二维图像中的位置信息，这样便可以通过计算机视觉方法重建出标记点在三维空间中的三维坐标信息。当摄像机以足够高的帧频对标记点进行拍摄，通过对拍摄到标记点图像的处理，计算出各个标记点在三维空间中的三维坐标信息，然后对不同的标记点进行识别，这样便可以得到每个标记点在三维空间中的三维运动轨迹。

近些年，随着动作捕捉技术的飞速发展，其应用领域也具有越来越广阔的拓展空间，动作捕捉系统在工业、医疗卫生、体育、影视以及国防等诸多行业中都具有广泛的实际应用价值。在影视制作过程中，经常需要用到动作捕捉系统，如下图所示，美国好莱坞建立了一个Motion运动捕捉工作室，安装有48个摄像机，专门用于影视制作。Vicon MX光学动作捕捉系统现在已被许多著名的影视制作公司应用。在众多脍炙人口的影视大片中，动作捕捉系统发挥了重要的作用，制作了大量的经典镜头。此外，何炳蔚等人提出了一种混合视觉系统标定中虚拟摄像机的确定方法，该方法使用单目摄像机和全景摄像机快速获得混合视觉系统中全景摄像机到棋盘格的外参数。张治国等人发明了一种三维场景中虚拟摄像机的跟踪方法，该方法可以使不同型号的真实摄像机能够一起工作，从而实现节目录制的多样性，同时校正过程方便、快捷和准确。

在计算机图形学中，三维虚拟场景的观察是通过场景摄像机来实现的，而渲染出的图像就是这个场景摄像机拍摄到的部分。使用场景摄像机来观察三维虚拟场景，如同使用真实摄像机来拍摄真实世界是一样的。由于场景摄像机是观察三维虚拟场景的工具，所以可以通过调节场景摄像机从不同角度观察三维虚拟场景。但对影视制作来说，场景摄像机的常规使用方式严重缺乏操作的灵活性和效率，直接影响到观看体验。正是如此，本发明提出了一种基于动作捕捉系统的虚拟摄像机拍摄方法。

发明内容

本发明的目的在于提供了一种基于动作捕捉系统的虚拟摄像机拍摄方法，为了增强场景摄像机观察三维虚拟场景的灵活性和效率，通过使用动作捕捉系统快速、准确地获取标记点的真实三维坐标信息，得到不同姿态下标记点之间的变换关系，从而计算出标记点在现实环境中的真实运动轨迹信息来控制场景摄像机在三维虚拟场景中的运动，

本发明的技术方案是这样实现的：基于动作捕捉系统的虚拟摄像机拍摄方法，由动作捕捉摄像机组、摄像机数据传输交换机、高性能图形工作站、附加4个标记点的LED显示屏；其特征在于：动作捕捉摄像机组通过网线连接到摄像机数据传输交换机上，从动作捕捉系统获取的标记点图像信息通过摄像机数据传输交换机传输给高性能图形工作站进行处理与识别计算，场景摄像机渲染得到的图像通过高性能图形工作站输出到附加4个标记点的LED显示屏进行实时的场景预览；其具体步骤如下：

步骤1、使用刻度尺测量附加4个标记点的LED显示屏中4个标记点之间的实际距离，分别记为：D₁₂、D₁₃、D₁₄、D₂₃、D₂₄、D₃₄，其中：标记点D_ij表示任意两个标记点之间的实际距离，i的取值范围为[1,3]，j的取值范围为[i+1,4]，并且其中任意两个实际距离均不相等且任意两个实际距离之差的绝对值不小于20mm；

步骤2、按距离从小到大重新排列D₁₂、D₁₃、D₁₄、D₂₃、D₂₄、D₃₄得到RD₁、RD₂、RD₃、RD₄、RD₅、RD₆，并确保附加4个标记点的LED显示屏中4个标记点的刚体状态不被破坏，即：D₁₂、D₁₃、D₁₄、D₂₃、D₂₄、D₃₄的实际距离不变；

步骤3、将附加4个标记点的LED显示屏放置在动作捕捉摄像机组的拍摄范围之内，有效拍摄范围之内，该有效拍摄范围必须并保证附加4个标记点的LED显示屏中每一个标记点都能够至少被3个摄像机拍摄到，此时附加4个标记点的LED显示屏的摆放位置设定为初始状态，从动作捕捉摄像机组中获取标记点序列M_a及标记点序列M_a中每一个标记点的真实三维坐标信息；

步骤4、在标记点序列M_a中随机选取任意4个标记点组成标记组M^x4并计算出标记组M^x4中任意两点之间的实际距离M^x4₁₂、M^x4₁₃、M^x4₁₄、M^x4₂₃、M^x4₂₄、M^x4₃₄，按距离从小到大重新排列M^x4₁₂、M^x4₁₃、M^x4₁₄、M^x4₂₃、M^x4₂₄、M^x4₃₄得到RM^x4₁、RM^x4₂、RM^x4₃、RM^x4₄、RM^x4₅、RM^x4₆；

步骤5、如果RD₁、RD₂、RD₃、RD₄、RD₅、RD₆与RM^x4₁、RM^x4₂、RM^x4₃、RM^x4₄、RM^x4₅、RM^x4₆满足如下不等式（1）：

则标记组M^x4被看作是附加4个标记点的LED显示屏的4个标记点所组成的，记为M^a4，其他标记点视为干扰标记点而忽略计算，继续执行步骤6；如果不满足不等式（1），则重新执行步骤4和步骤5；

步骤6、在动作捕捉摄像机组的拍摄范围之内旋转或移动附加4个标记点的LED显示屏，从动作捕捉摄像机组中再次获取标记点序列C_a及标记点序列C_a中每一个标记点的真实三维坐标信息；

步骤7、在标记点序列C_a中随机选取任意4个标记点组成标记组C^x4并计算出标记组C^x4中任意两点之间的实际距离C^x4₁₂、C^x4₁₃、C^x4₁₄、C^x4₂₃、C^x4₂₄、C^x4₃₄，按距离从小到大重新排列C^x4₁₂、C^x4₁₃、C^x4₁₄、C^x4₂₃、C^x4₂₄、C^x4₃₄得到RC^x4₁、RC^x4₂、RC^x4₃、RC^x4₄、RC^x4₅、RC^x4₆；

步骤8、如果RD₁、RD₂、RD₃、RD₄、RD₅、RD₆与RC^x4₁、RC^x4₂、RC^x4₃、RC^x4₄、RC^x4₅、RC^x4₆满足如下不等式（2）：

则标记组C^x4被看作是附加4个标记点的LED显示屏的4个标记点所组成的，记为C^a4，其他标记点视为干扰标记点而忽略计算，继续执行步骤9；如果不满足不等式（2），则重新执行步骤7和步骤8；

步骤9、已知RM^x4₁、RM^x4₂、RM^x4₃、RM^x4₄、RM^x4₅、RM^x4₆的值和各自所对应的标记点，按照D₁₂、D₁₃、D₁₄、D₂₃、D₂₄、D₃₄的顺序，根据不等式（3）：

将RM^x4₁、RM^x4₂、RM^x4₃、RM^x4₄、RM^x4₅、RM^x4₆重新排列为RM₁₂、RM₁₃、RM₁₄、RM₂₃、RM₂₄、RM₃₄；

步骤10、根据两条边相交必然具有公共点的原理，确定出标记组M^x4中每个标记点的索引值，即：RM₁₂与RM₁₄的公共标记点被记为M_p1，RM₁₂与RM₂₄的公共标记点被记为M_p2，RM₁₃与RM₃₄的公共标记点被记为M_p3，RM₁₄与RM₃₄的公共标记点被记为M_p4；

步骤11、已知RC^x4₁、RC^x4₂、RC^x4₃、RC^x4₄、RC^x4₅、RC^x4₆的值和各自所对应的标记点，按照D₁₂、D₁₃、D₁₄、D₂₃、D₂₄、D₃₄的顺序，根据不等式（4）：

将RC^x4₁、RC^x4₂、RC^x4₃、RC^x4₄、RC^x4₅、RC^x4₆重新排列为RC₁₂、RC₁₃、RC₁₄、RC₂₃、RC₂₄、RC₃₄；

步骤12、根据两条边相交必然具有公共点的原理，确定出标记组C^x4中每个标记点的索引值，即：RC₁₂与RC₁₄的公共标记点被记为C_p1，RC₁₂与RC₂₄的公共标记点被记为C_p2，RC₁₃与RC₃₄的公共标记点被记为C_p3，RC₁₄与RC₃₄的公共标记点被记为C_p4；

步骤13、利用M_p1与C_p1、M_p2与C_p2、M_p3与C_p3、M_p4与C_p4之间的对应关系，根据矩阵表达式（5）：

计算出场景摄像机的4ⅹ4阶变换矩阵RT（包含旋转和平移矩阵），其中：M_p1、M_p2、M_p3、M_p4、C_p1、C_p2、C_p3、C_p4均为3元一维向量；

步骤14、根据4ⅹ4阶变换矩阵RT和场景摄像机的初始姿态将二者进行相乘，得到场景摄像机运动后的新姿态，然后根据场景摄像机的新姿态对三维虚拟场景进行重新渲染，并通过高性能图形工作站将渲染后得到的图像传输到附加4个标记点的LED显示屏上进行同步显示；

步骤15、重新回溯到步骤6执行场景摄像机新姿态下的三维虚拟场景的渲染输出；通过以上步骤便可以快速、准确地计算出不同姿态下场景摄像机的变换关系和运动轨迹。

本发明的积极效果是能够快速、高精度地获取标记点的真实三维坐标信息并通过计算得到不同姿态下场景摄像机的变换关系和运动轨迹，最终以更加灵活、更高效的方式控制场景摄像机对三维虚拟场景的渲染，从而提升三维虚拟场景的观赏效果，使影视作品的观看体验更加自然。

附图说明

图1是基于动作捕捉系统的虚拟摄像机拍摄方法所需设备构成图，其中：1为动作捕捉摄像机组，2为摄像机数据传输交换机，3为高性能图形工作站，4为附加4个标记点的LED显示屏，此图是说明书摘要附图。

图2是附加4个标记点的LED显示屏结构，其中：1至4均为标记点。

图3是虚拟摄像机运动轨迹捕捉示意图，其中：1至12均为摄像机，13为附加4个标记点的LED显示屏。

具体实施方式

下面结合附图对本发明做进一步的描述：如图1-3所示，基于动作捕捉系统的虚拟摄像机拍摄方法，由动作捕捉摄像机组1、摄像机数据传输交换机2、高性能图形工作站3、附加4个标记点的LED显示屏4；其特征在于：动作捕捉摄像机组1通过网线连接到摄像机数据传输交换机2上，从动作捕捉系统获取的标记点图像信息通过摄像机数据传输交换机2传输给高性能图形工作站3进行处理与识别计算，场景摄像机渲染得到的图像通过高性能图形工作站3输出到附加4个标记点的LED显示屏4进行实时的场景预览；其具体步骤如下：

步骤1、使用刻度尺测量附加4个标记点的LED显示屏4中4个标记点之间的实际距离，分别记为：D₁₂、D₁₃、D₁₄、D₂₃、D₂₄、D₃₄，其中：标记点D_ij表示任意两个标记点之间的实际距离，i的取值范围为[1,3]，j的取值范围为[i+1,4]，并且其中任意两个实际距离均不相等且任意两个实际距离之差的绝对值不小于20mm。

步骤2、按距离从小到大重新排列D₁₂、D₁₃、D₁₄、D₂₃、D₂₄、D₃₄得到RD₁、RD₂、RD₃、RD₄、RD₅、RD₆，并确保附加4个标记点的LED显示屏4中4个标记点的刚体状态不被破坏，即：D₁₂、D₁₃、D₁₄、D₂₃、D₂₄、D₃₄的实际距离不变。

步骤3、将附加4个标记点的LED显示屏4放置在动作捕捉摄像机组1的拍摄范围之内，有效拍摄范围之内，该有效拍摄范围必须并保证附加4个标记点的LED显示屏4中每一个标记点都能够至少被3个摄像机拍摄到，此时附加4个标记点的LED显示屏4的摆放位置设定为初始状态，从动作捕捉摄像机组1中获取标记点序列M_a及标记点序列M_a中每一个标记点的真实三维坐标信息。

步骤4、在标记点序列M_a中随机选取任意4个标记点组成标记组M^x4并计算出标记组M^x4中任意两点之间的实际距离M^x4₁₂、M^x4₁₃、M^x4₁₄、M^x4₂₃、M^x4₂₄、M^x4₃₄，按距离从小到大重新排列M^x4₁₂、M^x4₁₃、M^x4₁₄、M^x4₂₃、M^x4₂₄、M^x4₃₄得到RM^x4₁、RM^x4₂、RM^x4₃、RM^x4₄、RM^x4₅、RM^x4₆。

步骤5、如果RD₁、RD₂、RD₃、RD₄、RD₅、RD₆与RM^x4₁、RM^x4₂、RM^x4₃、RM^x4₄、RM^x4₅、RM^x4₆满足如下不等式（1）：

则标记组M^x4被看作是附加4个标记点的LED显示屏4的4个标记点所组成的，记为M^a4，其他标记点视为干扰标记点而忽略计算，继续执行步骤6；如果不满足不等式（1），则重新执行步骤4和步骤5。

步骤6、在动作捕捉摄像机组1的拍摄范围之内旋转或移动附加4个标记点的LED显示屏4，从动作捕捉摄像机组1中再次获取标记点序列C_a及标记点序列C_a中每一个标记点的真实三维坐标信息。

步骤7、在标记点序列C_a中随机选取任意4个标记点组成标记组C^x4并计算出标记组C^x4中任意两点之间的实际距离C^x4₁₂、C^x4₁₃、C^x4₁₄、C^x4₂₃、C^x4₂₄、C^x4₃₄，按距离从小到大重新排列C^x4₁₂、C^x4₁₃、C^x4₁₄、C^x4₂₃、C^x4₂₄、C^x4₃₄得到RC^x4₁、RC^x4₂、RC^x4₃、RC^x4₄、RC^x4₅、RC^x4₆。

步骤8、如果RD₁、RD₂、RD₃、RD₄、RD₅、RD₆与RC^x4₁、RC^x4₂、RC^x4₃、RC^x4₄、RC^x4₅、RC^x4₆满足如下不等式（2）：

则标记组C^x4被看作是附加4个标记点的LED显示屏4的4个标记点所组成的，记为C^a4，其他标记点视为干扰标记点而忽略计算，继续执行步骤9；如果不满足不等式（2），则重新执行步骤7和步骤8。

步骤9、已知RM^x4₁、RM^x4₂、RM^x4₃、RM^x4₄、RM^x4₅、RM^x4₆的值和各自所对应的标记点，按照D₁₂、D₁₃、D₁₄、D₂₃、D₂₄、D₃₄的顺序，根据不等式（3）：

将RM^x4₁、RM^x4₂、RM^x4₃、RM^x4₄、RM^x4₅、RM^x4₆重新排列为RM₁₂、RM₁₃、RM₁₄、RM₂₃、RM₂₄、RM₃₄。

步骤10、根据两条边相交必然具有公共点的原理，确定出标记组M^x4中每个标记点的索引值，即：RM₁₂与RM₁₄的公共标记点被记为M_p1，RM₁₂与RM₂₄的公共标记点被记为M_p2，RM₁₃与RM₃₄的公共标记点被记为M_p3，RM₁₄与RM₃₄的公共标记点被记为M_p4。

步骤11、已知RC^x4₁、RC^x4₂、RC^x4₃、RC^x4₄、RC^x4₅、RC^x4₆的值和各自所对应的标记点，按照D₁₂、D₁₃、D₁₄、D₂₃、D₂₄、D₃₄的顺序，根据不等式（4）：

将RC^x4₁、RC^x4₂、RC^x4₃、RC^x4₄、RC^x4₅、RC^x4₆重新排列为RC₁₂、RC₁₃、RC₁₄、RC₂₃、RC₂₄、RC₃₄。

步骤12、根据两条边相交必然具有公共点的原理，确定出标记组C^x4中每个标记点的索引值，即：RC₁₂与RC₁₄的公共标记点被记为C_p1，RC₁₂与RC₂₄的公共标记点被记为C_p2，RC₁₃与RC₃₄的公共标记点被记为C_p3，RC₁₄与RC₃₄的公共标记点被记为C_p4。

步骤13、利用M_p1与C_p1、M_p2与C_p2、M_p3与C_p3、M_p4与C_p4之间的对应关系，根据矩阵表达式（5）：

计算出场景摄像机的4ⅹ4阶变换矩阵RT（包含旋转和平移矩阵），其中：M_p1、M_p2、M_p3、M_p4、C_p1、C_p2、C_p3、C_p4均为3元一维向量。

步骤14、根据4ⅹ4阶变换矩阵RT和场景摄像机的初始姿态将二者进行相乘，得到场景摄像机运动后的新姿态，然后根据场景摄像机的新姿态对三维虚拟场景进行重新渲染，并通过高性能图形工作站3将渲染后得到的图像传输到附加4个标记点的LED显示屏4上进行同步显示。

步骤15、重新回溯到步骤6执行场景摄像机新姿态下的三维虚拟场景的渲染输出。

通过以上步骤便可以快速、准确地计算出不同姿态下场景摄像机的变换关系和运动轨迹。