数字化卡通智能动检系统及动检方法

摘要

一种数字化卡通智能动检系统，其特征是包括：校正模块、原画采集模块、原画合成模块和视频预览模块；校正模块，用于根据格网板上的控制点和图像上对应的量测点进行解算，得到摄像头的校正参数，用于校正摄像头的镜头畸变；原画采集模块，用于完成原画稿图像的获取和编号存储，包括摄像头驱动、序号和图层自动识别、目录自动编排等功能；原画合成模块，用于完成原画稿图像的格式转换和图层合成，包括格式转换、图像合成、视频输出等功能；视频预览模块，用于完成原画稿的动检过程，包括单帧预览、全部预览功能。本发明有效节约制作成本、有效提高动检效率、有效保证动动检质量的优点。

说明书

技术领域

本发明涉及无纸卡通技术领域，具体涉及一种数字化卡通智能动检系统及动检方法。

背景技术

动检仪，又称线拍仪，是动画片导演用于检验动作设计和原画质量的仪器。它一般由高精度摄像头、 视频采集卡、拍摄云台和处理软件等四个部分组成。

近年来，随着计算机技术在卡通动漫领域的应用越来越广泛以及“无纸动画”理念的不断推广，动画 制作行业对动检仪技术平台的要求也越来越高。但是目前国内推出的几款动检仪，如北京笛生公司推出的 笛生线拍仪、宇杰卡通动画线拍系统等依然按照传统动画制作的要求来设计，采用的还是利用专业高清摄 像头来拍摄手绘稿，然后合成视频进行查看的流程，不但需要手工进行画稿的排序，而且无法实现手绘稿 和数字图稿之间的融合使用，智能化程度较低；此外，专业的摄像头需要专业的视频采集卡与之配套使用， 这也导致上述公司出品的线拍仪代价高昂，不符合当前动画产业制作成本不断降低的发展趋势，也难以满 足目前数字化卡通动画制作的要求。

目前国内推出的动检仪普遍采用拍摄系统+软件系统+网络的技术方案，其中拍摄系统包括高精度摄 像头、专业视频采集卡和拍摄云台等三部分；软件系统包括拍摄图像的输入、摄影表生成、AVI格式视频 输出以及网络传输等四个部分，总体上属于传统动画制作模式。如笛生动画线拍仪由网络线拍软件(实现 网络数据传输)、专业视频捕捉卡、专业彩色摄像机和专用拍摄架等四部分组成，其中，线拍软件主要包 括镜头创建拍摄、编排摄影表、单镜头播放多镜头播放、输出AVI格式视频文件等功能，从其系统的组 成可以看出，笛生动画线拍仪主要的目的还是为了实现对原画手绘稿的拍摄数字化，然后通过输出AVI格 式视频查看动画的运动规律和线条的准确率，属于传统的动画制作模式；宇杰卡通动画线拍系统也是一款 专为中大规模动画制作公司设计开发的线拍系统。它可以完成包括原动画画稿拍摄、排表、播放、修改合 成及网络传输一系列动画设计辅助工作，其组成和笛生动画线拍系统的组成大同小异，也是依靠高精度的 摄像头和专业级的视频采集卡来完成数据采集工作，然后通过人工编排摄影表来组织采集的原画数据。此 外，炫魔科技新一代移动数字线拍系统是北京炫魔科技有限公司出品的，它的技术方案和笛生、宇杰的技 术方案基本一样，所不同的是它支持手写板对画稿进行直接修改，并采用专用拍摄定位板来实现拍摄时原 画稿位置的一致，其技术出发点还是基于传统的动画制作模式。

综上所述，目前国内主要的线拍(动检)系统都是基于传统动画制作的模式而设计制造的，其技术 流程如图1所示。

通过对比研究目前国内主要的线拍仪技术方案，我们认为目前国内线拍系统技术方案的缺陷主要在于 以下几点：

1、硬件受限较多，成本较高，且维护困难。因为一般的摄像头的镜头光学畸变都比较大，使拍摄得 到的原画图像产生变形，影响导演对动画角色运动规律和线条的检查效果，因此为了降低镜头畸变对拍摄 效果的影响，目前的技术方案中往往采用专业摄像头和视频采集卡，从而增加了线拍仪在硬件方面的限制， 维护比较困难，而且专业摄像头和视频采集卡的成本比较高，导致线拍仪的价格也比较昂贵，难以符合当 前动画产业降低成本的大趋势；

2、线拍软件的智能化程度不高，效率较低。线拍仪的主要目的是为了导演对动画角色的运动规律和 原画的线条进行检查，因此需要把原画稿按照一定的顺序和层次进行排列与合成，工作量比较大。目前线 拍仪的技术方案中，都是依靠人工来编排摄影表，并设定原画稿的顺序，而且需要通过专业的定位板来保 证拍摄图像相互之间的位置准确，使得整个过程效率低下且容易出错；

3、线拍软件缺乏图像处理等技术处理手段，难以实现原画的层次合成以及实时的修补。因为原画稿 在绘制过程中，往往采用分层绘制的方法(即把不同人物，相同人物的不同部位分为多个层次，在多张纸 稿上进行绘制)，因此在动检过程中，需要把原画的各个层合成到一起进行检查。此外，原画稿的数量比 较多，动画角色的动作也往往不能满足导演的要求，因此在动检过程中进行修补原画帧的现象也比较普遍。 但目前的线拍系统缺乏有效的图像处理等技术手段，只能依靠手工来解决上述问题，效率极低，出错率较 高，难以满足当前数字化动画生产的需要。

发明内容

针对目前国内线拍仪系统存在的诸多缺陷，本发明的数字化卡通智能动检系统及动检方法采用图像处 理技术和模式识别等自动化技术，解决线拍仪硬件复杂、软件智能化低、缺乏有效技术手段等问题，利用 普通硬件和图像处理、模式识别等技术实现线拍仪结构的简化和原画处理过程的智能化，降低成本，提高 效率，以适应当前动画产业发展的趋势和满足数字化卡通动画制作流程的需要。

本发明的技术方案如下：

一种数字化卡通智能动检系统，其特征是包括：校正模块、原画采集模块、原画合成模块和视频预览 模块；校正模块，根据格网板上的控制点和图像上对应的量测点进行解算，得到摄像头的校正参数，用于 校正摄像头的镜头畸变；原画采集模块，用于完成原画稿图像的获取和编号存储，包括摄像头驱动、序号 和图层自动识别、目录自动编排等功能；原画合成模块，用于完成原画稿图像的格式转换和图层合成，包 括格式转换、图像合成、视频输出等功能；视频预览模块，用于完成原画稿的动检过程，包括单帧预览、 全部预览功能。

一种数字化卡通智能动检方法，包括以下步骤：

1)通过校正模块解算校正参数：解算校正参数，是指利用格网板上的控制点真实坐标和由摄像头拍 摄得到的格网板图像上对应点的量测坐标联立方程组，按照多项式方程组的答解方法解算校正参数的过 程；

2)通过校正模块对扫描原画稿进行图像校正：是指利用原画稿上的三个定位孔中心确定拍摄图像的 旋转角和偏移量，然后对图像进行旋转和平移，使拍摄得到的原画稿图像在像空间上进行对准， 从而便于图层合并和动作检查；

3)通过原画采集模块依次获取原画稿图像并自动排序：是指利用基于多模板匹配的字符和数字识别 技术识别原画稿上的顺序号码，然后根据顺序号码对扫描得到的图像按照一定规则进行命名和排 序；

4)如果有数字原画稿，导入原画稿序列，并按照步骤3的方法自动排序：

5)通过原画合成模块合并原画的图层：是指利用像素透明和图像合并技术，把两幅或几幅扫描图像 合并为一幅图像的过程，图像合并后可以更加有利于进行扫描画稿的预览和检查；

6)通过视频预览模块输出视频序列；

7)完成预览检查。

所述的解算校正参数的过程主要包括以下几个步骤：

1)量测格网板上的控制点平面坐标，平面坐标单位为毫米；

2)利用动检仪拍摄平台对格网板进行拍摄，得到其数字图像；

3)量测并记录图像上与实测控制点相对应的像点坐标；

4)把量测得到的像素坐标转换为平面坐标，转换公式如下：

x_c＝j*p_x；y_c＝i*p_y                    (1)

其中，x_c、y_c代表某一控制点在图像上的平面坐标，单位为毫米，i，j分别代表该控制点在图像上的像素 行、列号，单位为像素，p_x，p_y则分别代表图像在x，y方向，即图像的行方向和列方向上的分辨率，单位 为毫米/像素；

5)解算畸变参数，根据控制点的量测坐标和真实坐标联立方程组，摄像头的畸变可表示为如下方程 式：

$\left(\begin{array}{c}{x}_d=u+{\delta }_u(u,v)\\ y_d=v+{\delta }_v(u,v)\end{array}\right)---\left(2\right)$

其中，x_d和y_d表示畸变图像上的坐标；u和v表示理想图像(即没有畸变的图像)上的坐标；δ_u(u，v)和δ_v(u，v) 分别是u和v方向上的畸变量。通常畸变包含径向畸变、切向畸变和薄透镜畸变，综合考虑畸变的影响， 畸变量的计算公式如下：

$\left(\begin{array}{c}{\delta }_u(u,v)=k_{1}u(u^2+v^2)+t_1(u^2+v^2)+q_1{u}^2+q_2\mathrm{uv}\\ {\delta }_v(u,v)=k_{2}v(u^2+v^2)+t_2(u^2+v^2)+q_2{u}^2+q_1\mathrm{uv}\end{array}\right)---\left(3\right)$

把式(3)代入式(2)联立方程组进行解算，得到k₁，k₂，t₁，t₂，q₁，q₂；

6)根据式(2)进行镜头畸变改正。

所述的图像校正的过程包括如下步骤：

1)采用模板匹配，得到三个定位孔中心在扫描图像中的位置信息，算法描述如下；

模板匹配就是根据已知的模式到另一幅图上寻找相应模式的过程，实质上就是研究一幅图中是否存 在某一种模板的影像的过程；

设模板T在搜索图S上平移，模板覆盖的那块搜索图叫子图S(i，j)，i，j为这块子图的左上角 像素点在S图上的坐标，称为参考点。比较T和S(i，j)的内容，如果两者一致，则T和S(i，j)之 差接近于零，在比较过程中可以用下列两种测度之一来衡量T和S(i，j)的相似程度：

$D(i,j)=\underset{n=1}{\overset{M}{\Sigma }}\underset{m=1}{\overset{M}{\Sigma }}{[S^{i,j}(m,n)-T(m,n)]}^2;$

$D(i,j)=\underset{n=1}{\overset{M}{\Sigma }}\underset{m=1}{\overset{M}{\Sigma }}|S^{i,j}(m,n)-T(m,n)|;$

2)由第一个定位孔和第三个定位孔的中心点确定连接三个定位孔的直线方程；

3)以标准样片中第一个定位孔和第三个定位孔中心点确定的直线和上述第2)步计算得到的直线的夹 角为旋转角，进行旋转纠正，如图4，如果(X_A，Y_A))、(X_B，Y_B)、(X_C，Y_C)分别代表图像的左、中、右三 个定位孔中心的坐标，并令则因此，图像上任意一点(X，Y)经 过校正后的坐标为：

$\left(\begin{array}{c}x=(X-X_A)\cos \alpha +(Y-Y_A)\sin \alpha +X_A\\ y=(Y-Y_A)\cos \alpha -(X-X_A)\sin \alpha +Y_A\end{array}\right);$

4)以标准样图中第二个定位孔的中心点为基准点，计算旋转后图像和标准样片之间的平移量；

5)根据平移量进行平移纠正，如果经过检测发现图像无需进行旋转校正，而只需平移校正，则图像 上任意点(X，Y)经过校正的坐标(x，y)为：

$\left(\begin{array}{c}x=X-D_x\\ y=Y-D_y\end{array}\right)$

其中，D_x，D_y分别表示图像各个定位孔坐标与标准样图中各个定位孔坐标之差的均值。

所述的原画稿图像自动排序的过程包括如下步骤：

1)对图像进行预处理，提取数字原画稿图像左下角100*500像素的图像区域；

2)对提取的图像进行平滑处理。平滑处理的主要目的是消除图像上的噪声，因为要在平滑过程中仅可 能保持源图像上的总体特征，因此采用高斯平滑算法进行平滑处理；

设数字图像为F(i，j)，采用3*3的高斯平滑模板G：

$\left(\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right)$

则平滑后的图像F′(i，j)可由下式计算：

F′(i，j)＝F(i，j)G

3)对提取的图像进行二值化。二值化的主要目的是突出字符或数字的边缘信息，剔除干扰信息。设数 字图像为F(i，j)，二值化可以通过以下的计算式完成：

从上面的计算式可以看到，阈值的选取非常关键，一般情况下，阈值设为92。

4)采用前面叙述的模板匹配算法进行模板匹配，提取字符和数字；

5)按照指定规则对扫描图像进行命名，命名规则如下：

动画片名的拼音首字母-集数(四位编码，数字)-镜数(三位编码，数字)-层(两位编码，数字)；

并按照上述命名进行排序。

所述的合并原画的图层的过程包括如下步骤：

1)设定扫描图像的透明像素值，因为原画稿底稿一般都是白色，而在灰度图像中，白色灰度值为255， 考虑到摄像头拍摄时候的色彩失真，因此，透明像素值设定为200-255；

2)拆分原画稿序号，查找原画稿的子图层；

3)合并图层，设两个图层经过校正后的扫描原画稿分别为F(i，j)和G(i，j)，且F(i，j)压盖G(i，j)，即 F(i，j)的层号小于G(i，j)的层号，则合并后的图像FG(i，j)通过如下的公式计算：

最后预览检查合格，完成动检处理。

本发明技术方案带来的有益效果：

我们应用以上技术做了一系列对比试验，对比的对象是国内的笛生线拍仪和宇杰卡通动画线拍系统， 在实际应用过程中，我们得出了下面一些令人鼓舞的数据和结论：

(1)有效节约制作成本

本发明中使用一般的摄像头和普通计算机硬件组合，相比笛声或宇杰动检系统中采用专业高清摄像头 和专业显卡，所需要的硬件成本更低。此外，由于效率的提高可以利用相对较少时间和人力完成动检工作， 所需的人工成本也随之降低。

(2)有效提高动检效率

采用笛声或宇杰动检系统进行动检过程中，大量的工作和人力都用于原画稿拍摄完成后的数字稿查找 和图层合成上，本发明则采用自动排序和半自动的图层合成，能够有效的减少查找和图层合成的时间和工 作量，提高动检效率。此外，本发明在动检过程中能够实时的插补缺漏或错误的原画稿，并能够自动替换 已有的拍摄原画稿。

(3)有效保证动动检质量

原画稿拍摄完成后，计算机快速生成动画预检，实时修正动画，能更有效保证动画质量。由于实施时 采用交互式运作，所见即所得，更能达到导演要求。

这些数据表明，本发明有效融合了文字识别、图像处理等成熟技术，在目前卡通动漫领域的动检仪 器设备方面实现了突破，具有较强的应用前景。

现有技术中通过蒙层覆盖的方法可以实现拍摄时的图层合并，以及采用高精度摄像头可以实现本发明 的目的，但不论是从效率还是成本上都不能与本发明相提并论，上述方案在实用性方面也与本技术方案也 存在较大差距。

附图说明

图1是现有动检方法的流程图。

图2是本发明的数字化卡通智能动检系统及动检方法的流程图。

图3是本发明的格网模板示意图。

图4是本发明的模板匹配中的模板影像和目标搜索影像示意图。

图5是校正前的带有倾斜的定位孔的画稿。

图6是校正后的带有倾斜的定位孔的画稿。

图7是应用本发明的动检方法的摄像头检校程序的界面图。

图8是应用本发明的动检方法的线拍程序的界面图。

图9是应用本发明的动检方法的图像合成程序的界面图。

具体实施方式

下面结合附图对本发明作进一步描述：

本发明的数字化卡通智能动检系统及动检方法的智能动检仪主要包括三个部分：拍摄系统、校正软件 和线拍软件，其中拍摄系统由摄像头和拍摄平台组成，主要完成原画稿图像的采集功能；校正系统和线拍 软件是完全自主开发的软件系统，其中校正系统包括校正程序、格网板等软硬件设备。

本发明的数字化卡通智能动检系统包括：校正模块、原画采集模块、原画合成模块和视频预览模块； 校正模块，用于根据格网板上的控制点和图像上对应的量测点进行解算，得到摄像头的校正参数，用于校 正摄像头的镜头畸变；原画采集模块，用于完成原画稿图像的获取和编号存储，包括摄像头驱动、序号和 图层自动识别、目录自动编排等功能；原画合成模块，用于完成原画稿图像的格式转换和图层合成，包括 格式转换、图像合成、视频输出等功能；视频预览模块，用于完成原画稿的动检过程，包括单帧预览、全 部预览功能。

本发明的数字化卡通智能动检方法包括以下几个步骤：

1)通过校正模块解算校正参数；

2)通过校正模块对扫描原画稿进行图像校正；

3)通过原画采集模块依次获取原画稿图像并自动排序；

4)如果有数字原画稿，导入原画稿序列，并自动排序；

5)通过原画合成模块合并原画的图层；

6)通过视频预览模块输出视频序列；

7)预览检查。

其整体技术流程如图2所示。

本发明中，所说的解算校正参数，是指利用格网板上的控制点真实坐标和由摄像头拍摄得到的格网板 图像上对应点的量测坐标联立方程组，按照多项式方程组的答解方法解算校正参数的过程，该过程主要包 括以下几个步骤：

量测格网板上的控制点平面坐标，平面坐标单位为毫米，格网板如图3所示；

1)利用动检仪拍摄平台对格网板进行拍摄，得到其数字图像；

2)量测并记录图像上与实测控制点相对应的像点坐标(像素坐标，以行、列号区分)；

3)把量测得到的像素坐标转换为平面坐标，转换公式如下：

x_c＝j*p_x；y_c＝i*p_y                    (1)

其中，x_c、y_c代表某一控制点在图像上的平面坐标，单位为毫米，i，j分别代表该控制点在图像上的像素 行、列号，单位为像素，p_x，p_y则分别代表图像在x，y方向，即图像的行方向和列方向上的分辨率，单位 为毫米/像素；

5)解算畸变参数，根据控制点的量测坐标和真实坐标联立方程组，摄像头的畸变可表示为如下方程 式：

$\left(\begin{array}{c}{x}_d=u+{\delta }_u(u,v)\\ y_d=v+{\delta }_v(u,v)\end{array}\right)---\left(2\right)$

其中，x_d和y_d表示畸变图像上的坐标；u和v表示理想图像(即没有畸变的图像)上的坐标；δ_u(u，v)和δ_v(u，v) 分别是u和v方向上的畸变量。通常畸变包含径向畸变、切向畸变和薄透镜畸变，综合考虑畸变的影响， 畸变量的计算公式如下：

$\left(\begin{array}{c}{\delta }_u(u,v)=k_{1}u(u^2+v^2)+t_1(u^2+v^2)+q_1{u}^2+q_2\mathrm{uv}\\ {\delta }_v(u,v)=k_{2}v(u^2+v^2)+t_2(u^2+v^2)+q_2{u}^2+q_1\mathrm{uv}\end{array}\right)---\left(3\right)$

把式(3)代入式(2)联立方程组进行解算，得到k₁，k₂，t₁，t₂，q₁，q₂。

6)根据式(2)进行镜头畸变改正。

本发明中，所说的图像校正，是指利用原画稿上的三个定位孔中心确定拍摄图像的旋转角和偏移量， 然后对图像进行旋转和平移计算，使拍摄得到的原画稿图像在像空间上进行对准，从而便于图层合并和动 作检查，其过程包括如下步骤：

1)采用模板匹配，得到三个定位孔中心在扫描图像中的位置信息，算法描述如下；

模板匹配就是根据已知的模式到另一幅图上寻找相应模式的过程，实质上就是研究一幅图中是否存 在某一种模板的影像的过程。如图4示。

设模板T在搜索图S上平移，模板覆盖的那块搜索图叫子图S(i，j)，i，j为这块子图的左上角 像素点在S图上的坐标，称为参考点。比较T和S(i，j)的内容，如果两者一致，则T和S(i，j)之 差接近于零，在比较过程中可以用下列两种测度之一来衡量T和S(i，j)的相似程度：

$D(i,j)=\underset{n=1}{\overset{M}{\Sigma }}\underset{m=1}{\overset{M}{\Sigma }}{[S^{i,j}(m,n)-T(m,n)]}^2;$

$D(i,j)=\underset{n=1}{\overset{M}{\Sigma }}\underset{m=1}{\overset{M}{\Sigma }}|S^{i,j}(m,n)-T(m,n)|;$

2)由第一个定位孔和第三个定位孔的中心点确定连接三个定位孔的直线方程；

3)以标准样片中第一个定位孔和第三个定位孔中心点确定的直线和上述第2)步计算得到的直线的夹 角为旋转角，进行旋转纠正，如图4，如果(X_A，Y_A)、(X_B，Y_B)、(X_C，Y_C)分别代表图像的左、中、右三 个定位孔中心的坐标，并令则因此，图像上任意一点(X，Y)经 过校正后的坐标为：

$\left(\begin{array}{c}x=(X-X_A)\cos \alpha +(Y-Y_A)\sin \alpha +X_A\\ y=(Y-Y_A)\cos \alpha -(X-X_A)\sin \alpha +Y_A\end{array}\right)$

经过校正后的图像如图6所示。

4)以标准样图中第二个定位孔的中心点为基准点，计算旋转后图像和标准样片之间的平移量；

5)根据平移量进行平移纠正，如果经过检测发现图像无需进行旋转校正，而只需平移校正，则图像 上任意点(X，Y)经过校正的坐标(x，y)为：

$\left(\begin{array}{c}x=X-D_x\\ y=Y-D_y\end{array}\right)$

其中，D_x，D_y分别表示图像各个定位孔坐标与标准样图中各个定位孔坐标之差的均值。

本发明中，所说的原画稿图像自动排序，是指利用基于多模板匹配的字符和数字识别技术识别原画稿 上的顺序号码，然后根据顺序号码对扫描得到的图像按照一定规则进行命名和排序，其过程包括如下步骤：

1)对图像进行预处理，提取数字原画稿图像左下角100*500像素的图像区域；

2)对提取的图像进行平滑处理。平滑处理的主要目的是消除图像上的噪声，因为要在平滑过程中仅可 能保持源图像上的总体特征，因此采用高斯平滑算法进行平滑处理。

设数字图像为F(i，j)，采用3*3的高斯平滑模板G：

$\left(\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right)$

则平滑后的图像F′(i，j)可由下式计算：

F′(i，j)＝F(i，j)G

3)对提取的图像进行二值化。二值化的主要目的是突出字符或数字的边缘信息，剔除干扰信息。设数 字图像为F(i，j)，二值化可以通过以下的计算式完成：

从上面的计算式可以看到，阈值的选取非常关键，一般情况下，阈值设为92。

4)采用前面叙述的模板匹配算法进行模板匹配，提取字符和数字；

5)按照指定规则对扫描图像进行命名，命名规则如下：

动画片名的拼音首字母-集数(四位编码，数字)-镜数(三位编码，数字)-层(两位编码，数字)；

并按照上述命名进行排序。

本发明中，所说的合并图层，是指利用像素透明和图像合并技术，把两幅或几幅扫描图像合并为一幅 图像的过程，图像合并后可以更加有利于进行扫描画稿的预览和检查，其过程包括如下步骤：

1)设定扫描图像的透明像素值，因为原画稿底稿一般都是白色，而在灰度图像中，白色灰度值为255， 考虑到摄像头拍摄时候的色彩失真，因此，透明像素值设定为200-255；

2)拆分原画稿序号，查找原画稿的子图层；

3)合并图层，设两个图层经过校正后的扫描原画稿分别为F(i，j)和G(i，j)，且F(i，j)压盖G(i，j)，即 F(i，j)的层号小于G(i，j)的层号，则合并后的图像FG(i，j)通过如下的公式计算：

最后预览检查合格，完成动检处理。

上面所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的构思和范围进行限定， 在不脱离本发明设计构思前提下，本领域中普通工程技术人员对本发明的技术方案作出的各种变型和改 进，均应落入本发明的保护范围，本发明请求保护的技术内容已经全部记载在权利要求书中。