一种视频中的人体运动编辑方法

摘要

本发明公开了一种视频中的人体运动编辑方法，支持用户对视频中人体运动进行编辑以得到包含新的人体运动的视频，具体包括人体姿态分析、姿态数据编辑、图像形变三个步骤：首先采用基于免疫进化的层次化姿态分析方法，通过全局姿态优化、姿态序列平滑、局部姿态优化计算得到输入视频中的人体运动的姿态数据；其次采用草绘交互方式编辑上述计算得到的人体运动的姿态数据，生成新的人体运动的姿态数据；最后，采用模型驱动的移动最小二乘图像形变方法对输入视频的每一帧图像进行形变，生成包含新的人体运动的视频。本发明能实现对视频中人体运动的编辑得到包含新的人体运动的视频，在电影后期制作、广告设计等领域有重要应用。

说明书

技术领域

本发明涉及一种视频中的人体运动编辑方法，属于计算机图像视频处理研究领域， 具体地说是一种支持用户对视频中的人体运动进行编辑的方法。

背景技术

图像编辑技术在实际生活中已有广泛应用，如采用Photoshop等编辑工具对图像能 实现诸如色调调整、结构调整、图像修复、图像去噪、图像变形等多种编辑操作。但 目前已有的针对视频的编辑工具如Adobe的Effects和Apple的Shake等仅能实现抠图 和前景提取等基本操作。要实现对视频内容的编辑，如视频中的人物外观和运动的编 辑等仍然是项极具挑战的任务。然而，视频编辑在广告设计、电影后期制作等领域有 重要应用，潜在应用价值使得视频编辑成为计算机图像视频处理研究领域的重要课题 之一。

目前，视频编辑的已有研究主要集中在基本运动编辑、运动特效处理、特定对象 编辑等三个方面。如文献1：SCHOLZ，V.，EL-ABED，S.，SEIDEL，H.-P.，AND MAGNOR， M.A.Editing object behavior in video sequences.CGF，2009.28(6)：1632-1643实现了一 些基本的视频编辑方法，如移除和添加物体、物体的运动编辑、非刚性物体形变、关 键帧插值以及摄像机运动的处理等，然后该类操作只能实现视频的基本编辑，无法满 足诸如编辑人体的外观和姿态的要求；文献2：WANG，J.，DRUCKER，S.M.， AGRAWALA，M.，AND COHEN，M.F The cartoon animation filter.ACM TOG，2006， 25(3)：1169-1173.提出了一种动画滤波方法，该方法能使动画中的人体运动变得更夸张 和动感，但该方法仅是通过形变方法改变图像中人体的外观，难以实现对姿态的精确 控制；文献3：LEYVAND，T.，COHEN-OR，D.，DROR，G.，AND LISCHINSKI，D. Data-driven enhancement of facial attractiveness.ACM TOG，2008，27(3)：1-9从人脸图像 训练集中学习出一个二维形变函数，能对输入图像中的人脸进行形变以增加表情的吸 引力，但该方法仅能处理人脸图像，无法拓展到诸如人体编辑中。另外，近年来还出 现了对图像和视频中人体外观编辑的研究，如文献4：ZHOU，S.，FU，H.，LIU，L.， COHEN-OR，D.，AND HAN，X.Parametric reshaping of human bodies in images.ACM  TOG，2010，29(4)：1-10引入参数化三维人体模型，通过调整人体的外观属性实现了对 人体外观的直接编辑；文献5：ARJUN Jain，Thorsten Thorm¨ahlen，Hans-Peter Seidel and  Christian Theobalt.MovieReshape：Tracking and Reshaping of Humans in Videos.ACM  TOG，2010，29(5)将文献4的工作扩展到视频，实现了对视频中人体外观的编辑，但该 方法不能编辑人体的姿态。

概括起来，当前视频编辑方法研究主要集中在基本运动编辑、运动特效处理、特 定对象编辑等，针对人体的编辑也仅限于人体外观的编辑，针对视频中人体姿态以及 运动的编辑的研究尚未可见。这主要是因为视频人体运动编辑是项极具挑战的任务， 包括以下原因：首先，保持视频帧间的人体骨架和外观的一致性是视频人体运动编辑 的首要难题；其次，如何提供有效的用户接口是研究面临的重要难题。然而，视频人 体运动编辑在广告设计和电影制作领域有着重要应用，人体姿态和运动编辑技术能够 支持艺术家采用更加自由的艺术方式通过电影编辑去描述故事情节。重要的学术价值 和应用前景使得视频人体姿态编辑成为本发明的研究内容。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提出了一种视频 中的人体运动编辑方法。

技术方案：本发明公开了一种视频中的人体运动编辑方法，包括以下步骤：

步骤一，人体姿态分析：采用基于免疫进化的层次化姿态优化方法，计算输入视 频中每一帧图像的人体姿态，得到人体运动的姿态数据；

步骤二，姿态数据编辑：采用草绘交互方式编辑步骤一得到的人体运动的姿态数 据，生成新的人体运动的姿态数据；

步骤三，图像形变：以步骤二中新的人体运动的姿态数据作为控制条件，采用模 型驱动的移动最小二乘图像形变方法对输入视频中每一帧图像进行形变，生成包含新 的人体运动的视频。

步骤一中所述基于免疫进化的层次化姿态分析方法，属于生成式姿态分析方法， 其显式定义一个人体模型，通过优化人体模型的投影和图像特征间的适应度实现人体 姿态估计。分层优化思想是通过全局姿态优化、姿态序列平滑、局部姿态优化计算得 到输入视频中的人体运动的姿态数据。由于利用了运动的时序信息和对姿态的局部优 化，有效提高了姿态分析的准确性。包括以下步骤：

步骤21，全局姿态优化：对输入视频的每一帧图像z_t，采用免疫进化姿态优化方 法计算得到一个包含N个候选姿态的候选姿态集合其中，为一个候选姿态， i为候选姿态的序号，i＝1，...，N，N为候选姿态的总个数，t＝1，...，T，T为输入视频的 总帧数；

步骤22，姿态序列平滑：采用基于动态规划的姿态序列平滑方法，从候选姿态集 合中选择一个候选姿态作为图像z_t的预估姿态其中，h(t)表示预估姿态 在候选姿态集合中的序号，h(t)∈[1，N]；

步骤23，局部姿态优化：利用预估姿态重定位图像z_t中的人体轮廓；采用免 疫进化姿态优化方法计算人体的局部姿态，得到图像z_t的人体运动的姿态数据y_t。

步骤21中所述免疫进化姿态优化方法，是一种集合了进化机制和免疫机制的优化 方法，通过引入姿态疫苗和免疫算子，提高了姿态优化的收敛性和局部优化能力，具 体包括以下步骤：

步骤31，初始化：在疫苗V定义的约束范围内随机产生M个姿态个体记为种群A₀；其中，为一个姿态个体，m为姿态个体的序号，M 为种群中姿态个体的总数目即种群的规模，0表示了种群的代数，y_j为姿态个体的每 一维，j＝1，...，J，J为姿态个体的维度；所述疫苗V定义了姿态个体 的每一维的取值范围，即min(y_j)＜y_j＜max(y_j)，min(y_j)和 max(y_j)分别为y_j取值的最小值和最大值；

步骤32，迭代优化种群A₀，包括以下步骤：

步骤321，计算第k代种群A_k中每个姿态个体的适应度，如果当前种群A_k中包含 最佳姿态个体，则停止运行并输出结果，否则继续；所述姿态个体的适应度指的是姿 态个体对应的姿态模型与图像特征的距离，采用轮廓和边缘特征计算姿态个体的适应 度计算方法是$E(y_t^{m,k},z_t)=\exp (-\Sigma (w^s(y_t^{m,k},z_t)+w^e\left(y_t^{m,k}{z}_t\right))),$其中，为 第k代种群A_k中的一个姿态个体，为基于轮廓的距离计算式，为 基于边缘的距离计算式；所述最佳姿态个体指的是适应度小于阈值e的姿态 个体，阈值e取值范围0.001～0.002；

步骤322，遗传算子：采用遗传算子中的高斯交叉变异算子对第k代种群A_k中的 每个姿态个体进行交叉变异操作，得到中间种群B_k；其中(y′_t)^m，k为交 叉变异操作得到的姿态个体；

步骤323，接种疫苗：对于中间种群B_k中的每个姿态个体都接种疫苗V，得到抗 体种群C_k；其中(y″_t)^m，k为接种疫苗得V到的姿态个体；所述接种疫苗 V是指对于姿态个体(y′_t)^m，k，(y′_t)^m，k∈B_k，如果则如果${\left(y_t^{\prime }\right)}_j^{m,k}>\max \left(y_j\right),$则${\left(y_t^{\prime }\right)}_j^{m,k}=\max \left(y_j\right);$

步骤324，免疫选择：对抗体种群C_k进行免疫检测和退火选择，得到临时种群D_k； 所述免疫检测是指对抗体种群C_k中的每一个姿态个体(y″_t)^m，k，如果姿态个体(y″_t)^m，k的 适应度提高，即E((y″_t)^m，k，z_t)-E((y′_t)^m，k，z_t)＞0，则将个体(y″_t)^m，k加入临时种群D_k；所 述退火选择是指对抗体种群C_k中的每一个姿态个体(y″_t)^m，k，如果姿态个体(y″_t)^m，k的适 应度降低，即E((y″_t)^m，k，z_t)-E((y′_t)^m，k，z_t)＜0，则以概率P((y″_t)^m，k)将姿态个体(y″_t)^m，k加 入临时种群D_k，概率$P\left({\left(y_t^{\prime \prime }\right)}^{m,k}\right)=e^{\frac{E({\left(y_t^{\prime \prime }\right)}^{m,k},z_t)}{T_k}}/\underset{i=1}{\overset{M}{\Sigma }}{e}^{\frac{E({\left(y_t^{\prime \prime }\right)}^{m,k},z_t)}{T_k}};$其中， E((y″_t)^m，k，z_t)为步骤321中的适应度函数，T_k为温控序列，T_k＝ln(T₀/k+1)，T₀为初 始温度，k为种群的代数；

步骤325，构造新种群：采用如下步骤构造新一代父本种群A_k+1：统计临时种群D_k中姿态个体的数目M′；对种群A_k和临时种群D_k中总数为M+M′的姿态个体，删除 M+M′个姿态个体中相同的姿态个体；计算剩余姿态个体的适应度，选择适应度最高 的前M个姿态个体构成新一代父本种群A_k+1；

步骤326，当迭代次数k小于阈值C时，k＝k+1，返回步骤321；否则执行步骤 33，阈值C取值范围80～120；

步骤33，输出：计算第k代种群A_k中的姿态个体的适应度，选择适应度最高的前 N个姿态个体构成候选姿态集合

步骤22中所述姿态序列平滑，通过引入运动的时序信息约束姿态估计，能提高姿 态分析的准确性，具体包括以下步骤：

步骤41，从候选姿态集合中选择一个候选姿态作为图像z_t的预估姿 态；为输入视频构造一个预估姿态序列H＝h(1)h(2)...h(T)，其中，h(t)∈[1，N]表示图 像z_t的预估姿态的序号；

步骤42，计算图像特征约束f_h(t)：计算图像z_t的候选姿态集合中每个候选 姿态的适应度则图像特征约束的计算方法为： $f_{h\left(t\right)}=E(y_t^{h\left(t\right)},z_t)/\underset{i=1}{\overset{N}{\Sigma }}E(y_t^i,z_t);$

步骤43，计算时空约束O_h(t)h(t+1)：计算图像z_t的预估姿态和图像z_t+1的预估姿 态之间的时空约束$O_{h\left(t\right)h(t+1)}=\exp (-\mathrm{Dis}(y_t^{h\left(t\right)},y_{t+1}^{h(t+1)})/{\sigma }^2);$其中，σ为核参数， 为姿态和姿态之间的距离，计算方法为： $\mathrm{Dis}(y_t^{h\left(t\right)},y_{t+1}^{h(t+1)})=\underset{j=0}{\overset{J}{\Sigma }}{w}^j{\left|\right|\log {\left({\left(y_j\right)}_t^{h\left(t\right)}\right)}^{-1}{\left(y_j\right)}_{t+1}^{h(t+1)}\left|\right|}^2,$其中y_j为姿态的每一维， j＝1，...，J，w_j为每一维的权重。

步骤44，建立评价函数：基于图像特征约束f_h(t)和时空约束O_h(t)h(t+1)，建立预估姿 态序列H＝h(1)h(2)...h(T)的评价函数其中α为权重 控制参数，α取值与输入视频中的人体姿态变化速度成反比，取值范围为0.5～2。

步骤45，姿态序列求解：采用动态规划方法求解姿态序列H，计算得到每一帧图 像z_t的预估姿态

步骤23中所述局部姿态优化，首先利用预估姿态重定位图像中的人体轮廓，继而 采用免疫进化姿态优化方法优化人体局部姿态，提高姿态分析的精度，包括以下步骤：

步骤51，轮廓重定位：利用预估姿态生成对应的姿态模型，并将姿态模型投 影到对应的图像z_t的图像平面；对姿态模型的投影区域进行图像的腐蚀和膨胀操作， 将腐蚀操作得到的区域标记为前景，将膨胀操作得到的区域以外部分标记为背景；根 据标记的前景和背景，利用图割方法计算得到图像z_t中的人体轮廓s′_t；

步骤52，种群初始化：利用图像z_t的预估姿态采用高斯预测方法得到M个 符合正态分布的姿态个体并用初始化种群A₀；

步骤53，局部姿态优化：利用步骤51得到的人体轮廓s′_t计算姿态个体的适应度， 采用免疫进化姿态优化方法计算得到候选姿态集合

步骤54，姿态生成：从候选姿态集合中选择适应度最高的姿态个体y_t作为 图像z_t的人体运动的姿态数据。

步骤二中所述姿态数据编辑，指的采用草绘交互方式编辑步骤一得到的人体运动 的姿态数据，生成新的人体运动的姿态数据，新的人体运动的姿态数据将作为步骤三 中图像形变的约束条件。草绘交互方式符合用户的交互习惯，具有良好的可用性。具 体包括以下步骤：对于步骤一姿态分析得到的人体运动的姿态数据y_t，采用草绘交互 方式选定其中K个关键姿态y_k，k＝1，...，K，K＜T；对每个关键姿态y_k，采用草绘交 互方式指定人体关键部位的末端关节点新位置；采用多重优先级逆运动学方法求解得 到新的人体姿态数据y′_k；以y′_k为关键帧采用四元数插值方法对步骤一姿态分析得到的 人体运动的姿态数据y_t进行插值，生成新的人体运动的姿态数据y′_t。

步骤三中所述模型驱动的移动最小二乘图像形变方法，指的以编辑得到的新的人 体运动的姿态数据作为形变控制条件，分别采用基于线段形变的和基于控制点形变的 移动最小二乘图像形变方法对输入视频的每一帧进行形变，以得到包含新的人体运动 的视频，具体包括以下步骤：

步骤71，将步骤一姿态分析得到的人体运动的姿态数据y_t以骨架方式绘制到图像 z_t的图像平面，得到图像中的线段集b_t，l；将步骤二姿态编辑得到的人体运动的姿态数 据y′_t以骨架方式绘制到图像z_t的图像平面，得到图像中的线段集b′_t，l；其中，l＝1，...L， L为人体骨架段数目；

步骤72，将线段集b_t，l作为控制线段的初始位置，将线段集b′_t，l作为控制线段的目 标位置，利用基于线段形变的移动最小二乘图像形变方法，对图像z_t进行形变，得到 形变后的视频帧图像z′_t；

步骤73，采用高斯背景建模方法计算形变后的视频帧图像z′_t中的人体轮廓s″_t；利 用编辑得到的人体运动的姿态数据y′_t生成对应的姿态模型，将姿态模型投影到形变后 的视频帧图像z′_t的图像平面上；计算得到姿态模型投影的外轮廓m_t；

步骤74，对人体轮廓s″_t等距采样得到采样点集对模型投影的外轮廓m_t等距 采样得到采样点集其中，j＝1，...，P，P为采样点的数目；

步骤75，将采样点集作为控制点的初始位置，将采样点集作为控制点的 目标位置，利用基于控制点形变的移动最小二乘图像形变方法，对视频帧图像z′_t进行 形变，得到包含新的人体运动的视频的每一帧图像z″_t。

有益效果：本发明公开了一种视频中的人体运动编辑方法，支持用户对视频中人 体运动进行编辑以得到包含新的人体运动的视频。本发明具有以下特点：1、支持用户 采用自然的草绘交互方式方便的对视频中的人体运动进行编辑，得到包含新的人体运 动的视频；2，本发明中所述免疫进化层次化姿态分析方法具有良好的收敛性和全局最 优性，能自动的、准确的分析视频中的人体姿态；3，本发明中所述模型驱动的移动最 小二乘图像形变方法，能有效保证图像形变后人体姿态和外观的真实性，使得生成的 新视频的视觉效果更加自然。本文发明在在电影后期制作、广告设计等领域有重要应 用。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/ 或其他方面的优点将会变得更加清楚。

图1为本方明主要流程图。

图2为本发明免疫进化姿态优化方法流程图。

图3a，图3b，图3c为针对输入视频的三针图像采用本发明中层次化姿态分析方法 得到的人体姿态数据结果图。

图4a为本发明姿态分析得到的人体运动的姿态数据，图4b为姿态数据编辑得到 的新的人体运动的姿态数据。

具体实施方式：

本发明公开了一种采用手绘草图进行姿态建模与编辑以及运动生成的方案，包括 以下步骤：

步骤一，人体姿态分析：采用基于免疫进化的层次化姿态优化方法，计算输入视 频中每一帧图像的人体姿态，得到人体运动的姿态数据；

步骤二，姿态数据编辑：采用草绘交互方式编辑步骤一得到的人体运动的姿态数 据，生成新的人体运动的姿态数据；

步骤三，图像形变：以步骤二中新的人体运动的姿态数据作为控制条件，采用模 型驱动的移动最小二乘图像形变方法对输入视频中每一帧图像进行形变，生成包含新 的人体运动的视频。

更具体地说，本发明公开了一种视频中的人体运动编辑方法，支持用户对视频中 人体运动进行编辑以得到包含新的人体运动的视频，其实施主要涉及人体姿态分析、 姿态数据编辑、图像形变三大关键技术，处理流程如图1所示。首先是人体姿态分析， 本发明采用基于免疫进化的层次化姿态分析方法，通过全局姿态优化、姿态序列平滑、 局部姿态优化的分层处理策略计算得到输入视频中的人体运动的姿态数据；其次是姿 态数据编辑，本发明采用草绘交互方式编辑上述计算得到的人体运动的姿态数据，生 成新的人体运动的姿态数据；第三是图像形变，本发明采用模型驱动的移动最小二乘 图像形变方法对输入视频中每一帧图像进行形变，生成包含新的人体运动的视频。下 面分别介绍各实施例部分的主要流程：

1、人体姿态分析

本文发明采用基于免疫进化的层次化姿态分析方法计算输入视频每一帧图像的人 体姿态，具体包括全局优化、姿态序列平滑、局部姿态优化三个步骤。

1.1全局姿态优化

全局姿态优化属于生成式姿态分析方法，其显式定义一个人体模型，通过优化人 体模型的投影和图像特征间的适应度实现人体姿态估计。本发明使用的是SCAPE模型 (文献6：ANGUELOV，D.，SRINIVASAN，P.，KOLLER，D.，THRUN，S.，RODGERS，J.， AND DAVIS，J.2005.SCAPE：Shape Completion and Animation of People.ACM TOG， 2005，24(3)：408-416.)，采用轮廓和边缘特征计算个体的适应度(文献7：Leonid Sigal， Alexandru O.Balan，Michael J.Black，HUMANEVA：Synchronized Video and Motion  Capture Dataset and Baseline Algorithm for Evaluation of Articulated Human Motion.Int J  Comput Vis，2010，87：4-27)，优化方法为免疫进化姿态优化方法(文献8：焦李成， 杜海峰，刘芳等著，免疫优化：计算、学习与识别，科学出版社，2006。)。对输入视 频的每一帧图像z_t，采用免疫进化姿态优化方法计算得到一个包含N个候选姿态的候 选姿态集合免疫进化姿态优化方法流程图如图2所示，具体包括以下步骤：

步骤31，初始化：在疫苗V定义的约束范围内随机产生M个姿态个体记为种群A₀；其中，为一个姿态个体，m为姿态个体的序号，M 为种群中姿态个体的总数目，0表示了种群的代数，y_j为姿态个体的每一维，j＝1，...，J， J为姿态个体的维度；所述疫苗V定义了姿态个体的每一维的取 值范围，即min(y_j)＜y_j＜max(y_j)，min(y_j)和max(y_j)分别为y_j取值的最小值和最大 值；本发明实现中，姿态个体的维度J＝69，种群中姿态个体的总数目M＝200，min(y_j) 和max(y_j)通过运动数据的统计得到。

步骤32，迭代优化种群A₀，包括以下步骤：；

步骤321，计算第k代种群A_k中每个姿态个体的适应度，如果当前种群A_k中包含 最佳姿态个体，则停止运行并输出结果，否则继续；所述姿态个体的适应度指的是姿 态个体对应的姿态模型与图像特征的距离，采用轮廓和边缘特征计算姿态个体的适应 度计算方法是$E(y_t^{m,k},z_t)=\exp (-\Sigma (w^s(y_t^{m,k},z_t)+w^e(y_t^{m,k},z_t))),$其中，为 第k代种群A_k中的一个姿态个体，为基于轮廓的距离计算式，上标s是轮廓 英文单词silhouette的缩写，为基于边缘的距离计算式，上标e是边缘英文 单词edge的缩写；所述最佳姿态个体指的是适应度小于阈值e的姿态个体， 阈值e＝0.0015；

步骤322，遗传算子：采用遗传算子中的高斯交叉变异算子(文献：9：Ge JK，Qiu YH， Wu CM，et al.Summary of genetic algorithms research.Application Research of Computers， 2008，25(010)：2911-2916)对第k代种群A_k中的每个姿态个体进行交叉变异操作，得到 中间种群B_k；其中(y′_t)^m，k为交叉变异操作得到的姿态个体；

步骤323，接种疫苗：对于中间种群B_k中的每个姿态个体都接种疫苗V，得到抗 体种群C_k；其中(y″_t)^m，k为接种疫苗得V到的姿态个体；所述接种疫苗 V是指对于姿态个体(y′_t)^m，k，(y′_t)^m，k∈B_k，如果则如果${\left(y_t^{\prime }\right)}_j^{m,k}>\max \left(y_j\right),$则${\left(y_t^{\prime }\right)}_j^{m,k}=\max \left(y_j\right);$

步骤324，免疫选择：对抗体种群C_k进行免疫检测和退火选择，得到临时种群D_k； 所述免疫检测是指对抗体种群C_k中的每一个姿态个体(y″_t)^m，k，如果姿态个体(y″_t)^m，k的 适应度提高，即E((y″_t)^m，k，z_t)-E((y′_t)^m，k，z_t)＞0，则将个体(y″_t)^m，k加入临时种群D_k；所 述退火选择是指对抗体种群C_k中的每一个姿态个体(y″_t)^m，k，如果姿态个体(y″_t)^m，k的适 应度降低，即E((y″_t)^m，k，z_t)-E((y′_t)^m，k，z_t)＜0，则以概率P((y″_t)^m，k)将姿态个体(y″_t)^m，k加 入临时种群D_k，概率$P\left({\left(y_t^{″}\right)}^{m,k}\right){=e}^{\frac{E({\left(y_t^{\prime \prime }\right)}^{m,k},z_t)}{T_k}}/\underset{i=1}{\overset{M}{\Sigma }}{e}^{\frac{E({\left(y_t^{\prime \prime }\right)}^{m,k},z_t)}{T_k}};$其中， E((y″_t)^m，k，z_t)为步骤321中的适应度函数，T_k为温控序列，T_k＝ln(T₀/k+1)，T₀为初 始温度，k为种群的代数；本发明实现中初始温度T₀＝1000。

步骤325，构造新种群：采用如下步骤构造新一代父本种群A_k+1：统计临时种群D_k中姿态个体的数目M′；对种群A_k和临时种群D_k中总数为M+M′的姿态个体，删除 M+M′个姿态个体中相同的姿态个体；计算剩余姿态个体的适应度，选择适应度最高 的前M个姿态个体构成新一代父本种群A_k+1；

步骤326，当迭代次数k小于阈值C时，k＝k+1，返回步骤321；否则执行步骤 33；本发明实现中，阈值C＝100；

步骤33，输出：计算第k代种群A_k中的姿态个体的适应度，选择适应度最高的前 N个姿态个体构成候选姿态集合本发明实现中，候选姿态集合的规模N＝20。

1.2姿态序列平滑

姿态序列平滑的计算过程是从候选姿态集合中选择一个候选姿态作为 图像z_t的预估姿态，构造一个预估姿态序列H＝h(1)h(2)...h(T)并建立其评价函数，继 而采用动态规划方法(文献10：潘金贵，顾铁成，李成法等译，算法导论，机械工业 出版社，2006，第191-212页)优化该预估姿态序列以得到最佳的预估姿态序列。姿 态序列平滑利用了运动的时序信息，能提高人体姿态分析的准确性，具体包括以下步 骤：

步骤41，从候选姿态集合中选择一个候选姿态作为图像z_t的预估姿 态；为输入视频构造一个预估姿态序列H＝h(1)h(2)...h(T)，其中，h(t)∈[1，N]表示图 像z_t的预估姿态的序号；

步骤42，计算图像特征约束f_h(t)：计算图像z_t的候选姿态集合中每个候选 姿态的适应度则图像特征约束的计算方法为： $f_{h\left(t\right)}=E(y_t^{h\left(t\right)},z_t)/\underset{\text{i=1}}{\overset{N}{\Sigma }}\text{E}(y_t^i,z_t);$

步骤43，计算时空约束O_h(t)h(t+1)：计算图像z_t的预估姿态和图像z_t+1的预估姿 态之间的时空约束$O_{h\left(t\right)h(t+1)}=\exp (-\mathrm{Dis}(y_t^{h\left(t\right)},y_{t+1}^{h(t+1)})/{\sigma }^2);$其中，σ为核参数， 为姿态和姿态之间的距离，计算方法为： $\mathrm{Dis}(y_t^{h\left(t\right)},y_{t+1}^{h(t+1)})=\underset{j=0}{\overset{J}{\Sigma }}{w}_j{\left|\right|\log {\left({\left(y_j\right)}_t^{h\left(t\right)}\right)}^{-1}{\left(y_j\right)}_{t+1}^{h(t+1)}\left|\right|}^2,$其中y_j为姿态的每一维， j＝1，...，J，w_j为每一维的权重；在本发明实现中，核参数σ＝10，对不同关节点设置 不同的权重w_j，其中关键关节点包括根关节、膝关节、肘关节、跨关节、头肩关节对 应的维度设权重为1，其他关节设权重为0；

步骤44，建立评价函数：基于图像特征约束f_h(t)和时空约束O_h(t)h(t+1)，建立预估姿 态序列H＝h(1)h(2)...h(T)的评价函数其中α为权重 控制参数，取值与输入视频中的人体姿态变化速度相关，对于人体运动速度较快的视 频，如跑步等取a＝2，对于运动速度较慢的视频，如走路等取a＝0.5，而其他大多数视 频取a＝1即可。在本发明实现中，取α＝0.5；

步骤45，姿态序列求解：采用动态规划方法求解姿态序列H，计算得到每一帧图 像z_t的预估姿态

1.3局部姿态优化

局部姿态优化基本思想是通过提高图像特征计算的精度，采用免疫进化姿态优化 方法优化人体的局部姿态，其处理流程是：基于预估姿态的姿态模型投影标记视频帧 图像，采用图割方法计算精确人体轮廓，利用免疫进化姿态优化方法实现局部优化， 具体包括以下步骤：

步骤51，轮廓重定位：利用预估姿态生成对应的姿态模型，并将姿态模型投 影到对应的图像z_t的图像平面；对姿态模型的投影区域进行图像的腐蚀和膨胀操作， 将腐蚀操作得到的区域标记为前景，将膨胀操作得到的区域以外部分标记为背景；根 据标记的前景和背景，利用图割方法计算得到图像z_t中的人体轮廓s′_t；

步骤52，种群初始化：利用图像z_t的预估姿态采用高斯预测方法得到M个 符合正态分布的姿态个体并用初始化种群A₀；

步骤53，局部姿态优化：利用步骤51得到的人体轮廓s′_t计算姿态个体的适应度， 采用免疫进化姿态优化方法计算得到候选姿态集合

步骤54，姿态生成：从候选姿态集合中选择适应度最高的姿态个体y_t作为 图像z_t的人体运动的姿态数据。

图3a，图3b，图3c为针对输入视频的三针图像采用本发明中层次化姿态分析方法 得到的人体姿态数据结果图。

2、姿态数据编辑

本发明将草绘交互方式应用到姿态数据编辑中，提高了用户的可操作性。姿态编 辑的流程是首先由指定人体运动的姿态数据的关键姿态，然后采用草绘交互方式指定 关键姿态的人体目标关节点的位置，进而采用逆运动学方法求解新的人体姿态，最后 对原始姿态数据进行插值得到新的人体运动的姿态数据，具体包括以下步骤：

步骤61，对于步骤一姿态分析得到的人体运动的姿态数据y_t，采用草绘交互方式 选定其中K个关键姿态y_k，k＝1，...，K，K＜T；在本发明中，关键姿态数目K一般取。

步骤62，对每个关键姿态y_k，采用草绘交互方式指定人体关键部位的末端关节点 新位置；

步骤63，采用多重优先级逆运动学方法(文献：11：Paolo Baerlocher，Ronan Boulic， An inverse kinematic architecture enforcing an arbitrary number of strict priority levels，The  Visual Computer，2004，20(6)：402-417)求解得到新的人体姿态数据y′_k；

步骤64，以y′_k为关键帧采用四元数插值方法对步骤一姿态分析得到的人体运动的 姿态数据y_t进行插值，生成新的人体运动的姿态数据y′_t。

3、图像形变

图像形变的思路是以编辑得到的新的人体运动的姿态数据作为形变控制条件，依 次采用基于线段形变的和基于控制点形变的移动最小二乘图像形变方法(文献12： M¨ULLER，M.，HEIDELBERGER，B.，TESCHNER，M.，AND GROSS，M.Meshless  deformations based on shape matching.ACM TOG，2005，24(3)：471-478.)对输入视频 的每一帧图像进行形变，以得到包含新的人体运动的视频，具体包括以下步骤：

步骤71，将步骤一姿态分析得到的人体运动的姿态数据y_t以骨架方式绘制到图像 z_t的图像平面，得到图像中的线段集b_t，l；将步骤二姿态编辑得到的人体运动的姿态数 据y′_t以骨架方式绘制到图像z_t的图像平面，得到图像中的线段集b′_t，l；其中，l＝1，...L， L为人体骨架段数目；本发明实现中，人体的骨架段数目L＝25。

步骤72，将线段集b_t，l作为控制线段的初始位置，将线段集b′_t，l作为控制线段的目 标位置，利用基于线段形变的移动最小二乘图像形变方法，对图像z_t进行形变，得到 形变后的视频帧图像z′_t；

步骤73，采用高斯背景建模方法(文献13：C.Stauffer and W.E.L. Grimson，Adaptive  background mixture models for real-time tracking，Proc.IEEE CVPR，June 1999：246-252) 计算形变后的视频帧图像z′_t中的人体轮廓s″_t；利用编辑得到的人体运动的姿态数据y′_t生成对应的姿态模型，将姿态模型投影到形变后的视频帧图像z′_t的图像平面上；计算 得到姿态模型投影的外轮廓m_t；

步骤74，对人体轮廓s″_t等距采样得到采样点集对模型投影的外轮廓m_t等距 采样得到采样点集其中，j＝1，...，P，P为采样点的数目；本发明实现中，采样 点数目P＝150。

步骤75，将采样点集作为控制点的初始位置，将采样点集作为控制点的 目标位置，利用基于控制点形变的移动最小二乘图像形变方法，对视频帧图像z′_t进行 形变，得到包含新的人体运动的视频的每一帧图像z″_t。

本发明提供了一种视频中的人体运动编辑方法，具体实现该技术方案的方法和途 径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技 术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进 和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术 加以实现。