帧率控制方法、帧率控制装置以及帧率控制程序

摘要

本发明的目的在于，即使在输入视频的输入定时不是固定的而是波动的情况下，也不增加延迟地抑制编码器的运算量和编码结果的信息量的瞬间的增加。将输入视频的帧率调整为编码器能编码的帧率的帧率控制方法具有：判定在从输入细化的判定对象画面的时刻起往前规定时间的期间中输入了的画面个数是否超过规定的阈值的过程；以及在所述画面个数超过所述阈值的情况下，废弃所述判定对象画面，在所述画面个数未超过所述阈值的情况下，将所述判定对象画面作为编码对象的过程。

说明书

技术领域

本发明涉及视频编码中的帧率控制，特别是涉及用于抑制编码器中的运算量和信息量的帧率控制方法、帧率控制装置以及帧率控制程序。

本申请基于在2012年1月26日向日本申请的特愿2012–013773号要求优先权，并将其内容引用于此。

背景技术

历来，在能编码的帧率和从摄像设备等向编码器的输入视频的帧率不同的情况下，使用进行输入视频的细化（thinning）处理来变换为能编码的帧率的技术（参照专利文献1）。

在图5中示出了表示现有技术的装置的结构的框图。在图6中示出了现有技术中的画面细化判定部的流程图。

在图5中，编码器200是按照例如H. 264等编码方式来对输入视频进行编码、输出编码视频流的装置。编码器200具备：按照将帧分割后的每个块进行运动检测的运动检测部203、利用由运动检测部203检测出的运动矢量来进行预测的预测部204、通过DCT（离散余弦变换）等对输入信号和预测信号的残差信号进行正交变换的正交变换部205、对变换系数进行量化的量化部206、对量化结果进行逆量化的逆量化部207、对变换系数进行逆正交变换的逆正交变换部208、存储对逆正交变换部208的输出加上预测信号而得到的本地解码图像的本地解码图像存储部209、对量化部206的输出进行可变长编码的可变长编码部210、对编码信息进行复用的复用部211、对编码信息进行存储并作为编码视频流进行输出的缓冲器部212、以及利用产生码量等进行量化部206等的编码控制的控制部213。

在编码器200能编码的帧率和帧率测定部202测定出的从摄像设备等向编码器200的输入视频的帧率不同的情况下，画面细化判定部201进行输入视频的细化处理来变换为能编码的帧率。帧率测定部202对输入视频的帧率进行测定并通知给画面细化判定部201。

画面细化判定部201执行图6所示的处理。首先，当对编码器200能输入的帧率TA进行设定（步骤S200），并且，将输入视频的帧率设为CA时（步骤S201），根据CA计算细化帧间隔值n=CA/（CA–TA）（步骤S202）。接着，将画面编号i初始设定为1，将画面细化数d初始设定为0（步骤S203），进行以下的处理。

根据作为判定对象的画面的画面编号i是否超过n乘以到目前为止的画面细化数d的值来决定是否对画面i进行细化。即，判定是否为i≥n×（d+1），如果i在n×（d+1）以上，则执行步骤S205、S206。在步骤S205中，对d加上1，在步骤S206中，对画面i进行细化。如果i比n×（d+1）小，则不对画面i进行细化。在全部视频的处理完成之前（步骤S207为“是”），一边对i加上1（步骤S208），一边重复进行以上的步骤S204～S207。

如以上那样，在现有技术中，根据向编码器的输入帧率和能编码的帧率的比率，计算表示只要输入了多少个视频画面就可以细化1个画面的画面细化数，按照计算出的画面细化数来进行输入视频的细化处理。

为了应用本技术，需要向编码器的输入帧率CA是已知的。因此，需要通过例如在图5中示出的帧率测定部202来测定向编码器的输入视频的帧率CA。可是，在输入视频的输入定时波动的情况下等，不一定总是保持测定时的帧率。因此，会产生不必要地细化许多画面的状态或者细化数不足的状态。

现有技术文献

专利文献

专利文献1：日本特开2005–328487号公报。

发明内容

发明要解决的课题

设想：在电视电话那样的视频通信用应用中，用与PC（个人计算机）连接的Web摄像机等输入视频，用软件编码器进行编码，将编码后的视频流传送到接收侧。此时，由于CPU（中央处理装置）资源不足等理由，存在用摄像机拍摄的视频被输入至编码器的定时不是固定的而是波动的情况。在这样的情况下，每单位时间的输入帧率可能局部地变高。

在图7中示出视频的输入定时波动的例子。虽然以固定的定时的固定帧率执行利用摄像机进行的拍摄，但是，由于在刚输入了画面2之后CPU资源不足、编码器前级的处理延迟导致画面3以后被依次延迟地输入至编码器。之后，CPU资源的不足解除，积存在编码器前级的视频被一口气输入至编码器。

在以实时处理为前提的编码器中，在每单位时间进行编码的画面个数增加，由此，码量和运算量局部地增加。如图7所示那样，当尝试以固定时间将时间轴划分成区间时，在区间1～4中画面个数为1个，与此相对地，在区间5中变为3个，与其它的区间相比较，需要大约3倍的码量和运算量。像这样的输入至编码器的视频的定时的波动会产生由于超过对编码后的视频流进行传送的传送路径的容量而引起的延迟，此外，在最差的情况下发生数据包丢失，由此，导致在接收侧的视频品质劣化。

在像专利文献1所记载的技术那样，根据向编码器的输入帧率和能编码的帧率的比率计算表示只要输入了多少个视频画面就可以细化1个画面的画面细化数，按照计算出的画面细化数来进行细化处理的情况下，需要向编码器的输入帧率是已知的。

因此，即使对向编码器的输入帧率进行测定，也存在以下那样的问题。像图7的例子那样，在编码器中能编码的帧数相对于1个区间为1个的情况下，对于区间1～4，被输入至编码器的帧数为1个。若基于区间1～4的测定结果，则被输入至编码器的帧数等于能编码的帧数，因此，不需要对帧进行细化。可是，对于区间5，被输入的帧数变为3个。在不基于区间1～4的测定结果对区间5的输入视频实施细化的情况下，超过能编码的帧个数的视频被输入至编码器。

本发明的目的在于，谋求上述课题的解决，即使在输入视频的输入定时不是固定的而是波动的情况下，能将编码器的运算量、信息量抑制在固定的范围内。

用于解决课题的方案

为了解决上述课题，本发明进行是否细化被输入的视频帧的判定，以使进行编码的视频帧不会瞬间地增加。判定是根据在从输入判定对象画面的时刻起往前单位时间的期间中输入了的帧个数是否超过规定的阈值来进行的，不使用以输入视频的输入定时决定的向编码器的输入帧率。在上述帧个数超过阈值的情况下对相应的帧进行细化，在不是这样的情况下进行编码。

本发明的作用如下。在画面细化判定中，不使用向编码器的输入帧率。因此，即使在输入视频的输入定时波动并且不一定总是保持帧率的情况下，也能够得到良好的判定结果，进行适当的画面细化。因此，即使在输入视频的输入定时波动的情况下，也能够通过画面细化处理来抑制进行编码的视频帧瞬间地增加。即，能够抑制编码器的运算量的瞬间的增加和视频比特流的信息量的瞬间的增加。

此外，由于仅使用在从输入判定对象画面的时刻起往前单位时间的期间中输入了的画面个数是否超过根据设定帧率而计算出的阈值这样的在输入对象画面的时间点已知的信息来进行判定，所以不产生延迟。

再有，由于本技术也不利用编码时的信息，所以能与编码器独立地构成，能直接利用以往的编码器。

发明效果

即使在输入视频的输入定时不是固定的而是波动的情况下，本发明也存在以下的效果。

（1）能够在不增加延迟的情况下抑制编码器的运算量的瞬间的增加。

（2）能够在不增加延迟的情况下抑制编码后的视频比特流的信息量的瞬间的增加。

附图说明

图1是示出根据本发明的实施例的画面细化处理的例子的图。

图2是示出本发明的实施方式的装置的结构的框图。

图3是本发明的实施方式的画面细化判定部的流程图。

图4是示出在使用计算机和软件程序来实现本实施方式的装置的情况下的系统的结构例的图。

图5是示出现有技术的装置的结构的框图。

图6是现有技术中的画面细化判定部的流程图。

图7是示出视频的输入定时波动的例子的图。

具体实施方式

以下，使用附图来对本发明的实施例和实施方式详细地进行说明。

基于编码器的处理性能等，设定能输入至编码器的帧率F_r和成为基准的帧率测定间隔T_i。基于基准帧率测定间隔T_i，利用下述所示的公式来预先计算能在测定间隔中输入的视频画面个数n。

关于在刚开始编码之后输入的第1～n个输入视频画面，不作为细化对象，而是对在第n个画面之后的输入视频画面进行细化处理。

在图1中示出根据本发明的实施例的画面细化处理的例子。在图1的例子中，帧率F_r和基准帧率测定间隔T_i如下。

能在测定间隔T_i中输入的视频画面个数n为n=0.006×500=3（个）。

以下，将在本处理中输入各画面的时刻、即从摄像机等编码器前级输出的时刻标记为各画面的时间戳，并且，在判定中使用。由于n=3，所以画面1～3为非细化对象，被无条件地向编码器输入。在输入画面4的时间点，在往前n（=3）个帧的帧即画面1的时间戳与从输入画面4的时刻起往前T_i（=500 m秒）的时刻相比更往前的情况下，换句话说，在将画面1的时间戳设为t1、将画面4的时间戳设为t4的情况下，判定下式是否成立，在下式成立时不对画面4进行细化。

在图1的例子的情况下，（t4–t1）>500，适用于此。再有，该判定等效于以画面4的时间戳为基点在与往前作为单位时间的帧率测定间隔T_i的时刻之间输入了的画面的个数是否超过能输入的视频画面个数n的判定。

对画面5在与画面2之间实施同样的比较，判定在过去的Ti（=500 m秒）以内是否不存在画面2。即，进行下式的判定。

在该例子中，由于（t5–t2）≤500，所以对画面5进行细化。

接着，对画面6进行同样的比较，但是在搜索比较对象的画面时，不对被细化了的画面进行计数。由于画面5被细化，所以画面6的比较对象变为画面2。在该例子中，（t6–t2）比500（m秒）大。因此，不对画面6进行细化。

图2是示出本发明的实施方式的装置的结构的框图。图3是本发明的实施方式的画面细化判定部的流程图。

在图2中，编码器100是按照例如H. 264等编码方式来对输入视频进行编码、输出编码视频流的装置。帧率控制部101通过画面的细化来调整向编码器100的输入视频的帧率，以使与编码器100能编码的帧率一致。再有，也可以在编码器100中装入帧率控制部101。编码器100的编码方式不限于H. 264，也可以是MPEG（Moving Picture Experts Group 活动图像专家组）–2等其它的编码方式。

首先，将输入视频的帧输入至帧率控制部101。时间戳标记部102按照时刻测定部103测定出的时刻，对输入帧标记时间戳t_i。画面细化判定部104根据编码器100能编码的帧率F_r和成为基准的帧率测定间隔T_i判定是否对输入帧的画面进行细化，如果需要的话，则对输入帧的画面进行细化，将其结果输入至编码器100。

将输入至编码器100的帧分割成块，通过运动检测部105进行运动检测。预测部106利用由运动检测部105检测出的运动矢量来进行预测。正交变换部107通过DCT等对输入信号和预测信号的残差信号进行正交变换。量化部108对通过正交变换而得到的变换系数进行量化，将结果输出至逆量化部109和可变长编码部112。逆量化部109对量化结果进行逆量化。逆正交变换部110对通过逆量化而得到的变换系数进行逆正交变换。在本地解码图像存储部111中储存有将作为逆正交变换部110的输出的残差解码信号和作为预测部106的输出的预测信号相加而得到的本地解码图像。将该本地解码图像用作之后的预测编码中的参照图像。

可变长编码部112对量化部108的输出进行可变长编码。复用部113对可变长编码部112的输出、运动矢量等编码信息进行复用，并输出至缓冲器部114。将在缓冲器部114中储存的数据作为编码视频流输出。控制部115根据产生码量等进行量化部108等的编码控制。以上的编码器100的结构、工作与以图5说明了的以往的编码器200相同。进行向该编码器100的输入帧的细化调整的帧率控制部101与现有技术不同。

按照图3对本实施方式的画面细化判定部104的处理流程进行说明。

画面细化判定部104首先对编码器100能编码的帧率（能输入帧率）F_r和成为基准的帧率测定间隔T_i进行设定（步骤S100），将输入画面i的时间戳设为t_i（步骤S101）。接着，根据n=F_r×T_i计算能输入的视频画面个数n，将画面编号i设定为1，将画面细化数d设定为0（步骤S102）。之后，按每个画面重复进行以下的处理。

如果画面编号i在能输入的视频画面个数n以下，则不进行画面细化处理，而将画面输入至编码器100（步骤S103、S107）。如果画面编号i比能输入的视频画面个数n大，则对判定对象画面i的时间戳t_i和由能输入的视频画面个数n以及画面细化数d决定的往前（n+d）个的画面中的时间戳t_{（i–n–d）}的差值是否超过成为基准的帧率测定间隔T_i进行判定（步骤S104）。该判定方法等效于以画面编号i的画面（画面i）的时间戳t_i为基点在与往前作为单位时间的帧率测定间隔T_i的时刻之间输入了的画面的个数是否超过能输入的视频画面个数n的判定。

如果时间戳的差值t_i–t_{（i–n–d）}在帧率测定间隔T_i以下，则在对画面细化数d加上1之后（步骤S105），对该画面i进行细化并废弃（步骤S106）。另一方面，如果时间戳的差值t_i–t_{（i–n–d）}比帧率测定间隔T_i大，则由于能用编码器100对该画面i进行编码，所以将画面i输入至编码器100。

在全部视频的处理完成之前（步骤S108），一边对i加上1（步骤S109），一边重复进行以上的步骤S103～S109。

以上说明了的帧率控制和由编码器进行的编码处理也能通过计算机和软件程序来实现，能够将该程序记录在计算机能读取的记录介质中，也能通过网络来提供该程序。

在图4中示出在通过计算机和软件程序而构成图2所示的装置的情况下的硬件结构例。本系统为以总线连接有以下各部分的结构：执行程序的CPU50、CPU50访问的储存有程序和数据的RAM（随机存取存储器）等存储器51、输入来自摄像机等的编码对象的视频信号的视频信号输入部52（也可以是利用磁盘装置等的存储视频信号的存储部）、存储有视频编码程序531和帧率控制程序532的程序存储装置53、以及编码视频流输出部54（也可以是利用磁盘装置等的存储编码视频流的存储部）。

CPU50执行从程序存储装置53加载到存储器51中的视频编码程序531和帧率控制程序532，由此，对通过视频信号输入部52输入的输入视频信号进行编码，经由编码视频流输出部54将编码结果的编码视频流输出至网络等。视频编码程序531是实现图2的编码器100的功能的程序，帧率控制程序532是实现图2的帧率控制部101的功能的程序。再有，也可以将帧率控制程序532作为视频编码程序531的一部分装入到视频编码程序531内。

以上，虽然参照附图说明了本发明的实施例和实施方式，但是上述实施例和实施方式只不过是本发明的例示，显然，本发明不限定于上述实施例以及实施方式。因此，也可以进行在不偏离本发明的精神以及技术范围的范围内的结构要素的追加、省略、置换、其它变更。

产业上的可利用性

本发明例如能用于视频的编码。根据本发明，即使在输入视频的输入定时波动的情况下，也能够不增加延迟地抑制编码器的运算量和编码后的视频比特流的信息量的瞬间的增加。

附图标记的说明

100 编码器

101 帧率控制部

102 时间戳标记部

103 时刻测定部

104 画面细化判定部

105 运动检测部

106 预测部

107 正交变换部

108 量化部

109 逆量化部

110 逆正交变换部

111 本地解码图像存储部

112 可变长编码部

113 复用部

114 缓冲器部

115 控制部。