一种根据局部特征和运动矢量抽取视频基因的方法

摘要

本发明公开了一种根据局部特征和运动矢量抽取视频基因的方法，属于视频处理技术领域，首先寻找并获取转场帧，然后计算出转场帧中的SURF特征，抽取转场帧中所有SURF特征的64位的二进制比特串，最后将这些比特串接起来形成该视频片段的视频基因；解决了如何提取视频的视频基因的技术问题，本发明计算视频的基因序列后，该基因序列可被用于视频之间的快速比对，实现了每一个64比特的序列对应一个镜头场景的检索方法。

说明书

技术领域

本发明属于视频处理技术领域，特别涉及一种根据局部特征和运动矢量抽取视频基因的方法。

背景技术

随着技术的发展，视频的拍摄、存储变得越来越廉价。视频数据量出现了爆发式的增长。视频属于非结构化数据，与传统的结构化数据不同。由于视频的原始数据量非常庞大，所以传输和存储的视频都是经过压缩的数据。为了适应不同的用户需求、不同播放设备的限制以及存储的需求。视频经常被转码为不同的码率、分辨率等版本。视频编辑人员也会根据具体的应用场景的需要对视频进行编辑，例如剪辑、加标等等。基于以上种种原因，视频的检索就成为一个非常棘手的问题。

现阶段的解决办法是给视频加上各种编目信息。例如：文件名称、节目名称、播出时间、节目类别（新闻、电影、记录片、综艺节目等）。在添加了编目信息之后，用户根据编目信息进行查询检索视频。

用户在已获取某一视频片段而没有编目信息的条件下，无法通过现阶段的解决办法来判断该视频片段是否来自于数据库中已有的视频。

发明内容

本发明的目的是提供一种根据局部特征和运动矢量抽取视频基因的方法，解决了如何提取视频的视频基因的技术问题。

为实现上述目的，本发明采用以下技术方案：

一种根据局部特征和运动矢量抽取视频基因的方法，包括如下步骤：

步骤1：通过摄像头获取视频后，再通过视频解码器对视频进行解码，再然后对视频中的每一帧图像进行SURF特征的抽取，每一帧图像的SURF特征均包括数个SURF特征点；

步骤2：计算每个SURF特征点的描述向量，由于每个图像包含的SURF特征点数目不相同，所以只选取描述向量最强的SURF特征点作为预处理特征点；设定每一幅图片的预处理特征点的个数均为N；

步骤3：寻找转场帧：比较相邻两个帧图像的SURF特征，设定前一帧图像有J个SURF特征点，J<=N；设定后一帧图像有K个SURF特征点，K<=N；设定L为变量；若J小于K，则， L=J；若K小于J，则， L=K；设定前一帧图像与后一帧图像相互匹配的SURF特征点的数量为S1；

若S1小于p%×L个，则后一帧图像为转场帧；p的取值范围是1-99之间，一般情况取50；

步骤4：设定某一个转场帧Q和与其相邻的下一帧图像P相互匹配的SURF特征点的数量至少为M对，M=p%×L，当相互匹配的SURF特征点的数量多于M时，取最强的M个相互匹配的SURF特征点；在转场帧Q的特征点以及在P中与之匹配的特征点，如果视频画面是完全静止的，那么每一对特诊点都会出现在完全相同的位置，如果画面不是静止的，则匹配特征点会出现位移运动；

计算所述最强的M个相互匹配的SURF特征点的运动矢量；设定转场帧Q中的某一个SURF特征点A1为起点，在下一帧图像P中与该SURF特征点相互匹配的SURF特征点B1为终点，SURF特征点A1向SURF特征点B1移动的方向即为SURF特征点A1的运动矢量，设定所述运动矢量的水平分量为x个像素，垂直分量为y个像素；

步骤5：按照视频中帧图像的长和宽对运动矢量进行归一化：水平运动矢量=x/视频的宽度，垂直运动矢量=y/视频的高度；

步骤6：所述M个SURF特征点中，每一个SURF特征点均由64维向量描述，并且均存在一个到下一帧的运动矢量，所述运动矢量由2维向量描述；即，所述M个SURF特征点中的每一个SURF特征点均一个66维的向量描述，即，转场帧Q对应一个B维度的描述向量， B=66×M，其中，B为维度值；使用栈式自动编码器将该B维度的描述向量映射为64维二进制特征向量；

步骤7：对于一个视频片段，使用栈式自动编码器可以将转场帧的描述向量映射为一个64位二进制比特串，设定该视频片段包含F个转场帧，则对每一个转场帧均采用步骤4到步骤6的方法抽取64位的二进制比特串，然后将这些比特串接起来形成该视频片段的视频基因。

所述SURF特征点的描述向量为一个64维的向量。

执行步骤3时，需要注意的特殊情况是视频的第一帧总是转场帧。

本发明所述的一种根据局部特征和运动矢量抽取视频基因的方法，解决了如何提取视频的视频基因的技术问题，本发明计算视频的基因序列后，该基因序列可被用于视频之间的快速比对，实现了每一个64比特的序列对应一个镜头场景的检索方法。

附图说明

图1是本发明的SURF特征示意图;

图2是本发明的转场帧与下一帧之间的运动矢量的示意图;

图3是本发明的栈式自动编码器示意图。

具体实施方式

如图1-图3所示的一种根据局部特征和运动矢量抽取视频基因的方法，包括如下步骤：

步骤1：通过摄像头获取视频后，再通过视频解码器对视频进行解码，再然后对视频中的每一帧图像进行SURF特征（所述SURF特征为现有技术，固不详细叙述）的抽取，每一帧图像的SURF特征均包括数个SURF特征点；

步骤2：计算每个SURF特征点的描述向量，由于每个图像包含的SURF特征点数目不相同，所以只选取描述向量最强的SURF特征点作为预处理特征点；设定每一幅图片的预处理特征点的个数均为N；

步骤3：寻找转场帧：比较相邻两个帧图像的SURF特征，设定前一帧图像有J个SURF特征点，J<=N；设定后一帧图像有K个SURF特征点，K<=N；设定L为变量；若J小于K，则， L=J；若K小于J，则， L=K；设定前一帧图像与后一帧图像相互匹配的SURF特征点的数量为S1；

若S1小于p%×L个，则后一帧图像为转场帧；p的取值范围是1-99之间，一般情况取50；

步骤4：设定某一个转场帧Q和与其相邻的下一帧图像P相互匹配的SURF特征点的数量至少为M对，M=p%×L，当相互匹配的SURF特征点的数量多于M时，取最强的M个相互匹配的SURF特征点；在转场帧Q的特征点以及在P中与之匹配的特征点，如果视频画面是完全静止的，那么每一对特诊点都会出现在完全相同的位置，如果画面不是静止的，则匹配特征点会出现位移运动；

计算所述最强的M个相互匹配的SURF特征点的运动矢量；设定转场帧Q中的某一个SURF特征点A1为起点，在下一帧图像P中与该SURF特征点相互匹配的SURF特征点B1为终点，SURF特征点A1向SURF特征点B1移动的方向即为SURF特征点A1的运动矢量，设定所述运动矢量的水平分量为x个像素，垂直分量为y个像素；

步骤5：按照视频中帧图像的长和宽对运动矢量进行归一化：水平运动矢量=x/视频的宽度，垂直运动矢量=y/视频的高度；

步骤6：所述M个SURF特征点中，每一个SURF特征点均由64维向量描述，并且均存在一个到下一帧的运动矢量，所述运动矢量由2维向量描述；即，所述M个SURF特征点中的每一个SURF特征点均一个66维的向量描述，即，转场帧Q对应一个B维度的描述向量， B=66×M，其中，B为维度值；使用栈式自动编码器将该B维度的描述向量映射为64维二进制特征向量；

假设M=100，则每一个转场帧有一个维度为6600维的描述向量，使用一个栈式自动编码器将6600维的描述向量映射为64维二进制特征向量；

步骤7：对于一个视频片段，使用栈式自动编码器（所述栈式自动编码器为现有技术，固不详细叙述）可以将转场帧的描述向量映射为一个64位二进制比特串，设定该视频片段包含F个转场帧，则对每一个转场帧均采用步骤4到步骤6的方法抽取64位的二进制比特串，然后将这些比特串接起来形成该视频片段的视频基因。

所述SURF特征点的描述向量为一个64维的向量。

执行步骤3时，需要注意的特殊情况是视频的第一帧总是转场帧。

本发明所述的一种根据局部特征和运动矢量抽取视频基因的方法，解决了如何提取视频的视频基因的技术问题，本发明计算视频的基因序列后，该基因序列可被用于视频之间的快速比对，实现了每一个64比特的序列对应一个镜头场景的检索方法。

所述SURF特征是一种图像局部特征提取方法，具体可参见论文“Speed-upRobustFeatures（SURF）”，图 1给出了SURF特征提取的示意图，图1中的圆圈即为SURF特征点。

如图 2所示转场帧中的A圆点和下一帧中的B圆点分别表示这两帧中相互匹配的两个SURF特征。转场帧中的箭头表示特征点的运动矢量，它表示该特征点在下一帧中将沿箭头所指的方向运动至C圆点所表示的位置。

栈式自动编码器是一种神经网络，它可用来提取高维度数据的特征，从而达到将数据维度降低的目的，如图3所示，输入层有6600个输入神经元，输出层有64个二进制神经元，相邻层之间的连线表示神经元之间的连接权值。

本发明所述的一种根据局部特征和运动矢量抽取视频基因的方法，解决了如何提取视频的视频基因的技术问题，本发明计算视频的基因序列后，该基因序列可被用于视频之间的快速比对，实现了每一个64比特的序列对应一个镜头场景的检索方法。