一种基于关键帧提取的学术直播视频快速浏览的方法

摘要

本发明公开了一种基于关键帧提取的学术直播视频快速浏览的方法，包括：在学术直播过程中实时落地备份直播视频；对备份的视频进行视频关键帧提取；将提取的视频关键帧作为一个视频的主要内容呈现给用户。本发明提供的方法一方面可以让用户在时间碎片化的情况下更快速的获取一个时长较长的学术直播视频的主要内容，而且翻看对比都比操作视频要快捷；另一方面，也可以帮助用户在时间有限的情况下从海量的学术直播视频中更高效的学习关键知识。

说明书

技术领域

本发明涉及视频处理技术领域，尤其涉及一种基于关键帧提取的学术直播视频快速浏览的方法。

背景技术

学术直播是网络直播的一种，是用直播的方式进行学术传播、交流。感兴趣的用户可以在线参与直播互动交流，也可以在直播结束后观看直播回放。由于近几年疫情影响，为避免人员聚集，直播已经成为学术传播和交流的重要途径，例如，学术会议、学术讲座、教师授课(网课)等等。随着时间推移，学术直播视频量和视频种类也开始剧增，但是学术类的直播特点非常明显：第一，学术直播都将主要的屏幕给ppt或者pdf，一般讲师占据一个角落(通常左上，右上或者右下角)；第二，视频时长都较长；第三，专业性非常强需要读者进行思考甚至推导。那么用户在回看直播视频时就会面临以下问题：

1.如何判断该视频是用户需要的视频，如何快速界定视频内容是否有用户需要的知识。

2.视频非常长，有些视频内容用户不需要关注，如何快速定位用户想要了解的知识。

3.面对海量视频，用户怎么在有限的时间内去了解该学术领域的热点、重点等。

发明内容

为解决上述技术问题，本发明的目的是提供一种基于关键帧提取的学术直播视频快速浏览的方法。

本发明的目的通过以下的技术方案来实现：

一种基于关键帧提取的学术直播视频快速浏览的方法，包括：

A、在学术直播过程中实时落地备份直播视频；

B、对备份的视频进行视频关键帧提取；

C、将提取的视频关键帧作为一个视频的主要内容呈现给用户。

与现有技术相比，本发明的一个或多个实施例可以具有如下优点：

与现有技术相比采用本方案一方面可以让用户在时间碎片化的情况下更快速的获取一个时长较长的学术直播视频的主要内容，而且翻看对比都比操作视频要快捷；另一方面，也可以帮助用户在时间有限的情况下从海量的学术直播视频中更高效的学习关键知识。

附图说明

图1是基于关键帧提取的学术直播视频快速浏览的方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合实施例及附图对本发明作进一步详细的描述。

如图1所示，为基于关键帧提取的学术直播视频快速浏览的方法，包括以下步骤：

步骤10实时记录直播视频：该模块主要是在学术视频直播过程中实时落地备份直播视频，v_backup用于存储、v_hand用于加工处理；

步骤20视频关键帧提取：对v_hand进行处理提取关键帧

(1)选择视频帧对比区域：避免图像中不相干的因素影响，选择合适的固定区域进行特征提取,例如，会把视频区域中用户头像排除在区域之外；

(2)视频解码成帧：把视频解码成帧frams_src＝[f_0,f_1,......,f_n-1],假设共解码得到n帧；

(3)过滤噪音帧：对于解码后的视频帧frames_src，根据学术视频的特点去除噪音帧

1)去除黑/白屏帧：去除视频中的白屏/黑屏，选定帧区域的白色/黑色占比大于Ww滤掉，Ww默认取0.8，也可根据需要或场景设定，计算过程如下：

其中：Gray代表灰度值，B、G、R代表像素点的蓝、绿、红三分量；

当Gray∈[230,255]的像素点所占区域大于等于Ww时，即判断该帧为白屏；

当Gray∈[0,20]的像素点所占区域大于等于Ww时，即判断该帧为黑屏；

2)去除切换帧：学术视频的一大特点是ppt演示，ppt会随着演讲人的节奏切换，一般情况下切换不会太快，根据这一特点定义切换帧为“在一定时间内(1秒)出现不同帧的量”大于fmax则滤掉这一时间内的所有帧，fmax 默认为10帧/秒，也可根据需要或场景设置；

3)最后得到没有噪音的帧集合 frames_flited＝[ff_0,ff_1,......,ff_m-1],m<＝n；

步骤30提取关键帧：

(1)按一定间隔I提取帧：默认I＝5，也可以根据需要或场景设置，得到帧集合fframes_I＝[ff_0,ff_5,ff_10,ff_15,......]；

(2)提取帧特征:对于fframs_I中的每个帧进行特征提取(这里默认用 phash,也可以采用别的方法)；

(3)判断关键帧：

1)每个帧与前面的帧进行64位特征值比较，最多比较Ic次(Ic默认取3，也可以根据需要和场景设置)，计算差异值并取其中的最小值Vdmin_i；

2)判断如果Vdmin_i大于Wv则作为一个关键帧(图片)，其中Wv默认取10，也可以根据需要和场景设置；

3)遍历完fframs_I中的所有帧，执行i和ii则提取出了一个视频的所有关键帧fframes_key；

步骤40呈现给用户：对提取的视频关键帧fframes_key作为一个视频的主要内容呈现给用户；

上述实施例具体实施如下：

场景：某知名专家A做了一场120分钟的关于“论文诚信与学位论文写作”的直播，整个视频如果看回放需要90分钟。

任务要求：用户希望使用较短的时间快速浏览该视频的主要内容和知识点。

处理方法如下：

1)实时记录直播视频：该模块主要是在学术视频直播过程中实时落地备份直播视频，v_backup用于存储、v_hand用于加工处理；

2)视频关键帧提取：对v_hand进行处理提取关键帧

a、选择视频帧对比区域，避免干扰因素；

b、视频解码成帧：该视频通过转码得到的帧集合frames_src共有162000 帧；

c、过滤噪音帧：对于解码后的视频帧frames_src，根据学术视频的特点去噪后得到没有噪音的帧集合frames_flited共有159690帧；

d、提取关键帧：最后从frames_flited中共提取到79个关键帧(图片) fframes_key，作为该视频的主要内容；

呈现给用户：对提取的视频关键帧fframes_key作为一个视频的主要内容呈现给用户。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。