基于语音识别的蔬菜病害视频语义标注与分割方法

摘要

为了向农民提供蔬菜病害知识,基于语音识别技术设计了一种蔬菜病害视频标注与分割方法,可将科研机构录制的蔬菜病害视频分割成适合手机播放的小视频段落.在前期设计的视频镜头切分方法基础上,进一步设计出基于语音识别技术的视频语义标注及视频镜头聚类方法,即首先采用成熟的语音识别技术,将视频镜头的语音讲解识别为文本形式;进而基于本体对识别文本进行相应的语义处理,从中提取出能起到指示作用的关键语义实体,并将其恰当的组织形式作为视频镜头的语义标注;最终根据用户提供的关键词并结合视频镜头的语义标注,对视频镜头进行聚类和重组,从而实现对于蔬菜病害视频的最终分割.所设计的视频镜头语义标注方法对2个测试视频的查全率分别达到96.08％、94.93％,查准率分别达到94.31％、95.98％,F-1测度也分别达到0.93和0.92;视频镜头聚类方法使得2个视频的分割查全率分别达到94.9％、98.7％,查准率分别达到92.1％、90.2％,查全率平均大于95％,查准率大于90％.证明所设计的蔬菜病害视频标注与分割方法具有理论和实用价值.