基于多模态融合的智能高容错视频识别系统及其识别方法

摘要

一种基于多模态融合的智能高容错视频识别方法，对输入的视频进行多模态识别，以取出视频中的多个元素及各元素出现的时间。接着对多个元素进行分类，并依据不同算法分别对各个对应类别的元素进行识别。于任一元素的识别准确率不足时，依据同一时间出现的其他元素进行交叉识别，以提升系统的识别准确率及容错性。此外，同一元素在连续时间段里面，即使准确率不足，但只要识别其中一帧就可以归纳确定此元素的内容。最后，依据识别完成的多个元素以及各个元素出现的时间进行多模态融合，为视频产生可供用户以文字进行搜寻的索引文件。