一种基于角色的电视剧视频分析方法

摘要

本发明公开了一种基于角色的电视剧视频分析，通过人名与人脸的对应关系来关联剧本与视频，使得语义的场景结构能够准确的由剧本映射到视频中。首先，从剧本和视频中分别提取人名与人脸直方图表示，然后利用一种生成式模型对电视剧的拍摄过程进行建模。从模型参数的学习中，可以无监督地学习到人名与人脸的对应关系；从隐状态的推理中，可以最优地得到视频场景的分割。本发明能够在无需人工标注的情况下自动地识别识别视频人脸的身份，特别适用于大规模的视频内容分析；同时，由于引入剧本文件做指导，得到的场景划分具有语义可理解、可比较的优势。