基于唇动检测的影视作品对白单元切分

摘要

影视作品是以视频的形式呈现在观众面前的，因此对影视作品进行对白单元切分，实际上就是对视频进行对白单元切分。本论文的工作目标是希望通过对视频中张嘴说话状态的检测来分割影视作品中对白单元片段。通过输入一段视频，检测出视频中人物说话段落。影视作品中对白单元的切分可用于后续的视频语义关联分析、视频摘要、检索等。对影视作品中的对白单元进行切分有着重要的理论意义和实用价值。影视作品中对白单元的切分的研究涉及模式识别、计算机视觉、图像处理、数字信号处理等多个相关领域，它所研究的内容涉及到了这些领域的最新的研究进展。本文的主要研究工作如下：
　　1．提出了基于嘴部亮度信息变化的唇动检测切分算法。首先提出了基于嘴部低亮度信息的检测切分算法，该方法基于人说话时口腔内部低亮度像素数量的显著变化特点提出的。这是由于人们在说话的时候口腔部分暴露出来了。而口腔通常都处于阴影中，因此口腔像素占有的亮度值都属于低灰度亮度范围。因此可以采用大量的嘴唇区域低亮度像素来指示唇动，用来检测。实验结果表明，该方法能够比较准确的检测出视频中的说话部分。在基于嘴部低亮度信息的检测方法基础上又提出了改进算法。由于人们在说话时候经常会露出牙齿，这些高亮度像素直接干扰低亮度像素的检测结果。因此本文又利用高亮度像素信息补充到低亮度像素信息检测规则中，进而提高了检测的准确度。
　　2．提出了基于时序LBP直方图的说话检测切分算法。人在说话时，上下嘴唇是动的，纹理信息在时间上变化明显。人不说话时，上下嘴唇基本不动，纹理信息在时间上基本维持稳定。张开嘴部的纹理信息和闭合嘴部的纹理信息明显不同。综合利用时序和纹理信息，提出了基于时序LBP直方图的算法。实验结果表明，该方法能够获得较高的正确检测率。

目录

基于唇动检测的影视作品对白单元切分

DIALOGUE UNIT SEGMENTATION OF FILMS AND TELEVISION PROGRAMS BASED ON LIP MOVEMENT DETECTION

摘 要

Abstract

目 录

第1章 绪论

1.1 课题的研究意义和背景

1.2 课题研究现状

1.3 本文研究内容

第2章 面部感知和唇动检测技术

2.1 人脸检测技术

2.2 唇动检测技术

2.3 本章小结

第3章 基于嘴部亮度信息的唇动检测切分

3.1 基于嘴部低亮度信息的检测切分算法

3.2 改进基于低亮度信息的检测切分算法

3.3 本章小结

第4章 基于时序LBP直方图的说话检测切分

4.1 局部二值模式

4.2 时序LBP直方图算法

4.3 支持向量机

4.4 时序LBP直方图系统流程

4.5 时序LBP直方图算法的实验结果

4.6 本章小结

结 论

参考文献

哈尔滨工业大学硕士学位论文原创性声明

哈尔滨工业大学硕士学位论文使用授权书

致 谢