基于视频三音子的汉语双模态语料库的建立

摘要

为实现可视语音合成和双模态语音识别,需要建立符合条件的双模态语料库.该文提出了一种汉语双模态语料库的建立方法.根据视频中唇部发音特征,对已有的三音子模型聚类,形成视频三音子.在视频三音子的基础上,利用评估函数对原始语料中的句子打分,并实现语料的自动选取.与其他双模态语料库相比,该文所建立的语料库在覆盖率、覆盖效率和高频词分布律有了较大改进,能够更加真实反映汉语中的双模态语言现象.