一种综合运用语音识别、语音学知识及汉语方言分析的语音评测方法

摘要

本发明公开了一种在语音评测系统中综合运用语音识别、语音学知识及汉语方言分析的语音评测方法。经过了针对性的语音识别数据收集和模型搭建，以及针对语种的语音学分析和语音学处理策略，最后，针对汉语特点，分析了汉语各方言区的特点以及汉语的声韵结构和时长特性，并针对这些特性进行针对性处理，从而在通用的评测算法基础上极大地提升了系统的普适性，同时大大提升汉语评测系统的性能。

说明书

技术领域

本发明涉及语音评测领域，具体是在使用计算机对发音人发音水平进行评测时综合运用语音识别方法、语音学知识和汉语方言分析知识从而有效提升语音评测系统性能。

背景技术

普通话水平测试是推广普通话工作的重要方法，是使推广普通话工作逐步走上科学化、规范化、制度化的重要举措。2000年10月31日第九届全国人民代表大会常务委员会第十八次会议通过的《中华人民共和国国家通用语言文字法》规定，以普通话作为工作语言的播音员、节目主持人和影视话剧演员、教师、国家机关工作人员必须参加普通话水平测试并达到国家规定的等级标准。

目前进行的普通话水平测试工作全部采用人工评分的方式，一般每个普通话测试考场需要安排2-3名测试员，由测试员对考生说话的声音进行评分，一个考场一天只能测试30人，一个上千人的普通话水平测试常常需要在短时间内组织上百名测试员，不仅费时费力，测试成本高，而且效率低。由于全部采用人工的方式评分，测试员的主观性很强，在一定程度上存在测试结果的公正性问题。

因此，结合现代计算机技术的发展，研究开发如何将先进的信息技术应用于普通话水平测试，全部替代或部分替代人工的评测员，从而弥补传统的普通话水平测试方法的不足，对于节省人力物力等成本和提高测试的公正性、效率方面都具有重大的意义。

计算机普通话水平测试系统的研究本身对于基础资源库、跨学科的合作等方面的要求很高，存在较大的难度。正是由于缺乏系统的指导和广泛合作，计算机的方式实现普通话水平测试长期以来一直没有得到研究人员的关注。

在国家语委科研办的委托下，安徽中科大讯飞信息科技有限公司承担了国家语言文字应用“十五”重点项目——“智能语音技术在普通话辅助学习中的应用”。已完成主要方言语料库的收集、标注工作，在部分省市利用项目成果进行的计算机普通话水平测试已达到了较高的精度，可以对普通话口语面貌进行比较准确的评测，测试水平已经达到省级测试员的水平，可在今后的普通话水平测试中逐步推广使用。

目前国际上针对语言学习的系统大都是基于计算机辅助语言学习(CALL)的评测学习系统，虽然也有在中文学习和评测方面的应用，但此类的评测系统，由于没有对中文进行针对性的处理，系统普适性和性能有待改进。如果能在评测系统综合运用语音识别通用原理，针对语种的语音学知识，以及针对汉语的特点的汉语方言分析以及音韵结构特性，将有可能实现汉语评测系统的普适性和性能得到很大提升，满足汉语自动评测的推广应用需求。

发明内容

本发明的目的就是一种综合运用语音识别、语音学知识及汉语方言分析的语音评测方法，在语音识别系统的框架下，引进语音学知识以及汉语方言分析特点，从而提升对发音人发音水平评测的评测系统性能。

具体的实现方式如下：

一种综合运用语音识别、语音学知识及汉语方言分析的语音评测方法，其特征是建立针对语音评测的标准数据库，包括单字词的标准发音，以及连续语流的标准发音；然后，在此标准数据库基础上使用HTK搭建基于隐马尔科夫模型的语音识别器；同时，针对要评测的语种进行语音学分析，得到语音学知识，形成语音学知识和语音学知识处理策略；另外，针对汉语评测，对汉语发音特点进行分析，得到汉语声韵母结构特点和时长特性与评测性能关系，形成汉语发音特点和时长特性知识库以及汉语发音特点和时长特性处理策略；最后，综合语音识别器以及语音学处理策略和汉语发音特点和时长特性处理策略，在语音评测算法的支持下，输出被评测人员的评测得分。

语音识别系统的搭建步骤如下：

(1)收集训练识别器语音：根据语音评测的应用需要，预先收集或录制有针对性的标准的发音语料，并保存为识别器训练语音文件，比如针对汉语普通话水平测试就录制标准普通话发音人的普通话水平测试语料；

(2)数据标注：针对收集的标准语料进行拼音标注，使得收集的语料对语音评测具有针对性；

(3)模型训练：根据收集的标准语料利用HTK训练基于隐马尔科夫模型的语音识别器模型；

(4)保存：将模型保存到评测系统库中；

语音识别器搭建完成后就可进行语音评测，评测算法如下式所示：

$$ >>Score>=>>\Sigma >>i>=>1>>N>>P>>(>>M>i>>|>O>)>>>$$

其中，O发音者发出的声音，M_i是针对需要发音的字的语音识别模型，N是评测中需要发音的总个数，$$ >>P>>(>>M>i>>|>O>)>>=>>>P>>(>O>|>>M>i>>)>>>\underset{}{}$$是发音人的声音对M_i模型的后验概率，

运用语音学知识进行有针对性的评测，其步骤是：

(1)分析语言特点，得到语音学知识库：在系统搭建之前，需要针对要评测的语种发音特点进行分析，得到语音学知识库用以指导评测系统进行有效的评测，这些语音学知识也可以参考语言和语音学专家给出的发音错误得特点，比如音素A可能被错误读为C，D，E，那么A→(A，C，D，E)就是一条知识；

(2)整合语音学知识进入评测系统：在上面的分析基础上得到的语音学知识，从而使得系统可以借鉴语音学知识进行评测，处理策略是修改系统评测算法如下：$$ >>P>>(>M>|>O>)>>=>>>P>>(>O>|>M>)>>>\underset{}{}$$其中K_M就是上面得到的语音学知识，其中P(M|O)是一个字M的评测得分；

(3)保存：保存得到的语音学知识库以及语音学知识处理策略到评测系统的语音学处理模块库；

针对汉语发音特点进行独特处理，其步骤是：

(1)汉语特点分析：针对汉语的声韵母结构和时长特性进行分析，得到汉语声韵母时长与评测系统评测性能关系；

(2)汉语特点应用：针对汉语声韵母时长和评测性能关系，引入了针对汉语声韵母结构和时长处理策略进行处理，其处理策略是：

$$ >\begin{array}{}>>sup>>Score>Sent>\prime sup>>=>>\Sigma >>i>=>1>>N>>P>>>(>>M>i>>|>O>)>>\prime >\; >>>>P>>>(>>M>i>>|>O>)>>\prime >>=>P>>(sup>>M>initial>isup>>|>O>)>>\times >>(>1>+>sup>>Dur>final>isup>sup>>Dur>initial>isup>>>\times >COEF>)>>+>P>>(sup>>M>final>isup>>|>O>)>\; >\end{array}>>$$

其中Score′_Sent是一句话的改进后的评测得分，P(M_initialⁱ|O)是声母的评测得分，P(M_finalⁱ|O)是韵母的评测得分，P(M_i|O)′是一个音节的改进后的评测得分，Durf_inalⁱ是第i个音节韵母的时长，Dur_initialⁱ是第i个音节的声母的时长；COEF是一个可调整的因子，来控制声母的权重；

(3)评测得分输出：在上面处理基础上，得到修正的评测得分并输出得分。

语音评测算法是是语音评测系统的核心所在，在进行了上面的处理策略改进后，可以大大提升评测系统的评测性能，同时使得评测系统对于不同语种和方言区可以做到迅速的改进从而适应具体情况，大大提升了系统的普适性。

发明的效果

评测系统的普适性增强。由于引入了语音识别系统中的针对性算法，同时，针对不同语种进行分析，整合语音学知识进入评测系统，从而使得系统的普适性增强，可以迅速的进行不同语种的切换。

评测性能的有效提升。由于针对被汉语各方言区和汉语的音韵结构以及时长特性进行了针对性的分析和处理，使得系统针对汉语各方言区具有很强的针对性，从而极大地提升了评测系统在汉语普通话测试上的性能。

术语解释

CALL：即计算机辅助语言学习(Computer Assisted Language Learning)。

HMM：隐马尔科夫模型(Hidden Markov Model)

HTK：Hidden Markov Toolkit剑桥大学提供的一个用来搭建基于HMM的语音识别器的开放源代码的工具。

具体实施方式

一种综合运用语音识别、语音学知识及汉语方言分析的语音评测方法，包括以下步骤：

语音识别器的搭建步骤如下：

(1)收集训练识别器语音：根据语音评测的应用需要，预先收集或录制有针对性的标准的发音语料，并保存为识别器训练语音文件，比如针对汉语普通话水平测试就录制标准普通话发音人的普通话水平测试语料；

(2)数据标注：针对收集的标准语料进行标注，使得收集的语料对语音评测具有针对性；

(3)模型训练：根据收集的标准语料训练评测用的语音识别器模型。；

(4)保存：评测系统将模型保存到评测系统库中。

语音识别器搭建完成后就可进行评测，评测算法如下式所示：

$$ >>Score>=>>\Sigma >>i>=>1>>N>>P>>(>>M>i>>|>O>)>>>$$

其中$$ >>P>>(>>M>i>>|>O>)>>=>>>P>>(>O>|>>M>i>>)>>>\underset{}{}$$是针对字M_i的后验概率。

运用语音学知识进行有针对性的评测，其步骤是：

(1)分析语言特点，得到语音学知识库：在系统搭建之前，需要针对要评测的语种发音特点进行分析，得到语音学知识库用以指导评测系统进行有效的评测，这些语音学知识也可以参考语言和语音学专家给出的发音错误得特点，比如音素A可能被错误读为C，D，E，那么A→(A，C，D，E)就是一条知识；

(2)整合语音学知识进入评测系统：在上面的分析基础上得到的语音学知识，在系统的语音学处理模块的处理下，引入语音学知识，从而使得系统可以借鉴语音学知识进行评测，处理模块策略是：

$$ >>P>>(>M>|>O>)>>=>>>P>>(>O>|>M>)>>>\underset{}{}$$其中K_M就是上面得到的语音学知识，其中P(M|O)是一个字M的得分；

(3)保存：保存得到的语音学知识库以及语音学知识处理策略到评测系统的语音学处理模块库。

针对汉语发音特点进行独特处理，其步骤是：

(1)汉语特点分析：针对汉语的声韵母结构和时长特性进行分析，得到汉语声韵母时长与评测系统评测性能关系；

(2)汉语特点应用：针对汉语声韵母时长和评测性能关系，引入了针对汉语声韵母结构和时长处理策略进行处理，其处理策略是：

$$ >sup>>Score>Sent>\prime sup>>=>>\Sigma >>i>=>1>>N>>P>>>(>>M>i>>|>O>)>>\prime >>>>$$

$$ >>P>>>(>>M>i>>|>O>)>>\prime >>=>P>>(sup>>M>initial>isup>>|>O>)>>\times >>(>1>+>sup>>Dur>final>isup>sup>>Dur>initial>isup>>>\times >COEF>)>>+>P>>(sup>>M>final>isup>>|>O>)>>>$$其中

Score′_Sent是一句话的改进后的得分，P(M_i|O)′是一个音节的改进后的得分，Dur_finalⁱ是第i个音节韵母的时长，Dur_initialⁱ是第i个音节的声母的时长。COEF是一个可调整的因子，来控制声母的权重；

(3)评测得分输出：在上面处理基础上，得到修正的评测得分并输出得分。