基于实时语音多维建模的语音障碍多维测量系统及其方法

摘要

本发明公开了一种基于实时语音多维建模技术的语音障碍多维测量系统，包括：采集装置，其采集音位数据；计算装置，计算音位数据的参数值；及判断装置，其内部存储音位数据的标准数值范围，根据标准数值范围对比参数值，若参数值在标准数值范围内，则表示不存在语音障碍；若参数值低于或高于标准数值范围，则表示存在语音障碍并判断存在的语音障碍类型。本发明通过对语音、鼻音进行实时检测处理和实时语音多维建模，实现音段音位数据、超音段音位数据、混合式音段音位数据和分离式音段音位数据的评估，增加了大量有针对性的多维特征参数，使得语音障碍的评估更加全面与精确。本发明还公开了基于实时语音多维建模技术的语音障碍多维测量方法。

说明书

技术领域

本发明属于言语测量领域，尤其涉及一种基于实时语音多维建模技术的语音障碍多维测 量系统及其方法。

背景技术

语音障碍是言语障碍的重要组成部分，因此对语音障碍的评估也是言语障碍评估中的重 要模块。目前，国内对于语音障碍的评估包括主观评估和客观测量两个方面；主观评估主要 是针对特定的测试语音材料，通过分析患者朗读特定测试语音材料的评分结果，得到患者的 连续语音清晰度等结果，并与正常人群的结果进行比较，从而实现对患者语音功能的主观评 估；客观测量包括超音段音位语音的测量和音段音位语音的测量，通过分析患者的语音声学 信号，获得其超音段音位和音段音位的相关声学参数，并与正常人群的相应参数进行比较， 从而实现对患者语音功能的客观测量。

但是，目前对语音障碍的客观测量存在缺陷：有针对性的特征参数较少，不能较全面地 反映语音障碍超音段音位部分和音段音位部分的问题。因此，从单一维度进行语音障碍的客 观测量也不能全面反映患者的实际语音问题，从而对患者语音障碍的评估结果造成影响。

发明内容

本发明克服了现有语音障碍测量系统中单一维度测量和针对性的特征参数较少的缺陷， 提出了一种基于实时语音多维建模技术的语音障碍多维测量系统及其方法。

本发明提出了一种基于实时语音多维建模技术的语音障碍测量系统，包括：采集装置， 其采集音位数据；计算装置，计算所述音位数据的参数值；及判断装置，其将所述参数值与 所述音位数据的标准数值范围进行对比，若所述参数值在所述标准数值范围内，则表示不存 在语音障碍；若所述参数值低于或高于所述标准数值范围，则表示存在语音障碍并判断存在 的语音障碍类型。

本发明提出的基于实时语音多维建模技术的语音障碍测量系统中，所述采集装置包括单 向麦克风和口鼻分离采集器。

本发明提出的基于实时语音多维建模技术的语音障碍测量系统中，所述音位数据包括音 段音位数据、超音段音位数据、混合式音段音位数据和分离式音段音位数据。

本发明提出的基于实时语音多维建模技术的语音障碍测量系统中，所述音段音位数据包 括与语音清晰度的相关数据。

本发明提出的基于实时语音多维建模技术的语音障碍测量系统中，所述超音段音位数据 包括与音调变化率的相关数据。

本发明提出的基于实时语音多维建模技术的语音障碍测量系统中，所述混合式音段音位 数据包括清浊音比率、发音方式比率、发音部位比率、音征与送气时间比率。

本发明提出的基于实时语音多维建模技术的语音障碍测量系统中，所述分离式音段音位 数据包括鼻流量、鼻腔线性预测谱和鼻腔功率谱。

本发明提出的基于实时语音多维建模技术的语音障碍测量系统中，进一步包括监控装置， 其根据多次采集得到的所述音位数据的前后差异监控语音障碍的康复效果。

本发明还提出了一种基于实时语音多维建模技术的语音障碍测量方法，包括以下步骤： 步骤一：采集音位数据；步骤二：计算所述音位数据的参数值；步骤三：根据所述标准数值 范围对比所述参数值，若所述参数值在所述标准数值范围内，则表示不存在语音障碍；若所 述参数值低于或高于所述标准数值范围，则表示存在语音障碍并判断存在的语音障碍类型。

本发明提出的基于实时语音多维建模技术的语音障碍测量方法中，进一步包括步骤四： 根据多次测得的所述音位数据的前后差异监控语音障碍的康复效果。

本发明基于实时语音多维建模技术，突破了从单一维度进行语音障碍客观测量的限制， 加入了对分离式鼻音信号的检测分析，从音段音位、超音段音位、混合式音段音位和分离式 音段音位多个维度进行分析，提取出多个维度的特征参数用于语音障碍的客观测量，使得语 音障碍用户的评估与训练更加有效。

本发明利用基于实时语音多维建模技术实现言语康复效果监控，包括对测量数据的检验 分析和进行单一被试实验设计，从而利用语音障碍康复训练过程中多维特征参数的定期测量 结果来监控其训练的效果，使得康复训练策略能够得到及时的反馈与调整。

本发明建立了一个基于实时语音多维建模技术的综合全面又具有针对性的语音障碍多维 测量方法，将零散的客观测量技术整合起来，并加入了康复效果的监控，形成一套完整的语 音障碍综合测量评估体系，为语音障碍用户的康复奠定基础。

附图说明

图1是语音清晰度的判分示意图；

图2是语音清晰度测试参数的结果图；

图3是音调变化率参数的结果图；

图4是清浊音比率的波形图；

图5是发音方式比率的结果图；

图6是测试音征的共振峰轨迹图；

图7是检测鼻流量的波形图；

图8是监测康复效果的结果图；

图9是基于实时语音多维建模技术的语音障碍多维测量方法的流程图；

图10是语音障碍多维测量系统的示意图；

图11是获得音位数据的流程图。

具体实施方式

结合以下具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、条 件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明 没有特别限制内容。

图10显示的是本发明语音障碍多维测量系统，其中包括采集装置1、计算装置2以及判 断装置3。

采集装置1包括单向麦克风、口鼻分离采集器。采集装置1采用语音多维建模技术，通 过单向麦克风、口鼻分离采集器分别从语音、鼻音两个维度采集音位数据。

计算装置2与采集装置1连接，其计算得到音位数据的参数值。

判断装置3与计算装置2连接，判断装置3中存储有音位数据相关的标准数值范围。标 准数值范围表示各年龄阶段不同人群的各音位参数的正常数值区间，判断装置3根据标准数 值范围判断音位数据的参数值是否异常，若参数值在标准数值范围内，则表示该音位数据正 常；若参数值高于或低于标准数值范围，则表示存在语音障碍。

进一步地，本发明语音障碍多维测量系统还包括监控装置4。监控装置4通过多次测量 得到的多个音位数据之间的差异，从而监控在语音康复训练前后的康复效果。

图11显示的是获得各种音位数据的流程，音位数据包括音段音位数据、超音段音位数据、 混合式音段音位数据和分离式音段音位数据。

音段音位数据包含与语音清晰度相关的数据。音段音位数据的参数值包含：字清晰度、 句清晰度、连续语音清晰度等，其整体反映了用户的言语清晰度。通过将多个音段音位的参 数值与对应的标准范围进行比较，可以对语音清晰度进行多方面评估。

超音段音位数据包含与音调变化率的相关数据。针对超音段音位，音调变化率是指语音 信号的基频标准差。音调变化率的测量包含升调、降调、升降调能力的测量，即分别采用以 升调、降调以及升降调形式发音后，获得的语音信号的基频标准差的值，反映了连续语音的 语调变化能力，从而反映语音的流畅性。

混合式音段音位数据包括清浊音比率、发音方式比率、发音部位比率、音征与送气时间 比率等。清浊音比率是指输入语音段中清音的时长与浊音的时长之比，反映了连续语音中清 浊音的转换能力。发音方式比率是指输入语音段中某种发音方式的时长与整个语音段的时长 之比，反映了连续语音中发音方式的准确程度。发音部位比率是指输入语音段中某个发音部 位的时长与整个语音段的时长之比，反映了连续语音中发音部位的准确程度。音征是指输入 语音段中清音向浊音过渡的共振峰轨迹，反映了连续语音中清音发音的准确程度以及清音向 浊音过渡的准确程度。送气时间比率是指送气音时长与整个语音段的时长之比，反映了连续 语音中送气音的准确程度。

分离式音段音位数据包含与鼻流量、鼻腔线性预测谱和鼻腔功率谱相关的数据。鼻流量 是指鼻腔声压级和输出声压级(口腔声压级和鼻腔声压级之和)的比值，反映了连续语音中鼻 音发音的能力。鼻腔线性预测谱是能够观察到鼻音的共振峰频率、带宽和幅度的谱图，反映 了连续语音中鼻音发音时声道形状的准确程度。鼻腔功率谱是能够观察到鼻音谐波结构和能 量集中区域的谱图，反映了连续语音中鼻音发音时能量随频率变化的特性。

上述音段音位数据、超音段音位数据、混合式音段音位数据和分离式音段音位数据，其 中每一项音位数据分别指示不同的语音障碍类型。图9显示的是本发明基于实时语音多维建 模技术的语音障碍多维测量方法的流程，本发明基于实时语音多维建模的语音障碍多维测量 方法通过对音位数据的多维测量全面分析，判断是否存在语音障碍以及存在的语音障碍的类 型。

实施例1：语音清晰度测量

本实施例中，采用麦克风通过线性输入录制用户朗读的语音，以采集该语音的音段音位 数据。测试语音材料中设有若干判分点，可针对语音清晰度进行判分，如图1所示。全文判 分完毕后，计算装置2计算该语音中正确的个数占总判分点个数的百分比，该百分比即音段 音位数据的参数值，包括：字清晰度、句清晰度、连续语音清晰度等参数，如图2所示。判 断装置3根据用户的信息，将用户的各项参数值与其年龄、性别所对应的标准数值范围相比 较，若参数值在标准数值范围之内，则说明用户的语音清晰度能力是正常的；若参数值低于 标准数值范围，则说明存在语音障碍，且该障碍为语音清晰度障碍。

实施例2：语音流畅度测量

测试语音材料分别为采用以升调、降调以及升降调形式，采集装置1采集用户根据测试 语音材料发出的语音以获得超音段音位数据，计算装置2并对该超音段音位数据进行基频标 准差的计算来获得其音调变化率的参数值。

本实施例以音调升调测量为例，测试语音材料是以升调形式尽可能从最小音调升到最大 音调发的元音／i--i／，用户按照该测试语音材料进行发音，采集装置1获取该语音信号中的 音位数据。优选地，在采集装置1的采集过程中对用户的语音进行前置滤波、放大、消除直 流偏移和归一化等预处理，以提高语音信号的信噪比，提高测量精度。接着计算装置2对音 位数据进行清浊音判别，并计算浊音部分的基频值以及分析基频值的标准差。判断装置3将 用户的基频标准差值与对应的标准数值范围比较，若其基频标准差值在标准数值范围之内， 则说明用户的音调升调能力是正常的；反之，其基频标准差值过大或过小都说明用户的音调 升调能力存在障碍，从而揭示存在流畅性障碍。

例如，图3显示了一位音调升调能力异常患者的音调变化率值，其基频值的标准差为 9.24Hz。由于正常人的标准数值范围为30Hz～70Hz，而此患者与正常人相比，其值远远小于参 考范围，所以判断存在语音障碍，具体为存在音调变化率异常。

音调降调和升降调能力的测量同上，三者的结果反映了不同的音调变化能力，只要其中 一个值存在异常，均说明用户的音调变化能力存在障碍，即语音的流畅性存在异常。

结合以下实施例3至实施例7，对混合式音段音位特征参数进行测量后，用户的不同混 合式音段音位数据进行分析，判别用户混合式音段音位障碍的严重程度。

实施例3：清浊音转换能力测量

清浊音比率主要是指语音段中清音的时长与浊音的时长之比。采集装置1从用户的语音 段中采集混合式音段音位数据，计算装置2对混合式音段音位数据进行清浊音判别以获得其 清音部分及浊音部分的时长，并将前者的时长除以后者的时长，从而获得混合式音段音位的 一种参数值，即清浊音比率值。

本实施以用户发出的既包含清音又包含浊音的语音材料“铐”(kao4)为例。通过采集装 置1采集其音位数据后，计算装置2对其进行清浊音判别，检测出其清音部分和浊音部分并 标注，然后分别计算其清音部分和浊音部分的总时长并比较，最终获得其清浊音比率值，如 图4所示。判断装置3将用户的清浊音比率值与标准数值范围相比较，若其清浊音比率值落 在标准数值范围之内，则说明用户的清浊音转换能力是正常的；反之，其清浊音比率值过大 或过小都说明存在语音障碍，具体为清浊音转换能力存在障碍。

实施例4：发音方式测量

发音方式比率主要是指输入语音段中某种发音方式的时长与整个语音段的时长之比，即 为发音方式比率值。通过对语音进行语音类型的分析及其时长和边界的计算来获得其特定发 音方式的时长及整个语音段的时长。其中语音类型的分析包括响音检测、元音检测、浊辅音 检测、鼻音检测、浊擦音检测、塞音和清音检测等发音方式的检测。

本实施例以进行塞音的发音方式比率的测量为例，将用户发出包含塞音的语音材料“包 (bao1)／抛(pao1)”，采集装置1采集用户语音材料中的的混合式音段音位数据，计算装置 2对混合式音段音位数据进行清浊音判别，包括进行响音检测、元音检测和清塞音检测以获 得语音类型的分析结果，分析结果如图5，计算装置2再进行语音类型标注和边界确定，分 别计算其清塞音部分的时长和整个语音材料的总时长并比较，最终获得其塞音比率值，即混 合式音段音位数据的一种参数值。

判断装置3将用户的塞音比率值与标准数值范围相比较，若其塞音比率值落在标准数值 范围之内，则说明用户的发音方式是正常的；反之，其塞音比率值过大或过小都说明存在语 音障碍，具体为发音方式存在障碍。

实施例5：送气方式比率测量

送气方式比率主要是指送气音时长与整个语音段的时长之比。采集装置1采集用户语音 信号中的混合式音段音位数据，计算装置2对其进行语音类型的分析及其时长和边界的计算 来获得送气方式的时长及整个语音段的时长，从而得到送气方式比率，即为混合式音段音位 数据的一种参数值。

例如，将用户发的包含送气塞音的语音材料“抛／铐”进行采集，计算装置2对其进行清 浊音判别，然后进行清音检测和送气音检测来获得送气塞音的分析结果和边界确定；接着分 别计算送气塞音的时长和整句话的总时长，将前者的时长除以后者的时长，其结果即为送气 方式比率值。

判断装置3将用户的送气方式比率值与标准数值范围相比较，若其送气方式比率值落在 标准数值范围之内，则说明用户的送气方式比率是正常的；反之，其送气方式比率值过大或 过小都说明存在语音障碍，具体为送气方式存在障碍。

实施例6：音征测量

本实施例中以将用户发的包含清音的语音材料“搭”为例，图6显示的是通过采集装置 1采集到的对应音位数据的波形图，其中第二幅坐标图为对应声波图的共振峰描迹图，其包 含语音信号的前三个共振峰，由下到上依次为第一、第二和第三共振峰。横轴为时间，纵轴 为对应的共振峰值。由于第二共振峰主要反映口腔的结构与形状，所以用第二共振峰来反映 发音部位。

本实施例中，采集装置1采集清音和元音混合的语音材料中的混合式音段音位数据，由 于清音没有共振峰，所以计算装置2选取第二共振峰的起点值作为音征值，即为混合式音段 音位数据的一种参数值。如图6中，音征值为第二条横线的起点频率值：801Hz，第三幅坐标 图为对应共振峰的强度值。由于“搭”的音征值的标准数值范围为1200Hz～2400Hz，而此用户 与正常的标准数值范围相比，其值远远小于标准数值，所以判断存在语音障碍，具体为音征 异常。

实施例7：发音部位比率测量

发音部位比率主要是指输入语音段中某个发音部位的时长与整个语音段的时长之比。采 集装置1采集用户的语音信号中的混合式音段音位数据，计算装置2对其进行共振峰的分析 和发音部位及其边界的确定来获得其特定发音部位的时长及整个语音段的时长，将前者的时 长除以后者的时长，其结果为发音部位比率值，即为混合式音段音位数据的一种参数值。

例如，用户发出包含舌尖塞音“抛／套”的语音材料，采集装置1采集语音材料中的混合 式音段音位数据，计算装置2对混合式音段音位数据进行共振峰提取和描迹来获得各段共振 峰的频率值及其起始点的频率值，并根据其确定舌尖塞音的位置及其边界；接着分别计算舌 尖塞音的时长和整句话的总时长并比较，最终获得舌尖塞音的发音部位比率值，即为混合式 音段音位数据的一种参数值。

判断装置3将发音部位比率值与标准数值范围相比较，若其发音部位比率值落在标准数 值范围之内，则说明用户的发音部位比率是正常的；反之，其发音部位比率值过大或过小都 说明存在语音障碍，具体为发音部位存在障碍。

结合以下实施例8，对混合式音段音位特征参数进行测量后，用户的不同分离式音段音 位数据进行分析，判别用户分离式音段音位障碍的严重程度。

实施例8：鼻流量测量

图7所示为一实施例的检测鼻流量的波形图，其中包含主窗口与副窗口两个窗口。其中 主窗口的三个波形图由上到下分别为：鼻流量图、鼻部语音信号声波、口部语音信号声波。 副窗口由上至下分别为鼻部语音信号声波、口部语音信号声波，它们的横轴均为时间。鼻流 量图是对应于下面声波图的，不同时间处声波的鼻流量值不同。

采集装置1采集用户发生过程中鼻流量的分离式音段音位数据，计算装置2对其进行鼻 腔声压级和口腔声压级的计算来获得鼻流量的测量结果，其次计算装置2录入的口鼻通道分 开的双通道语音信号分别进行预处理，然后分别计算其鼻部信号能量值和口部信号能量值， 最后用鼻部信号能量值除以鼻部和口部加起来的总能量值，得到鼻流量，即为分离式音段音 位数据的一种参数值。本实施例中，测试结果所得鼻流量平均值为49％，由于该鼻流量平均 值的标准数值范围为18％～34％，其值远远大于参考范围，所以判断装置3判断该存在语音障 碍，具体为鼻流量异常。

上述参数的语音材料可根据需要选择相同的或不同的语音材料。如用户伴随鼻音功能低 下，选择包含大量鼻音的语音内容作为输入的口鼻分离式声音信号，并对其进行上述各参数 的分析和测量，最终获得其分离式音段音位的测量结果。

监控装置4主要是利用利用语音障碍康复训练过程中上述参数进行定期测量以监控康复 效果，来监控其训练的效果，以便及时调整训练策略；主要利用检验分析和单一被试技术进 行追踪测量。图8显示的是一实施例中监控装置测量的数据结果的示意图，其中对参数定期 测量结果的检验分析包括自相关检验，显著性检验和回归分析。通过自相关检验来验证测量 结果的有效性，过显著性检验来验证干预训练前后测量结果的差异性，通过回归分析来验证 测量结果的变化趋势。

本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技 术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。