语言学习系统以及语言学习程序

摘要

提供一种可以以较低的负担和成本应对多种语言学习并适于外语发音学习的、利用语音和图像的成绩反映型语言学习系统以及语言学习程序。其特征在于，经由网络(4)连接到学习者终端(3)的学习辅助服务器(1)具有：语音存储单元(21)，其对于要学习的语言，存储作为发音样本的单词和句子的样本语音；语音发送单元(11)，其将样本语音和图像发送到学习者终端(3)，使学习者将该样本语音与该图像建立关联并进行识记；语音获取单元(12)，其将所述图像发送到学习者终端(3)，并要求学习者说出对应于该图像的单词和句子；语音分析单元(13)，其分析所获取的学习者语音来确定学习者并评价发音的准确性；以及评价发送单元(14)，其将表示发音准确性评价的图像发送到学习者终端(3)；其中，所述图像不包括与要学习的语言相关的字符信息。

说明书

技术领域

本发明涉及一种辅助学习者学习语言的语言学习系统以及语言学习程序，尤其涉及一种适于外语发音学习的、利用语音和图像的成绩反映型语言学习系统以及语言学习程序。

背景技术

以往，作为辅助语言学习以使学习者可以一个人有效地学习外语的语言学习辅助装置，计算机等电子设备以显示外语字符或者输出语音的方式来辅助学习。

作为一种辅助学习外语准确发音的语言学习辅助装置，专利文献1公开了一种发音学习装置，其将表示每个音节范围的音节标记添加到单词拼写、发音符号等显示信息中，并且与作为样本的发音语音输出的音节过渡同步地，对于带有音节标记的显示信息，高亮显示当前音节的音节标记部分，能够很容易地掌握准确的音节分隔和音节节拍。该发音学习装置在输出作为样本的母语者的发音语音后，在学习者发音时，高亮显示重音和音节以引导学习者准确发音。

专利文献2公开了一种学习系统，计算机将外语语音与对象的显示对应地进行输出，使听到语音的学习者选择与该语音对应的对象的动作，判断学习者选择的动作是否适当并显示或以语音的方式输出评价结果，无需经由字符即可进行外语的学习。

现有技术文献

专利文献

专利文献1：日本特开2015-36788号公报

专利文献2：日本特开2002-268537号公报

发明所要解决的技术问题

在专利文献1所述的发音学习装置中，为了应对多种学习语言，对于每种学习语言都需要进行用于显示单词拼写、发音符号等显示信息的编程工作，工时与对应语言的数量成正比地增加，因此存在应对多种学习语言时具有较大负担的问题。

在专利文献2所述的学习系统中，无需经由字符即可学习外语，因此不存在上述问题，但是由于仅通过所选择的对象的动作来判断学习者的理解程度，仍然存在无法确认学习者是否掌握外语的准确发音的问题。

因此，本发明提供一种适于外语发音学习的语言学习系统以及语言学习程序，其可以以较低的负担和成本应对多种语言学习。

发明内容

为了解决上述技术问题，本发明提供一种语言学习系统，其包括通过网络连接到学习者终端并辅助学习者进行语言学习的学习辅助服务器，该学习者终端具备显示图像的显示部和输入输出语音的语音输入输出部，其中，所述学习辅助服务器具有：语音存储单元，其对于要学习的一种或两种以上语言，存储作为发音样本的单词和/或句子的样本语音；语音发送单元，其将所述样本语音和对应于该样本语音的图像发送到所述学习者终端，使学习者将该样本语音与该图像建立关联并进行识记；语音获取单元，其将所述图像发送到所述学习者终端，并要求学习者说出对应于该图像的单词或句子来获取学习者发出的学习者语音；语音分析单元，其分析所获取的所述学习者语音来确定学习者并评价发音的准确性；以及评价发送单元，其将表示所述语音分析单元所评价的发音准确性评价的图像发送到所述学习者终端；其中，上述图像不包括与要学习的语言相关的字符信息。

进一步的，当所述发音准确性评价满足预定的基准值时，所述评价发送单元将表示该评价的图像发送到所述学习者终端，当所述发音准确性评价不满足预定的基准值时，所述语音发送单元将所述样本语音反复发送到所述学习者终端。

进一步的，所述语音发送单元包括：在所述学习者终端的语音输入输出部输出所述样本语音之后，对应于该样本语音来改变所述图像并将其显示在所述学习者终端的显示部上的单元，所述评价发送单元包括：在发音准确性评价满足预定的基准值时，对应于所述样本语音来改变所述图像并将其显示在所述学习者终端的显示部上的单元。

进一步的，所述语音存储单元包括：在各个单词或/和句子中将多个说话者的样本语音建立关联并进行存储的单元，所述语音发送单元还包括：在将所述样本语音反复发送到所述学习者终端时，发送不同说话者的所述样本语音的单元。

进一步的，所述学习辅助服务器还具备：学习情况存储单元，其存储每个学习者所学习的单词或/和句子的发音准确性评价；成绩制作单元，其基于存储在所述学习情况存储单元中的发音准确性评价，制作包括每个学习者的学习进度以及较好的发音或较差的发音的成绩；以及课程制作单元，其基于所述成绩，制作每个学习者的学习课程。

进一步的，所述学习辅助服务器还具备：学习者交流单元，其基于每个学习者的成绩将各学习者分层为多个学习水平，并向所述学习者终端发送用于向层内的多个学习者提供虚拟现实环境的图像，使所述多个学习者进行语音对话，其中，该层内包括所述学习水平相同的层或所述学习水平相同的层及其前后层。

此外，本发明提供一种语言学习程序，用于使计算机作为上述任一项所述的语言学习系统而发挥作用。

发明效果

本发明的语言学习系统包括通过网络连接到学习者终端并辅助学习者进行语言学习的学习辅助服务器，该学习者终端具备显示图像的显示部和输入输出语音的语音输入输出部，其中，所述学习辅助服务器具有：语音存储单元，其对于要学习的一种或两种以上语言，存储作为发音样本的单词和/或句子的样本语音；语音发送单元，其将所述样本语音和对应于该样本语音的图像发送到所述学习者终端，使学习者将该样本语音与该图像建立关联并进行识记；语音获取单元，其将所述图像发送到所述学习者终端，并要求学习者说出对应于该图像的单词或句子来获取学习者发出的学习者语音；语音分析单元，其分析所获取的学习者语音来确定学习者并评价发音的准确性；以及评价发送单元，其将表示所述语音分析单元所评价的发音准确性评价的图像发送到所述学习者终端；其中，所述图像不包括与要学习的语言相关的字符信息，由此，学习者能够通过图像和样本语音学习语言，因此能够掌握准确的发音。此外，本发明的语言学习系统具有如下效果：由于发送到学习者终端的图像不包括与要学习的语言相关的字符信息，因此不需要将对应于各语言的字符进行本地显示，只需将多种语言的样本语音存储在语音存储单元中，即仅通过改变样本语音的语言就可以应对不同的学习语言。

此外，本发明具有如下效果：在上述语言学习系统中，在所述发音准确性评价满足预定的基准值时，所述评价发送单元将表示该评价的图像发送到所述学习者终端，在所述发音准确性评价不满足预定的基准值时，所述语音发送单元将所述样本语音反复发送到所述学习者终端，由此，在学习者发音准确时，能够在学习者终端的显示部上显示表示评价的图像以使学习者知悉该评价，在学习者发音错误时，能够从学习者终端的语音输入输出部再次输出样本语音，使学习者反复学习以掌握准确的发音。

此外，本发明具有如下效果：在上述语言学习系统中，所述语音发送单元具备：在从所述学习者终端的语音输入输出部输出所述样本语音之后，对应于该样本语音来改变所述图像并将其显示在所述学习者终端的显示部上的单元，所述评价发送单元具备：在发音准确性评价满足预定的基准值时，对应于所述样本语音来改变所述图像并将其显示在所述学习者终端的显示部上的单元，由此，即使图像不包括字符信息，也可以对应于样本语音的改变相应地使图像进行改变，以此来通知学习者发音是准确的。

此外，本发明具有如下效果：在上述语言学习系统中，所述语音存储单元具备：在各个单词或/和句子中，将多个说话者的样本语音建立关联并进行存储的单元，所述语音发送单元还具备：在将所述样本语音反复发送到所述学习者终端时，发送不同说话者的所述样本语音的单元，由此，对于同一单词或句子，可以使学习者听到不同说话者的样本语音，不会使学习者感到厌倦并且能够学习到准确的发音，因此能够提高学习效率。

此外，本发明具有如下效果：在上述语言学习系统中，所述学习辅助服务器具备：学习情况存储单元，其存储每个学习者所学习的单词或/和句子的发音准确性评价；成绩制作单元，其基于存储在所述学习情况存储单元中的发音准确性评价，制作包括每个学习者的学习进度以及较好的发音或较差的发音的成绩；以及课程制作单元，其基于所述成绩，制作每个学习者的学习课程，由此，不仅可以向学习者或其监护人提示成绩，还可以实时制作学习课程，并且可以基于每个学习者的课程进行适合个人的有效学习，包括对较差发音的单词或句子进行反复学习等。

此外，本发明具有如下效果：在上述语言学习系统中，所述学习辅助服务器具备：学习者交流单元，其基于每个学习者的所述成绩将各学习者分层为多个学习水平，并向所述学习者终端发送用于向层内的多个学习者提供虚拟现实环境的图像，使所述多个学习者进行语音对话，其中，该层内包括所述学习水平相同的层或所述学习水平相同的层及其前后层，由此，可以使学习者之间在进行语音交流的同时进行语言学习。

此外，本发明的语言学习程序具有如下效果：使计算机作为上述任一项所述的语言学习系统而发挥作用，由此，由于发送到学习者终端的图像不包括与要学习的语言相关的字符信息，因此不需要将对应于各语言的字符进行本地显示，只需将多种语言的样本语音存储在语音存储单元中，即仅通过改变样本语音的语言就可以应对不同的学习语言。

附图说明

图1是示出本发明所涉及的语言学习系统的一个实施例的结构图。

图2是示出本发明所涉及的语言学习系统的语音分析单元的一个实施例的结构图。

图3是示出本发明所涉及的语言学习系统的个人认证的一个例子的流程图。

图4是示出本发明所涉及的语言学习系统的学习辅助的一个例子的流程图。

图5是示出本发明所涉及的语言学习系统的语音分析的一个例子的流程图。

具体实施方式

根据图示实施例对本发明的实施方式进行说明。图1是示出本发明所涉及的语言学习系统的一个实施例的结构图。图2是示出本发明所涉及的语言学习系统的语音分析单元的一个实施例的结构图。

本发明的语言学习系统包括通过网络4连接到学习者终端3并辅助学习者进行语言学习的学习辅助服务器1，该学习者终端具备显示图像的显示部31和输入输出语音的语音输入输出部32，其特征在于，学习辅助服务器1具有：语音存储单元21，其对于要学习的一种或两种以上语言，存储作为发音样本的单词和/或句子的样本语音；语音发送单元11，其将样本语音和对应于该样本语音的图像发送到学习者终端3，使学习者将该样本语音与该图像建立关联并进行识记；语音获取单元12，其将所述图像发送到学习者终端3，并要求学习者说出对应于该图像的单词或句子来获取学习者发出的学习者语音；语音分析单元13，其分析所获取的学习者语音来确定学习者并评价发音的准确性；以及评价发送单元14，其将表示语音分析单元所评价的发音准确性评价的图像发送到所述学习者终端；其中，所述图像不包括与所要学习的语言相关的字符信息。

在本发明的语言学习系统中，发送到学习者终端3的上述图像，除静止图像之外，还包括动态图像。作为本发明的特别优选的实施方式，上述图像是包括有动作的教师对象的动画，并且不包括与要学习的语言相关的字符信息。本发明的语言学习系统不需要将动画进行本地化，只需将多种语言的样本语音存储在语音存储单元中，即仅通过改变与动画结合的样本语音的语言就可以对应不同的学习语言。

此外，本发明的语言学习系统可以通过使教师对象在动画中执行对应于样本语音的姿势和手势等动作，使得学习者在没有人干预的情况下学习肢体语言。

实施例1

学习辅助服务器1是连接到网络4的计算机，其具有：处理单元10，用于响应来自学习者终端3的请求来辅助学习者进行语言学习；存储单元20，用于存储使处理单元10发挥作用的程序、语音等数据。

处理单元10通过设置在学习辅助服务器1内的中央处理器(CPU)和规定CPU的动作顺序的一个或两个以上的程序来发挥作用。存储单元20例如具备ROM和RAM等存储器以及硬盘。存储单元20具有：程序区域20a，存储用于执行处理单元10的各种处理的程序等；以及数据区域20b，用于存储语音数据等数据。

在本实施例中，存储单元20具有：语音存储单元21，对于要学习的一种或两种以上语言，其存储作为发音样本的单词及句子的样本语音；学习情况存储单元22，其存储每个学习者所学习的单词及句子的发音准确性评价。此外，存储单元20还具有：声学模型存储单元23，存储用于评价发音准确性的信息，即所要学习语言的音素所固有的频率特性；词典模型存储单元24，用于将学习语言的单词与声学模型结合起来；以及语言模型存储单元25，用于存储与所要学习语言的音素排列相关的约束信息。

学习者终端3是能够连接到网络4的个人计算机、平板终端、智能手机等终端。学习者终端3具备用于显示动画等图像的显示部31和例如由麦克风和扬声器的组合构成的语音输入输出部32，只要是能够经由网络4访问学习辅助服务器1的终端即可。

在图1所示的本实施例中，处理单元10具有语音发送单元11、语音获取单元12、语音分析单元13、评价发送单元14、成绩制作单元15以及课程制作单元16。

语音发送单元11将存储在语音存储单元21中的样本语音经由网络4发送到学习者终端3，并从语音输入输出部32输出，同时发送对应于该样本语音的动画并将其显示在显示部31上，使学习者将该样本语音与该动画建立关联并进行识记。该动画不包括与要学习的语言相关的字符信息。

在本实施例中，语音发送单元11使学习者终端3的显示部31显示包括教师对象以及对应于样本语音的图像(例如“苹果”的图像)的动画。语音发送单元11在教师对象指向对应于样本语音的图像的同时，从语音输入输出部32输出样本语音(此处为“apple”的语音)，使学习者将样本语音和动画或动画中包含的图像建立关联并进行识记(此处为“苹果”的图像)。此时，在显示部31上不显示与要学习的语言相关的字符(此处为字符“apple”)。

语音获取单元12经由网络4将对应于上述样本语音的动画发送到学习者终端3并将其显示在显示部31上，要求学习者说出对应于动画或动画中包含的图像的单词或句子(此处为“apple”)。语音获取单元12经由网络4从语音输入输出部32获取学习者发出的学习者语音。优选地，在动画中，例如在教师对象指向对应于样本语音的“苹果”的图像的同时，语音获取单元12要求学习者发声。此时，在显示部31上也不显示与要学习的语言相关的“apple”的字符。

语音分析单元13分析经由网络4从学习者终端3获取的学习者语音，确定学习者，并评价其发音的准确性。在本实施例中，语音分析单元13通过语音认证从学习者的语音来确定学习者。各学习者的声纹与学习者的姓名等信息一起存储在存储单元20的学习情况存储单元22中。

在本实施例中，语音分析单元13具有：语音信号生成单元131，用于对语音进行A/D转换来生成语音信号；预处理单元132，用于分割所生成的语音信号；语音特征提取单元133，用于提取语音的频率特性；语音识别单元134，用于从语音中确定单词或者确定说话者；以及发音评价单元135，用于评价发音的准确性。

语音信号生成单元131在学习者终端3进行A/D转换，从学习辅助服务器1获取的语音数据中采样所需的部分，并进行量化。预处理单元132对语音信号进行放大处理，并进行帧分割来执行开窗处理。语音特征提取单元133对语音信号执行快速傅立叶变换(FFT处理)，应用梅尔滤波器组来计算对数值，执行离散余弦变换(DCT变换)和一阶微分变换来提取语音的频率特性。

语音识别单元134具有：学习者确定单元，用于将语音的频率特性与存储在存储单元20中的各学习者的声纹进行对照来确定学习者；解码单元，用于根据语音的频率特性对词语进行解码。发音评价单元135基于存储在存储单元20中的声学模型、词典模型以及语言模型，计算出用于评价语音准确性的声学得分和用于评价语言准确性的语言得分，来评价学习者的发音准确性，并将该评价存储在学习情况存储单元22中。

评价发送单元14将表示语音分析单元13评价的发音准确性评价的图像发送到学习者终端3。优选地，表示该评价的图像不包括字符，例如可以用曲线图或标记来表示评价内容。此外，表示该评价的图像也可以在动画中显示，最优选地，针对学习者的发声教师对象通过手势来表示评价。在本实施例中，评价发送单元14仅在发音准确性评价满足预定的基准值时，将表示该评价的图像发送到学习者终端3。另一方面，在发音准确性不满足预定的基准值时，语音发送单元11将样本语音及对应于该样本语音的动画反复发送到学习者终端3，使学习者将该样本语音与该动画或动画中包含的图像建立关联并进行识记。

在本实施例中，语音存储单元21具备：在各个单词以及句子中，将多个说话者的样本语音建立关联并进行存储的单元。语音发送单元11具备：在将样本语音反复发送到学习者终端3时，发送与之前发送的样本语音的说话者不同的说话者的样本语音的单元。当反复发送相同的单词或句子时，语音发送单元11可以在每次发送时都改变说话者，也可以每2～3次改变一次说话者。

成绩制作单元15基于存储在学习情况存储单元22中的发音准确性评价，制作包括每个学习者的学习进度以及较好的发音或较差的发音的成绩，并将该成绩存储在学习情况存储单元22中。此外，成绩制作单元15将所制作的成绩发送到学习者终端3。另外，成绩制作单元15也可以不将成绩发送到学习者终端3而是直接发送到监护人终端，或者除学习者终端3之外还将成绩发送到监护人终端。

课程制作单元16基于存储在学习情况存储单元22中的成绩，为每个学习者制作学习课程，并将该学习课程存储在学习情况存储单元22中。另外，课程制作单元16也可以基于语言学习中的发音准确性来修改学习课程。

在本实施例中，优选地，处理单元10具备学习者交流单元17，其基于每个学习者的成绩将各学习者分层为多个学习水平，并向学习者终端3发送用于向层内的多个学习者提供虚拟现实环境的动画，使多个学习者进行语音对话，其中，该层内包括学习水平相同的层或学习水平相同的层及其前后层。即使在这种情况下，语音分析单元13也被配置为分析学习者语音来确定学习者，并评价其发音的准确性，指出错误的发音。

另外，本发明的语言学习系统的配置不限于该实施例的方式，也可以采用其他各种实施方式。

[语言学习的流程]

以下，将参照图3～图5描述本实施例所涉及的语言学习系统的操作。图3是示出本发明所涉及的语言学习系统的个人认证的一个例子的流程图。图4是示出本发明所涉及的语言学习系统进行辅助学习的一个例子的流程图。图5是示出本发明所涉及的语言学习系统的语音分析的一个例子的流程图。此处，虽然描述的是学习者学习英语发音的情况，但是同样适用于其他语言。

[个人认证]

首先，参照图3描述本发明所涉及的语言学习系统的个人认证的一个例子。

例如学习者选择显示在学习者终端3的显示部31上的图标，并启动用于访问学习辅助服务器1的应用程序(步骤S1)。在本实施例中，学习者终端3在学习辅助服务器1中访问辅助学习英语发音的功能。

在已接受学习者终端3访问的学习辅助服务器1中，处理单元10根据来自学习者终端3的请求来辅助英语发音学习。首先，作为初始动画，例如处理单元10在学习者终端3的显示部31上显示包括教师对象的动画，同时从学习者终端3的语音输入输出部32输出“Hello！”等最初的问候语的样本语音(步骤S2)。此时，优选地，教师对象做出鼓励学习者发声的手势。

当学习者同样发出“Hello！”的问候语时，处理单元10获取从学习者终端3的语音输入输出部32输入的学习者语音(步骤S3)，分析该学习者语音并进行声纹认证(步骤S4)。学习者语音的分析步骤将在后面描述。

处理单元10将通过分析学习者语音而获得的声纹与预先存储在存储单元20中的注册者的声纹进行对照来确定学习者(步骤S5)。处理单元10获取与所获取的学习者语音的声纹相匹配的声纹的注册信息。此时，处理单元10也可以使教师对象说出学习者的姓名，或者使显示部31显示学习者预先注册的认证图像来认证学习者。

当认证学习者时，处理单元10执行该学习者的学习课程，该学习课程是基于存储在学习情况存储单元22中的该学习者学习的单词和句子的发音准确性评价而制作的。另一方面，当没有与所获取的学习者语音的声纹相匹配的声纹时，处理单元10将错误信息发送到学习者终端3并结束认证处理。

[学习课程的执行]

然后，参照图4描述本发明所涉及的语言学习系统进行辅助学习的一个例子。

处理单元10通过语音发送单元11，将所要学习的语言，例如英语的样本语音及对应于该样本语音的动画发送到学习者终端3，使学习者将样本语音与动画或动画中包含的图像建立关联并进行识记(步骤S11)。具体地，语音发送单元11使学习者终端3的显示部31显示包括教师对象以及对应于样本语音的图像(例如“苹果”的图像)的动画，在教师对象指向该图像的同时，从语音输入输出部32输出样本语音(此处为“apple”的语音)，使学习者将样本语音和动画中包含的图像建立关联并进行识记。

然后，处理单元10通过语音获取单元12只发送动画而不发送样本语音到学习者终端3，在显示部31上显示包括“苹果”图像的动画，并要求学习者说出对应于“苹果”的图像的英文单词“apple”(步骤S12)。此时，处理单元10在教师对象指向“苹果”的图像的同时向学习者终端3发送要求发声的动画。

当学习者向学习者终端3说出“apple”时，处理单元10获取从学习者终端3的语音输入输出部32输入的学习者语音(步骤S13)。从语音输入输出部32输入的学习者语音在学习者终端3的处理部进行A/D转换，并经由网络4发送到学习辅助服务器1。处理单元10将所获取的学习者语音临时存储在存储单元20中。

处理单元10通过语音分析单元13分析所获取的学习者语音，来评价发音的准确性(步骤S14)。语音分析单元13从所获取的语音中确定在步骤S4中已认证的学习者的语音，并针对该学习者语音评价发音的准确性。学习者语音的评价步骤将在后面描述。

处理单元10将由语音分析单元13评价的发音准确性评价与预先设定的预定基准值进行比较(步骤S15)。在发音准确性评价满足预定的基准值时，处理单元10通过评价发送单元14将表示语音分析单元13评价的发音准确性评价的图像或者包括该图像的动画发送到学习者终端3，并在显示部31上显示(步骤S16)。具体地，评价发送单元14响应于学习者的发声，使教师对象通过手势来表示评价。例如，评价的不同可以通过教师对象的手势的大小来表示，手势越大，评价越高。

另一方面，在发音准确性评价不满足预定的基准值时，处理单元10返回到步骤S11，通过语音发送单元11，将学习语言，即英语的样本语音及对应于该样本语音的动画再次发送到学习者终端3，使学习者将样本语音与动画或动画中包含的图像建立关联并进行识记。此时，语音发送单元11也可以发送与之前发送的样本语音的说话者不同的说话者的样本语音。

在发音准确性评价满足预定的基准值时，处理单元10基于学习者的学习课程，将下一个单词或句子的样本语音发送到学习者终端3，反复执行从步骤S11到步骤S16的处理直到语言学习结束(步骤S17)。

当基于学习课程的语言学习结束时，或者当学习者在学习者终端3选择语言学习结束时，处理单元10将所学习的单词及句子的发音准确性评价存储到学习情况存储单元22中(步骤S18)。

然后，处理单元10通过成绩制作单元15，基于存储在学习情况存储单元22中的发音准确性评价，制作包括学习者的学习进度以及较好的发音或较差的发音的成绩，存储在存储单元20中并将该成绩发送到学习者终端3(步骤S19)。此外，处理单元10也可以不将成绩发送到学习者终端3而只是发送到监护人终端，或者除学习者终端3之外还将成绩发送到监护人终端。此时，处理单元10也可以周期性地将成绩发送到监护人终端，例如每月一次。

此外，处理单元10基于由成绩制作单元15制作的成绩，为每个学习者制作学习课程，并存储在存储单元20中。另外，处理单元10也可以基于语言学习中的发音准确性来修改学习课程。

[学习者语音的分析]

参照图5描述本发明所涉及的语言学习系统的语音分析的一个例子。

处理单元10获取由学习者终端3的语音输入输出部32输入的、并经过A/D转换的语音数据，从该语音数据中采样语音部分，并进行量化来生成学习者的语音信号(步骤S21)。

处理单元10通过预处理单元，对语音信号进行放大处理，并进行帧分割来执行开窗处理(步骤S22)。此外，处理单元10通过语音特征提取单元，对语音信号执行快速傅立叶变换(FFT处理)，应用梅尔滤波器组来计算对数值，执行离散余弦变换(DCT变换)和一阶微分变换来提取语音的频率特性(步骤S23)。

处理单元10通过语音识别单元，将语音的频率特性与存储在存储单元20中的各学习者的声纹进行对照来确定学习者(步骤S24)，在上述个人认证中，处理单元10在必要时可以对确定的学习者进行追加认证手续来结束个人认证处理。此外，在学习课程中，处理单元10判定语音的频率特性是否与已认证的学习者的声纹相匹配(步骤S25)，不匹配时，反复执行从步骤S21到步骤S25的处理。

在学习课程中，处理单元10通过语音识别单元将语音的频率特性解码为相应的音素(步骤S24)。在步骤S25中，在语音的频率特性与已认证的学习者的声纹相匹配时，处理单元10反复执行从步骤S23到步骤S24的处理，直到将所有帧的语音的频率特性解码为相应的音素(步骤S26)。

当将所有帧的语音的频率特性解码为相应的音素时，处理单元10通过发音评价单元，基于存储在存储单元20中的声学模型、词典模型以及语言模型，计算出用于评价语音准确性的声学得分和用于评价语言准确性的语言得分，来评价学习者的发音的准确性(步骤S27)。

实施例2

作为本发明的另一个实施例，语音发送单元11具备：在从学习者终端3的语音输入输出部32输出样本语音之后，对应于该样本语音来改变图像并将其显示在学习者终端3的显示部31上的单元。此时，评价发送单元14具备：在发音准确性评价满足预定的基准值时，对应于样本语音来改变图像并将其显示在学习者终端3的显示部31上的单元。在该图像中，除静止图像之外，还包括动态图像，并且改变后的图像优选地是对应于样本语音的动画。

具体地，语音发送单元11使学习者终端3的显示部31显示包括教师对象的动画，并从语音输入输出部32输出该教师对象发出的命令、情感表达等语言的语音。然后，语音发送单元11对与命令、情感表达等的语言对应地改变的动画进行显示，并使学习者将该样本语音和该图像的改变建立关联并进行识记(对应于命令的行为、情感表达)。

例如，语音发送单元11使学习者终端3的显示部31显示除教师对象之外，还包括学生对象的动画。当语音发送单元11使教师对象说出“Clap your hands.”的样本语音时，对应于该样本语音显示学生对象轻拍双手的动画，使学习者将学习语言的命令句“Clap yourhands.”与对应于该命令的动作“轻拍双手”建立关联并进行识记。

语音获取单元12只发送包括教师对象和学生对象的动画，而不发送样本语音到学习者终端3，并要求学习者说出“Clap your hands.”。此时，语音获取单元12也可以使教师对象做出要求发声的手势。

评价发送单元14在语音分析单元13评价的发音准确性评价满足预定的基准值时，与样本语音对应地改变图像并将其显示在学习者终端3的显示部31上。此处，评价发送单元14使显示部31显示对应于样本语音“Clap your hands.”的动画(学生对象轻拍双手)。此外，评价的不同也可以通过教师对象的手势的大小来表示。其他配置与实施例1的配置相同。

产业上的可利用性

本发明提供了一种适于外语发音学习并可以以较低的负担和成本应对多种语言学习的、利用语音和图像的成绩反映型语言学习系统。

符号说明

1 学习辅助服务器

3 学习者终端

4 网络

10 处理单元

11 语音发送单元

12 语音获取单元

13 语音分析单元

14 评价发送单元

15 成绩制作单元

16 课程制作单元

17 学习者交流单元

20 存储单元

21 语音存储单元

22 学习情况存储单元

31 显示部

32 语音输入输出部