虚拟现实及AI识别英语学习系统

摘要

本发明涉及一种虚拟现实及AI识别英语学习系统，包括虚拟现实再现部和内容提供部，虚拟现实再现部包括：语音扬声器，其向使用者输出内容的语音；麦克风，其感知使用者的语音；使用者终端，使用者终端控制语音扬声器和显示器；显示器，其以视觉表现内容提供部通过使用者终端提供的内容的影像；内容提供部包括：学习课题选择部，其提供课题选择菜单，或以使用者的学习信息为基础推荐课题选择菜单；学习等级选择部，其针对在学习课题选择部选择的学习课题提供菜单，或根据使用者的学习等级自动指定等级；学习进行部，其根据前步骤选择或指定的学习课题及学习等级进行英语学习；学习数据管理部，其对借助于学习进行部进行的英语学习课题的评价结果。

说明书

技术领域

本发明涉及一种使用者可以在虚拟现实中进行如同实际的体验并学习英语的虚拟现实及AI识别英语学习系统。

背景技术

韩国专利第10-1770220号涉及一种外语学习服务系统，包括提供虚拟现实影像的服务提供服务器，所述服务提供服务器包括：通信部，所述通信部与要接受外语学习服务的使用者佩戴的至少一个第一使用者终端及讲师使用的第二使用者终端进行网络；模拟选择部，所述模拟选择部从所述第一使用者终端接受选择在多个模拟场景中要学习的模拟场景；影像提供部，所述影像提供部将与所述使用者及所述讲师对应的角色分别反映于在数据库存储的多个模拟场景的虚拟现实影像中与所述选择的模拟场景对应的虚拟现实影像，分别提供给所述第一使用者终端及第二使用者终端；语音提供部，所述语音提供部从所述第一使用者终端接受语音输入并传输给所述第二使用者终端；及控制部，所述控制部在设置时间以上未从所述第一使用者终端输入语音，或捕捉随着使用者视线而变化的所述第一使用者终端的角色的表情及视线时，使得通过所述第一使用者终端输出警告音或警告画面，在多个第一使用者终端进行网络连接的情况下，如果从某一个第一使用者终端连续输入语音超过设置次数以上，则将在从另一个第一使用者终端输入语音之前所输入的语音进行静音处理；模拟场景由多个阶段场景构成，如果从所述第二使用者终端接收对相应阶段场景的学习完成信息，则所述影像提供部将与下个阶段场景对应的虚拟现实影像分别提供给所述第一使用者终端及第二使用者终端。

以往的英语学习作为利用远程通信的1：1学习或初期阶段的虚拟现实学习方法，在激发学习者兴趣方面不足，学习效果微乎其微，几乎没有成功的产品。

发明内容

本发明旨在提供一种虚拟现实及AI识别英语学习系统技术，摆脱诸如原有1:1对话等的枯燥的英语学习方法，使用者选择置身异国虚拟空间(例如机场、地铁、加油站、住宿设施、饭店)环境的执行课题，在该虚拟空间内，在与NPC(对方角色)互致对话或表情的同时，如同游戏及旅行般进行英语学习及提高对话能力。

本发明旨在提供一种虚拟现实及AI识别英语学习系统技术，评价基于使用者虚拟体验的学习结果并存储管理，从而能够以此为基础向使用者推荐课题并进行评价，可以在系统地管理使用者的英语学习过程的同时，诱导发展方向。

另外，本发明旨在提供一种虚拟现实及AI识别英语学习系统技术，不仅是使用者的语音识别，还能够实现基于表情动作识别的使用者化身的动画，能够增大虚拟空间的现实感和与化身的一体感。另外，旨在提供一种虚拟现实及AI识别英语学习系统技术，通过人工智能手段捕获单词句子的感情并反映于使用者化身或NPC的表情，从而更具现实感。

另外，旨在提供一种虚拟现实及AI识别英语学习系统技术，当使用者英语沟通困难时，如果英语不足的使用者用韩语请求帮助，则英语用字幕表现，即使在使用者英语不足的情况下，也可以在继续体检的同时提高英语实力。

本发明的虚拟现实及AI识别英语学习系统涉及利用虚拟现实的英语学习系统，其特征在于，包括虚拟现实再现部和内容提供部构成，其中，所述虚拟现实再现部包括：语音扬声器，所述语音扬声器向使用者输出内容的语音；麦克风，所述麦克风感知使用者的语音；使用者终端，所述使用者终端将所述麦克风的语音信号提供给内容提供部，控制所述语音扬声器和显示器；显示器，所述显示器以视觉方式表现内容提供部通过所述使用者终端提供的内容的影像；

所述内容提供部包括：学习课题选择部，所述学习课题选择部提供课题选择菜单以便使用者能够选择学习课题，或以学习数据管理部存储的使用者的学习信息为基础推荐课题选择菜单；学习等级选择部，所述学习等级选择部针对在所述学习课题选择部选择的学习课题提供菜单以便使用者能够选择等级(难易度)，或根据学习数据管理部存储的使用者的学习等级，自动指定使用者的等级(难易度)；

学习进行部，所述学习进行部根据前步骤选择或指定的学习课题及学习等级进行英语学习；学习数据管理部，所述学习数据管理部存储管理对借助于所述学习进行部进行的使用者的英语学习课题的评价结果。

根据本发明，提供一种虚拟现实及AI识别英语学习系统技术，摆脱诸如原有1:1对话等的枯燥的英语学习方法，使用者选择置身异国虚拟空间(例如机场、地铁、加油站、住宿设施、饭店)环境的执行课题，在该虚拟空间内，在与NPC(对方角色)互致对话或表情的同时，如同游戏及旅行般进行英语学习及提高对话能力。

另外，根据本发明，提供一种虚拟现实及AI识别英语学习系统技术，评价基于使用者虚拟体验的学习结果并存储管理，从而能够以此为基础向使用者推荐课题并进行评价，可以在系统地管理使用者的英语学习过程的同时，诱导发展方向。

另外，根据本发明，提供一种虚拟现实及AI识别英语学习系统技术，不仅是使用者的语音识别，还能够实现基于表情动作识别的使用者化身的动画，能够增大虚拟空间的现实感和与化身的一体感。另外，旨在提供一种虚拟现实及AI识别英语学习系统技术，通过人工智能手段捕获单词句子的感情并反映于使用者化身或NPC的表情，从而更具现实感。

另外，提供一种虚拟现实及AI识别英语学习系统技术，当使用者英语沟通困难时，如果英语欠佳的使用者用韩语请求帮助，则英语用字幕表现，即使在使用者英语不足的情况下，也可以在继续体验的同时提高英语实力。

附图说明

图1是本发明一个实施例的虚拟现实及AI识别英语学习系统整体构成图。

图2是本发明一个实施例的虚拟现实及AI识别英语学习系统内容提供部详细构成图。

附图标记

100：虚拟现实再现部 110：语音扬声器

120：麦克风 130：使用者终端

140：显示器 150：摄像机

200：内容提供部 210：学习课题选择部

270：学习数据管理部 230：学习等级选择部

300：学习进行部 310：库

320：化身及NPC影像生成部 330：使用者语音识别部

331：英语识别部 335：韩语识别部

340：使用者语音回答评价部 350：NPC语音应答生成部

360：句子单词感情推定部

370：化身及NPC表情影像生成部

380：AI使用者动作表情识别部

390：使用者表情及动作影像反映部

410：英语变换部

420：英语字幕影像生成部

430：修订句子建议部

具体实施方式

下面参照附图，对本发明的虚拟现实及AI识别英语学习系统进行详细说明。图1是本发明一个实施例的虚拟现实及AI识别英语学习系统整体构成图，图2是本发明一个实施例的虚拟现实及AI识别英语学习系统内容提供部详细构成图。

如图1、图2所示，本发明的虚拟现实及AI识别英语学习系统包括虚拟现实再现部100和内容提供部200构成。

在利用虚拟现实的英语学习系统中，虚拟现实再现部100包括：语音扬声器110，所述语音扬声器110向使用者输出内容的语音；麦克风120，所述麦克风120感知使用者的语音；使用者终端130，所述使用者终端130将所述麦克风120的语音信号提供给内容提供部100，控制所述语音扬声器110和显示器140；显示器140，所述显示器140以视觉方式表现内容提供部200通过所述使用者终端130提供的内容的影像。

如图1、图2所示，内容提供部200包括学习课题选择部210、学习等级选择部230、学习进行部300和学习数据管理部270。

学习课题选择部210提供课题选择菜单以便使用者能够选择学习课题，或以学习数据管理部270存储的使用者的学习信息为基础推荐课题选择菜单。

学习等级选择部230针对在学习课题选择部210选择的学习课题提供菜单以便使用者能够选择等级(难易度)，或根据学习数据管理部270存储的使用者的学习等级，自动指定使用者的等级(难易度)。

学习进行部300根据前步骤选择或指定的学习课题及学习等级进行英语学习。

学习数据管理部270存储管理对借助于学习进行部300进行的使用者的英语学习课题的评价结果。

如图1、图2所示，在本发明的虚拟现实及AI识别英语学习系统中，学习进行部300包括：库310，所述库310存储有化身及NPC角色影像、按学习课题等级构成的三维背景及空间影像、NPC英语台词信息；化身及NPC影像生成部320，所述化身及NPC影像生成部320将从所述库310导入的化身及NPC影像形成动画；使用者语音识别部330，所述使用者语音识别部330感知所述麦克风120感知的使用者的语音，利用人工智能手段变换成语言；使用者语音回答评价部340，所述使用者语音回答评价部340利用所述使用者语音识别部330的使用者语音识别结果，判断回答或各场景内容的适合性；NPC语音应答生成部350，所述NPC语音应答生成部350以所述使用者语音识别部330与使用者语音回答评价部340的评价结果为基础，生成NPC的应答英语语音。

<句子感情化身影像反映功能>

如图1、图2所示，在本发明的虚拟现实及AI识别英语学习系统中，学习进行部300还包括：句子单词感情推定部360，所述句子单词感情推定部360以NPC的语音应答内容及所述使用者语音识别部330的翻译内容为基础，推定句子单词的感情；化身及NPC表情影像生成部370，所述化身及NPC表情影像生成部370生成表现所述句子单词感情推定部360提供的使用者及NPC的推定感情的脸部表情动画数据。化身及NPC影像生成部320追加整合化身及NPC表情影像生成部370提供的脸部表情影像动画数据而生成影像。

<使用者表情及动作识别功能>

如图1、图2所示，在本发明的虚拟现实及AI识别英语学习系统中，虚拟现实再现部100还包括拍摄使用者的动作及表情的摄像机150构成。学习进行部300还包括：AI使用者动作表情识别部380，所述AI使用者动作表情识别部380利用人工智能分析所述摄像机150的使用者影像，提取动作及表情；使用者表情及动作影像反映部390，所述使用者表情及动作影像反映部390将所述AI使用者动作表情识别部380提取的使用者的动作及表情反映于内容的使用者化身影像。AI使用者动作表情识别部380提取的使用者的动作及表情与使用者语音回答评价部340的评价结果一同传输给NPC语音应答生成部350，用作生成NPC英语应答的基础资料。

<韩语辅助功能>

如图1、图2所示，在本发明的虚拟现实及AI识别英语学习系统中，使用者语音识别部330由英语识别部331以及韩语识别部335构成，当借助于所述英语识别部331无法变换为英语文字(语音变换成英语文字)时，所述韩语识别部335将使用者语音变换成韩语文字(语音变换成韩文文字)。

学习进行部300还包括英语变换部410和英语字幕影像生成部420构成，英语变换部410将所述韩语识别部335生成的韩语文字变换成英语文字，英语字幕影像生成部420将变换的英语文字生成为字幕影像，与所述化身及NPC影像生成部320提供的影像一同显示。当使用者英语语音表现困难而用韩语说时，将其翻译并生成英语字幕，从而辅助使用者的学习。

<修订句子建议部>

如图1、图2所示，在本发明的虚拟现实及AI识别英语学习系统中，优选学习进行部300还包括修订句子建议部430，所述修订句子建议部430在使用者语音回答评价部340判断使用者的回答不适合时，生成用字幕在使用者显示器140中显示的修订句子并提供。

优选学习数据管理部270将对使用者的英语学习课题的评价结果分成听力(Listening)、语法、词汇能力及发音领域进行评价管理。

本发明就上述提及的优选实施例进行了说明，但并非本发明的范围限定于这种实施例，本发明的范围根据以下的权利要求书确定，可以包括属于与本发明均等范围的多样修订及变形。

需要指出的是，以下权利要求书记载的附图标记单纯用于辅助发明的理解，不影响权利范围的解释，不得根据记载的附图标记而收窄解释权利范围。