智能听写方法和智能听写系统

摘要

本发明公开一种智能听写方法和智能听写系统，该智能听写方法包括点阵笔在听写纸的播放音频区域上进行操作，采集播放音频区域的点阵码对应的当前位置信息，将当前位置信息发送给智能终端；智能终端接收当前位置信息，根据当前位置信息，播放当前位置信息对应的听写音频；点阵笔在播放音频区域对应的书写区域进行书写，采集在书写区域上形成的包含书写信息的待识别图像，将待识别图像发送给服务器；服务器接收待识别图像，对待识别图像中的书写信息和听写音频进行判别处理，获取书写判别结果，将书写判别结果发送给智能终端；智能终端接收书写判别结果，显示或播放书写判别结果。本方明的智能听写方法，可以提高智能听写自动化程度。

说明书

技术领域

本发明涉及智能听写技术领域，尤其涉及一种智能听写方法和智能听写系统。

背景技术

众所周知，听写是掌握知识的一种有效方法，特别是对于学习语言，通过听写可以有效了解语言的掌握程度。

目前，已经可以实现自动化听写，预先在关联终端中存储音频，点击音频播放按键，则可以自动化播放听写音频。但是，自动化听写时，需要学习人员在关联终端上操作，才能听写音频或者关闭音频，若是学习人员听不清楚，则学习人员需要反复操作关联终端，自动化程度低，不便于学习人员学习；且目前听写音频的速度是固定的，无法满足学习人员在不同阶段的学习需求；学习人员听写结束后，还需要人工判别，自动化程度低，人力成本高，花费时间长。

发明内容

本发明实施例提供一种智能听写方法和智能听写系统，以解决自动化听写中自动化程度低和无法满足学习人员的学习需求的问题。

一方面，

本实施例提供一种智能听写方法，包括：

点阵笔在听写纸的播放音频区域上进行操作，采集所述播放音频区域的点阵码对应的当前位置信息，将所述当前位置信息发送给智能终端；

智能终端接收所述当前位置信息，根据所述当前位置信息，播放所述当前位置信息对应的听写音频；

点阵笔在所述播放音频区域对应的书写区域进行书写，采集在所述书写区域上形成的包含书写信息的待识别图像，将所述待识别图像发送给服务器；

服务器接收所述待识别图像，对所述待识别图像中的书写信息和所述听写音频进行判别处理，获取书写判别结果，将所述书写判别结果发送给智能终端；

智能终端接收所述书写判别结果，显示或播放所述书写判别结果。

优选地，所述点阵笔在听写纸的播放音频区域上进行操作，采集所述播放音频区域的点阵码对应的当前位置信息，包括：

当点阵笔在听写纸的播放音频区域上进行操作，点阵笔内的压力传感器采集第一压力信号，将所述第一压力信号发送给阵笔内的笔处理器；

所述笔处理器根据第一压力信号控制摄像头拍摄点阵笔与听写纸的接触位置，形成第一拍摄图像；

基于所述第一拍摄图像，得到所述接触位置的点阵码对应的坐标信息和页码信息，将所述坐标信息和页码信息确定为所述当前位置信息。

优选地，所述根据所述当前位置信息，播放所述当前位置信息对应的听写音频，包括：

判断是否存在与所述当前位置信息相对应的当前播放速度；

若存在与所述当前位置信息相对应的当前播放速度，将所述当前播放速度确定为目标播放速度；

若不存在与所述当前位置信息相对应的当前播放速度，则执行速度确定策略，确定目标播放速度；

根据所述目标播放速度，播放所述当前位置信息对应的听写音频。

优选地，所述执行速度确定策略，确定目标播放速度，包括：

判断所述当前位置信息对应的听写音频是否存在历史播放信息；

若所述听写音频存在历史播放信息，则基于所述历史播放信息中的历史播放速度，确定目标播放速度；

若所述听写音频不存在历史播放信息，则根据听写纸，获取目标播放速度。

优选地，所述点阵笔在听写纸的播放音频区域上进行操作，采集所述播放音频区域的点阵码对应的当前位置信息，还包括：

采集所述当前位置信息对应的音频速度图标；

所述执行速度确定策略，确定目标播放速度，还包括：

若所述听写音频不存在历史播放信息，则根据所述所述当前位置信息对应的音频速度图标，确定目标播放速度。

优选地，所述基于所述历史播放信息中的历史播放速度，确定目标播放速度，包括：

基于所述历史播放信息，获取最近历史播放时间和当前时间之间的目标时间间隔；

判断所述目标时间间隔是否大于预设间隔时长；

若所述目标时间间隔大于预设间隔时长，则根据听写纸，获取目标播放速度；

若所述目标时间间隔不大于预设间隔时长，则将所述最近历史播放时间对应的历史播放速度，确定为目标播放速度。

优选地，所述点阵笔在听写纸的播放音频区域上进行操作，采集所述播放音频区域的点阵码对应的当前位置信息，还包括：采集所述当前位置信息对应的音频速度图标；

所述基于所述历史播放信息中的历史播放速度，确定目标播放速度，还包括：

若所述目标时间间隔大于预设间隔时长，则根据所述当前位置信息对应的音频速度图标，确定目标播放速度。

优选地，所述对所述待识别图像中的书写信息和所述听写音频进行判别处理，获取书写判别结果，包括：

采用目标可微二值化分割模型对所述待识别图像中的书写信息进行检测，截取包含所述书写信息的当前截取图像；

采用目标循环神经网络模型对所述当前截取图像中的书写信息进行识别，确定当前识别文字；

根据所述当前位置信息，确定标准识别文字；

根据所述当前识别文字和所述标准识别文字，获取书写判别结果。

优选地，在所采集所述播放音频区域的点阵码对应的当前位置信息之后，所述智能听写方法还包括：

点阵笔根据所述当前位置信息，控制智能终端显示与听写纸具有相同内容的页面；

在所述点阵笔在所述播放音频区域对应的书写区域进行书写时，所述方法还包括：

点阵笔根据所述第一压力信号和第一拍摄图像控制智能终端生成书写轨迹。

优选地，在所述服务器接收所述待识别图像，对所述待识别图像中的书写信息和所述听写音频进行判别处理，获取书写判别结果之后，所述智能听写方法还包括：所述服务器还用于与关联终端连接，用于将所述书写判别结果发送所述关联终端。

另一方面，

本实施例提供一种智能听写系统，包括：点阵笔、智能终端和服务器；所述点阵笔与所述智能终端通信连接；所述服务器与所述智能终端通信连接；

所述点阵笔，用于在听写纸的播放音频区域上进行操作，采集所述播放音频区域的点阵码对应的当前位置信息，将所述当前位置信息发送给智能终端；

所述智能终端，用于接收所述当前位置信息，根据所述当前位置信息，播放所述当前位置信息对应的听写音频；

所述点阵笔，用于在所述播放音频区域对应的书写区域进行书写，采集在所述书写区域上形成的包含书写信息的待识别图像，将所述待识别图像发送给服务器；

所述服务器，用于接收所述待识别图像，对所述待识别图像中的书写信息和所述听写音频进行判别处理，获取书写判别结果，将所述书写判别结果发送给智能终端；

所述智能终端，用于接收所述书写判别结果，显示或播放所述书写判别结果。

优选地，所述点阵笔包括本体、笔头、压力传感器、摄像头、笔处理器和通信模块；

所述笔头设置在所述本体的一端上，用于与听写纸接触；

所述压力传感器设置在所述笔头远离所述本体的一端上，用于采集所述笔头与所述听写纸之间形成的第一压力信号；

所述摄像头上设置在所述本体上，用于拍摄所述笔头与所述听写纸接触时的第一拍摄图像，所述第一拍摄图像包括所述笔头与所述听写纸接触位置对应的点阵码；

所述笔处理器，设置在所述本体上，与所述压力传感器、所述摄像头和所述通信模块相连，用于根据所述第一压力信号，控制所述摄像头拍摄所述第一拍摄图像，根据所述第一拍摄图像中的点阵码，得到所述接触位置的点阵码对应的坐标信息和页码信息，将所述坐标信息和页码信息确定为所述当前位置信息。

本发明实施例提供一种智能听写方法和智能听写系统，包括点阵笔在听写纸的播放音频区域上进行操作，采集播放音频区域的点阵码对应的当前位置信息，将当前位置信息发送给智能终端。智能终端接收当前位置信息，根据当前位置信息，播放当前位置信息对应的听写音频，以实现自动化控制当前位置信息对应的听写音频播放。点阵笔在播放音频区域对应的书写区域进行书写，采集在书写区域上形成的包含书写信息的待识别图像，将待识别图像发送给服务器，为自动化确定书写信息的准确性技术支持，提高智能听写自动化程度。服务器接收待识别图像，对待识别图像中的书写信息和听写音频进行判别处理，获取书写判别结果，将书写判别结果发送给智能终端；以实现自动完成听写的准确性判别，提高自动化程度。智能终端接收书写判别结果，显示或播放书写判别结果，以便学习人员了解书写情况，实现智能化听写和判别，减少人力成本。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中听写纸的结构示意图；

图2是本发明一实施例中智能听写系统的结构示意图；

图3是本发明一实施例中听写纸和智能终端的结构示意图；

图4是本发明一实施例中智能听写方法的一流程示意图；

图5是本发明一实施例中智能听写方法的另一流程示意图；

图6是本发明一实施例中智能听写方法的另一流程示意图；

图7是本发明一实施例中智能听写方法的另一流程示意图；

图8是本发明一实施例中智能听写方法的另一流程示意图；

图9是本发明一实施例中智能听写方法的另一流程示意图；

图10是本发明一实施例中智能听写方法的另一流程示意图；

图11是本发明一实施例中智能听写方法的另一流程示意图；

图12是本发明一实施例中智能听写方法的另一流程示意图。

附图说明：

10、听写纸；11、播放音频区域；12、书写区域；13、播放速度图标；14、点阵码；

20、点阵笔；21、本体；22、压力传感器；23、摄像头；24、笔处理器；25、通信模块；26、笔存储器；

30、智能终端；

40、服务器。

具体实施方式

为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明的描述中，需要理解的是，术语“纵向”、“径向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

如图1-3所示，本发明实施例提供一种智能听写系统，包括：点阵笔20、智能终端30和服务器40；点阵笔20与智能终端30通信连接；服务器40与智能终端30通信连接；点阵笔20，用于在听写纸10的播放音频区域11上进行操作，采集播放音频区域11的点阵码14对应的当前位置信息，将当前位置信息发送给智能终端30；智能终端30，用于接收当前位置信息，根据当前位置信息，播放当前位置信息对应的听写音频；点阵笔20，用于在播放音频区域11对应的书写区域12进行书写，采集在书写区域12上形成的包含书写信息的待识别图像，将待识别图像发送给服务器40；服务器40，用于接收待识别图像，对待识别图像中的书写信息和听写音频进行判别处理，获取书写判别结果，将书写判别结果发送给智能终端30；智能终端30，用于接收书写判别结果，显示或播放书写判别结果。

具体地，听写纸10上铺设有点阵码14，点阵码14携带有点阵码14在听写纸10中的坐标信息和听写纸10的页码信息；预先将坐标信息和页码信息，与听写音频关联存储在音频关联列表中；当学习人员采用点阵笔20操作听写纸10的播放音频区域11时，阵笔的笔处理器24，利用点阵笔20点的摄像头23拍摄的图像，确定播放音频区域11对应的当前位置信息，并将当前位置信息发送给智能终端30；当智能终端30接收到当前位置信息，则智能终端30的音频处理器可以根据当前位置信息查询音频关联表，确定当前位置信息对应的听写音频，以实现自动化控制当前位置信息对应的听写音频播放。当服务器 40接收到待识别图像后，则根据待识别图像，生成书写判别结果，实现自动完成听写的准确性判别，提高自动化程度。服务器40将书写判别结果发送给智能终端30，当智能终端 30接收到书写判别结果，则将在显示屏上显示或者播放书写判别结果，以便学习人员了解书写情况，实现智能化听写和判别，减少人力成本，提高自动化程度。

本实施例，听写纸10被划分出至少一个听写音频区域和至少一个书写区域12，则学习人员可以直观清楚地确定用于控制播放播放音频区域11和用于书写的书写区域12，便于操作和辨识。

如图1所示，作为一示例，包括本体21、笔头、压力传感器22、摄像头23、笔处理器24和通信模块25；笔头设置在本体21的一端上，用于与听写纸10接触；压力传感器 22设置在笔头远离本体21的一端上，用于采集笔头与听写纸10之间形成的第一压力信号；摄像头23上设置在本体21上，用于拍摄笔头与听写纸10接触时的第一拍摄图像，第一拍摄图像包括笔头与听写纸10接触位置对应的点阵码14；笔处理器24，设置在本体21 上，与压力传感器22、摄像头23和通信模块25相连，用于根据第一压力信号，控制摄像头23拍摄第一拍摄图像，根据第一拍摄图像中的点阵码14，得到接触位置的点阵码14对应的坐标信息和页码信息，将坐标信息和页码信息确定为当前位置信息。

本实施例中，压力传感器22采集第一压力信号，将第一压力信号发送给阵笔内的笔处理器24；笔处理器24在压力心信号满足摄像头23开启条件时，则控制摄像头23拍摄得到第一拍摄图像，以实现精准控制摄像头23。笔处理器24对第一拍摄图像进行处理，实现快速地得到接触位置的当前位置信息，以便根据当前位置信息控制对应的听写音频播放，实现智能播放听写音频，减少学习人员操作，有利于学习人员学习。

本实施例中，该点阵笔20还包括笔存储器26和笔电池，笔存储器26与通信模块25和笔处理器24连接，用于存储目标图像等；笔电池28用于为压力传感器22、摄像头23、笔处理器24、通信模块25和笔存储器26供电。

实施例2

如图4所示，本发明实施例提供一种智能听写方法，包括：

S401：点阵笔在听写纸的播放音频区域上进行操作，采集播放音频区域的点阵码对应的当前位置信息，将当前位置信息发送给智能终端。

其中，当前位置信息是指点阵笔20与听写纸10的接触位置的点阵码14对应的信息，该当前位置信息包括坐标信息和页码信息，坐标信息指示点阵笔20与听写纸10的接触位置的点阵码14在听写纸10的坐标信息；页码信息是指听写纸10的页码。

本实施例中，听写纸10铺设有点阵码14，点阵码14包含了点阵码14在听写纸10 中的坐标信息和听写纸10的页码信息，预先将坐标信息和页码信息，与听写音频关联存储在音频关联列表中。当采用点阵笔20操作播放音频区域11时，点阵笔20的笔处理器 24确定点阵笔20与听写纸10的接触位置对应的当前位置信息，以便后续根据当前位置信息确定对应的听写音频。其中，音频关联表记录了听写纸10的页面信息和坐标信息与听写音频的关联关系的表。

本实施例中，听写纸10包括至少一个播放音频区域11和对应的书写区域12，每一播放音频区域11与一个听写音频对应，当采用点阵笔20操作一个播放音频区域11时，则播放该播放音频区域11对应的听写音频，操作简单，不需要操作终端设备，客观上使听写者集中注意力，减少干扰；同时实现随点随听，可以从任意位置开启听写，便于学习人员学习。

S402：智能终端接收当前位置信息，根据当前位置信息，播放当前位置信息对应的听写音频。

本实施例中，预先将听写纸10的页面信息和坐标信息与听写音频关联存储在智能终端30的音频关联列表中；当采用点阵笔20操作播放音频区域11时(该操作可以为点击、划线或者圈选等)，点阵笔20采集播放音频区域11中，被操作位置对应的当前位置信息，并将当前位置信息发送给智能终端30；当智能终端30接收到当前位置信息，则智能终端 30的音频处理器可以根据当前位置信息查询音频关联表，确定当前位置信息对应的听写音频，以实现自动化控制当前位置信息对应的听写音频播放。

本实施例中，智能终端30可以是智能手机、智能手表和蓝牙音箱中的任一种。

S403：点阵笔在播放音频区域对应的书写区域进行书写，采集在书写区域上形成的包含书写信息的待识别图像，将待识别图像发送给服务器。

其中，书写信息是学习人员在书写区域12书写的文字信息。待识别图像是书写完成后，存储文字信息的图像。

具体地，当学习人员采用点阵笔20在书写区域12进行书写时，利用点阵笔20的摄像头23进行拍摄在书写区域12上形成的包含书写信息的待识别图像，将待识别图像发送给服务器40，以利用服务器40确自动化确定书写信息的准确性，提高智能听写自动化程度。

本实施例中，点阵笔20上还设置有结束按钮，当一个听写音频播放结束，并书写完成，则学习人员点击结束按钮，以向点阵笔20的笔处理器24发送结束信息，笔处理器24 根据结束信息控制点阵笔20采集待识别图像，将待识别图像发送给服务器40，以实现实时判别处理，异步进行判别处理，可以保证判别的有序进行；或者，可以在所有听写音频播放结束时，点阵笔20才采集待识别图像，减少服务器40判别时长，在此不做限定。

S404：服务器接收待识别图像，对待识别图像中的书写信息和听写音频进行判别处理，获取书写判别结果，将书写判别结果发送给智能终端。

本实施例中，当服务器40接收到待识别图像后，则根据待识别图像，确定书写信息的文字边框，以根据文字边框截取达到仅包含书写信息的图像，对仅包含书写内容的图像进行文字识别，得到当前识别文字；接着根据听写音频查询数据库，得到听写音频中的包含的标准识别文字；若当前识别文字和标准识别文字是一致的，则生成书写准确的书写判别结果；若当前识别文字和标准识别文字不一致，则生成书写错误的书写判别结果，以实现自动完成听写的准确性判别，提高自动化程度。

S405：智能终端30接收书写判别结果，显示或播放书写判别结果。

本实施例中，当智能终端30接收到书写判别结果，则将在显示屏上显示或者播放书写判别结果，以便学习人员了解书写情况，实现智能化听写和判别，减少人力成本。

本实施例所提供的智能听写方法，点阵笔20在听写纸10的播放音频区域11上进行操作，采集播放音频区域11的点阵码14对应的当前位置信息，将当前位置信息发送给智能终端30。智能终端30接收当前位置信息，根据当前位置信息，播放当前位置信息对应的听写音频，以实现自动化控制当前位置信息对应的听写音频播放。点阵笔20在播放音频区域11对应的书写区域12进行书写，采集在书写区域12上形成的包含书写信息的待识别图像，将待识别图像发送给服务器40，为自动化确定书写信息的准确性技术支持，提高智能听写自动化程度。服务器40接收待识别图像，对待识别图像中的书写信息和听写音频进行判别处理，获取书写判别结果，将书写判别结果发送给智能终端30；以实现自动完成听写的准确性判别，提高自动化程度。智能终端30接收书写判别结果，显示或播放书写判别结果，以便学习人员了解书写情况，实现智能化听写和判别，减少人力成本。

进一步地，生产听写纸10时，预先将听写纸10中播放音频区域11的点阵信息(即坐标信息和页码信息)、目标音频标识和听写音频关联存储在智能终端30的音频列表。但是实际使用时，可能出现生产的听写纸10的数量过多，造成浪费的问题，或者需要对听写音频进行修改时，原有的听写纸10无法使用的问题。本实施例，当生产的听写纸10 的数量过多时或者听写音频进行修改时，则服务器40向智能终端30发送更新点阵信息、更新音频标识和更新听写音频，智能终端30基于更新点阵信息、更新音频标识和更新听写音频，对原有的音频列表进行更新，获取更新后的音频列表。根据实际情况，快速地修改音频列表，以满足实际使用要求，避免造成浪费。

作为一实施例，如图5所示，步骤S401，即点阵笔20在听写纸10的播放音频区域 11上进行操作，采集播放音频区域11的点阵码14对应的当前位置信息，包括：

S501：当点阵笔在听写纸的播放音频区域上进行操作，点阵笔内的压力传感器采集第一压力信号，将第一压力信号发送给阵笔内的笔处理器。

其中，第一压力信号是点阵笔20在听写纸10的播放音频区域11上操作时，产生的压力信号。

本实施例中，统计点阵笔20在听写纸10的播放音频区域11上进行操作的当前持续时长，若当前持续时长大于目标持续时长，则压力传感器22采集第一压力信号，将第一压力信号发送给阵笔内的笔处理器24；笔处理器24在压力心信号满足摄像头23开启条件时，则控制摄像头23拍摄，以实现精准控制摄像头23拍摄。当前持续时长大于目标持续时长，才利用压力传感器22采集第一压力信号，以避免出现学习人员误操作，保证智能程度较高。

S502：笔处理器根据第一压力信号控制摄像头拍摄点阵笔与听写纸的接触位置，形成第一拍摄图像。

S503：基于第一拍摄图像，得到接触位置的点阵码对应的坐标信息和页码信息，将坐标信息和页码信息确定为当前位置信息。

其中，第一拍摄图像是点阵笔20在听写纸10的播放音频区域11上操作时，摄像头23拍摄的图像。

本实施例中，笔处理器24对第一拍摄图像进行处理，实现快速地得到接触位置的当前位置信息，以便根据当前位置信息控制对应的听写音频播放，实现智能播放听写音频，减少学习人员操作，有利于学习人员学习。

本实施例所提供的智能听写方法，当点阵笔20在听写纸10的播放音频区域11上进行操作，点阵笔20内的压力传感器22采集第一压力信号，将第一压力信号发送给阵笔内的笔处理器24，以实现精准控制摄像头23拍摄。笔处理器24根据第一压力信号控制摄像头23拍摄点阵笔20与听写纸10的接触位置，形成第一拍摄图像；基于第一拍摄图像，得到接触位置的点阵码14对应的坐标信息和页码信息，将坐标信息和页码信息确定为当前位置信息，实现智能播放听写音频，减少学习人员操作，有利于学习人员学习。

作为一实施例，如图6所示，步骤S402，即根据当前位置信息，播放当前位置信息对应的听写音频，包括：

S601：判断是否存在与当前位置信息相对应的当前播放速度。

其中，当前播放速度是播放当前位置信息对应的听写音频的速度。目标播放速度可以是低速播放速度、中速播放速度和高速播放速度中的任一种。

学习知识是一个循序渐进的过程，对于刚刚开始学习知识，学习人员比较不熟悉，希望采用低速播放速度播放听写音频，若是直接采用中速播放速度播放听写音频，则学习人员可能听不懂，无法达到听写的目的。对于已经学习过的知识，学习人员已经较为熟悉，在进行巩固时，则可以采用中速播放速度播放听写音频；在进行复习时，则希望采用高速播放速度播放听写音频。但是存在部分学习人员忘记选择听写音频的目标播放速度，或者不会使用智能终端30，而无法设置听写音频的目标播放速度。本实施例中，当智能终端 30接收到当前位置信息时，则根据当前位置信息确定对应的听写音频，并判断是否预先接收学习人员通过显示界面选择的当前位置信息相对应的听写音频的目标播放速度，以满足学习人员不同播放速度的需求，实用性较强。

S602：若存在与当前位置信息相对应的当前播放速度，将当前播放速度确定为目标播放速度。

本实施例，当智能终端30获取到与当前位置信息相对应的听写音频的当前播放速度，即智能终端30存在与当前位置信息相对应的当前播放速度，则将当前播放速度确定为目标播放速度，实现智能化控制音频播放速度。

S603：若不存在与当前位置信息相对应的当前播放速度，则执行速度确定策略，确定目标播放速度。

其中，速度确定策略是用于确定听写音频对应的目标播放速度的策略，以实现自动化确定听写音频的目标播放速度，为智能化控制音频播放速度提供技术支持。

S604：根据目标播放速度，播放当前位置信息对应的听写音频。

本实施例中，智能终端30按照目标播放速度播放听写音频，以满足学习人员在不同阶段的学习需求。示例性地，当接收到目标播放速度为低速播放，则按照低速播放听写音频，实现智能化控制听写音频播放速度，满足学习人员的不同学习阶段的听写需求。

本实施例所提供的智能听写方法，判断是否存在与当前位置信息相对应的当前播放速度，以满足学习人员不同播放速度的需求，实用性较强。若存在与当前位置信息相对应的当前播放速度，将当前播放速度确定为目标播放速度。若不存在与当前位置信息相对应的当前播放速度，则执行速度确定策略，确定目标播放速度，根据目标播放速度，播放当前位置信息对应的听写音频，实现智能化控制音频播放速度，满足学习人员不同播放速度的需求。

作为一实施例，如图7所示，步骤S603，即执行速度确定策略，确定目标播放速度，包括：

S701：判断当前位置信息对应的听写音频是否存在历史播放信息。

其中，历史播放信息是当前位置信息对应的听写音频播放时的信息。具体地，预先将当前位置信息对应的听写音的历史播放信息存储起来，形成历史播放信息；并将当前位置信息对应的听写音频与历史播放信息关联存储在笔存储器26内，以便后续查找。可以理解地，若当前位置信息相对应的听写音频没有播放过，则无对应的历史播放信息；若当前位置信息相对应的听写音频播放过，则记录播放时的历史播放速度等信息，形成历史播放信息。历史播放速度是听写音频播放的速度。

本实施例中，当智能终端30没有获取到与当前位置信息相对应目标播放速度，则根据当前位置信息对应的听写音频，查询存储器，以自动确定当前位置信息对应的听写音频是否存在历史播放信息。

S702：若听写音频存在历史播放信息，则基于历史播放信息中的历史播放速度，确定目标播放速度。

本实施例中，若当前位置信息相对应的听写音频，存在历史播放信息，则根据历史播放信息的历史播放速度，得到当前位置信息相对应的听写音频的目标播放速度，便于自动确定目标播放速度，满足学习人员的不同播放速度需求。

S703：若听写音频不存在历史播放信息，则根据听写纸，获取目标播放速度。

本实施例中，若没有获取到与当前位置信息相对应的目标播放速度，先查询历史播放信息，以得到目标播放速度，可以加快目标播放速度的确定；如果没有历史播放信息，则采集听写纸10上的播放速度图标13，获取目标播放速度，学习人员无需操作智能终端30，智能终端30按照目标播放速度博播放听写音频，自动化程度较高。

本实施例所提供的智能听写方法，若没有获取到与当前位置信息相对应的目标播放速度，先判断听写音频是否存在历史播放信息，若听写音频存在历史播放信息，则基于历史播放信息中的历史播放速度，可以加快目标播放速度的确定。若听写音频不存在历史播放信息，则根据听写纸10，获取目标播放速度，学习人员无需操作智能终端30，智能终端 30按照目标播放速度博播放听写音频，自动化程度较高。

作为一实施例，如图8所示，步骤S703，若听写音频不存在历史播放信息，则根据听写纸10，获取目标播放速度，包括：

S801：采集当前位置信息对应的音频速度图标.

S802：根据当前位置信息对应的音频速度图标，确定目标播放速度。

如果没有历史播放信息，则对点阵笔20的摄像头23拍摄得到的第一拍摄图像进行识别，获取听写纸10上的播放速度图标13，根据播放速度图标13，自动化确定目标播放速度，满足学习人员的不同播放速度的需求，减少学习人员的操作。

本实施例所提供的智能听写方法，采集当前位置信息对应的音频速度图标；若听写音频不存在历史播放信息，则根据当前位置信息对应的音频速度图标，确定目标播放速度，自动化确定目标播放速度，满足学习人员的不同播放速度的需求，减少学习人员的操作。

作为一实施例，历史播放信息包括历史播放时间和每一历史播放时间对应的历史播放速度；如图9所示，步骤S702，即基于历史播放信息中的历史播放速度，确定目标播放速度，包括：

S901：基于历史播放信息，获取最近历史播放时间和当前时间之间的目标时间间隔。

其中，历史播放时间是在当前时间之前，听写音频每次播放的时间。示例性地，历史播放时间可以是x年x月x日，11点20分播放；x年x月x日，11点40分播放；x年x 月x日，21点20分播放。历史播放速度是听写音频每次播放的速度。当前时间是指智能终端30当前的时间目标时间间隔是指与当前时间最接近的历史播放时间和当前时间的时间差。

本实施例中，查询历史播放信息，获取最近历史播放时间，利用当前时间减去与当前时间最接近的历史播放时间，得到目标时间间隔。

S902：判断目标时间间隔是否大于预设间隔时长。

其中，预设间隔时长是预先设定的时间间隔，示例性地，预设间隔时长可以为1分钟。本实施例中，利用目标时间间隔减去预设间隔时长，得到时长差值，当时长差值大于0，则目标时间间隔大于预设间隔时长；反之，当时长差值大于0，则目标时间间隔大于预设间隔时长。

S903：若目标时间间隔大于预设间隔时长，则根据听写纸10，获取目标播放速度。

本实施例中，若当前位置信息相对应的听写音频，虽然存在历史播放信息，但是，由于目标时间间隔大于预设间隔时长，则学习人员可能进行不同的学习阶段，此时，采用点阵笔20的摄像头23进行拍摄得到听写纸10对应的图像，并对听写纸10对应的图像进行识别，获取听写纸10上的播放速度图标13，根据播放速度图标13，自动化确定目标播放速度，以按照目标播放速度播放听写音频，满足学习人员的不同播放速度的需求。

S904：若目标时间间隔不大于预设间隔时长，则将最近历史播放时间对应的历史播放速度，确定为目标播放速度。

本实施例中，预设间隔时长设置为较短的时长，当目标时间间隔不大于预设间隔时长，此时，将与当前时间最接近的历史播放时间对应的历史播放速度确定为当前位置信息相对应的目标播放速度，便于学习人员听写，减少学习人员操作。

本实施例所提供的智能听写方法，在听写音频存在历史播放信息时，基于历史播放信息，获取最近历史播放时间和当前时间之间的目标时间间隔；若目标时间间隔大于预设间隔时长，则根据听写纸10，获取目标播放速度，自动化确定目标播放速度，以按照目标播放速度播放听写音频，满足学习人员的不同播放速度的需求。若目标时间间隔不大于预设间隔时长，则将最近历史播放时间对应的历史播放速度，确定为目标播放速度，便于学习人员听写，减少学习人员操作。

作为一实施例，如图10所示，步骤S903，若目标时间间隔大于预设间隔时长，则根据听写纸10，获取目标播放速度，包括：

S1001：采集当前位置信息对应的音频速度图标；

S1002：若目标时间间隔大于预设间隔时长，则根据当前位置信息对应的音频速度图标，确定目标播放速度。

如果存在历史播放信息，且目标时间间隔大于预设间隔时长时，则对点阵笔20的摄像头23拍摄得到的第一拍摄图像进行识别，获取听写纸10上的播放速度图标13，根据播放速度图标13，自动化确定目标播放速度，满足学习人员的不同播放速度的需求，减少学习人员的操作。

本实施例所提供的智能听写方法，采集当前位置信息对应的音频速度图标；若目标时间间隔大于预设间隔时长，则根据当前位置信息对应的音频速度图标，确定目标播放速度，自动化确定目标播放速度，满足学习人员的不同播放速度的需求，减少学习人员的操作。

作为一实施例，如图11所示，步骤S404，即对待识别图像中的书写信息和听写音频进行判别处理，获取书写判别结果，包括：

S1101：采用目标可微二值化分割模型对待识别图像中的书写信息进行检测，截取包含书写信息的当前截取图像。

其中，目标可微二值化分割模型是用于对待识别图像进行检测的模型。当前截取图像对待识别图像进行截取得到的图像。本实施例中，目标可微二值化分割模型是基于可微二值化训练分割网络得到的模型，基于可微二值化训练得到目标可微二值化分割模型，可以提高模型检测文字的性能，并简化了目标可微二值化分割模型的处理步骤，加快检测速度。该目标可微二值化分割模型训练过程为：获取第一训练样本和第一测试样本；搭建可微二值化分割网络，采用第一训练样本对可微二值化分割网络进行训练，获取原始可微二值化分割模型；采用第一测试样本对原始可微二值化分割模型进行测试，获取模型测试精度；若模型测试精度大于第一精度阈值，则将原始可微二值化分割模型确定为目标可微二值化分割模型。其中，预先采集多张文字图像，对每一张文字图像进行进行标注，将标注后的文字图像划分为第一训练样本和第一测试样本，以便后续生成目标可微二值化分割模型。可微二值化分割网络是使用可微二值化进行优化的分割网络，在分割网络中进行可微二值化处理，从而实现自适应地设置二值化的阈值，精准确定文字的边框，简化了后需的分割处理，同时也提高文本检测的性能。

具体地，将待识别图像输入目标可微二值化分割模型，采用目标可微二值化分割模型的backbone对待识别图像进行特征提取处理，得到待识别图像对应的特征图像；利用目标可微二值化分割模型的预测网络预测对特征图像进行预测，得到特征图像对应的概率图和阈值图，对特征图像对应的概率图和阈值图进行微分二值化处理，得到概率图和阈值图对应的二值图，根据二值图确定书写信息的文字边框，截取文字边框，得到当前截取图像。

本实施例中，目标可微二值化分割模型可以快速的得到待识别图像中的文字的文字边框，且采用微分二值化处理，简化目标可微二值化分割模型的处理步骤，增强了目标可微二值化分割模型的检测文字的性能。

S1102：采用目标循环神经网络模型对当前截取图像中的书写信息进行识别，确定当前识别文字。

其中，目标循环神经网络模型是用于对当前截取图像进行识别的模型。目标循环神经网络模型是训练卷积循环神经网络CRNN得到的，因此，采用目标循环神经网络模型可以进行行级别识别，提高文字识别的效率，现有循环神经网络模型训练过程，字符识别的时间复杂度高，准确率低，书写判别结果常常出现错误。

当前识别文字是，计算机可识别的，当前截取图像中的文字，即学习人员书写的文字。

具体地，采用目标循环神经网络模型的卷积层对当前截取图像进行特征提取，获取当前截取图像对应的特征序列；采用目标模型的循环层预测当前截取图像对应的特征序列对应的标签分布；采用目标模型的转录层，对标签分布进行整合处理，获取当前识别文字。本实施例中，获取第二训练样本和第二测试样本；采用第二训练样本对识别网络进行训练，获取原始循环神经网络模型；采用第二测试样本对原始循环神经网络模型进行测试，获取识别测试精度；若识别测试精度大于第二精度阈值，则将原始循环神经网络模型确定为目标循环神经网络模型。其中，第二训练样本和第二测试样本为行文字，即对行文字进行识别，可以提高识别效率。为了保证样本有效利用，可以采用目标可微二值化分割模型对第一训练样本和第一测试样本进行截取，得到第二训练样本和第二测试样本。

S1103：根据当前位置信息，确定标准识别文字。

其中，标准识别文字是当前位置信息对应的文字，即听写音频播放的文字。本实施例中，预先将当前位置信息对应的听写音频播放的标准识别文字将标准识别文字与当前位置信息关联存储，形成标准文字列表，并将标准文字列表存储在服务器40中，以便根据当前位置信息，快速得到对应的标准识别文字。

S1104：根据当前识别文字和标准识别文字，获取书写判别结果。

本实施例中，采用匹配算法将当前识别文字和标准识别文字进行匹配；若当前识别文字和标准识别文字相匹配，则书写判别结果为学习人员书写准确；若当前识别文字和标准识别文字不匹配，则书写判别结果为学习人员书写错误；当书写判别结果为学习人员书写错误时，则对书写错误的位置进行标注，并发送给关联终端，以便学习人员进行修改，可以实现自动化判别学习人员书写信息的准确性。其中，关联终端为学习人员的家长或者老师对应的终端。

本实施例所提供的智能听写方法，采用目标可微二值化分割模型对待识别图像中的书写信息进行检测，截取包含书写信息的当前截取图像，可以简化目标可微二值化分割模型的处理步骤，以便快速得到当前截取图像。采用目标循环神经网络模型对当前截取图像中的书写信息进行识别，确定当前识别文字；根据当前位置信息，确定标准识别文字，以便根据当前位置信息，快速得到对应的标准识别文字。根据当前识别文字和标准识别文字，获取书写判别结果，可以实现自动化判别学习人员书写信息的准确性。

作为一实施例，如图12所示，步骤S402，即在智能终端30接收当前位置信息，根据当前位置信息，播放当前位置信息对应的听写音频之后，智能听写方法还包括：

S1201：智能终端显示与听写纸具有相同内容的当前书写页面；

点阵笔20根据当前位置信息，控制智能终端30显示与听写纸10具有相同内容的页面。

本实施例中，点阵码14携带有点阵码14在听写纸10中的坐标信息和听写纸10的页码信息，因此，当前位置信息中也包括了听写纸10的页码信息，智能终端30则可以根据页码信息调用与听写纸10具有相同内容的页面，实现在智能终端30上实时显示书写过程。其中，与听写纸10具有相同内容的页面，相同内容具体包括页码、页码位置、点阵码14、听写音频区域11和听写区域等内容。

S1202：点阵笔实时采集第二压力信号和第二拍摄图像，根据第二压力信号和第二拍摄图像，控制智能终端在当前书写页面上显示书写轨迹。

本实施例中，在点阵笔20在播放音频区域11对应的书写区域12进行书写时，摄像头23拍摄点阵笔20与书写区域12接触的接触位置，形成第二拍摄图像；同时采用压力传感器22采集点阵笔20与书写区域12接触时，生成的第二压力信号；接着将第二拍摄图像和第二压力信号发送给给智能终端30，智能终端30根据第二拍摄图像点阵笔20与书写区域12接触的接触位置对应的当前位置信息，根据第二压力信号生成笔迹粗细，将笔迹粗细实时显示在当前书写页面中的当前位置信息，形成书写轨迹。

作为一实施例，在步骤S404之后，即在服务器40接收待识别图像，对待识别图像中的书写信息和听写音频进行判别处理，获取书写判别结果之后，智能听写方法还包括：服务器40还用于与关联终端连接，接受智能终端30发送的书写轨迹，以将书写判别结果和书写轨迹发送关联终端。

其中，关联终端是指学习人员老师或者家长等对应的终端。本实施例中，服务器40将学习人员对应的人员标识、判别处理和书写轨迹发送给老师或者家长等对应的终端，以便老师或者家长等了解学习人员的学习进度和学习情况。其中，人员标识是用于唯一识别学习人员的标识。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。