对文本中鼠标操作进行语音注释并再现的方法及装置

摘要

本发明公开的一种对电子文本中鼠标操作进行语音注释并再现的方法及装置，评论生成时，录制音频获取语音注释音频和监听鼠标操作动作获取鼠标具体操作动作、动作起始时间和结束时间、该动作位于电子文本中的起始位置和结束位置，完成记录操作；获取以上评论和与该评论关联的语音注释音频、鼠标操作动作，播放语音注释音频并将监听到的鼠标操作动作的起始和结束时间按时间早晚进行排序，并根据鼠标具体操作动作位于电子文本中的位置进行视觉提示，完成再现操作。

说明书

技术领域

本发明是一种对电子文本中鼠标操作进行语音注释并再现该操作和语音的方法及装置，属于计算机领域。

背景技术

目前对电子文本的标注或评论都仍然还是电子文本，如网络文章的留言、评论等。特别的，在教育行业，老师阅读批改作文时，仍然是通过文本留言对作文提出修改意见。这种方式有以下两个缺陷：

1.有时写一两句评语不足以透彻的讲解问题，但是打字又很浪费时间；

2.当涉及到对文章结构、语义连贯等较为抽象的问题写评语时，教师苦于不能直接指代文章中的具体的位置(例如，“这里的这个词和这里的这个词应该是一对同义词”；再如“前面这里已经提到过这个意思了，那么这里就不需要再一次提它了”)。

以上缺陷的直接后果是，教师不能全面的记录下对文章的详细评论，学生收到的反馈数量和质量也大打折扣。以上问题虽然可以用录制屏幕的方法解决，但录制的视频体积过大，不方便存储、传输、或浏览。

发明内容

发明目的：针对上述现有技术存在的问题和不足，本发明的目的是提出一种对电子文本中鼠标操作进行语音注释并重放该操作的方法，可以同步记录对文本的鼠标动作(如点击，选中等)和语音评论，并实现可以重放同步的语音评论和鼠标动作。

技术方案：为实现上述发明目的，本发明采用的技术方案为一种对电子文本中鼠标操作进行语音注释并再现该操作的方法，评论生成时，录制音频获取语音注释音频和监听鼠标操作动作获取鼠标具体操作动作、动作起始时间和结束时间、该动作位于电子文本中的起始位置和结束位置，完成记录操作；获取以上评论和与该评论关联的语音注释音频、鼠标操作动作，播放语音注释音频并将监听到的鼠标操作动作的起始和结束时间按时间早晚进行排序，并根据鼠标具体操作动作位于电子文本中的位置进行视觉提示，完成再现操作。

进一步的，鼠标具体操作动作包括点击文本操作和选中文本操作。

进一步的，记录操作包括以下步骤：

3.1：开始本条评论；

3.2：生成本条评论ID；

3.3：开始计时；

3.4：开始录制音频；

3.5：监听鼠标操作动作；

3.6：判断监听到的鼠标操作是否为“选中文本”操作？若是，执行步骤3.7；若否，执行步骤3.10；

3.7：记录选中文本在整个文本中的开始位置P_START和结束位置P_END；

3.8：记录选中文本操作的开始时间T_START和结束时间T_END；

3.9：将P_START、P_END、T_START、T_END合并为一条Record，转到步骤3.13；

3.10：记录文本的点击位置P_CLICK；

3.11：记录文本的点击时间T_CLICK；

3.12：将P_CLICK、T_CLICK合并为一条Record，转到步骤3.13；

3.13：将Record与本条评论ID关联并存入存储系统；

3.14：是否结束本条评论？若否，转到步骤3.5；若是，转到步骤3.15；

3.15：将音频与本条评论ID关联并存入存储系统。

进一步的，视觉提示包括固定视觉提示和闪现视觉提示，所述闪现视觉提示为视觉提示出现一段时间后消失。

进一步的，还包括文本预标记操作，其包括以下步骤：

5.1：评论的第一个Record，用固定视觉提示Record的P_START/P_CLICK处的单词；

5.2：在P_START/P_CLICK处显示语音图标，该语音图标包含本条语音评论时长T_END-T_START/T_CLICK。

进一步的，再现操作包括以下步骤：

6.1：点击需要再现的一条评论图标；

6.2：获取此条评论ID，并获取与此条评论ID关联的音频和所有Record；

6.3：将所有Record按T_START/T_CLICK以时间早晚顺序排序；

6.4：开始计时，并播放音频；

6.5：读取下一条Record，将被选中的文本取消选中状态；

6.6：判断此条Record是否进行了选中文本操作？若是，进入步骤6.7；若否，进入步骤6.9；

6.7：在T_START时刻在P_START位置闪现视觉提示，在T_END时刻在P_END位置闪现视觉提示；

6.8：将P_START与P_END之间的文本选中，进入步骤6.10；

6.9：在T_CLICK时刻在P_CLICK位置闪现视觉提示，进入步骤6.10；

6.10：判断否存在下一条Record？若是，进入步骤6.5；若否，进入步骤6.11；

6.11：等待音频播放结束。

本发明还公开了一种基于对电子文本中鼠标操作进行语音注释并再现该操作的方法制作的装置，包括记录模块、存储系统和再现模块，其中：

所述记录模块，用于在评论生成时，录制音频获取语音注释音频和监听鼠标操作动作获取鼠标具体操作动作、动作起始时间和结束时间、该动作位于电子文本中的起始位置和结束位置，将评论、鼠标具体操作动作、动作起始时间和结束时间、该动作位于电子文本中的起始位置和结束位置存入存储系统中；

所述再现模块，读取存储系统中的评论、鼠标具体操作动作、动作起始时间和结束时间、该动作位于电子文本中的起始位置和结束位置，播放语音注释音频并将监听到的鼠标操作动作的起始和结束时间按时间早晚进行排序，并根据鼠标具体操作动作位于电子文本中的位置进行视觉提示。

有益效果：本发明可以同步记录对文本的鼠标动作(如点击，选中等)和语音评论，然后可以重放同步的语音评论和鼠标动作，大大扩展了评论的范围，解决了纯文本无法表达的具体位置指代问题；无须视频，用较小的数据存储，重放同步的语音评论和鼠标动作。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明的记录模块流程图；

图2为本发明的再现模块流程图；

图3为本实施例的文本预标记示意图；

图4为本实施例的效果图；

图5为本实施例的效果图。

具体实施方式

下面结合附图和实施例对本发明进一步详细说明。

一种对电子文本中鼠标操作进行语音注释并再现该操作的方法，评论生成时，录制音频获取语音注释音频和监听鼠标操作动作获取鼠标具体操作动作、动作起始时间和结束时间、该动作位于电子文本中的起始位置和结束位置，完成记录操作；获取以上评论和与该评论关联的语音注释音频、鼠标操作动作，鼠标具体操作动作包括点击文本操作和选中文本操作，播放语音注释音频并将监听到的鼠标操作动作的起始和结束时间按时间早晚进行排序，并根据鼠标具体操作动作位于电子文本中的位置进行视觉提示，完成再现操作。

参考图1，记录操作包括以下步骤：

步骤1：开始本条评论。

步骤2：生成本条评论ID。

步骤3：开始计时。

步骤4：开始录制音频。

步骤5：监听鼠标操作动作。

步骤6：判断监听到的鼠标操作是否为“选中文本”操作？若是，执行步骤7；若否，执行步骤10。

步骤7：记录选中文本在整个文本中的开始位置P_START和结束位置P_END。

步骤8：记录选中文本操作的开始时间T_START和结束时间T_END。

步骤9：将P_START、P_END、T_START、T_END合并为一条Record，转到步骤13。

步骤10：记录文本的点击位置P_CLICK。

步骤11：记录文本的点击时间T_CLICK。

步骤12：将P_CLICK、T_CLICK合并为一条Record，转到步骤13。

步骤13：将Record与本条评论ID关联并存入存储系统。

步骤14：是否结束本条评论？若否，转到步骤5；若是，转到步骤15。

步骤15：将音频与本条评论ID关联并存入存储系统。

本发明的视觉提示包括固定视觉提示和闪现视觉提示，该闪现视觉提示为视觉提示出现一段时间后消失。

参考图3为文本预标记示意图，本发明的文本预标记操作包括：评论的第一个Record，用固定视觉提示Record的P_START/P_CLICK处的单词；在P_START/P_CLICK处显示语音图标，该语音图标包含本条语音评论时长T_END-T_START/T_CLICK。

图2为再现操作流程图，参考图2再现操作包括以下步骤：

步骤1：点击需要再现的一条评论图标。

步骤2：获取此条评论ID，并获取与此条评论ID关联的音频和所有Record。

步骤3：将所有Record按T_START/T_CLICK以时间早晚顺序排序。

步骤4：开始计时，并播放音频。

步骤5：读取下一条Record，将被选中的文本取消选中状态。

步骤6：判断此条Record是否进行了选中文本操作？若是，进入步骤7；若否，进入步骤9。

步骤7：在T_START时刻在P_START位置闪现视觉提示，在T_END时刻在P_END位置闪现视觉提示。

步骤8：将P_START与P_END之间的文本选中，进入步骤10。

步骤9：在T_CLICK时刻在P_CLICK位置闪现视觉提示，进入步骤10。

步骤10：判断否存在下一条Record？若是，进入步骤5；若否，进入步骤11。

步骤11：等待音频播放结束。

如图3所示，图中显示了2条评论，在每一条评论的第1个Record的P_START处标记了单词(此处用了下划线，但本发明不限于仅用此视觉提示)，并在此单词附近标记了图标，该图标包含音频长度。

以点击并再现第1条评论为例，假设第一条音频评论的内容是：“这个intend¹的动词形式用错了，因为report²这里是个单数，所以intend应该是intends”。此条评论共2个Record对应2个鼠标click操作(如句中上标1，2所示)。假设这段音频时长为12秒，播放第1个鼠标操作的时刻(即第1个Record的T_START)为第2秒，播放第2个鼠标操作的时刻(即第2个Record的T_START)为第8秒。

那么，点击图标开始播放音频后，在第2秒时，intend单词附近会闪现视觉提示(如图4所示，此处中为灰色文本背景，但本发明不限于仅用此视觉提示)。在第8秒时，report单词附近会闪现视觉提示，如图5所示。

“闪现”是指，视觉提示出现一段时间后消失，不影响其他Record的视觉提示。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。