一种幼儿教育可视化互动方法及系统

摘要

本发明涉及可视化交互领域，具体涉及一种幼儿教育可视化互动方法及系统，获取幼儿优化图像；根据SimDR姿态检测算法计算幼儿各关键点的编码坐标，并得到各关键点的预测点坐标；计算各关键点在不同缩放因子下的初步量化误差及优化预测置信度，根据优化预测置信度获取各关键点的初始缩放因子；根据各关键点在连续多帧幼儿优化图像中的移动速度以及移动方向得到各关键点的局部关注度，进而计算各关键点的自适应缩放因子并提取幼儿优化图像中的幼儿各关键点；计算幼儿姿态与标准库中幼儿姿态匹配度；将匹配度最高对应的姿态作为幼儿姿态，实现幼儿姿态的识别及可视化互动过程。从而幼儿教育可视化互动过程，具有较高可视化互动效率。

说明书

技术领域

本申请涉及可视化交互领域，具体涉及一种幼儿教育可视化互动方法及系统。

背景技术

随着以更加注重人与人之间的互动为特征的网络时代的到来，可视化交互方式应用越来越广泛。可视化交互方式改进我们访问信息或与信息交互的方式，可视化交互必须与人类互动，可视化可以让用户能够根据查询或者交互、互动过程实现探索、操作，比如根据人的身体姿态、手势以及单击按钮、移动滑块等来显示输入输出之间的真实关系，以便实现可视化的交互方式。

对于幼儿教育，可视化互动教学可以有助于培养幼儿的实践能力，可让幼儿主动参与教学互动过程，根据幼儿互动时身体姿态以及手势等信息，来完成幼儿教育过程的可视化互动效果，提高幼儿教育效率。

现有可采用姿态检测算法SimDR对幼儿图像中的关键点进行检测，以获取幼儿互动时身体姿态以及手势等信息。但是在采用姿态检测算法SimDR进行关键点检测时，通常是根据经验来设定固定的缩放因子，当该缩放因子设定的过小时，则影响关键点的预测精度，进而影响到幼儿教育可视化互动效果，而当该缩放因子设定的过大时，又会大幅度增加数据计算量，提高神经网络的训练成本。

发明内容

为了解决上述技术问题，本发明提供一种幼儿教育可视化互动方法及系统，以解决现有的问题。

本发明的一种幼儿教育可视化互动方法及系统采用如下技术方案：本发明一个实施例提供了一种幼儿教育可视化互动方法，该方法包括以下步骤：

摄像头采集幼儿图像，通过去噪增强得到幼儿优化图像；

设定SimDR姿态检测算法中缩放因子最大值、最小值，依次从缩放因子最小值开始，根据SimDR姿态检测算法以及缩放因子得到幼儿优化图像中幼儿各关键点的编码坐标，根据各关键点的编码坐标以及SimDR姿态检测算法的缩放因子得到幼儿优化图像中幼儿各关键点的预测点坐标；

根据幼儿优化图像中幼儿各关键点坐标以及各关键点的预测点坐标得到各关键点在不同缩放因子下对应的初步量化误差；根据各关键点在不同缩放因子下对应的初步量化误差得到各关键点在不同缩放因子下对应的预测置信度；根据各关键点的近邻关键点在不同缩放因子下对应的预测置信度得到各关键点不同缩放因子下对应的优化预测置信度；将各关键点优化预测置信度最大对应的缩放因子作为各关键点的初始缩放因子；

根据各关键点在连续多帧幼儿优化图像中的移动速度以及移动方向得到各关键点的局部关注度；根据各关键点的初始缩放因子以及局部关注度得到各关键点的自适应缩放因子；通过各关键点的自适应缩放因子结合SimDR姿态检测算法以及CNN-based网络提取幼儿优化图像中的幼儿各关键点；

通过可视化互动时幼儿各种姿态得到标准库，根据提取的幼儿各关键点与标准库中各姿态关键点之间的差异分析得到幼儿姿态匹配度；将匹配度最高对应的姿态作为幼儿姿态，实现幼儿姿态的识别及可视化互动过程。

优选的，所述根据SimDR姿态检测算法以及缩放因子得到幼儿优化图像中幼儿各关键点的编码坐标，表达式为：

优选的，所述所述根据各关键点的编码坐标以及SimDR姿态检测算法的缩放因子得到幼儿优化图像中幼儿各关键点的预测点坐标，表达式为：

优选的，所述根据幼儿优化图像中幼儿各关键点坐标以及各关键点的预测点坐标得到各关键点在不同缩放因子下对应的初步量化误差，表达式为：

优选的，所述根据各关键点在不同缩放因子下对应的初步量化误差得到各关键点在不同缩放因子下对应的预测置信度，表达式为：

优选的，所述根据各关键点的近邻关键点在不同缩放因子下对应的预测置信度得到各关键点不同缩放因子下对应的优化预测置信度，表达式为：

优选的，所述根据各关键点在连续多帧幼儿优化图像中的移动速度以及移动方向得到各关键点的局部关注度，表达式为：

优选的，所述根据各关键点的初始缩放因子以及局部关注度得到各关键点的自适应缩放因子，表达式为：

优选的，所述根据提取的幼儿各关键点与标准库中各姿态关键点之间的差异分析得到幼儿姿态匹配度，表达式为：

第二方面，本发明提供了一种幼儿教育可视化互动系统，包括处理器和存储器，上述处理器用于处理存储在上述存储器中的指令，以实现上述的一种幼儿教育可视化互动方法。

本发明至少具有如下有益效果：

本发明通过可视化互动系统摄像头采集幼儿图像，根据对幼儿优化图像中各关键点的分析获取幼儿身体各关键点的自适应缩放因子，结合SimDR姿态检测算法以及CNN-based对幼儿身体各关键点进行精确检测提取，获取幼儿姿态信息，并根据幼儿姿态信息的匹配结果，对幼儿姿态进行识别，进而实现可视化交互过程；

本发明考虑到姿态检测算法SimDR在进行关键点检测时，缩放因子的设定将会对关键点的检测精度产生较大影响，并且对神经网络的训练难度具有一定的影响，本发明结合不同缩放因子下各关键点的优化预测置信度获取各关键点的初始缩放因子，解决了缩放因子固定设置以及人为随机选取的主观性，具有较高的适用性，同时，结合对各关键点的局部关注度的分析对各关键点对应的初始缩放因子进行优化，获取各关键点的自适应缩放因子，解决了缩放因子过小影响关键点的预测精度以及缩放因子过大神经网络训练成本高、计算量大等问题，本发明具有较高的检测精度以及具有较高可视化智能交互效率等有益效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明提供的一种幼儿教育可视化互动方法的流程图；

图2为幼儿身体关键点图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种幼儿教育可视化互动方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种幼儿教育可视化互动方法及系统的具体方案。

本发明一个实施例提供的一种幼儿教育可视化互动方法及系统。

具体的，本实施例的一种幼儿教育可视化互动方法及系统提供了如下的一种幼儿教育可视化互动方法，请参阅图1，该方法包括以下步骤：

步骤S001，通过摄像头采集幼儿图像。

首先，在可视化互动系统上安装摄像头，用于对用户图像进行采集，对于摄像头的安装角度以及安装位置实施者根据实际情况自行设置。本实施例中通过可视化互动系统的摄像头对幼儿图像进行采集，作为幼儿姿态检测特征提取的基础数据。

至此，即可通过可视化互动系统上的摄像头对幼儿进行图像采集，获取幼儿图像，用于对幼儿姿态进行检测分析，便于后续可视化交互过程。

步骤S002，对幼儿图像进行分析并特征提取，准确提取幼儿姿态信息。

对于采集的幼儿图像，在进行图像采集过程中，摄像头内部半导体等器件将产生不连续的散粒噪声以及低频噪声等，导致所采集的幼儿图像中存在大量的噪点，同时，图像采集过程中极易受到外界环境因素的影响，环境噪声对幼儿图像也会存在一定的影响，因此，为避免噪点对幼儿图像质量的影响，本实施例将采用中值滤波算法对幼儿图像进行去噪处理，并对去噪后的图像进行直方图均衡化，对幼儿图像进行增强处理，以提高幼儿图像对比度，便于对幼儿姿态状况进行准确检测。需要说明的是，中值滤波去噪以及直方图均衡化过程均为现有公知技术，不在本实施例保护范围内，在此不做一一详细阐述。为便于后续描述及分析，将去噪增强处理后的幼儿图像记为幼儿优化图像。

对于幼儿优化图像，为实现快速检测幼儿姿态信息，本实施例基于幼儿优化图像对幼儿关键点进行表征提取，对于身体关键点检测大多采用Heatmap-based方法（基于热图的方法），但是该方法在低分辨率的图像上掉点严重的情况；为提高精度，需要多个采样层来将特征图分辨率由低到高进行灰度，这个过程耗费大额开销以及更大的计算量；同时，还需要额外的后处理来减小尺度下降带来的量化误差等，因此，为降低系统计算量，提高幼儿关键点检测速度，保证检测精度，本实施例将采用姿态检测算法SimDR(SimpleDisentagled coordinate Representation)结合神经网络对关键点进行表征提取，将关键点坐标(x, y)用两条独立的、长度等于或高于原图片尺寸的一维向量进行表征，SimDR在CNN(convolutional neural network)-based和Transformer-based人体姿态估计模型上均取得了更好的表现。SimDR首先采用CNN-based卷积神经网络提取关键点表示，给定获得的关键点表示后，然后SimDR分别对垂直坐标和水平坐标进行坐标分类，以得到最终的关键点预测。

传统的Heatmap-based方法通过二维高斯分布生成高斯热图作为标签，监督模型输出，通过均方差损失函数来进行优化。而这种方法下得到的Heatmap（热图）尺寸往往是小于图片原尺寸的，因而最后通过argmax得到的坐标放大回原图中，会承受不可避免的量化误差，在这个过程中，姿态检测算法SimDR通过设置缩放因子k以解决由于坐标转换而产生严重量化误差的问题。以幼儿优化图像中幼儿的关键点p为例，通过编码后的坐标表示为：

考虑到SimDR姿态检测算法结合卷积神经网络在进行关键点检测时，缩放因子的设定会对关键点的坐标产生影响，目前大多通过人为设定固定的缩放因子，但是，对于SimDR姿态检测算法在进行不同关键点的预测时，由于关键点位置不同因此量化误差会具有较大差异，设置固定的缩放因子具有较强主观性且无法根据关键点的自身特征属性对缩放因子进行自适应设定，导致关键点的定位出现误差，影响幼儿姿态信息，因此，为提高幼儿关键点的检测提取精度，保证幼儿姿态检测准确性，本实施例将对关键点预测过程中的缩放因子进行自适应设定，SimDR姿态检测算法缩放因子自适应设定过程具体为：

为防止缩放因子过大过小导致幼儿关键点预测不准确的问题，本实施例将设定缩放因子范围

根据各关键点的初始缩放因子以及局部关注度得到各关键点的自适应缩放因子，自适应缩放因子表达式为：

获取各关键点的自适应缩放因子后，通过CNN-based网络结合SimDR姿态检测算法完成幼儿关键点的检测提取，并得到幼儿身体姿态信息，需要说明的是， CNN-based网络结合SimDR姿态检测算法提取幼儿身体关键点以及得到幼儿身体姿态信息的具体过程为现有公知技术，不在本实施例保护范围内，在此不做一一详细阐述。

步骤S003，根据所提取的幼儿姿态信息，实现幼儿教育可视化互动过程。

根据本实施例上述幼儿关键点提取过程以及幼儿身体姿态信息，本实施例将对幼儿姿态进行匹配识别，以实现可视化交互过程。为实现对幼儿姿态的准确检测，本实施例将构建标准库，标准库中包含可视化互动时幼儿的各种姿态，通过本发明上述方法对可视化互动时幼儿各种姿态图像的关键点进行提取，得到幼儿各种姿态图像对应的关键点检测图像，构成标准库，需要说明的是，幼儿教育可视化互动幼儿姿态的设定实施者可自行选取，标准库的构建过程为现有技术，在此不做一一详细阐述。根据提取的幼儿各关键点与标准库中各姿态关键点之间的差异分析得到幼儿姿态匹配度，幼儿姿态匹配度表达式为：

重复上述方法，获取幼儿姿态与标准库中各个姿态的匹配度，将匹配度最高对应的姿态作为幼儿姿态，根据幼儿姿态的识别结果，完成相应的输出，实现可视化互动过程。

综上所述，本发明实施例通过可视化互动系统摄像头采集幼儿图像，根据对幼儿优化图像中各关键点的分析获取幼儿身体各关键点的自适应缩放因子，结合SimDR姿态检测算法以及CNN-based对幼儿身体各关键点进行精确检测提取，获取幼儿姿态信息，并根据幼儿姿态信息的匹配结果，对幼儿姿态进行识别，进而实现可视化交互过程；

本发明实施例考虑到姿态检测算法SimDR在进行关键点检测时，缩放因子的设定将会对关键点的检测精度产生较大影响，并且对神经网络的训练难度具有一定的影响，本发明实施例结合不同缩放因子下各关键点的优化预测置信度获取各关键点的初始缩放因子，解决了缩放因子固定设置以及人为随机选取的主观性，具有较高的适用性，同时，结合对各关键点的局部关注度的分析对各关键点对应的初始缩放因子进行优化，获取各关键点的自适应缩放因子，解决了缩放因子过小影响关键点的预测精度以及缩放因子过大神经网络训练成本高、计算量大等问题，本发明实施例具有较高的检测精度以及可视化智能交互等有益效果。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，均应包含在本申请的保护范围之内。