一种基于多角度手姿态的手写字姿势生成方法和系统

摘要

本发明涉及一种基于多角度手姿态的手写字姿势生成方法和系统，方法包括以下步骤：S1：采集二维握笔姿势图像；S2：在二维握笔姿势图像中标注参数信息；S3：将参数信息作为标注信息自动写入图像名称；S4：将图像名称和二维握笔姿势图像存储至数据库；S5：将数据库的信息存储至区块链中。用二维握笔姿势图像代替三维握笔姿势图像，解决了普通二维建模单视角特征少问题；收集若干种不同的握笔姿势图像并对每张图像进行自动标注。把相关参数作为标注信息自动写入图像名称，将图像名称和二维握笔姿势图像存储至数据库中，方便再次提取和调用；数据库的信息存储至区块链，防止丢失。

说明书

技术领域

本发明涉及手势姿态识别领域，更具体地，涉及一种基于多角度手姿态的手写字姿势生成方法和系统。

背景技术

手势姿态作为人体信号传播交流中的一种重要表达方式，在人工智能领域中，手势姿态识别一直是热门研究，例如，交警交通信号手势识别，车内的手势识别，手掌关键点的识别，简单数字手势识别和复杂手势识别等等。对于长时间握笔写字的学生群体来讲，正确的握笔姿势不仅可以减轻写字负担，而且还会使字迹更加美观，而长期的错误握笔姿势不仅会导致手指畸形，甚至会诱发近视。作为手势识别的一个分支，手写字识别对青少年握笔姿势的鉴定和矫正有着重要意义。但截至目前为止，手写字姿态的图像数据库还未有人采集建立，这个研究方向暂时空白。同时传统的其他手势的图像数据的采集方法也十分繁琐。比如，在网上用爬虫技术将图片爬下来，接着进行图片清洗成相同格式，接着进行人工标注。可以预见的是图像打标签费时费力，这对大批量的手写字姿态数据库建立没有借鉴意义。这也导致了手势图像数据库一直都无法达到较大的数据量以较好地满足深度学习的需求。

现有的技术中，中国发明专利CN103760983A公开了“虚拟手势输入方法和手势采集装置”，公开日为2014年04月30日，其中方法包括：手势采集装置采集自身的运动轨迹序列，运动轨迹序列包括：手势采集装置在各个采集时间点的位置信息；根据运动轨迹序列，生成虚拟手势信息，虚拟手势信息包括：手势的类型，手势的起点坐标及起点采集时间，手势的终点坐标及终点采集时间；将虚拟手势信息发送给手势应用装置，以使手势应用装置根据虚拟手势信息进行操作；该发明中，所采集的手势为虚拟手势，不是采集手势照片，不判断手势的正确与否，只判断手势的位置关系。

发明内容

本发明为解决现有的手势的图像数据的采集方法需要人工标注，无法达到较大的数据量的技术缺陷，提供了一种基于多角度手姿态的手写字姿势生成方法和系统。

为实现以上发明目的，采用的技术方案是：

一种基于多角度手姿态的手写字姿势生成方法，包括以下步骤：

S1：采集二维握笔姿势图像；

S2：在二维握笔姿势图像中标注参数信息；

S3：将参数信息作为标注信息自动写入图像名称；

S4：将图像名称和二维握笔姿势图像存储至数据库；

S5：将数据库的信息存储至区块链中。

上述方案中，用二维握笔姿势图像代替三维握笔姿势图像，解决了普通二维建模单视角特征少问题；收集若干种不同的握笔姿势图像并对每张图像进行自动标注。把相关参数作为标注信息自动写入图像名称，将图像名称和二维握笔姿势图像存储至数据库中，方便再次提取和调用；数据库的信息存储至区块链，防止丢失。

在步骤S1中，运用摄像头进行图像采集，按照N°的角度逆时针移动摄像头，每移动N°点拍摄一次。

在步骤S2中，收集若干种不同的握笔姿势图像并对每张图像进行自动标注。

优选的，在步骤S3中，所述参数信息包括性别、年龄、手势名称、拍摄角度、光照强度和背景复杂度。

优选的，在步骤S4中，图像名称和二维握笔姿势图像存储至数据库的物理数据层。

一种基于多角度手姿态的手写字姿势批量生成系统，用于所述的一种基于多角度手姿态的手写字姿势批量生成方法，包括图像采集模块、图像标注模块、信息写入模块、数据库模块和区块链模块；

所述图像采集模块的输出端与所述图像标注模块的输入端电性连接，所述图像标注模块的输出端与所述信息写入模块的输入端电性连接，所述信息写入模块的输出端与所述数据库模块的输入端电性连接，所述数据库模块的输出端与所述区块链模块的输入端电性连接；

像采集模块采集二维握笔姿势图像，图像标注模块对图像进行标注参数信息，信息写入模块将参数信息作为标注信息自动写入图像名称，数据库模块将图像名称和二维握笔姿势图像存储至数据库，区块链模块将数据库的信息存储至区块链中。

优选的，在所述图像采集模块中，运用摄像头进行图像采集，按照N°的角度逆时针移动摄像头，每移动N°点拍摄一次。

优选的，在所述图像采集模块中，收集若干种不同的握笔姿势图像并对每张图像进行自动标注。

优选的，所述参数信息包括性别、年龄、手势名称、拍摄角度、光照强度和背景复杂度。

优选的，在数据库模块中，图像名称和二维握笔姿势图像存储至数据库的物理数据层。

上述方案中，本方法和系统的自动化采集程序的编写上，其中关键的技术主要有四种，一是基本信息的存储，二是摄像头的展示与拍摄时照片的存储，三是与平台交互时，相关信息变换的展示与提醒，四是设计规范相关拍摄流程。

基本的信息可以是性别、年龄、手势名称、拍摄角度、光照强度、背景复杂度等等情况，在拍摄前和拍摄中可以设置变换，在拍摄的过程中，将其一起写入图片的名称中，或者是相关文档中，做好标注工作。此举可以大大缩减标注时间，将标注自动化。

每拍摄一次可以调整一次摄像头角度，这里我们关注到握笔姿势手的主要特征集中在握笔人(右撇子)的左侧，所以我们取左侧向右拍摄的侧拍，和左上侧向右下侧拍摄的俯拍。每次调整10度左右的方向进行拍摄，可以尽可能的收集到更多的特征，此时志愿者只需要保持手势即可。此过程可以收集到同手势多视角的图像，对志愿者没有要求。拍摄过程只需要调整摄像头角度，不需要做过多操作。这里改变角度可以设置，即可以批量收集不同角度的手势图像。

在每个姿势拍摄一定量的图像后(这个量可以修改，这里设置为20张)，换手势后继续重复3步骤收集。这里就可以收集到多个手势的图像。

最后，在出现意外情况时，比如出现拍错图像，要能够撤销图像，最后要有保存模块对参数进行保存。

与现有技术相比，本发明的有益效果是：

本发明提供的一种基于多角度手姿态的手写字姿势生成方法和系统，用二维握笔姿势图像代替三维握笔姿势图像，解决了普通二维建模单视角特征少问题；收集若干种不同的握笔姿势图像并对每张图像进行自动标注。把相关参数作为标注信息自动写入图像名称，将图像名称和二维握笔姿势图像存储至数据库中，方便再次提取和调用；数据库的信息存储至区块链，防止丢失。

附图说明

图1为本发明的方法流程图；

图2为本发明的系统模块示意图；

图3为本发明的9种标准的握笔姿势示例手势示意图；

图4为本发明的握笔姿势收集程序的窗口页面图；

图5为本发明的数据库中图片的标注示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

以下结合附图和实施例对本发明做进一步的阐述。

实施例1

如图1所示，一种基于多角度手姿态的手写字姿势生成方法，包括以下步骤：

S1：采集二维握笔姿势图像；

S2：在二维握笔姿势图像中标注参数信息；

S3：将参数信息作为标注信息自动写入图像名称；

S4：将图像名称和二维握笔姿势图像存储至数据库；

S5：将数据库的信息存储至区块链中。

上述方案中，用二维握笔姿势图像代替三维握笔姿势图像，解决了普通二维建模单视角特征少问题；收集若干种不同的握笔姿势图像并对每张图像进行自动标注。把相关参数作为标注信息自动写入图像名称，将图像名称和二维握笔姿势图像存储至数据库中，方便再次提取和调用；数据库的信息存储至区块链，防止丢失。

在步骤S1中，运用摄像头进行图像采集，按照N°的角度逆时针移动摄像头，每移动N°点拍摄一次。

在步骤S2中，收集若干种不同的握笔姿势图像并对每张图像进行自动标注。

优选的，在步骤S3中，所述参数信息包括性别、年龄、手势名称、拍摄角度、光照强度和背景复杂度。

优选的，在步骤S4中，图像名称和二维握笔姿势图像存储至数据库的物理数据层。

实施例2

如图2所示，一种基于多角度手姿态的手写字姿势生成系统，用于所述的一种基于多角度手姿态的手写字姿势批量生成方法，包括图像采集模块、图像标注模块、信息写入模块、数据库模块和区块链模块；

所述图像采集模块的输出端与所述图像标注模块的输入端电性连接，所述图像标注模块的输出端与所述信息写入模块的输入端电性连接，所述信息写入模块的输出端与所述数据库模块的输入端电性连接，所述数据库模块的输出端与所述区块链模块的输入端电性连接；

像采集模块采集二维握笔姿势图像，图像标注模块对图像进行标注参数信息，信息写入模块将参数信息作为标注信息自动写入图像名称，数据库模块将图像名称和二维握笔姿势图像存储至数据库，区块链模块将数据库的信息存储至区块链中。

优选的，在所述图像采集模块中，运用摄像头进行图像采集，按照N°的角度逆时针移动摄像头，每移动N°点拍摄一次。

优选的，在所述图像采集模块中，收集若干种不同的握笔姿势图像并对每张图像进行自动标注。

优选的，所述参数信息包括性别、年龄、手势名称、拍摄角度、光照强度和背景复杂度。

优选的，在数据库模块中，图像名称和二维握笔姿势图像存储至数据库的物理数据层。

实施例3

在本实施例中，实现步骤如下：

(1)使用编程语言编写自动化采集程序，程序需要有摄像功能、设置信息功能、展示信息的功能、提示的示例区域和拍照键等；

(2)科研人员在询问志愿者的基本信息后，分别在控制面板上点击相关按钮存储信息，录入的信息将在信息功能区展示，且保存的图片将以录入的基本信息命名；

(3)科研人员点击设置区的侧拍按钮，准备开始拍照；

(4)科研人员以志愿者的手为圆心，按照10°的角度逆时针移动摄像头，每移动10°点击拍照区的“手势1”拍摄一张图像，共拍摄五张照片。此步骤将得到第一位志愿者手势1下侧拍图五张。

(5)点击设置区的俯拍按键，继续重复步骤4，此步骤将的到第一位志愿者手势1下俯拍图5张。

(6)科研人员为志愿者更换一支笔，并继续3，4，5步骤。综上3,4,5,6操作，共得到第一位志愿者在手势1下的10张俯拍图(分两种笔)和10张侧拍图(分两种笔)，共20张。

(7)科研人员按顺序选择拍摄区的“手势2”，“手势3”…“手势9”按键，重复2，3，4，5，6步骤，进行每种手势的拍摄。

(8)科研人员点击下一位键，并点击配置保存键，进行下一位志愿者9种手势俯拍和侧拍图的收集。

实施例4

以手写字姿势图像库生成为例子，采用9种标准化的握笔姿势示例手势为样例进行举例说明：

武汉大学计算机科学学院在SmartGe:Identifying Pen-Holding Gesture WithSmartwatch一文中提出9种握笔姿势，分别为1个正确手势和8个错误手势，手势如图3所示，我们采用了这九种手势进行建立手写字姿势图像数据库；

使用python设计了一个9种握笔姿势多角度高效批量数据库建立程序如图4所示。该系统有分为摄像区、设置区、信息区、示例区和拍照键等，具有清楚展示功能和实用性。在收集之余还设置了撤销键和换志愿者时的按键，最后还设置了配置保存键，可以暂存数据，下次开启可以继续这次的操作；

一位志愿者需要收集9种手势，每个手势需要拍摄5张不同角度的侧拍照片，5张不同角度的俯拍照片和同时更换2种不同的笔，一共需要180张图片。最后分别将图片放入9个手势文件夹中，每张图片都以标注作为名字(名字为：志愿者编号_角度_图片number_文件夹名称_性别)，如图5所示；

本发明提出的方法在实践过程中测试得出平均一个志愿者收集180张图像仅需要10到15分钟，而用传统方法收集打标注信息，需要4到5个小时，效率提高了16到30倍。自此可以证明我们的方法具有高效的和批量生成的效果。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。