基于视频的复杂场景下手势密码轨迹还原系统

摘要

一种基于视频的复杂场景下手势密码轨迹还原系统，包括：目标检测模块、多关键点追踪模块和轨迹处理模块，目标检测模块从输入的视频中识别手部关键点以及智能终端关键点，并输出各目标的位置、大小并生成关键点候选集；多关键点追踪模块循环更新关键电脑候选集的同时追踪视频中的设备和手部关键点，以生成相对轨迹，从而判断是否成功追踪到轨迹；轨迹处理模块将追踪到的轨迹进行滤波、关键点检测处理，生成还原后的手势密码轨迹。本发明在遮挡、非遮挡及运动的复杂场景下情况下，通过分析视频中的手部特征以及智能终端特征，对手部关键点和智能终端进行识别与跟踪，和轨迹处理，全自动化地还原出用户使用智能终端等智能设备过程中的轨迹。

说明书

技术领域

本发明涉及的是一种信息安全领域的图像处理技术，具体是一种基于视频的复杂场景下手势密码轨迹还原系统。

背景技术

智能终端等智能设备在使用过程中，为验证操作者的身份，往往要求用户输入各类密码进行验证，但在公共场合输入密码或文本信息时，攻击者可能会通过一段未被察觉偷拍的视频中窃取用户的数字密码、手势密码、键盘输入等隐私信息，进而威胁到用户个人隐私与财产安全。

对于通过视频的方式识别用户输入的手势密码，现有基于视频或图像还原的手势轨迹技术有通过人的观察手工标注视频中手指移动轨迹得以实现。该技术的优点在于手指轨迹标记更加准确、不会出现追踪失败的情况，缺点是人工标注耗时耗力，无法和智能终端关键点做相对位置计算，实现运动情况下轨迹还原难度很高。同时，遮挡情况下也很难准确标记轨迹。也有改进技术通过人工标注手部关键点和智能终端关键点，在调用追踪算法的同时追踪手部关键点和智能终端关键点，通过计算相对位置得到轨迹，该技术能够在静止使用设备、运动中使用设备、手部被遮挡情况下使用设备等多种情况下追踪得到轨迹，缺点是同样需要人工标注的设备、手部关键点以及旋转角度，无法实现批量的轨迹识别。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于视频的复杂场景下手势密码轨迹还原系统，在遮挡、非遮挡及运动的复杂场景下情况下，通过分析视频中的手部特征以及智能终端特征，对手部关键点和智能终端进行识别与跟踪，和轨迹处理，全自动化地还原出用户使用智能终端等智能设备过程中的轨迹。

本发明是通过以下技术方案实现的：

本发明涉及一种基于视频的复杂场景下手势密码轨迹还原系统，包括：目标检测模块、多关键点追踪模块和轨迹处理模块，其中：目标检测模块从输入的视频中识别手部关键点以及智能终端关键点，并输出各目标的位置、大小并生成关键点候选集；多关键点追踪模块循环更新关键电脑候选集的同时追踪视频中的设备和手部关键点，以生成相对轨迹，从而判断是否成功追踪到轨迹；轨迹处理模块将追踪到的轨迹进行滤波、关键点检测处理，生成还原后的手势密码轨迹。

所述的智能设备使用场景包括公共场合候车厅、会议室等场所，其中：被攻击用户在移动中、遮挡、非遮挡情况下使用智能终端输入手势密码；攻击者渗透监控摄像头或直接通过智能终端拍摄用户，在输入手指被遮挡或者未遮挡情况下对输入的手势密码进行轨迹还原。

技术效果

本发明整体解决了现有技术无法自动化地识别复杂场景下手势密码的问题。

与现有技术相比，本发明无需人工干预，在遮挡、非遮挡等复杂场景下，以迭代、分治的方法分析轨迹各点间的欧式距离，自动化提取出轨迹中的关键点，最终以向量的方法表示出手势密码轨迹。本发明能够能够同时对海量视频流进行手势密码轨迹提取，实现范围攻击和自动化识别追踪算法的误检测。

附图说明

图1为本发明系统示意图；

图2为实施例手指姿态输出关键点位置示意图。

具体实施方式

如图1所示，为本实施例涉及一种基于视频的复杂场景下手势密码轨迹还原系统，包括：目标检测模块、多关键点追踪模块和轨迹处理模块，其中：目标检测模块从输入的视频中识别手部关键点以及智能终端关键点，输出各目标的位置、大小并生成关键点候选集；多关键点追踪模块循环更新关键电脑候选集的同时追踪视频中的设备和手部关键点，以生成相对轨迹，从而判断是否成功追踪到轨迹；轨迹处理模块将追踪到的轨迹进行滤波、关键点检测处理，生成还原后的手势密码轨迹。

所述的目标检测模块包括：智能设备识别单元、手指关键点识别单元和智能设备关键点识别单元，其中：智能设备识别单元通过训练智能设备识别模型后，用于识别输入的视频中每一帧并得到其中的设备位置、大小对应的置信度，当识别成功时，智能设备识别单元输出放大后的设备位置作为关键点检测区域；手指关键点识别单元根据智能设备识别单元输出的待检测区域，在待检测区域内使用手指关键点检测模型HandPose检测手部关键点；智能设备关键点识别单元根据智能设备识别单元输出锚框，使用YOLO模型得到设备的左上角的锚框坐标以及置信度。

所述的YOLO模型，具体采用YOLOv-3，其通过以下方式进行训练：

S1)从训练集视频中随机抽取1000张视频帧，并对其进行智能终端位置及旋转角标注。并应用旋转、拼接、翻转、剪切、加噪声和调整亮度的图像增广方式，生成20000张标标注的图片；

S2)设置学习率、迭代次数、优化算法，同时使用迁移学习的方式，在GPU上进行训练。

S3)通过optuna算法进行超参数挑优。

所述的智能设备识别模型最终实现的效果mAP98.7％，平均每帧识别时间0.2123s。

所述的手指关键点检测模型HandPose的标记数据为21个关节，输出21个关键点的位置以及相应的置信度。关节点的位置如图2所示。经过特征分析和实验检测，手指关键点识别单元在遮挡情况下使用13号关键点，在非遮挡情况下使用8号关键点，mAP能够达到90％。

所述的多关键点追踪模块包括：关键点选择单元、追踪单元和误追踪检测单元，其中：关键点选择单元通过计算权重对关键点排序，选择权重最大的帧的手部关键点进行追踪；追踪单元追踪设备和手指关键点，得到相对轨迹；误追踪检测单元利用手势密码已知信息进行启发式判定。

所述的权重是指：时间轴权重和置信度权重的乘积：W

所述的追踪视频中的设备和手部关键点，具体是指：

i)调用关键点选择单元，获取起始帧号、设备关键点位置、手部关键点位置，当关键点选择单元无结果，则返回失败。

ii)通过起始帧号设定追踪起始帧，通过设备关键点和手部关键点的位置初始化锚框。

iii)不断迭代视频帧，对每一帧调用多路目标追踪算法CSR-DCF算法输出目标对应的位置，并记录其坐标；同时调用误追踪检测单元并实时监测追踪算法失败时，回到步骤i)，否则执行步骤iv)。

iv)当追踪到的手部关键点锚框离开设备区域，则判定密码输入结束，停止追踪，并输出轨迹。

所述的启发式判定是指：在以下三种情况会判定追踪算法误检测：1.相邻帧之间的目标移动距离大于距离阈值；2.追踪锚框在一定时间内停止移动；3.追踪判定结束后序列长度小于长度阈值。

所述的距离阈值，通过计算每次追踪过程中的历史轨迹信息得到。

所述的长度阈值，通过统计用户输入手势密码时长分布得到。

所述的轨迹处理模块包括：滤波单元和关键点检测单元，其中：滤波单元轨迹关键点序列作为输入，通过卡尔曼滤波器降低时滞性，通过预测轨迹点与实际轨迹点之间的偏差来进行轨迹位置的调整，实现轨迹的平滑；关键点检测单元通过关键点检测算法及一致性算法得到近似轨迹。

所述的关键点检测算法包括：1.设定一阈值K

所述的一致性算法能够自动化地设置关键点检测算法的阈值K

经过具体实际实验，在室内监控摄像头场景下，监控摄像头垂直距离2.5m，手机离摄像头3m的情况下，使用上述方法得到轨迹关键点向量，并计算实际追踪得到的轨迹和人工标注的轨迹相似度，以及识别轨迹关键点的成功率，能够得到的实验数据是：轨迹相似度90％，关键点识别成功率94％。在室内手持手机，在遮挡情况下拍摄用户输入手势密码，拍摄距离为2m的情况下，本实施例中YOLO训练过程使用了多种数据增强算法，以及使用optuna算法进行超参数调优，使得识别成功率大大提升，达到98.7％。

与现有技术相比，本发明无需人工干预，在遮挡、非遮挡等复杂场景下，自动化地提取出用户解锁智能设备时输入的手势密码的关键点。本发明通过对手部特征、设备特征的全自动化提取，对设备位置、大小进行全自动的识别，同时对手部关键点进行全自动的定位，避免人工标注设备与手部关键点的繁琐操作，能够同时对海量视频流进行手势密码轨迹提取，实现批量化攻击。本发明实现一种误追踪检测算法，能够在上述场景下自动化识别追踪算法的误检测，提高成功率。本发明通过对轨迹进行滤波处理，有效的提取出原始轨迹的关键特征，为后续更有效的轨迹处理提供基础。本发明实现关键点检测算法，以迭代、分治的方法分析轨迹各点间的欧式距离，能够有效的提取出轨迹中的关键点，最终以向量的方法表示出手势密码轨迹。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。