一种行人使用手机状态识别和预警的方法及其智能手机

摘要

本发明提供了一种行人使用手机状态识别和预警的方法及其智能手机，建立行人运动状态辨识神经网络模型；通过手机内安装的加速度传感器检测当前加速度，通过行人运动状态辨识神经网络模型识别行人运动状态；通过手机获取当前路面信息，利用卷积神经网络模型识别当前环境；根据当前加速度、行人运动状态、当前环境和当前屏幕状态进行预警。本发明通过统计分析、时域分析和频域分析的方法对合加速度数值进行分析与处理，准确快递的进行运动状态识别。

说明书

技术领域

本发明涉及手机识别或行人交通安全干预领域，特别涉及一种行人使用手机状态识别和预警的方法及其智能手机。

背景技术

智能手机使用的日常化和成瘾化导致行人在步行中使用手机的行为日益普遍，由手机分心引发的道路交通事故持续上升。为解决由行人使用手机导致的交通安全问题，部分城市通过设置“手机使用者专用人行道”，或是在十字路口架设闪烁灯及雷射光束，用于避免使用手机的“低头族”发生意外碰撞、摔伤等事故。然而，这些措施受制于道路交通资源和道路设施，其可操作性、干预效果和大范围的推广均受到限制。因此，需要开发一种无需外部道路交通设置进行主动干预诱导低头族注意交通安全、规范自身出行的方法。

由于智能手机内置了微传感器，可以检测加速度、亮度、GPS、倾角、滚转角、磁场等多种数据，且智能手机的计算能力越来越强，经模式识别后可以实现行人活动状态和活动场景的识别。在行人运动状态的辨识过程中，需要对采集的动态数据进行降噪和过滤处理，传统的统计分析的方法虽然在一定程度上能够表现不同状态的特性，但参数特征不明显，识别鲁棒性差。

发明内容

针对现有技术中存在的不足，本发明提供了一种行人使用手机状态识别和预警的方法及其智能手机，通过统计分析、时域分析和频域分析的方法对合加速度数值进行分析与处理，准确快速的进行运动状态识别，通过亮屏状态识别手机操作行为，通过图像处理技术识别行人环境。

本发明是通过以下技术手段实现上述技术目的的。

一种行人使用手机状态识别和预警的方法，包括如下步骤：

建立行人运动状态辨识神经网络模型；

通过手机内安装的加速度传感器检测当前加速度，通过行人运动状态辨识神经网络模型识别行人运动状态；

通过手机获取当前路面信息，利用卷积神经网络模型识别当前环境；

根据当前加速度、行人运动状态、当前环境和当前屏幕状态进行预警。

进一步，建立行人运动状态辨识神经网络模型，包括如下步骤：

将N个加速度值作为加速度序列x(n)，其中n∈[1,N]；

计算加速度序列x(n)的平均加速度

对加速度序列x(n)进行离散傅里叶变换得X(n)，利用快速傅立叶变换对X(n)进行处理，具体如下：

对加速度序列x(n)运用5层的多贝西小波变换分解为低频部分和高频部分的信息，其近似系数为c和细节系数为{d

将平均加速度

训练BP神经网络。

进一步，通过手机获取当前路面信息，利用卷积神经网络模型识别当前环境，具体为：

利用手机后视摄像头拍摄行人当前姿态下图片，采用轻量级的深度可分离卷积网络MobileNets模型识别当前姿态下图片，得出当前环境为斑马线或普通路面或楼梯。

进一步，根据当前加速度、行人运动状态、当前环境和当前屏幕状态进行预警，具体为：

当通过行人运动状态辨识神经网络模型识别行人运动状态为步行状态Y

进一步，所述报警为文字弹窗或震动或语音提醒中的一种或者其组合。

一种行人使用手机状态识别和预警的方法的智能手机，包括加速度传感器、行人运动状态辨识模块、图像识别模块和报警模块；

所述加速度传感器内置在智能手机内部，用于检测加速度信号；

所述行人运动状态辨识模块根据加速度信号，识别行人运动状态；

所述图像识别模块根据所述智能手机后摄像头拍摄的照片，识别当前环境；

所述报警模块根据屏幕状态、行人运动状态和当前环境发出报警信息。

本发明的有益效果在于：

1.本发明所述的行人使用手机状态识别和预警的方法，实现行人运动状态、手机使用与否、行人运动环境的辨识，最终实现行人在危险场景中使用手机状态的准确识别；

2.本发明所述的行人使用手机状态识别和预警的方法，通过手机自身信号预警提醒低头族注意交通安全，用户不必购买其他设备来规范自身出行，也无需外部道路交通设施进行干预诱导，可行性和可操作性好。

附图说明

图1为本发明所述的行人使用手机状态识别和预警的方法的流程图。

图2为本发明所述的加速度小波变换后的第三层细节系数图。

图3为本发明所述的近似系数图。

图4为本发明所述的预警流程。

具体实施方式

下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。

如图1所示，本发明所述的行人使用手机状态识别和预警的方法的流程图，包括如下步骤：

S01：建立行人运动状态辨识神经网络模型；

以200个连续采样数据为一个加速度序列x(n)，即将N＝200个加速度值作为加速度序列x(n)，其中n∈[1,N]；

计算加速度序列x(n)的平均加速度

对加速度序列x(n)进行离散傅里叶变换得X(n)，利用快速傅立叶变换对X(n)进行处理，具体如下：

离散傅里叶变换需要计算大约N

如图2和图3所示，对加速度序列x(n)运用5层的多贝西小波变换分解为低频部分和高频部分的信息，其近似系数为c和细节系数为{d

平均加速度

输入向量：

中间层向量：B＝{B

输出向量：Y＝{Y

神经网络模型建立好后，按比例随机划分训练集和测试集，设置学习次数、学习速率、目标误差值等超参数，对神经网络模型进行训练，满足要求终止训练后生成预测模型；对测试集进行识别和测试，经数据验证，模型精度可达到96％以上。

S02：通过手机内安装的加速度传感器检测当前加速度，通过行人运动状态辨识神经网络模型识别行人运动状态；

S03：根据亮屏传感器判定手机使用状态，当亮屏传感器值为ON，且信号持续T秒以上则判定为正在操作手机；否则，判定为非使用手机状态。

S04：通过手机获取当前路面信息，利用卷积神经网络模型识别当前环境；

(1)采用手机后视摄像头拍摄行人各种步行姿态下，手持手机在静止和运动状态下的普通路面、斑马线以及楼梯踏步照片，普通路面、斑马线以及楼梯踏步照片每种情况1万张，数据总量约3万张；调整图片大小、标定图片标签以建立图片库。由此创建图像集Z＝{z

(2)卷积神经网络模型的建立

构建一个I层结构的卷积神经网络，卷积神经网络从上之下依次为输入层Z、标准卷积层C、可分离的卷积层D

G

其计算量为：D

本发明采用轻量级的深度可分离卷积网络MobileNets模型，将产生和组合步骤分为两步，分别用深度卷积K1和逐点卷积K2，减少计算量。深度卷积K1的输出特征图表示为：

其中，

激励函数采用Leaky ReLU函数，经池化层后的特征图展开得到全连接层，采用softmax函数对不同的图片类别分配概率，选取概率最大值的索引作为预测图片类型。

对卷积神经网络赋初值，获得可分离卷积层和标准卷积层的初始权重和阈值，在图片集的三类图片中随机选择80％用于训练，更新权值和阈值，直至卷积神经网络模型收敛。图片集剩余20％图片用于测试，经验证，辨识准确率可达到96％以上。

S04：根据当前加速度、行人运动状态、当前环境和当前屏幕状态进行预警。

如图4所示，每10个连续判断值作为最终判定用户运动状态的依据，当某一运动状态被判定次数过半则认为处于该状态；即在10个连续周期内通过行人运动状态辨识神经网络模型识别出10个运动状态，若步行状态Y2被判定次数过半则认为处于该状态，周期一般为0.1s。当通过行人运动状态辨识神经网络模型识别行人运动状态为步行状态Y2或跑动状态Y3，且手机屏幕处于持续亮屏状态时，根据识别的当前环境发出不同形式报警，可以是文字弹窗或震动或语音提醒中的一种或者其组合。结合运动判定结果及路面识别结果综合得出用户是否在移动时、过斑马线时以及上下楼梯时使用手机，若是则系统发出不同警示信息。

一种行人使用手机状态识别和预警的方法的智能手机，包括加速度传感器、行人运动状态辨识模块、图像识别模块和报警模块；

所述加速度传感器内置在智能手机内部，用于检测加速度信号；

所述行人运动状态辨识模块根据加速度信号，识别行人运动状态；

所述图像识别模块根据所述智能手机后摄像头拍摄的照片，识别当前环境；

所述报警模块根据屏幕状态、行人运动状态和当前环境发出报警信息。

行人运动状态辨识模块、图像识别模块和报警模块可以以软件app形式安装在智能手机上，也可以是某种小程序。

所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。