通过乘员脚部位置压力分布识别乘员状态的系统与方法

摘要

本发明公开了一种通过乘员脚部位置压力分布识别乘员状态的系统与方法，包括脚部压力感知、行驶感知、乘员状态监控、乘员状态数据计算、乘员状态数据真值计算、乘员状态数据算法更新等模块。结合行驶感知模块获得本车及行车环境数据，在计算平台中分析获得压力分布数据的时域和频率信息，计算乘员的状态水平，包括紧张度、专注度、驾驶任务参与度、愉悦度、疲劳度。借助乘员状态监控和行驶感知数据，利用基于规则的方法和基于机器学习的方法，迭代更新状态识别算法。系统成本低、性能可靠，可用于为乘员提供个性化的高级驾驶辅助算法或自动驾驶算法，提高行驶安全性、乘坐舒适度和用户体验。

说明书

技术领域

本发明属于智能网联车辆领域，尤其涉及一种通过乘员脚部位置压力分布识别乘员状态的系统与方法。

背景技术

乘员状态，即乘员位于车舱内表现出来的外在行为和未表现出来的内心状态的统称，其中内心状态包括但不限于乘员的愉悦度，疲劳度，专注度，焦虑度，紧张度。以专注度，焦虑度，紧张度为代表的乘员状态指标，是乘员用户体验的重要表征，而且可以进行量化并通过相应的算法进行识别。在驾驶过程中，乘员作为处于运动状态的车辆的中枢而存在，因此识别乘员的状态至关重要。若能实时准确地识别乘员的状态，系统就能及时为乘员提供合适的个性化的高级驾驶辅助算法或自动驾驶算法，提升乘员的舒适性及体验。因此，我们提出一种使用机器识别的算法，基于乘员脚部位置压力分布识别乘员状态的方法。

在智能网联车辆发展背景下，驾驶员状态监控(Driver Monitoring System，DMS)和乘员状态监控(Occupant Monitoring System，OMS)已经成为关键技术。基于车内摄像头、毫米波雷达等传感器的乘员状态识别，已经取得了很大的进展，在先进驾驶辅助系统(ADAS)、高级别自动驾驶车辆上已经成为标配。例如，基于红外摄像头监控驾驶员眼部注视区域，从而获得驾驶员的专注度，已在量产车上得到应用。然而，由于车内乘员姿态多变、车内车外环境变化大等原因，目前车内摄像头、雷达方案对乘员状态的监控识别精度，仍存在很大的不足。另一方面，目前涉及乘员焦虑度、愉悦度、疲劳度、紧张度的识别技术，主要基于摄像头来捕捉乘员面部表情和躯干姿态，但是由于隐私因素，得到了不少用户的抱怨。因此，急需一种能结合已有乘员状态监控技术，进一步在不影响用户隐私的前提下提升乘员状态识别性能指标的新技术。

乘员脚部位置压力是指乘员在车辆正常行驶时脚跟部分布的压力。在人工驾驶车辆时，作为驾驶员的乘员曲腿坐在驾驶座上，左脚通常闲置并脚跟触地，右脚在控制刹车与油门的同时一般也脚跟触地，根据个人习惯也会出现脚跟悬空的状态。在人工驾驶的车辆或自动驾驶车辆上，乘员在乘坐时，曲腿坐在驾驶座上，左脚通常闲置并脚跟触地，但根据个人习惯也会出现躺姿、半躺姿，脚跟也会出现悬空。双脚脚跟部位对车舱底部的作用力被称为乘员脚部位置压力。乘员脚部位置压力通常不作为一种常用的数据而被记录，但如能通过基于统计的算法分析乘员脚部位置压力，将能很好地计算出乘员状态指标。

统计学习方法是使用统计方法的一种机器学习，它可以看作是基于数据的机器学习的一个特例。统计学习算法对一些观测样本和其标签进行学习，试图得到一些目前原理分析无法得到的规律，并利用这些规律对客观对象进行分析，从而对未来的数据做出更准确的预测。常见的统计学习方法有支持向量机，深度学习。在本发明中，统计学习方法被用于分析乘员脚部位置压力与乘员状态之间的客观规律。

目前，尚没有基于乘员脚部位置压力以识别乘员状态的相关报道。

发明内容

本发明的目的在于针对现有技术的不足，提供一种通过乘员脚部位置压力分布识别乘员状态的系统与方法。

本发明的目的是通过以下技术方案来实现的：一种通过乘员脚部位置压力分布识别乘员状态的系统，包括脚部压力感知模块、行驶感知模块、乘员状态监控模块、乘员状态数据计算模块、乘员状态数据近似真值计算模块、乘员状态数据算法更新模块等。

所述脚部压力感知模块，包括压力传感器阵列、压力信号采集处理装置，获取乘员左右脚压力分布；压力信号采集处理装置记录压力传感器阵列采集的乘员左右脚压力分布数据；压力传感器阵列布置于乘员脚部活动范围的地板上或直接布置于乘员足底或鞋底；各脚掌和脚跟至少各有一个压力信号输出；

所述行驶感知模块，负责获得本车数据和行车环境数据；

所述乘员状态监控模块，用于获得乘员面部头部及肢体动作数据；

所述乘员状态数据计算模块，基于脚部压力感知模块中的乘员左右脚压力分布数据的时域信息，经过傅里叶变换获得频域信息；结合行驶感知模块输出的本车数据及行车环境数据、时域信息及其统计特征和频域信息计算得到乘员状态计算值；计算的方法为基于规则的方法或基于机器学习的方法；其中，基于机器学习的方法表现为不断训练迭代的算法模型。

所述乘员状态数据近似真值计算模块，基于行驶感知模块输出的本车数据及行车环境数据、乘员状态监控模块输出的乘员面部头部及肢体动作数据，调用机器学习算法进行处理，输出乘员状态近似真值。

所述乘员状态数据算法更新模块，在所述乘员状态数据计算模块采用基于机器学习的方法计算乘员状态计算值时，判断乘员状态计算值DS(T0)与乘员状态数据近似真值DS_r(T0)这两个矢量指标的欧氏距离之差是否符合要求，如不符合要求则基于当前时刻乘员脚部压力数据的时域信息Ptime(T0)及其统计特征Ptimefeature(T0)、频域信息Pfreq(T0)、本车数据Veh(T0)及行车环境数据Env(T0)与乘员状态数据近似真值DS_r(T0)之间的映射关系，对乘员状态数据计算模块中的算法模型进行不断迭代并更新。

进一步地，在地板上布置压力传感器时，沿着车辆纵向逐个排布；在乘员足底或鞋底布置压力传感器时，压力信号采用无线传输。

进一步地，所述本车数据包括车辆运动信息、驾驶操纵输入、座椅状态和底盘动力系统状态。其中，所述车辆运动信息包括车速、纵向加速度、侧向加速度、横摆角、横摆角速度、侧倾角、侧倾角速度、俯仰角、俯仰角速度、垂向位移、垂向速度、垂向加速度。所述行车环境数据包括宏观、中观和微观层面。其中，宏观层面包括车辆运行的区域属性，包括城市、乡村、城郊、高速、越野、园区；中观层面包括拥堵程度、车流密度、事故易发概率；微观层面包括周边车辆与本车相对运动、周边车辆属性、周边道路属性。

进一步地，所述时域信息是指从脚部压力感知模块的压力信号采集处理装置中获取的过去时段内的乘员左右脚压力分布数据；所述时域信息的统计特征由时域信息经过噪声滤波和统计分析得到。

进一步地，所述时域信息的统计特征包括均值、方差、变化率、分布不均匀度。

进一步地，所述乘员状态数据计算模块中，基于规则的方法是指预先设定乘员左右脚压力分布数据的时域信息和频域信息中各项参数的阈值，与乘员状态计算值之间的逻辑规则，根据实时的时域信息和频域信息确定乘员状态计算值。

进一步地，所述乘员状态数据计算模块为每个乘员保存对应的最终算法模型，作为其下次乘坐车辆的初始算法模型。

进一步地，所述乘员状态数据计算模块中，采用深度学习与支持向量机结合的统计学习算法。所述乘员状态数据近似真值计算模块中机器学习算法为深度卷积神经网络联合逻辑斯蒂回归算法。

一种通过乘员脚部位置压力分布识别乘员状态的方法，包括以下步骤：

(1)在乘员开始乘坐车辆时，获得乘员的身份信息，乘员状态数据计算模块采用基于机器学习的方法，如乘员状态数据计算模块保存过乘员对应的算法模型，则直接调用上次乘坐保存的最终算法模型；否则，乘员状态数据计算模块采用未训练过的初始算法模型。

(2)在车辆实际行驶场景中，通过脚部压力感知模块获取并记录乘员左右脚压力分布数据，将当前时刻T0及之前k个步长时段的左右脚部位置压力分布记为时域信息Ptime(T0)，并传至乘员状态数据计算模块中，分析处理后获得对应的统计特征Ptimefeature(T0)及频域特征Pfreq(T0)，并结合行驶感知模块输出的本车数据Veh(T0)及行车环境数据Env(T0)，计算出当前时刻乘员状态计算值DS(T0)；

(3)在车辆实际行驶场景中，将乘员状态监控模块输出的乘员面部头部及肢体动作数据、行驶感知模块输出的本车数据及行驶环境数据传至乘员状态数据近似真值计算模块中，计算出当前时刻乘员状态近似真值DS_r(T0)；

(4)乘员状态数据算法更新模块判断当前时刻的乘员状态计算值DS(T0)与乘员状态数据近似真值DS_r(T0)这两个矢量指标的欧氏距离之差是否符合要求，如不符合要求则基于当前时刻乘员脚部压力数据的时域信息Ptime(T0)及其统计特征Ptimefeature(T0)、频域信息Pfreq(T0)、本车数据Veh(T0)及行车环境数据Env(T0)与乘员状态数据近似真值DS_r(T0)之间的映射关系，对乘员状态数据计算模块中的算法模型进行不断迭代并更新。

与现有技术相比，本发明的有益效果在于：

1、本发明可以通过乘员脚部位置压力分布实时计算乘员状态。当乘员处于不同的状态水平下，该计算结果可及时有效地用于为乘员提供个性化的高级驾驶辅助算法或自动驾驶算法算法，提升乘员的舒适性及体验。

2、相比较现有技术，现有技术常通过乘员面部表情或者乘员生理数据来判断乘员的状态，其使用的传感器成本较高、在夜间、隧道场景下效果不佳，而本发明最少可仅两个压力传感器，布置方便、成本低、性能可靠。

3、本发明在被重视隐私的乘员使用时，可关闭多传感器并停止识别算法的更新迭代，仅通过乘员脚部位置压力分布计算乘员状态，使用成本较低且较好地保护了乘员的隐私权。

附图说明

图1为本发明的模块方案与流程示意图；

图2为系统布置方案示意图；其中，(a)为驾驶位脚部位置，(b)为乘员脚部位置；

图3为本发明中压力传感器采用支架依附于乘员鞋底安装方案的示意图；

图4为加速减速过程中车辆纵向加速度、乘员脚部压力随时间变化关系的示意图；

图5为左右脚压力分布与乘员压力等级TL之间的关系示意图；

图6对左右脚压力进行频谱分析处理的结果示意图；

图7为乘员对本系统的使用体验流程示意图；

图中：驾驶位左脚压力传感器阵列1、脚托2、离合器踏板3、制动踏板4、油门踏板5、驾驶位右脚压力传感器阵列6、乘员左脚压力传感器阵列7、乘员脚部空间8、压力传感器安装框架9、乘员右脚压力传感器阵列10。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本发明一种通过乘员脚部位置压力分布识别乘员状态的系统，包括脚部压力感知模块、行驶感知模块、乘员状态监控模块、乘员状态数据计算模块、乘员状态数据近似真值计算模块和乘员状态数据算法更新模块。所述乘员状态包括紧张度、专注度、驾驶任务参与度、愉悦度和疲劳度。

(1)脚部压力感知模块用于获取乘员左右脚压力分布数据，包括压力传感器阵列和压力信号采集处理装置；压力信号采集处理装置将压力传感器阵列输出的电压值转换成压力值，并记录。压力信号采集处理装置采用多通道模拟数字转换器实现。

其中，压力传感器阵列可以布置于乘员脚部位置的地板上，测力范围涵盖乘员脚部活动范围。如图2所示，根据乘员在车内所处位置分为驾驶位和乘员位置，驾驶位包括驾驶位左脚压力传感器阵列1、脚托2、离合器踏板3、制动踏板4、油门踏板5和驾驶位右脚压力传感器阵列6，乘员位置包括乘员左脚压力传感器阵列7、乘员脚部空间8、压力传感器安装框架9和乘员右脚压力传感器阵列10。在地板上布置传感器时，以传感器尽可能少、但又能获得压力在纵向分布的特征为目标，沿着车辆纵向逐个排布的托架来阵列式布置传感器，如图2(b)所示。

如图3所示，压力传感器阵列也可采用支架直接依附于乘员足底或鞋底安装，脚掌和脚跟各布置1个压力传感器，无线采集输出左右脚压力分布数据；这种方案可以保证乘员在自由移动脚部的过程中，仍可以精确获得脚部压力。

(2)行驶感知模块，负责获得本车数据及行车环境数据。数据来源包括车载数据总线、摄像头、激光雷达、毫米波雷达、超声波雷达和车辆网联终端。

本车数据包括车辆运动信息、驾驶操纵输入、座椅状态和底盘动力系统状态。其中，车辆运动信息包括车速、纵向加速度、侧向加速度、横摆角、横摆角速度、侧倾角、侧倾角速度、俯仰角、俯仰角速度、垂向位移、垂向速度、垂向加速度。

行车环境数据包括宏观、中观和微观层面。其中，宏观层面包括车辆运行的区域属性，包括城市、乡村、城郊、高速、越野、园区；中观层面包括拥堵程度、车流密度、事故易发概率；微观层面包括周边车辆与本车相对运动、周边车辆属性、周边道路属性。

(3)乘员状态监控模块，用于获得乘员面部头部及肢体动作数据。

乘员在开始乘坐车辆时，通过独立摄像头设备和雷达记录特定乘员状态下乘员面部头部及肢体动作数据；乘员面部头部及肢体动作数据包括面部表情、头部姿态和肢体动作的原始数据。

(4)乘员状态数据计算模块，基于脚部压力感知模块中的乘员左右脚压力分布数据的时域信息，通过数据处理获得频域信息，结合行驶感知模块输出的本车数据及行车环境数据、时域信息及其统计特征和频域信息计算得到乘员状态计算值。计算方法包括基于规则的方法和基于机器学习的方法。

时域信息是指从脚部压力感知模块的压力信号采集处理装置中获取的过去时段内的乘员左右脚压力分布数据，对其进行噪声滤波和统计分析得到时域信息的统计特征，包括脚部压力的均值、方差、变化率、分布不均匀度等；时域信息与其统计特征均用于状态数据计算；

频域信息是指对过去时段内的时域信息进行傅里叶变换获得的功率谱结果，表征乘员左右脚压力分布数据在不同频率上的信号功率分布；频域信息也用于状态数据计算。

基于规则的方法是指，预先设定乘员左右脚压力分布数据的时域信息和频域信息中各项参数的阈值，与乘员状态计算值之间的逻辑规则，根据实时的时域信息和频域信息确定乘员状态计算值；

基于机器学习的方法表现为不断训练迭代的算法模型，采用深度学习与支持向量机结合的统计学习算法。乘员状态数据计算模块为每个乘员保存对应的算法模型，作为其下次乘坐车辆的初始算法模型。

(5)乘员状态数据近似真值计算模块，基于行驶感知模块输出的本车数据及行车环境数据、乘员状态监控模块输出的乘员面部头部及肢体动作数据，调用机器学习算法(已训练好的卷积神经网络)进行处理，输出乘员状态近似真值。

(6)乘员状态数据算法更新模块，在所述乘员状态数据计算模块采用基于机器学习的方法计算乘员状态计算值时，以时域信息Ptime(T0)及其统计特征Ptimefeature(T0)、频域信息Pfreq(T0)、本车数据Veh(T0)及行车环境数据Env(T0)与乘员状态计算值DS(T0)、乘员状态数据近似真值为输入，判断乘员状态计算值DS(T0)与乘员状态数据近似真值DS_r(T0)这两个矢量指标的欧氏距离之差是否符合要求，如不符合要求则基于当前时刻乘员脚部压力数据的时域信息Ptime(T0)及其统计特征Ptimefeature(T0)、频域信息Pfreq(T0)、本车数据Veh(T0)及行车环境数据Env(T0)与乘员状态数据近似真值DS_r(T0)之间的映射关系，对乘员状态数据计算模块中的算法模型进行不断迭代并更新。

不断迭代更新乘员状态数据计算模块采用基于机器学习的方法时乘员左右脚压力分布数据与乘员状态近似真值之间的映射关系，通过不断学习，在乘员乘坐过程中迭代更新算法模型，以体现乘员个性特征为目标。

本发明一种通过乘员脚部位置压力分布识别乘员状态的方法，具体步骤包括：

(1)在乘员开始乘坐车辆时，获得乘员的身份信息，乘员状态数据计算模块采用基于机器学习的方法，如乘员状态数据计算模块保存过该乘员对应的算法模型，则直接调用上次乘坐保存的算法模型；否则，采用未训练过的初始算法模型。

(2)在车辆实际行驶场景中，通过脚部压力感知模块获取并记录乘员左右脚压力分布数据，得到在当前时刻T0及之前k个步长时段内的多维时间序列数据Ptime(T0)：

Ptime(T0)＝[Pressure(Tk)；…；Pressure(T1)；Pressure(T0)]

其中，Pressure(T0)为当前时刻T0脚部压力感知模块采集的乘员左右脚压力分布数据，Pressure(T1)～Pressure(Tk)为当前时刻T0的前1～k个步长时刻对应的乘员左右脚压力分布数据。

将时域信息Ptime(T0)传至乘员状态数据计算模块中，分析处理后获得该时段的时域信息的统计特征Ptimefeature(T0)及频域特征Pfreq(T0)，并结合行驶感知模块输出的本车数据Veh(T0)及行车环境数据Env(T0)，计算出当前时刻乘员状态计算值：

DS(T0)＝F(Ptime(T0),Ptimefeature(T0),Pfreq(T0),Veh(T0),Env(T0))

其中，F为乘员状态计算值的计算函数；Ptime(T0),Ptimefeature(T0),Pfreq(T0)为矩阵形式。

(3)在车辆实际行驶场景中，将乘员状态监控模块输出的乘员面部头部及肢体动作数据、行驶感知模块输出的本车数据及行车环境数据传至乘员状态数据近似真值计算模块中，计算出当前时刻乘员状态近似真值：

DS_r(T0)＝G(X,Y,Z)

式中，DS_r(T0)为当前时刻T0乘员状态近似真值；G为乘员状态近似真值的计算函数；X为本车数据，Y为行车环境数据，Z为乘员面部头部及肢体动作数据。优选地，计算函数G采用深度神经网络联合逻辑斯蒂回归算法。

(4)乘员状态数据算法更新模块对乘员状态计算值DS(T0)与乘员状态数据近似真值DS_r(T0)进行判断，如这两个矢量指标的欧氏距离之差大于等于本身乘员状态计算值DS(T0)的百分比阈值θ％，则开启乘员状态数据算法更新，其中阈值θ可根据乘员偏好选择。基于针对当前时刻乘员脚部压力数据的时域信息Ptime(T0)及其统计特征Ptimefeature(T0)、频域信息Pfreq(T0)、本车数据Veh(T0)及行车环境数据Env(T0)与乘员状态数据近似真值DS_r(T0)之间的映射关系，对乘员状态数据计算模块中的算法模型进行不断迭代并更新。

下面以加速减速工况为例说明本系统设计，车辆纵向加速度、乘员脚部压力随时间变化关系的示意图如图4所示。本车先加速后减速，即先执行一个加速过程再执行一个制动过程。在此过程中，压力传感器获取的该乘员左右脚压力与驾驶员操作、车辆运动存在一定规律，这种客观规律可被机器学习算法所学习。

以紧张度水平指标为例，针对一般的乘员的而言，在一般的工况下，其规律如图5所示。乘员紧张度水平的提升将会表现在左脚压力及右脚压力两种数据上，即乘员紧张度水平上升时，可能出现左脚或右脚压力增加的情况，也有可能两者均增加。通过设计简单的机器学习算法或者基于规则的算法，均能很好地表征出这一压力数据变化的内在规律。

进一步地，对脚部压力进行傅里叶变换，得到不同频率范围的信号功率分布特征，如图6。去除由地板振动和传感器高频噪声，主要关注中低频范围的频域特征，包括功率幅度、高功率带宽等。将上述时域信息和频域信息，输入到深度学习与支持向量机结合的统计学习算法，获得乘员状态计算值。

针对负有驾驶任务的乘员——驾驶员，以拥堵驾驶场景为例，一般来说，此时驾驶员脚跟部压力维持在一个相对较高的水平且变化剧烈律，应用乘员状态数据计算模块算法，其输入为乘员脚部压力分布数据，输出为乘员状态数据推断值。此时，基于机器学习的乘员状态识别算法能识别出驾驶员的状态指标并判断驾驶员此时处于一个焦虑度较高、紧张度较高的状态下，此时高级驾驶辅助系统可针对驾驶员员提供防路怒算法或寻求其它措施平复情绪以确保安全驾驶。以驾驶员分心行驶为例，一般来说，此时驾驶员脚跟部压力维持在一个相对较低的水平且变化幅度不大，应用乘员状态数据计算模块算法，输出为乘员状态数据计算值。此时，基于机器学习的乘员状态识别算法能识别出驾驶员的状态指标并判断驾驶员此时处于一个紧张度较低、专注度较低的状态下，此时高级驾驶辅助系统可针对驾驶员提供防止乘员分心算法或寻求其它措施提高乘员的状态以避免分心，确保安全驾驶。

另外，若包括车内摄像头的乘员状态监控模块准许使用，可采用已训练好的机器学习算法估计乘员状态数据近似真值，其输入为本车数据、行车环境数据、乘员状态数据，其输出乘员状态数据近似真值。当该摄像头数据关闭时，仅依靠脚部压力传感信号来计算乘员状态。

采用乘员状态数据算法更新模块中的更新算法，其输入为乘员状态数据近似真值、乘员状态计算值DS(T0)、乘员脚部压力分布数据、本车数据及行车环境数据，其输出为机器学习算法F，在车辆的行驶过程中，通过不断喂给算法F大量行驶过程中产生的真实数据，使得算法F不断学习两者之间的客观规律。通过以上流程开启乘员状态数据算法更新模块的迭代更新，使得乘员状态识别算法能更好地学习到乘员的脚跟部压力与乘员状态之间的客观规律，即对于乘员状态的识别准确度越来越高。

图7给出了乘员对本系统的使用体验流程示意图。乘员上车后，在获取乘员身份后，乘员需做出选择，是否允许乘员状态监控模块开启。当乘员选择不允许乘员状态监控模块开启，乘员状态数据算法更新模块将停止工作，停止算法的迭代更新，并始终使用最新版本的算法识别乘员状态。当乘员选择乘员状态监控模块开启，系统将不仅仅进行乘员状态的识别，行驶感知模块和乘员状态监控模块将开始采集乘员面部表情数据、头部姿态、躯干姿态、周围行车环境数据、车辆动力学数据，并基于数据不断进行识别算法的更新迭代。在算法更新迭代完成后，利用最新的识别算法进行乘员状态的识别。当得到乘员状态计算值后，根据乘员焦虑状态、紧张状态、专注状态、愉悦状态，适当调整车辆驾驶辅助系统ADAS或自动驾驶系统的算法策略，提高用户体验。

以上所述仅为本发明的优选实施例而已，并不用限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。