面向眼动仪前向视频的交通目标自动识别与匹配的方法

摘要

本发明公开了一种面向眼动仪前向视频的交通目标自动识别与匹配的方法，该方法包括：通过眼动仪眼部摄像头获取驾驶人在驾驶时的注视点位置信息；通过眼动仪前向摄像头拍摄记录驾驶人前方的交通场景；利用AI算法对眼动仪前向摄像头记录的视频文件进行运算分析，对视频中的交通目标进行识别和位置标注；通过眼动仪前向摄像头拍摄的前向视频前后帧对交通目标进行识别跟踪；利用匹配算法对视频中的交通目标和注视点进行空间匹配；根据空间匹配结果对驾驶人在各种交通目标上的注视点的时空特征进行统计分析。本发明能够自动、快速、高效地确定驾驶过程中驾驶人的注视目标和内容，克服人工标注和匹配交通目标效率低下、准确度不高的缺陷。

说明书

技术领域

本发明涉及人因工程、计算机视觉和目标检测等领域，更具体地，涉及一种面向眼动仪前向视频的交通目标自动识别与匹配的方法。

背景技术

视线追踪技术是采用机械、电子、光学和计算机等技术手段获取人的视觉注意方向的技术广泛应用于人机交互、车辆辅助驾驶等各个领域。驾驶人在驾驶过程中，需要接收周围的道路信息，对其进行选择、处理和反应，在这个过程中，眼睛起着主要作用。通过对驾驶人的视线进行追踪，研究驾驶人的注视特征，可在一定程度上揭示驾驶人的驾驶习惯、驾驶心理等因素，对于驾驶安全等方面有着重要意义。

眼动仪是一种能够跟踪测量眼球位置及眼球运动信息的一种设备，用于记录人在处理视觉信息时的眼动轨迹特征，在视觉系统、心理学、认知语言学的研究中有广泛的应用。视线追踪是通过测量眼睛的注视点的位置或者眼球相对头部的运动而实现对眼球运动的追踪。而眼动的本质是人注意力资源的主动或被动分配，选择更有用或吸引力的信息。用户佩戴眼动仪读取文本和图像时，视线追踪记录了眼睛的注视和扫视的过程，并完整地判断出眼睛浏览和停留的位置，清晰地解释佩戴者的眼睛看过哪些位置，没有看哪些位置。

眼动仪所具备的前向摄像头可记录驾驶人的驾驶情况，利用眼动仪的配套专业软件，可以选择并且提取时间戳、驾驶人注视位置和注视时长等数据。但当前的眼动仪存在着无法进行交通目标的识别与分类，需要人工逐帧识别标定的问题，效率低下。而交通场景中的目标如车辆、行人、非机动车、标志、标线、信号灯等具有特征，具备自动识别的条件；如果采用AI算法对前向视频中的交通目标进行逐帧识别，然后再与注视点进行匹配，则可自动提取驾驶人注视点所关注的交通目标类型，这样可以大幅提高注视目标标注的效率。

发明内容

本发明主要目的，在于提出一种面向眼动仪前向视频的交通目标自动识别与匹配的方法，实现注视点所关注目标的自动、高效的提取、匹配与统计。

本发明所采用的技术方案是：

提供一种面向眼动仪前向视频的交通目标自动识别与匹配的方法，该方法包括：

S1、通过眼动仪眼部摄像头获取驾驶人在驾驶时的注视点位置信息；

S2、通过眼动仪前向摄像头拍摄记录驾驶人前方的交通场景；

S3、利用AI算法对眼动仪前向摄像头记录的视频文件进行运算分析，对视频中的交通目标进行识别和位置标注；

S4、通过眼动仪前向摄像头拍摄的前向视频前后帧对交通目标进行识别跟踪，并对跳变的目标进行过滤修复，对遗漏的目标进行差值补充；

S5、利用匹配算法对视频中的交通目标和注视点进行空间匹配，完成对驾驶人注视目标的判断；

S6、根据空间匹配结果对驾驶人在各种交通目标上的注视点的时空特征进行统计分析。

接上述技术方案，步骤S3中，具体利用AI算法对眼动仪前向摄像头所录制的视频内容进行识别，识别的交通目标包括交通标志、标线、车辆、行人以及信号灯；并对交通目标在图像像素中所处的区域进行标注、分类并记录。

接上述技术方案，步骤S5中具体将步骤S4中识别出的交通目标与注视点位置进行匹配，自动判断驾驶人在驾驶过程中在各帧对交通目标的注视情况。

接上述技术方案，步骤S6中时空特征包括注视目标时长、注视目标类型。

接上述技术方案，步骤S3中，具体对交通目标在图像像素中所处的矩形区域进行标注，对交通目标进行分类编码，并对识别结果打上时间戳。

本发明还提供一种面向眼动仪前向视频的交通目标自动识别与匹配的系统，该系统包括：

注视点位置信息获取模块，用于通过眼动仪眼部摄像头获取驾驶人在驾驶时的注视点位置信息；

交通场景获取模块，用于通过眼动仪前向摄像头拍摄记录驾驶人前方的交通场景；

交通目标识别模块，用于利用AI算法对眼动仪前向摄像头记录的视频文件进行运算分析，对视频中的交通目标进行识别和位置标注；

交通目标跟踪模块，用于通过眼动仪前向摄像头拍摄的前向视频前后帧对交通目标进行识别跟踪，并对跳变的目标进行过滤修复，对遗漏的目标进行差值补充；

匹配模块，用于利用匹配算法对视频中的交通目标和注视点进行空间匹配，完成对驾驶人注视目标的判断；

时空特征分析模块，用于根据空间匹配结果对驾驶人在各种交通目标上的注视点的时空特征进行统计分析。

接上述技术方案，交通目标识别模块具体利用AI算法对眼动仪前向摄像头所录制的视频内容进行识别，识别的交通目标包括交通标志、标线、车辆、行人以及信号灯；并对交通目标在图像像素中所处的区域进行标注、分类并记录。

接上述技术方案，时空特征包括注视目标时长、注视目标类型。

接上述技术方案，交通目标识别模块具体对交通目标在图像像素中所处的矩形区域进行标注，对交通目标进行分类编码，并对识别结果打上时间戳。

本发明还提供一种存储介质，其可被处理器执行，其内存储有计算机程序，该计算机程序执行上述技术方案中的面向眼动仪前向视频的交通目标自动识别与匹配的方法。

本发明产生的有益效果是：本发明通过眼动仪所拍摄的前向视频，对前向交通目标进行识别与分类，并将交通目标与驾驶人的注视点自动匹配，完成对驾驶人在驾驶过程中的注视目标的判断，克服了人工识别和匹配交通目标效率低下、准确度不高的缺陷。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例面向眼动仪前向视频的交通目标自动识别与匹配的方法流程图；

图2是本发明实施例中AI算法对眼动仪前向视频中的交通标志、标线、车辆等目标所处的矩形区域进行标注的示意图；

图3是本发明实施例中AI算法对眼动仪前向视频中识别的目标对象的处理示意图；

图4是本发明实施例中眼动仪所提取到的注视点与前向视频中AI算法提取到的相关交通目标进行匹配，完成对驾驶人注视目标的判断的示意图；

图5是本发明实施例面向眼动仪前向视频的交通目标自动识别与匹配的系统结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明的面向眼动仪前向视频的交通目标自动识别与匹配的方法主要利用AI算法，自动识别和提取前向摄像头所记录视频中的各相关交通目标，并将目标与注视点进行逐帧匹配，以自动提取注视点所观察的特征。通过这种方法，无需人工对交通目标进行标注，实现注视点所关注目标的自动、高效的提取、匹配与统计。

本发明将AI算法和眼动仪相结合，驾驶人在佩戴眼动仪驾驶时，利用眼动仪的前向摄像头记录驾驶人的驾驶情况，利用眼动仪眼部摄像头记录驾驶人的注视点位置信息。在后期进行处理时，利用AI算法将视频中记录的各相关交通目标进行自动的识别与分类。如图1所示，其具体步骤为：

S1、利用眼动仪的眼部摄像头，记录并提取驾驶人在驾驶过程中的注视点位置信息；

S2、利用眼动仪的前向摄像头，记录驾驶人前方的交通场景；

S3、对于眼动仪前向摄像头记录的视频文件，采用AI算法对视频中出现的各相关交通目标进行识别与位置标注；

S4、通过眼动仪前向摄像头拍摄的前向视频前后帧对交通目标进行识别跟踪，并对跳变的目标进行过滤修复，对遗漏的目标进行差值补充。主要对于眼动仪前向视频中前后跳帧、漏帧等问题进行修复；

S5、将前向视频中的各交通目标与驾驶人的注视点进行匹配；完成对驾驶人注视目标的判断；

S6、根据上一步匹配的结果，分析并统计驾驶人在各种交通目标上的注视点时空特征。

进一步地，本发明步骤S1的具体方法为：

本发明拟采用头戴式眼动仪，但是固定非接触式眼动仪(视线追踪系统)也适用本方法。一般而言，汽车驾驶者头戴眼动仪进行驾驶，期间眼动仪眼部摄像头用来记录驾驶人眼睛的注视情况，并提取眼球运动状态以推算注视点，将注视点映射到前向摄像头视频中。将注视点的位置映射到前向摄像头视频中，这是眼动仪具备的功能，不在本发明专利范围内；但是注视点位置是本发明专利的数据来源之一。

进一步地，本发明步骤S2的具体方法为：

驾驶人佩戴的眼动仪装有前向摄像头，驾驶人在驾驶过程中佩，眼动仪可记录车辆前方的驾驶情况。前向摄像头的位置可视为驾驶人眼睛的位置，因此可以视认为是驾驶人驾车时的视野情况。驾驶人佩戴眼动仪进行驾驶，期间眼动仪保持工作状态，保证完整无误地记录下前方的交通场景。前向摄像头记录下前方场景视频，这是眼动仪具备的功能，不在本发明专利范围内；但是该视频数据是本专利后续发明内容的重要对象。

进一步地，本发明步骤S3的具体方法为：

针对前向摄像头录制的视频，使用AI算法对视频进行运算分析，识别视频中的交通目标，提取交通标志、交通标线、车辆、行人、信号灯等对象；并对目标在图像像素中所处的矩形区域进行标注(如红色矩形框)；并对交通目标进行分类编码，如小汽车编为1、小货车编为2、大客车编为3、大货车编为4、标线标为5、标志编为6、行人编为7、信号灯编为8，…；并对这些识别结果打上时间戳，并记录到数据库。图2是AI算法对视频中的交通标志、标线、车辆等目标所处的矩形区域进行标注的示意图。

进一步地，本发明步骤S4的具体方法为：

通过眼动仪视频前后帧对交通目标的识别，对于视频中跳变的目标进行过滤修复，对遗漏的目标进行差值补充。消除跳变目标，补充遗漏目标，并进行多帧检测，根据多帧检测的结果对交通目标尺寸进行平滑处理。图3所示即为AI算法对眼动仪视频中所识别的目标的处理过程。

进一步地，本发明步骤S5的具体方法为：

利用匹配算法，将眼动仪所提取到的注视点与前向视频中AI算法提取到的相关交通目标进行匹配，完成对驾驶人注视目标的判断。如图4所示，十字代表注视点，表明驾驶人正在注视前方车辆。通过时间点关联和空间点关联的方法，判定驾驶人在视频帧中所注视的交通目标类型。

进一步地，本发明步骤S6的具体方法为：

根据步骤S5中的匹配结果，对驾驶人在各种交通目标上的注视点时空特征进行分析，对注视目标时长、注视目标类型等特征进行统计并提取。通过注视点匹配的结果及在时间序列上的特点，确认随着时间注视点所观察的目标类型，并统计输出随着时间变化所关注的目标类型。

如图5所示，本发明还提供一种面向眼动仪前向视频的交通目标自动识别与匹配的系统，该系统包括：

注视点位置信息获取模块，用于通过眼动仪眼部摄像头获取驾驶人在驾驶时的注视点位置信息；

交通场景获取模块，用于通过眼动仪前向摄像头拍摄记录驾驶人前方的交通场景；

交通目标识别模块，用于利用AI算法对眼动仪前向摄像头记录的视频文件进行运算分析，对视频中的交通目标进行识别和位置标注；

交通目标跟踪模块，用于通过眼动仪前向摄像头拍摄的前向视频前后帧对交通目标进行识别跟踪，并对跳变的目标进行过滤修复，对遗漏的目标进行差值补充；

匹配模块，用于利用匹配算法对视频中的交通目标和注视点进行空间匹配，完成对驾驶人注视目标的判断；

时空特征分析模块，用于根据空间匹配结果对驾驶人在各种交通目标上的注视点的时空特征进行统计分析。

进一步地，交通目标识别模块具体利用AI算法对眼动仪前向摄像头所录制的视频内容进行识别，识别的交通目标包括交通标志、标线、车辆、行人以及信号灯；并对交通目标在图像像素中所处的区域进行标注、分类并记录。

进一步地，匹配模块具体将步骤交通目标跟踪模块中识别出的交通目标与注视点位置进行匹配，自动判断驾驶人在驾驶过程中在各帧对交通目标的注视情况。

进一步地，时空特征包括注视目标时长、注视目标类型。

进一步地，交通目标识别模块具体对交通目标在图像像素中所处的矩形区域进行标注，对交通目标进行分类编码，并对识别结果打上时间戳。

本发明还提供一种存储介质，其可被处理器执行，其内存储有计算机程序，该计算机程序执行上述技术方案中的面向眼动仪前向视频的交通目标自动识别与匹配的方法。

综上所述，本发明利用AI算法，通过眼动仪所拍摄的前向视频，对前向交通目标进行识别与分类，并将交通目标与驾驶人的注视点自动匹配，完成对驾驶人在驾驶过程中的注视目标的判断，克服了人工识别和匹配交通目标效率低下、准确度不高的缺陷。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。