规控算法的评估方法、系统及计算机存储介质

摘要

本发明提供了一种规控算法的评估方法、系统及计算机存储介质，规控算法的评估方法包括：车端根据车辆数据识别非常态场景，车辆数据包括外部数据和内部数据；车端识别出非常态场景之后，生成非常态场景数据并传输至线下端；线下端根据非常态场景数据构建虚拟场景，并基于虚拟场景评估非常态场景对应的规控算法。本发明针对规控算法在非常态下的性能表现进行评估，有利于提升规控算法的性能。

说明书

技术领域

本发明涉及自动驾驶领域，尤其涉及一种规控算法的评估方法、系统及计算机存储介质。

背景技术

规控算法的优劣直接影响到智能驾驶汽车的表现。目前对规控算法进行性能评定的时候一般采用两种方式，实车验证或数字手段模拟。实车验证可以更为直观的表现算法的实际效果，但实车验证存在场景可重复性小，资源消耗大等缺点。使用数字模拟的方法是目前最佳的选择，在算法进行小规模的修改时，可以快速验证其可行性，在算法开发的初期阶段避免90％以上的问题，此外数字模拟的方法具备优秀的场景再现能力，一致性高。但现有的规控算法的评价方法缺少对规控算法各种驾驶场景的全面评估，特别是缺少在非常态下的性能评估，而算法对非常规态下的表现正是当前高等级自动驾驶落的绊脚石。

发明内容

有鉴于此，本发明提供了一种规控算法的评估方法、系统及计算机存储介质，能针对规控算法在非常态下的性能表现进行评估，有利于提升规控算法的性能。

第一方面，本发明提供了一种规控算法的评估方法，包括：

车端根据车辆数据识别非常态场景，所述车辆数据包括外部数据和内部数据；

所述车端识别出所述非常态场景之后，生成非常态场景数据并传输至线下端；

所述线下端根据所述非常态场景数据构建虚拟场景，并基于所述虚拟场景评估所述非常态场景对应的规控算法。

其中，所述车端根据车辆数据识别非常态场景，包括：

判断所述车辆数据是否符合预设条件；

若是，则确认所述车辆数据对应的场景为非常态场景；

对所述非常态场景的规控算法进行初步评估，得到第一评估结果；

根据所述第一评估结果确定是否传输非常态场景数据至线下端。

其中，所述车端识别出所述非常态场景之后，生成非常态场景数据并传输至线下端，包括：

获取数据采集参考时间点；

获取所述数据采集参考时间点前n分钟以及后n+5分钟共2n+5分钟的外部数据；

根据所述外部数据、所述第一评估结果和高精地图生成非常态场景数据；

优化压缩所述非常态场景数据，并通过路侧通信发送所述非常态场景数据至线下端。

其中，所述线下端根据所述非常态场景数据构建虚拟场景，包括：

清洗所述外部数据以获得所述非常态场景中动态障碍物的物理特征；

将清洗后的外部数据和所述高精度地图输入深度学习模型，获得多组不同环境信息下的包括动态障碍物的非常态场景；

根据所述多组非常态场景构建虚拟场景。

其中，所述获得多组不同环境信息下的包括动态障碍物的非常态场景之后，还包括：

对所述多组非常态场景进行筛选和量化分级；

获取筛选后的所述多组非常态场景的等级对应的预设通过率；

比较所述规控算法的实际通过率与所述预设通过率的关系，得到第二评估结果。

其中，所述根据所述多组非常态场景构建虚拟场景之后，还包括：

结合所述多组非常态场景与所述非常态场景的车辆数据，生成虚拟非常态场景；

注册所述虚拟非常态场景至场景库。

其中，所述在所述虚拟场景中评估所述非常态场景对应的规控算法，还包括：

采用规则评估、模型评估和人工评估中至少两项评估方法评估所述虚拟场景中的规控算法；

对所述规则评估、模型评估和人工评估中至少两项评估方法的评估结果进行加权平均，获得所述规控算法的第三评估结果。

第二方面，本发明还提供了一种规控算法的评估系统，所述规控算法的评估系统包括车端、线下端和路侧通信模块；

所述车端，用于根据车辆数据识别非常态场景以及生成非常态场景数据，所述车辆数据包括外部数据和内部数据；

所述路侧通信模块，用于传输所述非常态场景数据至线下端；

所述线下端，用于根据所述非常态场景数据构建虚拟场景，并基于所述虚拟场景评估所述非常态场景对应的规控算法。

其中，所述规控算法的评估系统还包括：

高精度地图模块，用于存储自动驾驶区域所需区域高精地图信息，为自动驾驶和评估模块提供地图信息。

第三方面，本发明还提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序指令；所述计算机程序指令被处理器执行时实现如上所述的规控算法的评估方法。

综上所述，本发明的规控算法的评估方法、系统及计算机存储介质，规控算法的评估方法包括：车端根据车辆数据识别非常态场景，车辆数据包括外部数据和内部数据；车端识别出非常态场景之后，生成非常态场景数据并传输至线下端；线下端根据非常态场景数据构建虚拟场景，并基于虚拟场景评估非常态场景对应的规控算法。本发明针对规控算法在非常态下的性能表现进行评估，有利于提升规控算法的性能。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1为根据第一实施例示出的规控算法的评估方法的流程示意图；

图2为根据第二实施例示出的规控算法的评估系统结构图；

图3为根据第二实施例示出的线下端的结构图；

图4为根据第三实施例示出的虚拟场景示意图。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明详细说明如下。

第一实施例

图1为根据第一实施例示出的规控算法的评估方法的流程示意图。如图1所示，本发明实施例提供了一种规控算法的评估方法，包括：

步骤201：车端根据车辆数据识别非常态场景，车辆数据包括外部数据和内部数据；

步骤202：车端识别出非常态场景之后，生成非常态场景数据并传输至线下端；

步骤203：线下端根据非常态场景数据构建虚拟场景，并基于虚拟场景评估非常态场景对应的规控算法。

实际交通情况比较复杂，一般数据采集过程中涉及到非常态场景的信息较少，因此本发明针对规控算法在非常态场景(corner case，意外事件)中，例如突然的横穿，前车急减速等下的性能表现进行评估，在不同的模块中可以多次评估得到多角度的评估结果，提供评估的准确度。步骤201中，车端根据车辆数据识别非常态场景。车辆数据包括外部数据和内部数据，外部数据包括通过感知模块接受车端各硬件传感器数据，内部数据包括车辆底盘信息等。然后，车端通过非常态场景识别模块判断获取到的车辆数据是否符合判定为非常态场景的预设条件；若符合，则识别车辆数据对应的场景为非常态场景并激活车端评估模块。可以根据车辆数据获取的行驶轨迹、车辆速度、道路坡度、方向盘转动幅度与频率等参数判断当前场景是否为非常态场景。如判断车辆的行驶轨迹曲率平滑度、速度和加速度曲线平滑度、道路坡度是否大于等于预设阈值，若是，则判断当前场景为非常态场景。例如，正常行车过程中，前方突然出现横穿车辆，此时车辆需要立即减速或调整方向盘角度，采集到对应的车辆数据后，可以根据车辆数据中内部数据的速度变化、方向盘变化以及外部数据中的前方障碍物运动曲线，判断当前场景为非常态场景。

步骤202中，车端识别出非常态场景之后，生成非常态场景数据并传输至线下端时，需要获取车端评估模块对规控算法的第一评估结果。车端对非常态场景的规控算法进行初步评估，通过比较评估车辆数据与预设阈值的差异以得到第一评估结果，根据第一评估结果判断非常态场景是否为高价值场景，车辆数据与预设阈值的差异越大，则该非常态场景的价值越高。若非常态场景为高价值场景，则确定传输非常态场景数据至线下端。以车端评估模块激活的时间点为数据采集参考时间点，获取该数据采集参考时间点前n分钟以及后n+5分钟共2n+5分钟的外部数据，最后将评估结果、外部数据和高精地图编号及位置ID生成非常态场景数据，并对非常态场景数据优化压缩后通过路侧通信发送非常态场景数据至线下端。具体地，通过固定时长存储模块存储评估模块激活时前n分钟以及后n+5分钟共计2n+5分钟所有感知模块输出数据，模块以分钟为单位，采用双重备份手段，确保数据存储稳定。存储时间由所使用存储硬件设备所决定。接着，车端评估模块接受评估激活模块信息，从固定时长获得场景信息，对规控算法性能进行在线评估。还通过高精地图模块存储自动驾驶区域所需区域高精地图信息，为自动驾驶和评估模块提供详细地图信息。最后，数据发送模块对感知数据以及评估结果进行压缩存储为非常态场景数据，传递给部署在概率推算的非常态场景发生区域以及各交通主流交叉点的路侧通信模块，由路侧通信模块发送非常态场景数据至线下端。

步骤203中，线下端根据非常态场景数据构建虚拟场景时，需要清洗传感器数据以获得非常态场景中动态障碍物的物理特征；然后将清洗后的外部数据和高精度地图输入深度学习模型，获得多组不同环境信息下的包括动态障碍物的非常态场景；根据多组非常态场景构建虚拟场景。根据多组非常态场景构建虚拟场景之后，将多组非常态场景结合非常态场景的车辆数据生成的虚拟非常态场景；注册虚拟非常态场景至场景库。具体地，线下端通过数据清洗模块对实车采集数据中数据进行清洗，获得所感知的动态障碍物的物理特性(长宽高，人体特征点等)以及目标行为(加速减速，转弯，轨迹等)。模型扩展模块将清洗后数据作为初始数据以及高精地图输入到深度学习模型，提取初始数据中环境信息，将初始动态目标行为扩展到其他环境中，并对目标动作进行泛化，生成多个环境下多种动态目标行为场景。拟真评估模块对每一个扩展的情景进行行为评估，剔除行为相近的场景，并对情景中的非常态场景根据车辆的通过难易程度进行分级，可以分为5级，不同级别对应不同的预设通过率，1-2级为必须通过场景，3级通过率需达到95％，4级场景通过率需达到90％，5级场景通过率须达到85％，作为后续数字模拟结果的参考凭据，即第二评估结果。然后，车辆数据库模块存储车辆配置文件以及车辆初始状态(速度，加速度，朝向等)。场景库注册模块接收拟真评估模块及车辆数据库模块，构建虚拟场景并注册到场景库中，作为算法评估的实例。验证算法输入模块用于接入需要验证的规控算法，实现数据类型统一与转化。

其中，获取第二评估结果时，首先对多组非常态场景进行量化分级；获取多组非常态场景的等级对应的预设通过率；评估规控算法的实际通过率与预设通过率的关系。通过拟真评估模块输出场景等级，1-2级为必须通过场景，3级通过率需达到95％，4级场景通过率需达到90％，5级场景通过率须达到85％，通过率是指规控算法测试通过的场景占同一等级的所有待测试场景的比例。若被评估的规控算法的实际通过率大于等于其对应场景等级的通过率，则判断该规控算法合格，反之则不合格。例如，拟真评估模块泛化出100个非常态场景，其中40个为1-2级，通过率为100％，即规控算法在这40个场景中全部测试通过则为合格；20个为3级，规控算法的通过率大于等于95％则为合格；20个为4级，规控算法的通过率大于等于90％则为合格；20个为5级，规控算法的通过率大于等于85％则为合格，第二评估结果可作为对修正后的规控算法的验证评估手段，以保证修正后的规控算法在不同场景中的通过率达标。

步骤203中，在虚拟场景中评估非常态场景对应的规控算法，还包括：对规则评估、模型评估和人工评估中至少两项评估方法的评估结果进行加权平均，获得规控算法的评估值作为第三评估结果。当规控算法的加权评估值大于预设值时，则判定该规控算法合格，反之，则规控算法不合格，需要进一步训练优化，修正后的规控算法可以通过拟真评估模块获得第二评估结果以评估其通过率，帮助验证修正后的规控算法是否合格。例如，当规控算法的加权评估值为90分，预设值为85分时，说该规控算法合格。算法评估模块连接验证算法接入模块，历遍场景库或用户指定分类场景。评估模块内置三大子功能：基于规则评估，基于模型评估以及基于人工评估。基于规则评估，包括系统类：算法是否有崩溃，算法时延等；安全类：车辆是否发生碰撞等；交规类：基于高精地图判断当前智能驾驶车辆是否有压线，超速等违反交规的行为；体感类：是否有急刹，离心感是否强烈等；算法类：控制算法输出的稳定性，与规划算法期望输出的相差程度等。基于模型评估，包括：基于学习模型，对上述基于规则输出进行学习，并辅以人工评估，对结果进行修正。基于人工评估，包括：用户在结果可视化界面对规控算法表现进行主观评分输入，输入作为模型的训练参数，进一步的提升模型的评估性能。

本发明实施例结合数据分析，对易发生非常态场景部署通信模块，在车端部署非常态场景识别模块，车端完成规控算法评析，将价值较高的场景数据通过通信模块同步至线下端，进一步提升在研算法性能。同时，基于高精地图，还原非常态场景，采集真实动态目标行为数据，使用深度学习模型，扩展可行非常规行为，丰富非常态场景。此外，使用规则评估、模型评估、主观评估模块获得算法评估结果，并通过融合评价方法对非常态规控算法进行综合评估。

本发明实施例提供的规控算法的评估方法，包括：车端根据车辆数据识别非常态场景，车辆数据包括外部数据和内部数据；车端识别出非常态场景之后，生成非常态场景数据并传输至线下端；线下端根据非常态场景数据构建虚拟场景，并在虚拟场景中评估非常态场景对应的规控算法。本发明针对规控算法在非常态下的性能表现进行评估，有利于提升规控算法的性能。

第二实施例

图2为根据第二实施例示出的规控算法的评估系统结构图。图3为根据第二实施例示出的线下端的结构图。如图2和图3所示，规控算法的评估系统包括车端、线下端和路侧通信模块；车端，用于根据车辆数据识别非常态场景以及生成非常态场景数据，车辆数据包括外部数据和内部数据；路侧通信模块，用于传输非常态场景数据至线下端；线下端，用于根据非常态场景数据构建虚拟场景，并在虚拟场景中评估非常态场景对应的规控算法。

具体地，车端包括感知模块、评估激活模块、固定时长存储模块、车端评估模块、高精度地图模块。感知模块接受车端各硬件传感器数据，并对各项数据进行融合、清洗、优化处理。评估激活模块接受由感知模块输出的数据以及车辆底盘信息，通过内置模型对当前数据进行判断，界定场景是否为非常态场景，并激活车端评估模块。固定时长存储模块存储评估模块激活时前n分钟以及后n+5分钟共计2n+5分钟所有感知模块输出数据，模块以分钟为单位，采用双重备份手段，确保数据存储稳定。存储时间有所使用存储硬件设备所决定。车端评估模块接受评估激活模块信息，从固定时长获得场景信息，对规控算法性能进行在线评估。高精地图模块存储自动驾驶区域所需区域高精地图信息，为自动驾驶和评估模块提供详细地图信息。数据发送模块对感知数据以及评估结果进行压缩存储，传递给路侧通信模块。

路侧通信模块部署在概率推算的非常态场景发生区域以及各交通主流交叉点。

线下端包括数据清洗模块、模型拓展模块、拟真评估模块、车辆数据库模块、场景库注册模块、验证算法输入模块、算法评估模块、结果可视化模块。数据清洗模块对实车采集数据中数据进行清洗，获得所感知的动态障碍物的物理特性(长宽高，人体特征点等)以及目标行为(加速减速，转弯，轨迹等)。模型扩展模块将清洗后数据作为初始数据以及高精地图输入到深度学习模型，提取初始数据中环境信息，将初始动态目标行为扩展到其他环境中，并对目标动作进行泛化，生成多个环境下多种动态目标行为场景。拟真评估模块对每一个扩展的情景进行行为评估，剔除行为相近的场景，并对情景的非常态进行分级，作为后续数字模拟结果的参考凭据。车辆数据库模块存储车辆配置文件以及车辆初始状态(速度，加速度，朝向等)。场景库注册模块接收拟真评估模块及车辆数据库模块，构建虚拟场景并注册到场景库中，作为算法评估的实例。验证算法输入模块用于接入需要验证的规控算法，实现数据类型统一与转化。算法评估模块连接验证算法接入模块，历遍场景库或用户指定分类场景。评估模块内置三大子功能：基于规则评估，基于模型评估以及基于人工评估。结果可视化模块，将线下端过程及结果通过界面形式呈现给用户。

本发明实施例通过车端实时评估规控算法在非常态场景下的表现。结合通信模块，将场景资源共享，推动在研规控算法性能提升。基于高精地图，采样真实动态目标行为，离线构建的场景与真实世界更为贴近。采用深度学习模型，扩充非常态场景，测试规控算法在极端场景下表现能力。采用多维方法融合评价，使得数字模拟结果评价更为可靠。

本实施例执行上述步骤的具体过程，详见上述实施例的相关描述，在此不再赘述。

第三实施例

图4为根据第三实施例示出的虚拟场景示意图。如图4所示，原始场景可以是在三车道环境下，位于第一道的左前侧车辆突然跨车道至第三车道，对位于第二车道的智能驾驶车辆进行干扰。车端评估模块接收到车辆底盘数据异动并结合感知数据，激活车端评估模块，对当前规控算法性能进行评估。并将评估结果、感知数据、高精地图编号及位置ID优化压缩通过路侧通信发送回线下端。

线下端对数据进行处理，获得障碍车的物理特性(长宽高)以及行为特性(速度，朝向，速度轨迹，行车轨迹)。通过对当前所处的环境进行解析(车道信息，虚白线信息，至路口距离等)，将当前场景复制到其他地图场景中(例如双向车道，贴近路口，左右车道线不同等)，根据所采集到的物理特征，行为特征，泛化动态目标(目标终点，简单匀加减速，基于速度重新生成路径等)，通过拟真评估模块剔除例如在非高精地图范围行驶等不对智能驾驶产生影响的行为以及最大加减速超过7.6m/s等超过实际承受能力的行为，并对泛化的场景进行量化评估(1-5分，1分一个等级，1分最低，5分最高)。并根据车辆配置以及不同的初始状态(初始车辆的三维尺寸，初始速度，初始加速度，初始朝向)，生成非常态场景(剔除重合、与障碍物之间距离过近，无反应时间等不正确场景)，注册到场景库中。生成的场景可以是三车道-左侧车辆横穿至右车道-加速场景、三车道-左侧车辆横穿至右车道-减速-自车初速零场景、三车道-左侧车辆横穿至右车道-先加速后减速-自车车速10m/s场景、十字路口-左侧车辆横穿至右车道-加速-自车-均加速场景场景、双车道-左侧车辆入侵本车车道-减速-自车车速5m/s-航向角-10°场景等。

通过算法接入模块，接入所需要进行评估的规控算法，对每一个场景进行结果保存。使用评估模块中的子系统依照加权平均算法进行计算，输出最终结果。特别的，当具备主观打分时，采用的加权系数为：规则打分0.3模型打分0.3主观打分0.4。当不具备主观打分时，采用的加权系数为：规则打分0.5模型打分0.5。最后对算法表现进行评估并通过可视化界面展示。

本实施例执行上述步骤的具体过程，详见上述实施例的相关描述，在此不再赘述。

本发明实施例还提供一种计算机存储介质，计算机存储介质上存储有计算机程序指令；计算机程序指令被处理器执行时实现如上所述的规控算法的评估方法。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，除了包含所列的那些要素，而且还可包含没有明确列出的其他要素。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。