一种基于相机暗箱的数字孪生自动驾驶测试方法

摘要

本发明公开了一种基于相机暗箱的数字孪生自动驾驶测试方法，对前期数字孪生仿真测试过程进行总结，为后期数字孪生虚实交互测试提供一些前期数字孪生仿真测试中虚拟自动驾驶车辆未能达到预期测试结果的场景和工况，以缩减后期数字孪生虚实交互测试的研发周期；本发明采用相机暗箱模块，可以迅速测试和调校相机进行数据处理、目标识别和学习训练。同时，相机暗箱模块可以和虚拟仿真模块中虚拟传感器的数据进行融合，以提供更多更精确的环境信息；本发明将驾驶模拟器和操驾体感模拟器相结合，在调试自动控制算法的同时，考虑驾驶员因素，训练自动控制算法的人机共驾性能和车辆的驾驶舒适性；本发明为最后的路试提供最强的保障。

说明书

技术领域

本发明涉及自动驾驶测试领域，特别是一种基于相机暗箱的数字孪生自动驾驶测试方法。

背景技术

不同级别的自动驾驶车辆在真正的商业化应用之前都要经过大量的测试来调试和优化自动驾驶控制算法，如果在整个研发周期均采用道路测试的方式，势必会耗费大量的时间和经济成本，且法律法规对自动驾驶的容忍度以及极端场景和危险工况的测试安全性和复现性都给自动驾驶道路测试带来了诸多困难。

封闭场地道路测试虽然在一定程度上规避了自动驾驶道路测试所面临的一些问题，且能较为真实再现部分危险工况和经典工况。然而，其测试工况和测试场景均和真实的交通场景有较大差别，对于一些极限工况的测试仍然难以精确复现，并具有一定的测试风险，尤其是测试失败时，势必带来成本损失。

基于数字孪生技术的虚实结合自动驾驶测试方法在一定程度上解决了封闭场地道路测试面临的测试场景问题。利用虚拟场景可无限生成的优势，可以在相对安全的情况下重复再现一些极限工况，同时能较为真实的模拟现实中的交通场景。该方法利用虚拟仿真中的虚拟场景和虚拟传感器(雷达、相机等)，将虚拟传感器探测到的虚拟场景信息传递给现实车辆中的自动驾驶控制器，由实车的自动驾驶控制器来判断在当前场景下，车辆需要执行的操作。

虽然虚实结合自动驾驶测试方法有诸多好处，但若在自动驾驶研发的初级阶段就采用这种测试方式，势必会加大研发周期和研发成本。同时传感器的调试和优化也是自动驾驶测试中较为重要的一环，虚实结合的自动驾驶测试方法在传感器调试和优化方面仍有欠缺。且自动驾驶车辆的人机共驾性能以及乘员舒适性也是自动驾驶需要考虑的较为重要的性能。

发明内容

为解决现有技术存在的上述问题，本发明要提出一种基于相机暗箱的数字孪生自动驾驶测试方法，以适用于数字孪生技术的自动驾驶初级研发阶段的仿真测试，在适配后期数字孪生虚实结合测试的基础上，缩减前期研发周期；并充分测试和训练相机传感器以及车辆的人机共驾性能和乘员舒适性。

为了实现上述目的，本发明技术方案如下：

一种基于相机暗箱的数字孪生自动驾驶测试方法，利用基于相机暗箱的数字孪生自动驾驶测试系统进行测试，所述的基于相机暗箱的数字孪生自动驾驶测试系统包括相机暗箱模块、驾驶模拟器、操驾体感模拟器和工作站，所述的工作站中安装虚拟仿真模块和自动控制算法模块；所述的操驾体感模拟器安装于驾驶模拟器中座椅的底部；

所述的相机暗箱模块的输入端与虚拟仿真模块连接、两个输出端通过工作站分别与5G通讯基站和自动控制算法模块连接；所述的虚拟仿真模块与5G通讯基站双向连接，同时向驾驶模拟器和操驾体感模拟器输出信号；所述的自动控制算法模块在虚实交互测试中集成到实际自动驾驶控制器中，并接收来自驾驶模拟器和操驾体感模拟器的信号；所述的驾驶模拟器和操驾体感模拟器连接，驾驶模拟器通过工作站向5G通讯基站输出信号；所述的实际自动驾驶器向实际测试场地的实际自动驾驶测试车辆输出信号、并接收5G通讯基站的信号；所述的实际自动驾驶测试车辆向5G通讯基站输出信号；

所述的相机暗箱模块包括相机、箱体、显示屏和三轴相机校准支架；相机安装于三轴相机校准支架之上，用于校准相机位置，并与显示屏一同放入箱体之中；所述的显示屏实时显示虚拟仿真模块的仿真视频流，相机采集显示屏显示的内容，并对采集视频数据进行数据处理、目标识别和学习训练；

所述的驾驶模拟器包括用于显示驾驶环境的操驾显示屏、座椅、方向盘、离合踏板、刹车踏板、油门踏板和挡位控制器；操驾显示屏和工作站连接，实时显示仿真视频，给驾驶员提供驾驶场景信息；驾驶员操纵方向盘、离合踏板、刹车踏板、油门踏板和挡位控制器产生驾驶信息，并通过工作站传输给自动控制算法模块；

所述的操驾体感模拟器安装于驾驶模拟器座椅的底部，用于模拟虚拟仿真模块中虚拟自动驾驶车辆的运动，产生实车驾驶体感，以获得后续驾驶员乘驾舒适度的评价；

所述的工作站接收来自驾驶模拟器的控制信号，传递给自动控制算法模块，并将虚拟仿真模块中的虚拟自动驾驶车辆的运动传递给操驾体感模拟器；在进行数字孪生虚实交互测试时，工作站接收5G通讯基站传来的实际自动驾驶测试车辆的位置和姿态信息并传递给虚拟仿真模块中的虚拟自动驾驶车辆；同时，工作站将虚拟传感器和相机暗箱模块进行数据融合后的感知信息通过5G通讯基站传递给实际自动驾驶控制器；

所述的虚拟仿真模块包括静态场景、动态场景、虚拟传感器、验证过车辆动力学系统的虚拟自动驾驶车辆；所述的静态场景包括道路、交通标志、路灯、车站、隧道以及周围建筑，所述的动态场景包括交通参与者、动态指示设施、气象变化以及时间变化，所述的虚拟传感器包括激光雷达以及毫米波雷达；

所述的自动控制算法模块用于建立待测的自动控制算法，在前期基于数字孪生技术的自动驾驶仿真测试过程中，自动控制算法安装于工作站之中并与虚拟仿真模块相连接，以控制虚拟自动驾驶车辆；在后期的数字孪生虚实交互测试中，将优化后的自动控制算法集成到实际自动驾驶测试车辆中的实际自动驾驶控制器；

所述的实际自动驾驶测试车辆包括GPS高精度定位系统、IMU惯导设备、5G无线通讯子模块以及自动驾驶控制器子模块，用于采集自动驾驶测试车辆的位置信息以及姿态信息，并通过5G通讯基站将其传递到虚拟仿真模块中的虚拟自动驾驶车辆中；

所述的5G通讯基站，通过工作站完成实际自动驾驶测试车辆、相机暗箱模块与虚拟仿真模块中的虚拟传感器、虚拟自动驾驶车辆之间的实时数据交互。

所述的基于相机暗箱的数字孪生自动驾驶测试方法，包括以下步骤：

A.建立虚拟仿真模块

利用高精度地图以及三维重建技术根据实际测试场地1：1搭建虚拟仿真场景，具体步骤如下：

A1.搭建静态场景

静态场景包括道路、交通标志、路灯、车站、隧道以及周围建筑这些静态场景元素。

A2.搭建动态场景

利用软件在静态场景中随机生成交通参与者和动态指示设施，并模拟气象变化以及时间变化的动态元素，同时根据不同测试需求给虚拟自动驾驶车辆添加不同的虚拟传感器。要求生成或模拟的动态元素以及虚拟传感器严格遵循现实世界的物理规律以及行为逻辑。所述的气象变化包括雨、霜、雪、雾天气状况，所述的时间变化为不同时刻光照的变化。

A3.建模及验证整车车辆动力学

根据实际自动驾驶测试车辆，建立虚拟自动驾驶车辆，并完成车辆动力学模型的验证。

所述的车辆动力学模型验证，即根据待测自动驾驶功能以及车辆运行范围、运行条件、运行模式设定验证场景或工况，通过将仿真数据与实车试验数据进行比对，以判断车辆动力学模型的质量。车辆动力学模型的验证包括车辆的动力性、制动性、经济型以及操纵稳定性的车辆整车级性能验证。

所述的运行范围包括速度、道路长度和车道数量范围，所述的运行条件包括环境温度、地面附着条件和光照等，所述的运行模式包括车辆初始速度、车辆与障碍物之间的相对位置。

B.适配数字孪生技术的控制算法硬件在环仿真测试

将待测的自动控制算法集成到工作站中的自动控制算法模块，在虚拟仿真模块中对待测的自动控制算法进行测试。

在虚拟仿真模块中随机生成不同交通参与者及其与虚拟自动驾驶车辆的交互行为，以衍生出大量的测试场景。

将相机的内外参数进行标定，使相机水平视场角包含显示屏的整个屏幕，以采集仿真视频数据，并对采集到的数据进行处理、识别和学习训练。同时，将相机采集并处理过的数据和虚拟仿真模块中的虚拟传感器数据进行数据融合，并将融合后的数据传递给自动控制算法模块。

将所述的驾驶模拟器和操驾体感模拟器和工作站相连接，将驾驶模拟器控制信号传递给工作站中的自动控制算法模块以调试和优化自动控制算法和人机共驾权重因子，以测试和优化虚拟自动驾驶车辆的人机共驾性能和乘员舒适性。

虚拟自动驾驶车辆快速遍历各种危险工况、典型工况以及自然驾驶场景，寻找自动驾驶控制算法的漏洞，迅速累积大量的测试里程，缩减未知场景以及已知不安全的场景，加快前期的研发周期，并总结筛选出虚拟自动驾驶车辆未能达到预期测试结果的场景和工况，以供数字孪生虚实交互测试做参考。

C.基于数字孪生技术的虚实交互测试

将虚拟仿真模块、相机暗箱模块、驾驶模拟器、操驾体感模拟器、实际自动驾驶测试车辆以及实际自动驾驶控制器相结合，利用虚拟仿真模块中动态场景随机生成的优势，在相对安全的情况下重复再现一些极限工况。将步骤B所述的训练和优化后的自动控制算法模块集成到实际自动驾驶控制器。相机暗箱模块实时采集显示屏上的仿真场景，并融合虚拟传感器数据，将融合后的场景信息即动态场景和静态场景、驾驶模拟器控制信号与实际自动驾驶测试车辆的位置信息通过5G通讯基站进行实时的交互，以达到真实场景、虚拟场景和硬件在环之间的交互映射。高效安全且尽量真实的对实际自动驾驶测试车辆以及实际自动驾驶控制器进行虚实交互测试，为最后的路试提供最强保障。

虚拟仿真模块首先通过5G通讯基站实时接收实际自动驾驶测试车辆的位置以及姿态信息，对虚拟自动驾驶车辆进行控制，使其运动状态与实际自动驾驶测试车辆保持一致。

相机暗箱模块将采集到仿真视频进行数据处理、目标识别和学习训练，在与虚拟传感器数据进行数据融合后，同驾驶模拟器的控制信号通过5G通讯基站一并传递到实际自动驾驶控制器之中，测试并优化实际自动驾驶控制器中的自动控制算法。

虚拟仿真模块将相机暗箱模块和虚拟传感器感知到的虚拟仿真模块中的场景信息以及驾驶模拟器的控制信息通过5G通讯基站传递给实际自动驾驶控制器，让实际自动驾驶测试车辆以为处于虚拟仿真模块的场景之中。实际自动驾驶控制器通过接收到的来自相机暗箱和虚拟传感器融合后的数据以及驾驶员对驾驶模拟器的控制信息来判断在当前场景下，实际自动驾驶测试车辆需要执行的操作以及人机共驾权重因子，并在实际测试场地中执行相应决策。

进一步地，所述的显示屏为4K高刷新率专业显示屏。

进一步地，所述的实际测试场地包括封闭的测试道路，要求包括良好的路面以及清晰的车道线。

与现有技术相比，本发明具有以下有益效果：

1、本发明提出了一种适用于数字孪生虚拟交互测试的前期数字孪生仿真测试方法，缩减前期研发周期和研发成本；并对前期数字孪生仿真测试过程进行总结，为后期数字孪生虚实交互测试提供一些前期数字孪生仿真测试中虚拟自动驾驶车辆未能达到预期测试结果的场景和工况，以缩减后期数字孪生虚实交互测试的研发周期；

2、本发明采用相机暗箱模块，可以迅速测试和调校相机进行数据处理、目标识别和学习训练。同时，相机暗箱模块可以和虚拟仿真模块中虚拟传感器的数据进行融合，以提供更多更精确的环境信息；

3、本发明将驾驶模拟器和操驾体感模拟器相结合，在调试自动控制算法的同时，考虑驾驶员因素，训练自动控制算法的人机共驾性能和车辆的驾驶舒适性；

4、本发明中的数字孪生虚实交互测试系统，结合相机暗箱模块、驾驶模拟器和操驾体感模拟器，利用虚拟仿真模块可以大量快速生成各种测试场景的优势，结合前期数字孪生仿真测试中总结出的虚拟自动驾驶车辆未能达到预期测试结果的场景和工况，使实际自动驾驶测试车辆在相对安全的情况下完成各种工况和场景的测试，为最后的路试提供最强的保障。

附图说明

图1为本发明的结构示意图；

图2为本发明的整体框架图。

具体实施方式

下面结合附图对本发明进行进一步地描述。基于相机暗箱的数字孪生自动驾驶测试系统，如图1所示，虚拟仿真模块和自动控制算法模块安装于工作站之中；工作站将虚拟仿真模块的视频流实时传输给相机暗箱模块和驾驶模拟器，并将虚拟自动驾驶车辆的运动信息传递给操驾体感模拟器；自动控制算法模块接收来自相机暗箱模块和驾驶模拟器控制信号来进行决策和优化算法。

在虚实交互测试中，将自动控制算法模块集成在实际自动驾驶控制器中；实际自动驾驶控制器通过5G通讯基站接收来自相机暗箱模块和驾驶模拟器控制信号来进行决策；实际自动驾驶测试车辆将本车的位置和姿态信息通过5G通讯基站传递给安装于工作站之中的虚拟仿真模块；虚拟仿真模块根据5G通讯基站传来的实际自动驾驶测试车辆的信息将虚拟自动驾驶车辆的位置和姿态信息实时更新。

一种基于相机暗箱的数字孪生自动驾驶测试方法的流程如图2所示，虚拟仿真模块中的静态场景、动态场景和完成动力学验证的虚拟自动驾驶车辆安装于工作站之中；相机暗箱模块的4K高刷新率专业显示屏和操驾显示屏实时接收来自工作站的仿真视频信号以完成相机的数据采集和驾驶员对驾驶环境的获取。

相机暗箱模块在进行数据处理、目标识别和学习训练后将识别到的场景数据和虚拟仿真模块中的虚拟传感器数据进行融合，并将融合后的场景信息传递给自动控制算法模块；

驾驶员通过操驾显示屏来获取驾驶环境，并对驾驶模拟器进行操作以产生控制信息，并将驾驶信息传递到自动控制算法模块；

自动控制算法模块接收来自相机和虚拟传感器融合后的数据以及驾驶模拟器的控制信息，并根据这些数据来决定虚拟自动驾驶车辆的控制参数以及人机权重因子等人机共驾参数；

虚拟仿真模块不断的生成测试场景来训练和优化自动控制算法，并总结出一些具有参考价值的测试工况和测试场景，以供后期数字孪生虚实交互测试参考；

将优化后的自动控制算法集成到实际自动驾驶控制器，用于控制实际自动驾驶测试车辆；实际自动驾驶控制器通过5G通讯基站接收来自相机和虚拟传感器融合后的数据以及驾驶模拟器的控制信息，根据这些数据来决定实际自动驾驶测试车辆的控制参数以及人机权重因子等人机共驾参数；

实际自动驾驶测试车辆将本车的位置和姿态信息通过5G通讯基站传递给虚拟自动驾驶车辆；虚拟自动驾驶车辆根据传来的数据实时更新自己的位置和姿态参数，并通过虚拟传感器获取当前静态和动态场景数据，在和相机暗箱模块进行数据融合后，将融合的数据通过5G通讯基站传递给实际自动驾驶控制器，完成虚实数据交互；

虚拟仿真模块根据数字孪生仿真测试阶段总结出的具有参考价值的测试工况和测试场景，使实际自动驾驶测试车辆快速遍历各种测试工况和测试场景，以训练和优化实际自动驾驶控制器，为最后的路试提供最强保障。

本发明不局限于本实施例，任何在本发明披露的技术范围内的等同构思或者改变，均列为本发明的保护范围。