一种基于视觉的道路作业车辆智能作业系统及作业方法

摘要

本发明揭示了一种基于视觉的道路作业车辆智能作业系统及作业方法，适配于道路作业车辆，系统包含如下部分：系统标定模块，用于进行系统标定，并将标定结果进行下发；系统自检模块，用于对系统内的各功能模块进行故障检测；感知融合模块，用于图像采集，对图像进行分割提取并进行感知系统数据融合，对融合结果进行参数化处理并下发；决策控制模块，用于标定结果、参数化处理结果及车辆状态信息，综合判断，生成控制指令并传达给作业执行单元、完成作业。本发明能够根据作业场景和作业车辆类型智能、有效的对路面作业目标进行识别，融合形成参数化的输出目标，自动识别上装作业模式，在有效完成道路作业工作的同时达到能源节约的效果。

说明书

技术领域

本发明为一种智能作业系统及相应的作业方法，具体涉及一种基于视觉的道路作业车辆智能作业系统及作业方法，属于汽车感知及控制技术领域。

背景技术

随着我国经济快速发展、城镇化进程不断深入，各项相关问题开始集中显现。现如今，城市垃圾的处理逐渐成为城市治理的一项重要专题，环卫类专用车辆的使用在城镇垃圾治理中占比越来越高。

在现有技术中，垃圾处理类专用车共有21种车型，尽管在数量上依旧相对集中于车厢可卸式垃圾车以及压缩式垃圾车两种车型、共占比52%，但是新能源类产品，特别是纯电动类垃圾车的所占比例也在逐步增加。随着环卫市场的逐步扩大，未来的环卫车产业仍然有较大的上升空间，但同时，环卫车市场的竞争也将逐步加大，相对于粗犷发展模式，将产品做细、做精、做优将是拉开差距重要的一步。

目前，能耗问题一直是当前新能源专用车技术的痛点之一，关于如何降低新能源专用车的耗能、增加其工作时间的研究一直都在进行，这也是本领域内技术人员所亟待解决的问题。

结合以上技术背景，如能通过相关技术对引导上装进行根据场景进行作业，降低上装用电占比，提高作业续驶时长，那么对于提高新能源汽车的市场竞争力、拓展新能源汽车的市场都有非常积极的意义。

发明内容

鉴于现有技术存在上述缺陷，本发明的目的是提出一种基于视觉的道路作业车辆智能作业系统及作业方法，具体如下。

一种基于视觉的道路作业车辆智能作业系统，适配于道路作业车辆，并与所述道路作业车辆上的电源单元、作业执行单元、车辆状态信息单元信号连接，包含如下部分：

系统标定模块，用于在所述道路作业车辆下线前对车辆的上装类型进行系统标定，再结合所述道路作业车辆的底盘特征以及上装在车辆上的安装位置对所述道路作业车辆的作业环境进行系统标定，并将标定结果进行下发；

系统自检模块，用于在作业开始前对系统内的各功能模块进行故障检测；

感知融合模块，用于对实时作业场景进行图像采集，对所采集的图像进行分割提取并进行感知系统数据融合，对融合结果进行参数化处理，并将参数化处理结果进行下发；

决策控制模块，用于接收来自所述系统标定模块的标定结果，并接收来自所述感知融合模块的参数化处理结果以及来自所述车辆状态信息单元的车辆状态信息、依据二者的具体内容进行动态决策，生成控制指令并传达给所述作业执行单元、完成作业。

优选地，所述感知融合模块包括如下部分：

视觉传感子模块，包含多个视觉传感器，用于对实时作业场景进行图像采集，将不同视觉传感器所采集的图像进行上传；

视觉融合子模块，用于接收所述视觉传感子模块上传的图像，根据不同视觉传感器的分割数据进行感知系统数据融合，将感知系统数据融合结果进行上传；

参数化处理子模块，用于接收所述视觉融合子模块上传的感知系统数据融合结果以及来自所述车辆状态信息单元的车辆状态信息，应用数据参数化算法对感知系统数据融合结果进行参数化处理，并将参数化处理结果进行下发；

感知标定子模块，用于对所述视觉传感子模块中所述视觉传感器的图像采集参数进行系统标定，再依据所述道路作业车辆上的上装类型对所述参数化处理子模块中的参数化处理策略进行系统标定，并依据标定结果执行相应操作。

优选地，所述决策控制模块包括如下部分：

信息融合决策子模块，用于接收来自所述系统标定模块的标定结果，并接收来自所述感知融合模块的参数化处理结果以及来自所述车辆状态信息单元的车辆状态信息、依据二者的具体内容进行动态决策，再结合所述作业执行单元的特点，形成满足上装能耗最小化条件的上装控制策略。

优选地，所述决策控制模块包括如下部分：

上装控制子模块，用于将所述信息融合决策子模块生成的上装控制策略转化为控制指令，将所生成的控制指令传达给所述作业执行单元、完成作业操作，并反馈动作执行情况。

优选地，系统信号连接有用于显示实时状态及实现手动控制的人机交互单元。

一种基于视觉的道路作业车辆智能作业方法，基于如上所述的一种基于视觉的道路作业车辆智能作业系统，包括如下步骤：

S1、在所述道路作业车辆下线前对车辆的上装类型进行系统标定，再结合所述道路作业车辆的底盘特征以及上装在车辆上的安装位置对所述道路作业车辆的作业环境进行系统标定，标定完成后将标定结果下发并执行后续操作；

S2、系统自检模块对系统内的各功能模块进行故障检测，若未发现故障，则跳转进入S3，若发现故障，则进行是否可重启修复判断，在进行是否可重启修复判断时，若判断结果为可修复，则进行对系统自动重启修复，修复完成后进入S3，若判断结果为不可修复，则自动关闭系统、结束流程并上报故障；

S3、视觉传感子模块对实时作业场景进行图像采集，将不同视觉传感器所采集的图像进行上传，视觉融合子模块接收所述视觉传感子模块上传的图像，根据不同视觉传感器的分割数据进行感知系统数据融合，将感知系统数据融合结果进行上传，参数化处理子模块接收所述视觉融合子模块上传的感知系统数据融合结果以及来自所述车辆状态信息单元的车辆状态信息，应用数据参数化算法对感知系统数据融合结果进行参数化处理，并将参数化处理结果进行下发；

S4、决策控制模块依据参数化数据及所述道路作业车辆的类型，对上装是否作业进行判断，

若路面天气不符合作业要求，则不进行作业，否则进行作业，当所述道路作业车辆为路面保洁类车辆时，若路面洁净度符合作业要求，则不进行作业，否则进行作业，当所述道路作业车辆为植被养护车辆时，若路边植被处于可作业区域，则进行作业，否则不进行作业，

若作业范围内存在行人，则依据道路作业车辆的类型和行人位置信息判断作是否作业及单侧作业或双侧作业；

S5、决策控制模块依据参数化数据及S4中的判断结果，结合所述作业执行单元的特点，形成满足上装能耗最小化条件的上装控制策略，控制所述作业执行单元运作，并反馈动作执行情况，当左右作业区域的路面洁净度等级相同时，左右两侧所述作业执行单元均按标定的最小工况进行工作，当左右作业区域的路面洁净度等级为均需要作业时，左右两侧所述作业执行单元均按路面洁净度低的一侧的最小工况进行工作，当左右作业区域的路面洁净度等级为单侧需要作业时，该侧所述作业执行单元按标定的最小工况进行工作，当左右作业区域中存在影响单侧作业执行的情况时，关闭受影响一侧的所述作业执行单元；

S6、作业完成后或不再需要进行作业时，通过关闭电源或CAN指令的方式使系统关闭或进入休眠。

优选地，所述参数化数据至少包括道路类型数据、天气情况数据、道路状况数据、行人状态数据、垃圾分布数据以及植被分布数据。

与现有技术相比，本发明的优点主要体现在以下几个方面：

本发明所提出的一种基于视觉的道路作业车辆智能作业系统，能够根据作业场景和作业车辆类型智能、有效地对路面作业目标进行识别，并自动融合形成参数化的输出目标，根据目标情况自动识别上装作业模式，进而在有效完成道路作业工作的同时达到能源节约的效果。同时，本发明的系统具有很高的可伸展性及可拓展性，可以根据实际的应用需要进行适应性的调整，以兼容各种不同车型、适应不同的环境特点。

本发明还提出了一种基于视觉的道路作业车辆智能作业方法，方法流程明晰，控制逻辑优异，可以显著地降低新能源专用车的作业能耗、延长其工作时间。

本发明的系统及方法还可以推广、应用于一般的燃油型道路作业车辆，达到节能减排的目的，具有较强的适配性和普适性。此外，本发明还为其他作业系统、作业控制方法的技术方案提供了一种全新的思路，为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸和深入研究，应用前景广阔。

以下便结合实施例附图，对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握。

附图说明

图1为本发明的系统整体架构示意图；

图2为本发明的方法实际运行时的流程示意图。

具体实施方式

本发明揭示了一种基于视觉的道路作业车辆智能作业系统及作业方法，具体方案如下。

如图1所示，一种基于视觉的道路作业车辆智能作业系统，适配于道路作业车辆，并与所述道路作业车辆上的电源单元、作业执行单元、车辆状态信息单元信号连接，包含如下部分：系统标定模块，用于在所述道路作业车辆下线前对车辆的上装类型进行系统标定，再结合所述道路作业车辆的底盘特征以及上装在车辆上的安装位置对所述道路作业车辆的作业环境进行系统标定，并将标定结果进行下发。

系统自检模块，用于在作业开始前对系统内的各功能模块进行故障检测。

感知融合模块，用于对实时作业场景进行图像采集，对所采集的图像进行分割提取并进行感知系统数据融合，对融合结果进行参数化处理，并将参数化处理结果进行下发。

决策控制模块，用于接收来自所述系统标定模块的标定结果，并接收来自所述感知融合模块的参数化处理结果以及来自所述车辆状态信息单元的车辆状态信息、依据二者的具体内容进行动态决策，生成控制指令并传达给所述作业执行单元、完成作业。

进一步而言，所述感知融合模块包括如下部分：

视觉传感子模块，包含多个视觉传感器，用于对实时作业场景进行图像采集，将不同视觉传感器所采集的图像进行上传。

视觉融合子模块，用于接收所述视觉传感子模块上传的图像，根据不同视觉传感器的分割数据进行感知系统数据融合，将感知系统数据融合结果进行上传。

参数化处理子模块，用于接收所述视觉融合子模块上传的感知系统数据融合结果以及来自所述车辆状态信息单元的车辆状态信息，应用数据参数化算法对感知系统数据融合结果进行参数化处理，并将参数化处理结果进行下发。

感知标定子模块，用于对所述视觉传感子模块中所述视觉传感器的图像采集参数进行系统标定，再依据所述道路作业车辆上的上装类型对所述参数化处理子模块中的参数化处理策略进行系统标定，并依据标定结果执行相应操作。

进一步而言，所述决策控制模块包括如下部分：

信息融合决策子模块，用于接收来自所述系统标定模块的标定结果，并接收来自所述感知融合模块的参数化处理结果以及来自所述车辆状态信息单元的车辆状态信息、依据二者的具体内容进行动态决策，再结合所述作业执行单元的特点，形成满足上装能耗最小化条件的上装控制策略。

进一步而言，所述决策控制模块包括如下部分：

上装控制子模块，用于将所述信息融合决策子模块生成的上装控制策略转化为控制指令，将所生成的控制指令传达给所述作业执行单元、完成作业操作，并反馈动作执行情况。

考虑到系统应用的便捷性，所述的一种基于视觉的道路作业车辆智能作业系统还信号连接有用于显示实时状态及实现手动控制的人机交互单元。

本发明所提出的一种基于视觉的道路作业车辆智能作业系统，能够根据作业场景和作业车辆类型智能、有效的对路面作业目标进行识别，并自动融合形成参数化的输出目标，根据目标情况自动识别上装作业模式，进而在有效完成道路作业工作的同时达到能源节约的效果。同时，本发明的系统具有很高的可伸展性及可拓展性，可以根据实际的应用需要进行适应性的调整，以兼容各种不同车型、适应不同的环境特点。

如图2所示，一种基于视觉的道路作业车辆智能作业方法，基于如权利要求1~5任意所述的一种基于视觉的道路作业车辆智能作业系统，其特征在于，包括如下步骤：

S1、在所述道路作业车辆下线前对车辆的上装类型进行系统标定，再结合所述道路作业车辆的底盘特征以及上装在车辆上的安装位置对所述道路作业车辆的作业环境进行系统标定，标定完成后将标定结果下发并执行后续操作。

S2、系统自检模块对系统内的各功能模块进行故障检测；

若未发现故障，则跳转进入S3，若发现故障，则进行是否可重启修复判断；

在进行是否可重启修复判断时，若判断结果为可修复，则进行对系统自动重启修复，修复完成后进入S3，若判断结果为不可修复，则自动关闭系统、结束流程并上报故障。

S3、视觉传感子模块对实时作业场景进行图像采集，将不同视觉传感器所采集的图像进行上传；

视觉融合子模块接收所述视觉传感子模块上传的图像，根据不同视觉传感器的分割数据进行感知系统数据融合，将感知系统数据融合结果进行上传；

参数化处理子模块接收所述视觉融合子模块上传的感知系统数据融合结果以及来自所述车辆状态信息单元的车辆状态信息，应用数据参数化算法对感知系统数据融合结果进行参数化处理，并将参数化处理结果进行下发。

S4、决策控制模块依据参数化数据及所述道路作业车辆的类型，对上装是否作业进行判断；

若路面天气不符合作业要求，则不进行作业，否则进行作业；

当所述道路作业车辆为路面保洁类车辆时，若路面洁净度（根据道路信息和保洁等要求进行定义）符合作业要求，则不进行作业，否则进行作业；

当所述道路作业车辆为植被养护车辆时，若路边植被处于可作业区域，则进行作业，否则不进行作业；

若作业范围内存在行人，则依据道路作业车辆的类型和行人位置信息判断作是否作业及单侧作业或双侧作业。

S5、决策控制模块依据参数化数据及S4中的判断结果，结合所述作业执行单元的特点，形成满足上装能耗最小化条件的上装控制策略，控制所述作业执行单元运作，并反馈动作执行情况；

当左右作业区域的路面洁净度等级相同时，左右两侧所述作业执行单元均按标定的最小工况进行工作；

当左右作业区域的路面洁净度等级为均需要作业时，左右两侧所述作业执行单元均按路面洁净度低的一侧的最小工况进行工作；

当左右作业区域的路面洁净度等级为单侧需要作业时，该侧所述作业执行单元按标定的最小工况进行工作；

当左右作业区域中存在影响单侧作业执行的情况时，关闭受影响一侧的所述作业执行单元。

S6、作业完成后或不再需要进行作业时，通过关闭电源或CAN指令的方式使系统关闭或进入休眠。

此处所述参数化数据至少包括道路类型数据、天气情况数据、道路状况数据、行人状态数据、垃圾分布数据以及植被分布数据。

本发明还提出了一种基于视觉的道路作业车辆智能作业方法，方法流程明晰，控制逻辑优异，可以显著地降低新能源专用车的作业能耗、延长其工作时间。此外，本发明的系统及方法还可以推广、应用于一般的燃油型道路作业车辆，进而达到节能减排的目的，具有较强的适配性和普适性。

本发明还为其他作业系统、作业控制方法的技术方案提供了一种全新的思路，为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸和深入研究，应用前景广阔。

本发明还为其他客户服务系统、平台的技术方案提供了一种全新的思路，为同领域内的其他相关问题提供了参考，可以以此为依据、结合不同的客户群体以及市场需求进行相应地调整和应用，市场前景广阔。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神和基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

最后，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。