基于高级驾驶辅助系统的双目摄像头调试方法

摘要

一种基于高级驾驶辅助系统的双目摄像头调试方法，双目摄像头包括两个单目摄像头，双目摄像头调试方法包括：步骤1：分别针对每个单目摄像头进行调试；步骤2：通过双目摄像头拍摄图像和视频，并采集图像和视频；步骤3：基于采集到的图像和视频进行边缘提取，判断边缘提取结果与实际边缘之间的误差，如果误差不满足误差要求，则返回所述步骤1，分别针对每个单目摄像头重新进行调试，直到误差满足误差要求。该方法在单目摄像头调试的基础上，根据双目摄像头拍摄的图像和视频的质量进行反馈，从而达到优化双目摄像头的拍摄效果的目的，为后续的物体识别和车道线检测提供基础。

说明书

技术领域

本发明涉及高级驾驶辅助系统技术领域，具体涉及一种基于高级驾驶辅助系统的双目摄像头调试方法。

背景技术

目前的ADAS(高级驾驶辅助系统)双目系统利用安装于车上的各类传感器收集车前环境数据，进行辨别静动态物体、侦测车道线和追踪前车等处理。ADAS在进行物体动、静态辨认的时候会对收集来的数据进行处理，实验证明具有针对性的画质会对ADAS的图像识别有很大的帮助。因此，在进行处理时，画质的针对性调试显得尤为重要，

在目前的ADAS双目系统中，并没有针对于双目摄像头画质的调试，而只是将适合的摄像头安装在ADAS双目系统中，然后将摄像头收集到的单目摄像头的调试数据直接应用于ADAS的CPU中，进行标定和数据处理，所以在实际的标定和识别过程中准确性很低。

为了提高识别准确性，传感器厂商针对传感器的效果进行了优化，但是这种优化只针对于单个传感器本身的效果，例如：白平衡、自动曝光、清晰度等。模组厂针对模组的效果进行了优化，这种优化主要针对的是镜头、滤波片、电容等的光学内容的物理优化，以实现准确对焦等功能，而且并不涉及双摄像头的双目效果的优化。

因此，期待一种能够适用于双目摄像头的调试方法。

发明内容

本发明的目的是提出一种基于高级驾驶辅助系统的双目摄像头调试方法，以实现双目摄像头的效果优化。

本发明提供一种基于高级驾驶辅助系统的双目摄像头调试方法，所述双目摄像头包括两个单目摄像头，所述双目摄像头调试方法包括：

步骤1：分别针对每个单目摄像头进行调试；

步骤2：通过所述双目摄像头拍摄图像和视频，并采集所述图像和视频；

步骤3：基于采集到的图像和视频进行边缘提取，判断边缘提取结果与实际边缘之间的误差，如果所述误差不满足误差要求，则返回所述步骤1，分别针对每个单目摄像头重新进行调试，直到误差满足所述误差要求。

优选地，所述步骤1包括分别针对每个单目摄像头，对其图像信号处理器的白平衡、自动曝光参数、分辨率、焦距、动态范围进行调试。

优选地，分别针对每个单目摄像头进行调试，使其分辨率不低于第一阈值，焦距不小于第二阈值，动态范围大于第三阈值。

优选地，采用ISO12233分辨率测试卡对所述单目摄像进行调试时，所述第一阈值的范围为600-800线。

优选地，所述第二阈值的范围为0.8-1.0m。

优选地，采用20阶灰阶卡对所述单目摄像进行调试时，所述第三阈值的范围为8db-10db。

优选地，所述步骤1包括：

将一个单目摄像头设为主摄像头，另一个单目摄像头设为从摄像头；

调试所述主摄像头的白平衡和自动曝光参数，使得所述从摄像头的白平衡和自动曝光参数与所述主摄像头一致。

优选地，所述分别针对每个单目摄像头重新进行调试包括：

分别针对每个单目摄像头，对其分辨率和动态范围重新进行调试。

优选地，所述分别针对每个单目摄像头重新进行调试包括：

使所述分辨率保持恒定不变，针对所述动态范围，在其初始值正负5％的范围内以恒定的增量改变所述动态范围的值。

优选地，所述分别针对每个单目摄像头重新进行调试包括：

使所述动态范围保持恒定不变，针对所述分辨率，在其初始值正负5％的范围内以恒定的增量改变所述分辨率的值。

优选地，所述预定要求包括：针对时长为5000小时的视频，边缘提取的成功率大于95％。

优选地，所述预定要求包括：针对2000公里的实际路测过程中所采集的视频，边缘提取的成功率大于95％。

本发明的有益效果在于：

在单目摄像头调试的基础上，根据双目摄像头采集的视频的质量进行反馈，从而达到优化双目摄像头的拍摄效果的目的，为后续的物体识别和车道线检测提供基础。

在实际应用中，双目摄像头采集的视频对于驾驶员通常是不可见的，其只是作为后续的车道线检测和物体识别的基础。本发明的方法利用这些驾驶员不可见的中间数据进行反馈，达到优化双目摄像头的拍摄效果的目的。

在本方法中基于双目摄像头拍摄的视频进行边缘提取，并根据边缘提取的结果进行反馈，对于同样的方法，相对于基于图像进行处理而言，基于视频进行处理能够显著提高方法的准确性。

本发明的方法具有其它的特性和优点，这些特性和优点从并入本文中的附图和随后的具体实施方式中将是显而易见的，或者将在并入本文中的附图和随后的具体实施方式中进行详细陈述，这些附图和具体实施方式共同用于解释本发明的特定原理。

附图说明

通过结合附图对本发明示例性实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施例中，相同的附图标记通常代表相同部件。

图1显示根据本发明示例性实施例的基于高级驾驶辅助系统的双目调试方法的流程图。

具体实施方式

下面将参照附图更详细地描述本发明。虽然附图中显示了本发明的优选实施例，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。

根据本发明示例性实施例的基于高级驾驶辅助系统的双目摄像头调试方法首先针对每一个单目摄像头单独进行调试，然后采集通过双目摄像头拍摄的图像和视频，基于采集的图像和视频进行后续的处理，并根据处理结果进行反馈，重新对单目摄像头进行调试，直到处理结果满足预定要求。

图1显示根据本发明示例性实施例的基于高级驾驶辅助系统的双目摄像头调试方法的流程图，如图1所示，该方法包括以下步骤：

步骤1：分别针对每个单目摄像头进行调试。

针对每个单目摄像头，对其图像信号处理器(ISP，Image Signal Processor)的白平衡、自动曝光参数(例如曝光行数和曝光时间)、分辨率、焦距、动态范围进行调试。

针对单目摄像头的调试可根据实际产品需求有针对性的进行，ADAS双目摄像头的作用主要是用于识别车道线以及车辆和行人，因此调试过程中优选地注重于焦距、分辨率和动态范围的调试。动态范围受到ISP的组合权重(Combine weight)、曲线列表(curvelist)和HDR(高动态范围，High-Dynamic Range)全局Gamma(HDR global Gamma)的影响，其中HDR全局Gamma对动态范围的影响最大。更具体来说，单目摄像头调试过程中应遵循以下两条原则：

一、焦距较大、分辨率高。焦距大意味着可以拍摄到较远的物体，分辨率高意味着拍摄的物体整体轮廓清晰容易识别，这使得ADAS能有更加充裕的时间做出判断和反应，从而避免或者降低事故发生的可能性。对于行车环境而言，要求单目摄像头的分辨率不低于一百万像素，拍分辨率不低于第一阈值，焦距大于第二阈值。例如，使单目摄像头拍摄ISO12233分辨率测试卡时分辨率不低于600-800线，优选地不低于700线，焦距不小于0.8-1.0m，优选地不小于0.9m，这样能够保证拍摄时从10m到无穷远的场景都是清晰的。

二、具有高动态范围。动态范围是为了使图像中的高亮区域不过曝，低光区域不欠曝，也就是无论是在亮处还是暗处都有足够多的细节。例如，拍摄一半阴影一半阳光的场景(例如在阳光下拍摄桥洞)，这种情况下，要求阳光的部分不能过曝而导致看不清天空的颜色或者看不清天空的云彩这类细节，阴影的地方不能欠曝而导致看不清楚细节(例如桥洞下的人或者车辆)。在实际调试过程中，可以通过两种方式调整动态范围，硬件方面，可采用多帧并并1帧(例如3帧并1帧)，软件方面，通过调整ISP的组合权重、曲线列表和HDR全局Gamma来调节动态范围，使其大于第三阈值。当测试20阶灰阶卡时，第三阈值的范围例如为8db-10db。

优选地，在调试过程中，为了保持两个单目摄像头的时间一致性，将其中一个单目摄像头设为主摄像头，另一个单目摄像头设置为从摄像头，从摄像头的自动曝光参数和白平衡与主摄像头保持一致。

具体来说，在调试过程中，将两个单目摄像头分别连接到ISP主板上，ISP通过排线连接到转接板，转接板将MIPI(Mobile Industry Processor Interface)信号转换为USB信号，上传到PC，最终通过PC进行命令设置双摄像头的模式。为了保证两个摄像头不会出现显示时间差，在ISP中将其中一个摄像头设为主摄像头(master模式)，另一个摄像头设置为从摄像头(slave模式)，这样，从摄像头的自动曝光参数(例如曝光行数和曝光时间)都默认地与主摄像头保持一致，从摄像头的灰世界参考点继承主摄像头的值，这样能够保证从摄像头的白平衡与主摄像头一致，确保了主从摄像头无时间差。

步骤2：通过双目摄像头拍摄图像和视频，并采集所述图像和视频。

通过双目摄像头拍摄图像和视频，并可以通过ADAS的API来采集图像和视频。ADAS的API是一种直接用户接口，通过API中的预定义函数，可以对双目摄像头拍摄的图像和视频中所需要的部分进行编码利用，以便采集到所需要的数据。

具体来说，API是一套用来控制操作系统的各个部件的外观和行为的预先定义的操作系统函数。API函数包含在操作系统目录下的动态连接库文件中。用户的每个动作都会引发一个或几个函数的运行以通知操作系统发生了什么。操作系统除了协调应用程序的执行、内存的分配、系统资源的管理外，还是一个很大的服务中心。调用这个服务中心的各种服务可以帮助应用程序达到调试图像的目的。

在本步骤中不仅采集图像，还采集拍摄的视频，其原因在于对于同样的算法，基于视频进行处理能够显著影响算法的准确性，提高车道线识别和车辆预警的准确度，提高车辆行驶的安全性。

步骤3：基于采集到的视频进行边缘提取，判断边缘提取的结果是否满足预定要求，如果边缘提取的结果不满足预定要求，则返回步骤1，分别针对每个单目摄像头重新进行调试，直到边缘提取的结果满足预定要求。

边缘提取的准确性直接影响到后期的车道线检测和物体识别的准确性。因此，在本步骤中基于采集到的视频进行边缘提取，并判断边缘提取的结果是否满足预定要求。如果边缘提取的结果不满足预定要求，则认为采集到的视频质量不能满足高级驾驶辅助系统的后期使用要求，需要分别针对每个单目摄像头重新进行调试。

具体来说，可以分别针对每个单目摄像头的白平衡、自动曝光参数、分辨率、焦距、高动态范围重新进行调试。在调试过程中，可以首先确定一个调试参数，将除了该调试参数以外的其他参数保持恒定不变，针对该调试参数，在其初始值正负5％的范围内以恒定的增量对其进行调整。每次调整之后，通过步骤2拍摄视频，并采集视频，然后再次执行步骤3，直到边缘提取的结果满足预定要求。这表明调试后摄像头采集的视频能够满足后期处理的要求。

特别地，由于白平衡、自动曝光参数和焦距对视频的质量影响较小，一般经过一次调试即可满足基本要求。因此，在返回步骤1时，分别针对每个单目摄像头的分辨率和动态范围重新进行调试。调试的过程与以上描述是类似的。即使分辨率保持恒定不变，针对动态范围，在其初始值正负5％的范围内以恒定的增量改变动态范围的值；或者，使动态范围保持恒定不变，针对分辨率，在其初始值正负5％的范围内以恒定的增量改变分辨率的值，直到视频的边缘提取的结果满足预定要求为止。

特别地，可以根据现有算法基于采集到的视频进行边缘提取。边缘一般是指相邻的像素点呈现出灰度后阶变化或者呈屋顶状变化的像素的集合。现有技术提供了多种边缘提取方法，例如零交叉(Zero-Crossing)方法，在边缘点上的一阶导数中出现的一个波峰，相当于二阶导数中出现的一个零交叉，由于图像中不同区域的强度变化是以不同的变化范围出现的，所以可以用一个或几个大小不同的算子对图像边缘进行检测提取。

进行边缘提取之后，可以判断边缘提取结果是否满足预定要求。在实际应用本方法进行双目摄像头调试的过程中，预定要求可以是：针对指定时长的视频，边缘提取的成功率大于指定阈值；或者针对指定距离的实际路测过程中采集的视频，边缘提取的成功率大于指定阈值。指定阈值、指定时长和指定距离可以根据实际情况进行设定，一般情况下，指定阈值的取值范围可以为95％-99％，指定时长的取值范围可以为5000小时以上，指定距离的取值范围可以为2000公里以上。成功即指提取到了视频中目标物体的边缘，而不成功是指没有提取到视频中目标物体的边缘。

目前对边缘提取结果进行测试的方法主要包括仿真软件测试和实际路测两种。仿真软件可以模拟道路和周围环境，双目摄像头在模拟道路和周围环境中进行拍摄，基于双目摄像头采集的视频进行边缘提取，并通过计算机确定边缘提取的成功率。通过仿真软件进行测试的优点在于所模拟的道路和周围环境中的目标物体数量是已知的，便于方便地确定边缘提取的成功率。一般情况下，在仿真软件环境下，预定要求是针对时长为5000小时的视频，边缘提取的成功率大于95％。实际路测是搭载双目摄像头的车辆在实际道路上行驶，双目摄像头在实际道路上进行拍摄，基于双目摄像头采集的视频进行边缘提取，并一般通过人工方式确定边缘提取的成功率。实际路测的意义在于双目摄像头采集的视频即其实际应用环境，能够更准确地判断边缘提取的结果是否满足预定要求。一般情况下，在实际路测条件下，预定要求是针对2000公里的实际路测过程中所采集的视频，边缘提取的成功率大于95％。

另一方面，如果边缘提取结果与实际边缘之间的误差满足误差要求，则认为采集到的图像和视频质量能够满足高级驾驶辅助系统的使用要求，方法结束。

随着智能车辆的增多，人们对车辆的安全性和智能性有了更高的要求。ADAS的第一步功能是感知，就是观察车辆前端的路况信息，以此做出相应的驾驶行为决策。目前感知所采用的传感器有雷达、单目摄像头和双目摄像头等。单目摄像头的基本测距原理是先通过图像匹配算法进行目标识别(例如车辆、行人、路障等)，再通过目标在图像中的大小估算目标距离。ADAS双目摄像头的测距方法是通过计算两幅图像视差，直接对前方景物(摄像头所拍摄到的范围)进行距离测量，而无需判断前方出现的是什么类型的障碍物。这样，对于任何类型的障碍物，都能根据距离的变化进行必要的预警或制动。

因此，在本发明实施例中，首先针对单目摄像头进行调试，以提高图像的质量，获得清晰度较高、动态范围较大的图像，以利于在后续处理中获得最佳的识别效果。然后，基于双目摄像头拍摄的视频进行边缘提取，并根据提取结果进行反馈，重新对单目摄像头进行调试，直到获得最佳处理结果。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。