用于通过驾驶员辅助系统更好的识别对象的方法

摘要

本发明涉及一种用于运行机动车的驾驶员辅助系统的方法，所述方法包括以下步骤以便通过驾驶员辅助系统来改进对由测得的其他传感器数据表示的对象的识别(8)：检测(1)由驾驶员辅助系统的传感器装置测得且具有缺失的类别属性信息的传感器数据的第一数据项，其中所述类别属性信息涉及由传感器数据表示的对象；在考虑第一数据项的情况下预训练(3)驾驶员辅助系统的分类算法，用于改进所述分类算法的对象分辨；生成(5)模拟的传感器数据的第二数据项，所述模拟的传感器数据根据预先规定的规程具有至少一个相应的类别属性信息；在考虑第二数据项的情况下熟练(6)驾驶员辅助系统的分类算法，用于改进分类算法的为由该分类算法分辨的对象所做出的特性分配。

说明书

技术领域

本发明涉及一种用于运行机动车的驾驶员辅助系统的方法，以便通过驾驶员辅助系统更好地识别对象。

背景技术

在现代机动车中，驾驶员辅助系统用于无人驾驶、即自动或半自动驾驶的许多功能都基于机器学习。为了相应驾驶员辅助系统的学习，需要相应大量的数据量或数据项。虚拟产生的、即模拟的数据或传感器数据对于机器学习而言是一种对否则必需手动准备的所记录的、即测得的真实数据或传感器数据的的更便宜且全面的替代。此外，对于一些目标数据或目标场景、例如道路曲率而言，几乎不能手动准备或生成数据。而模拟数据由于所基于的模拟过程的不完善，可能与真实的或测得的数据有系统性的差别。因此在将仅利用模拟数据进行训练的算法或分类算法应用于真实数据时，即使用或利用该算法来识别由传感器数据所表示的对象时，将表示出降低的成果，即降低的识别率。由此影响模拟数据对于通过机器学习改善相应算法的可用性。

在这方面，文献DE 10 2013 012 781 A1公开了一种用于训练对图像数据中的确定图案进行识别的算法的方法，所述图像数据由机动车的摄像机提供。

文献DE 10 2013 018 543公开了一种用于车辆的驾驶员辅助系统，具有拍摄单元、计算单元和显示单元。计算单元在此适用于评估所述拍摄单元的数据且在此还利用学习算法。

文献DE 10 2014 106 506 A1公开了一种用于诊断机动车摄像机系统的方法，其中以至少两种不同方式对探测到的车辆外部的对象分类且将相应的分类结果进行比较以用于实施诊断。

发明内容

本发明的任务是，通过机动车的驾驶员辅助系统改善对由测得的传感器数据所表示的对象的识别，即尤其是提高驾驶员辅助系统的相应的识别率。

该任务通过独立权利要求的主题实现。有利的实施方案由从属权利要求、说明书和附图得出。

本发明涉及一种用于运行机动车的驾驶员辅助系统的方法。该方法在此具有一系列步骤。

一个步骤是：检测由驾驶员辅助系统的传感器装置测得的、即真实的传感器数据的第一数据项，所述传感器数据具有缺失的类别属性信息或者尤其是不具有类别属性信息。所述第一数据项因此包括多个所测得的传感器数据。在此，传感器数据分别具有缺失的类别属性信息或都不具有类别属性信息。类别属性信息也可以被称作所谓的标签，该标签在此涉及由传感器数据所表示的对象。该对象尤其可以是车辆外部的对象或行驶状况。例如标签可以说明：在传感器数据中表示的对象是路牌。标签也可以包含其他信息且例如确定一图像区域，在该图像区域中布置有相应的对象，在此是所述路牌。对于摄像机的传感器数据而言，可能的标签例如是“在右上方的四分之一图像区域中的让行路牌”。

接下来的步骤是：在考虑第一数据项的前提下预训练驾驶员辅助系统的分类算法，用于改进分类算法的对象分辨或对象分类。尤其是该预训练还可以通过驾驶员辅助系统的控制装置进行。在此的目的是，学到在数据的统计学特性方面有意义的且稳定的表示。例如，找到边缘或对象边界。在预训练中学到的表示可以因此例如是基本几何形状，例如圆形、三角形或类似形状。因此在上述的路牌示例中，可以通过“三角形”或“尖角朝下的三角形”的基本形状来学到对路牌的表示。这在例如要识别对象、例如交通标志的含义的情况下对于后续的熟练是有益的。因而在此的目的是，通过分类算法学到对象在传感器数据中的表示方式或多个表示可能性。

另一个步骤是：生成模拟的、即虚拟的传感器数据的第二数据项，所述传感器数据按照预先规定的模拟规程具有至少一个相应的类别属性信息。接着的下一个步骤是：在考虑第二数据项的前提下熟练驾驶员辅助系统的分类算法，用于改进分类算法的特性分配或特性分类，尤其是对于由分类算法进行分辨的对象，即已分类的或待分类的对象。因此在完成预训练之后、即至少实施了一次预训练之后进行所述熟练。在此的目的是，学到由类别属性信息针对不同对象所预先规定的目标任务，例如学到确定的交通标志的含义或学到例如能够从关于路牌的标准化的标准尺寸的知识中推导出的距离。因此能够将对象的表示，例如上面所述的“尖角朝下的三角形”与“让行”含义相关联。由于已经通过真实数据学习了“尖角朝下的三角形”这一表示，所以之后在实际环境中识别这种对象的识别率也特别高。

整体上通过预训练和熟练的组合改进了通过驾驶员辅助系统对由测得的其他传感器数据所表示的对象的识别或分类，利用熟练之后的分类算法分析所述其他传感器数据。也就是说，分类算法的分类空间通过预训练和熟练的组合得到扩充和/或改进。这可以例如通过测量分类算法的识别率或与相应已知的分类算法的识别率相比较来检查。

所述方法还可以包括如下步骤：通过机动车的驾驶员辅助系统在使用分类算法的情况下识别由测得的、即真实的其他传感器数据所表示的对象。

这具有的优势是，通过预训练的影响，为分类算法寻找到能够更好地广泛用于真实数据的解决方案，即结构和/或权重。在分类算法中通过所述预训练这样影响在分类算法中进行的对象分辨，使得该分类算法能够更好地分辨在真实的传感器数据中或通过真实的传感器数据所表示的对象。通过利用模拟数据的所述熟练能够进一步改进分类算法的特征分类且还可以改进分类算法的对象分辨。因为通过该预先学习已经为所述熟练规定或设置了良好的、即贴近现实情况的初始点，例如初始学习权重，所以相比于传统方法可以利用熟练更快速或更准确地实现预先规定的目标任务，例如针对预先规定的场景或对象的预先规定的识别率。

因而根据本发明的预训练和熟练的组合以最优方式结合了各单个不同类型的训练的优点。由于已经预训练过的分类算法是熟练的初始点，所以在此提供了另外的增值/附加值。通过所述熟练不仅可以改进分类算法的特性分配，而且还可以改进对象分辨。例如可以这样改进在预训练中完成的、可以在圆形和多边形对象之间进行区分的对象分辨，即例如将具有不同的规定、例如不同的速度规定的圆形路牌分类为不同的对象。整体上因而提供了一种分类算法，该分类算法能够以减小的时间和经济成本更好地识别在真实的传感器数据中表示的对象且同时能够以几乎任意精细的方式被熟练。

在一种有利的实施方式中提出，所测得的和/或模拟的传感器数据包括图像数据和/或距离数据，尤其是雷达数据和/或超声波数据，和/或声学数据，尤其是来自从人所能够听见的范围，和/或车辆内部的传感器数据，尤其是速度和/或车轮转速和/或动力设备转速和/或纵向加速度和/或横向加速度等。由此得到的优势是，对象、尤其是车辆外部的对象或包括车辆外部对象的对象能够被特别可靠地识别。

在一种另外的实施方式中，重复地进行预训练以及尤其是还有检测，和/或重复地进行熟练以及尤其是还有生成。所述方法步骤因而可以反复实施。在此无论是预训练还是熟练都多次相继重复，还在多次的熟练中的一次熟练之后再次进行预训练。这具有的优势是，能够特别容易的实现分类算法的预先规定的质量，即例如分类算法的预先规定的识别率。此外可以通过确定质量、例如识别率检测算法的相应中间状态或最终结果，且例如在进展不令人满意时，例如识别率变差时再次采用另一个训练方式，即在熟练之后采用预训练或在预训练之后采用熟练。因此还可以预防可能的漏学(Entlernen)。

在另一有利的实施方式中，所述分类算法用于通过驾驶员辅助装置识别或分类在道路交通中的行驶状况和/或对象。因此所识别的对象既可以是车辆外部的对象又可以是在道路交通中的行驶状况或行驶场景。所述待识别的对象可以例如是车辆或例如路牌或路面标志线等对象。这具有的优点是，驾驶员辅助装置能够非常好地辅助相应机动车的驾驶员。

此外可以提出的是，所述预训练在熟练之前进行。尤其是可以在或仅在熟练之前进行至少一次预训练。这具有的优势是，提前在后来所期望的方向上形成确实要通过真实的传感器数据发挥作用的分类算法。通过分类算法的训练可以因此禁止不切实际的对象划分。

在特别有利的实施方式中提出，所述预训练包括无监督的学习过程。尤其是所述预训练还不包括有监督的学习过程。无监督的学习过程在此尤其是利用深度学习(所谓的Deep Learning(深度学习))的算法和表示学习(所谓的Representation Learning(表示学习))的算法。这具有的优势是，能够学习对象的区别，而无需分别针对不同的对象提前了解或规定特有的特性。因此不必手动准备真实的传感器数据或不必例如以费事的手动操作为真实的传感器数据设置类别属性信息。因此实现了分类算法的“无特性分辨”，该分类算法能够基于相关性分辨对象。但所述分类算法在此仍让无法对与驾驶员辅助系统的干预或功能有关的特性、例如对象的含义或距离作出相应论断。

在其他特别有利的实施方式中提出，所述熟练包括有监督的学习过程。尤其是所述有监督的学习过程使用梯度法。这具有的优势是，通过提供相应对象的特性来为学习预先规定一个方向作为识别目标。通过虚拟的传感器数据在细化规定之后以最小的人工耗费可以预先规定该方向。

在另一实施方式中提出，在预训练之前利用模拟的传感器数据对所述第一数据项加以扩充或补充。这具有的优势是，即使是不包含在真实的数据中的场景或对象在预训练时也被考虑到。因此可以例如人为地加入例如偶见的、但重要的事件或对象，且由此例如减少用于检测所述第一数据项的耗费。在第一数据项中，模拟的传感器数据占总的传感器数据的优选不超过百分之40，特别优选不超过百分之20，或不超过百分之10或百分之5。由此避免了，模拟过程的不完善以会降低对象识别的方式影响所述预训练。

在一种特别有利的实施方式中提出，所述分类算法基于神经网络。这具有的优势是，无论预训练还是熟练都能够特别容易地实现，且在此能够采用大量经过验证的无监督或有监督的学习算法。此外可以因此实现特别接近人类感知或行为的分类或识别行为。

在此可以提出，所述预训练仅涉及神经网络的第一部分，所述熟练涉及神经网络的较大的第二部分或涉及整个神经网络。例如可以利用无监督的学习方法将所述第一部分训练为降噪自动编码器。较大的第二部分可以例如利用梯度法来熟练。因此可以减小整体上用于训练神经网络所需的时间成本，而在此不会使对象识别的精度变差。

前面在说明书中所述特征和特征组合以及下面在附图说明中所述的和/或在附图中单独示出的特征和特征组合在不脱离本发明范围的情况下不仅可以在相应给出的组合中使用，也可以在其他组合中使用。因此本发明的如下实施方案也应被视作是为本发明所包括和所公开：这些实施方案在附图中未明确示出和论述，但能够通过从所述各实施方案分离出的特征组合得知和产生。因此不具有原始表述的独立权利要求全部特征的实施方案和特征组合也应被视作是已公开。此外超出于在权利要求的援引中所论述的特征组合的或与之有偏差的实施方式和特征组合尤其是通过上面所论述的实施方式也应被视作是已公开。

附图说明

下面借助示意图详述本发明实施例。在此唯一的附图示出用于通过驾驶员辅助系统更好地识别对象的方法的示例性实施方式的示意性流程图。

具体实施方式

在所示的方法中，第一步骤是由通过驾驶员辅助系统的传感器装置测得的传感器数据检测1第一数据项。例如，传感器数据可以是机动车摄像机的图像数据，该图像数据被传递给驾驶员辅助系统。在此所述第一数据项在所示示例中仅包含图像数据，而不包含与在图像数据中所表示的在机动车环境中的对象有关的其他信息。因而在此向驾驶员辅助系统仅传递图像。在接下来的步骤中，即在扩充2步骤中，在此除了所测得的真实传感器数据外还向第一数据项添加模拟的传感器数据。模拟的传感器数据在所示示例中也不具有与在传感器数据中所表示的对象有关的类别属性信息，但在其他实施方式中可以具有该类别属性信息。

接下来的步骤是：在考虑到所述扩充的第一数据项的前提下预训练3驾驶员辅助系统的分类算法，用于改进分类算法的对象分辨。这在此借助于无监督的学习过程进行，且目的是，学习传感器数据的在传感器数据的统计学特性方面稳定的表示。在此可以例如学习找到边缘或对象边界。

在预训练3之后进行检查4，在此检查分类算法的质量，这例如通过测量识别率实现。如果算法不满足预先规定的质量标准，则在此重复所述预训练3。

如果所述分类算法满足了质量标准，则可以在由模拟的传感器数据生成5第二数据项之后在考虑第二数据项的前提下进行分类算法的熟练6。在生成5步骤中，在此生成模拟的传感器数据，所述模拟的传感器数据分别根据预先规定的规程具有至少一个相应的类别属性信息。例如为模拟的图像文件配备其中所表示的对象和与相应在不同图像区域中存在的对象的种类和特性有关的其他信息的坐标。该类别属性信息然后在所示的例子中在利用有监督的学习过程进行熟练6时被用于改进分类算法针对由该分类算法分辨的对象所实现的特性分配。在熟练6之后在所示的例子中对分类算法的质量进行进一步检查7。如果质量符合预先规定的质量标准，则在此通过驾驶员辅助系统识别8在其他传感器数据中所表示的对象。如果进一步的检查7给出了否定结果，则在所示的例子中首先以上面所述的已知结论再次进行检查4，即必要时重复预训练3。替代地可以规定，在进一步检查7的步骤中否定的检查结果仅导致再次重复熟练6。

也可以规定，在相应重复预训练3或熟练6之前再次相应地检测1或生成5为训练所使用的相应数据项。