对象分类方法、对象分类电路、机动车辆

摘要

本发明涉及一种对象分类方法（1），该方法包括：基于传感器（12）的传感器数据来分类（2）对象，其中所述分类基于人工智能的训练，其中所述训练包括：获得表明所述对象的第一传感器数据；获得表明所述对象的第二传感器数据，其中在所述第一传感器数据和所述第二传感器数据之间存在部分对称；识别出所述部分对称；并且基于所识别出的所述部分对称创建对象类。

说明书

技术领域

本发明涉及一种对象分类方法、对象分类电路和机动车辆。

背景技术

一般而言已知多种对象分类方法，这些对象分类方法基于人工智能，或者说由人工智能来执行这些对象分类方法。

这样的方法可以例如在自动化行驶中、在驾驶员辅助系统的情况下以及在类似的应用中找到。

深度神经网络可以处理（例如来自摄像机、雷达、激光雷达的）传感器数据，以便由此导出相关信息。

这种信息可以例如涉及对象的类型、位置、行为等等。此外，也可以识别出车辆几何结构和/或车辆拓扑。

典型地，在神经网络的训练中实施数据推动的参数拟合。

在这样的数据推动的参数拟合中，例如利用损失函数（Lossfunktion）可以确定输出（Output）与地面真值 （Ground Truth）的偏差（Loss（损失））。损失函数可以这样选择，使得待拟合的参数可微分地与损失函数相关。

可以将梯度下降应用到这样的损失函数，在所述梯度下降的情况下在训练步骤中根据损失函数的导数（在数学微分的意义上）适配神经网络的至少一个参数。

这种梯度下降可以（以预给定的方式多次）重复，直至不再达到损失函数的改善或者直至损失函数的改善在预给定的阈值之下。

然而，在这种已知的网络情况下典型地在没有专家评估和/或在语义上被说明理由的建模的情况下确定这些参数。

这可能导致：这种深度神经网络可能对于专家而言是不透明的并且该网络的计算是不能（或者难以）解释的。

这可以导致如下问题：可能无法执行神经网络的系统测试和/或形式验证。

此外，已知的深度神经网络可能是易于受干扰影响的（(adversial perturbation（对抗干扰）），使得输入的递增式改变可能导致输出的强烈改变。

此外，在所有已知神经网络的情况下都不清楚的是，考虑哪些输入特征，因此可能无法使用已知神经网络中的合成的数据，或者说当使用这些合成的数据时可能会导致较差的性能（Performanz）。此外，已知神经网络在其他域中的实施（例如在夏季训练但是在冬季实施）可能导致差的性能。

一般而言已知的是，利用各种（不同）数据组训练神经网络，其中这些数据组可能具有不同的上下文、不同的来源（例如模拟、现实数据、不同传感器、被增强的数据）。然而在此情况下典型地并不识别出在不同数据组之间的部分对称（Teilsymmetrie ）。

此外已知迁移学习（Transfer Learning）和域自适应（Domain Adaption）。在此情况下，可以通过进一步训练和对损失函数的特别选择来使算法适配于（并没有进一步受监察的）新的域。例如，可以为此使得神经网络关于不同的域而言脱敏（desensibilisieren）或者通过以来自目标域的受限数目个训练示例进行被聚焦的再训练。

然而在此情况下，可能并非目标明确地创建对象类。

此外，例如从公开文献DE 10 2016 216 795 A1中已知用于确定结果图像数据的方法，在该方法中原始图像数据通过处理算法来被进一步处理以用于改善质量，其中通过机器学习来训练处理算法。在训练中，借助于成本函数的最小化来定义在输入图像和参考图像之间的区别。因此，在此并没有识别出在第一传感器数据和第二传感器数据之间的部分对称，而基于此来创建对象类。

此外，从公开文献DE 10 2018 002 521 A1中已知用于基于传感器数据来识别人的方法。在此情况下，从雷达传感器数据中提取特征并且确定作为人的特性（Personeneigenschaften）。然而在此情况下并没有识别出第一传感器数据和第二传感器数据之间的部分对称，而基于此来创建对象类。相反，在所述公开文献中已经预给定对象类。

此外，从实用新型文献DE 20 2018 104 373 U1中已知用于运行机器学习系统的设备，其中给机器学习系统分派能预给定的控制模式，该预给定的控制模式表征如下顺序，学习系统的层根据该顺序来分别确定中间参量，其中在分派控制模式时给每个连接或每个层分配控制参量，该控制参量表征：是否根据该顺序或者无关于该顺序地确定相应的接下来的所连接的层的中间参量，其中根据能预给定的控制模式，根据该机器学习系统的输入参量来控制该机器学习系统的输出参量的计算。然而在此情况下，没有识别出部分对称。

发明内容

本发明的任务是提供一种对象分类方法、对象分类电路和机动车辆，其至少部分地克服了上述缺陷。

所述任务通过按照本发明的对象分类方法、按照本发明的对象分类电路以及按照本发明的机动车辆而得以解决。

根据第一方面，按照本发明的对象分类方法包括：基于传感器的传感器数据来分类对象，其中所述分类基于人工智能的训练，其中该训练包括：获得表明（indikativ für）该对象的第一传感器数据；获得表明该对象的第二传感器数据，其中在所述第一传感器数据和所述第二传感器数据之间存在部分对称；识别出部分对称；并且基于所识别出的部分对称创建对象类。

根据第二方面，按照本发明的对象分类电路被设立为：实施根据第一方面所述的对象分类方法。

根据第三方面，按照本发明的机动车辆具有根据第二方面所述的对象分类电路。

本发明的其他有利构型方案从本发明的优选实施例的接下来的描述中得出。

如上文已探讨的，用于对象分类的已知方法具有如下缺陷：这些已知方法可能是不准确的，例如当没有在训练中识别出不同数据组（例如传感器数据）的部分对称时，这些已知方法可能是不准确的。

然而已认识到：识别出部分对称可导致在对象分类中经改善的结果。

此外已认识到：已知的解决方案以大的数据组为前提并且可能不能够证明或者仅能够以大的耗费（例如复杂算法、高计算能力、时间耗费）来证明到不同域的扩展。

此外，值的期望的是，改善对象分类的性能和正确性。

因此，一些实施例涉及一种对象分类方法，该对象分类方法包括：基于传感器的传感器数据来分类对象，其中该分类基于人工智能的训练，其中该训练包括：获得表明该对象的第一传感器数据；获得表明该对象的第二传感器数据，其中在所述第一传感器数据和所述第二传感器数据之间存在部分对称；识别出部分对称；并且基于所识别出的部分对称创建对象类。

该分类可以包括：应用算法、从存储器或数据库中进行调用等等。该分类可以基于响应于传感器（例如机动车辆的摄像机）的测量而进行的输出、结果等等。

可以由人工智能来创建算法、数据库、存储器等等，从而在已学会（erlernen）的对象分类方法的应用中并不需要：在系统上存在人工智能，由此能够有利地节省存储容量和计算能力。

此外有利的是：在训练中能够有足够时间可供使用。

人工智能（KI）可以例如使用基于机器学习、深度学习、外显特征（ExplicitFeature）等等的方法，诸如模式识别（Mustererkennung）、边缘检测（Kantendetektion）、基于柱状图的方法、模式匹配（Pattern Matching）、色彩匹配（Color Match）等等。

此外得出如下优点：可以使用已知的用于生成KI的方法。

在一些实施例中，学习算法包括机器学习。

在这样的实施例中，学习算法可以基于下列至少之一：尺度不变特征变换（SIFT）、灰度共生矩阵 (GLCM)等等。

机器学习还可以基于分类方法，诸如随机森林、支持向量机、神经网络、贝叶斯网络等等其中至少之一，其中这样的深度学习方法例如可以基于下列至少之一：自编码器、生成对抗网络、弱监督学习、自助法（Boot-Strapping）等等。

此外，机器学习也可以基于数据聚类（Clustering）方法、诸如具有噪声的基于密度的空间聚类方法（DBSCAN）等等。

监督学习可以此外基于回归算法、感知机、贝叶斯分类、朴素贝叶斯分类、近邻分类、人工神经网络等等。

因此可以有利地将已知的方法用于机器学习。

KI可以在一些实施例中包括卷积网络（convolutional neural network（卷积神经网络））。

所述对象可以是每个任意的对象，例如，其可以是在上下文中的相关对象。例如，在道路交通的上下文中，相关对象（或者对象类）可以是（机动）车辆、行人、道路标牌等等，而在增强现实的上下文中，相关对象可以是用户、单件家具、房屋等等。

人工智能的训练可以包括：获得（传感器的）第一传感器数据。传感器可以例如执行测量，该测量例如被传送给（用于所述KI的）处理器，例如响应于处理器（或者KI）的请求来被传送给（用于所述KI的）处理器。在一些实施例中，第一传感器数据也可以在存储器上存在，其中KI可具有对该存储器的访问。

第一传感器数据可以表明所述对象，也就是说，该传感器的测量例如针对于该对象，从而可以由所述第一传感器数据来导出该对象。

该传感器可以例如是摄像机，并且所述KI可以鉴于根据图像数据来识别对象方面被训练。在这样的实施例中，对象可以被放置在由摄像机检测的光学平面中。

此外，能够以与第一传感器数据类似（或者相同）的方式和方法来获得第二传感器数据，或者能够以其他方式和方法来获得第二传感器数据。例如，第一传感器数据可以在存储器中存在，而直接来自测量的第二传感器数据则被传送到KI，或者反之亦然。第二传感器数据可以源于与第一传感器数据相同的传感器，然而本发明不应受限于此。例如，第一传感器可以是第一摄像机并且第二传感器是第二摄像机。此外，本发明也不限于：第一传感器和第二传感器是相同的传感器类型（例如摄像机）。第一传感器可以例如是摄像机而第二传感器可以是雷达传感器等等。

在第一传感器数据和第二传感器数据之间可以存在部分对称。例如由第一传感器和第二传感器表明的对象的特性和/或行为和/或其环境可以是相同的或类似的。

例如，可以由摄像机来在第一照明状况（例如打开灯）记录该对象的第一图像，借此生成第一传感器数据，紧接着在第二照明状况（例如关上灯）记录该对象的第二图像，借此生成第二传感器数据。在这种情况下，所述部分对称可以是该对象（和/或其他对象）。根据（其他）传感器而定，所述部分对称也可以包括空气压力、温度、位置等等。

所述部分对称可以例如根据在第一传感器数据和第二传感器数据之间的比较来被识别出，其中根据识别出的部分对称来创建用于对象分类的对象类，其中在一些实施例中也能够创建算法，以便执行对象分类（或者对象识别）。

基于该部分对称可以(与在上文描述的损失函数的情况下类似地)展开（entwickeln）函数。

在这种情况下可以充分利用：在可能的输入空间中存在一系列的、一组、多个变换（或改变）等等，这些变换不应该改变该KI的输出或者应该仅仅以低于预给定的阈值的方式改变该KI的输出。

所述分类可以就此而论包括：将所识别出的对象分派（和/或分配）到对象类。

例如可以识别出：对象位于摄像机的视野中。通过该对象的分类可以确定：其涉及哪种类型的对象。例如，该对象可以被分类为机动车辆。

因此，可以有利地进行：标识所识别出的对象，其中所述标识超出对象的简单识别。

典型地，对象类不必具有具体的名称（诸如机动车辆），这是因为该对象类由人工智能来确定。就此而论，该对象类可以作为抽象数据组而存在。

在一些实施例中，该人工智能如在本文中描述的那样包括深度神经网络。

因此，得出如下优点：不需要执行监督学习（supervised learning），由此使得自动化成为可能。

在一些实施例中，第二传感器数据基于第一传感器数据的改变。

所述改变可以是第一传感器数据的人工改变。例如，操纵第一传感器数据的源代码、位、位序列等等都可导致第二传感器数据。然而，本发明并不限于操纵第一传感器数据，如上文所探讨的那样这是因为也能够进行该传感器（或第二传感器）的第二次记录（或测量）以便获得第二传感器数据。

在一些实施例中，所述改变包括下列至少之一：图像数据改变、语义改变和动态改变。

图像数据改变可以包括下列至少之一：对比度改变（例如对比度移位（Kontrastverschiebung）、色彩改变、色彩深度改变、图像清晰度改变、亮度改变（例如亮度适配）、传感器噪声、位置改变、旋转和扭曲。

所述传感器噪声可以是具有任意功率频谱的人工噪声或天然噪声。该噪声可以通过被施加到传感器的电压来模拟，但是也可以通过传感器数据操纵来实现。所述噪声可以例如包括：高斯噪声、椒盐噪声、布朗噪声等等。

（传感器的、对象的和/或其环境的）旋转以及位置改变可以导致：从另一角度测量或记录该对象。

所述扭曲可以例如通过使用其他传感器、通过至少一个其他透镜等等而形成。

由此得出如下优点：可以提高给KI的输入的数目，从而可以更准确地确定所述部分对称，由此可以实现更准确的对象分类。

语义改变可以包括下列至少之一：照明改变、天气条件改变和对象特性改变。

天气条件改变可以例如包括：降水量的改变、降水类型的改变、阳光强度的改变、一日间时间的改变、空气压力的改变等等。

这些对象特性可以例如包括：色彩、着装、类型等等。

一般而言，语义改变可以理解为对象所处于的上下文的改变，诸如环境的改变。例如，该对象可以在第一传感器数据中处于房屋中，而在第二传感器数据中则处于草地上。

由此得出如下优点：可以提高给KI的输入的数目，从而可以更准确地确定所述部分对称，由此可以实现更准确的对象分类。

动态改变可以包括下列至少之一：加速、减速、运动、天气改变和照明状况改变。

加速和/或减速可以导致与传感器的或对象的恒定运动（或者根本不运动）和/或其环境不同的传感器印象（Sensoreindruck），例如，多普勒效应的影响可以根据速度和/或加速度而定地具有相关效果。

由此得出如下优点：可以提高给KI的输入的数目，从而可以更准确地确定所述部分对称，由此可以实现更准确的对象分类。

在这种改变（或输入空间的变换）下，KI可以被设立成：提供恒定的结果。

为了识别部分对称，可以在训练期间插入（einstreuen）KI的参数化步骤。在这种参数化步骤情况下，按照本发明改变现有的传感器印象（第一传感器数据），从而产生第二传感器数据，所述第二传感器数据可以与第一传感器数据一起被处理。在第一传感器数据和第二传感器数据的处理结果中的差别可以被评价为错误，因为由此假定所述结果应该是恒定的（或者在第二传感器数据中关于第一传感器数据方面不应改变）。可以基于该错误适配KI的参数（或者神经网络的网络参数），从而可以在重新处理的情况下提供相同的结果。

在此情况下，可以不仅使用训练数据，也即包括要分类的对象的数据，而且也使用（没有“标签”的）其他传感器数据。

这由此而得出：训练部分对称而并非KI的函数。

因此，得出如下优点：不需要地面真值（ground truth）以训练KI。

在一些实施例中，所述改变基于传感器数据改变方法。

在所述传感器数据改变方法中，可以有利地改变被传递给KI的传感器印象，以便实现经优化地确定部分对称。

传感器数据改变方法可以包括下列至少之一：图像数据改变、传感器数据改变、风格迁移网络、手动交互和重新记录数据。

在图像数据处理和/或传感器数据处理的情况下，可以应用：亮度适配、色彩饱和度适配、色彩深度适配、对比度适配、对比度归一化、图像裁剪、图像旋转等等。

风格迁移网络可以包括用于改变特定图像特征（例如从白天到夜晚的改变、从阳光到下雨的改变等等）的经训练的神经网络。

因此，可以有利地时间优化地执行所述训练并且能够考虑大量的图像特征，而不必手动（或者在现实中）调整这些图像特征（这在天气情况下也许并不能容易实现）。

在手动交互的情况下，可以手动改变第一传感器数据的语义不相关的部分。

在如上文提及那样重新记录数据时，第二传感器数据可以基于重新测量，其中例如改变传感机构（例如与记录第一传感器数据不同的其他传感器），和/或其中例如改变内容（例如改变环境），和/或其中改变模拟条件。

在一些实施例中，所述改变还可以基于至少两个传感器数据改变方法的混合。

例如，可以设置特定数目个在其中应用到风格迁移网络的迭代（或者超参数），并且设置特定数目个在其中应用到重新记录数据的迭代。

这两个方法之一（或者这两个方法）于是可以用于确定部分对称。

由此得出如下优点：KI相对于并不改变输出的改变而言变得稳定并且是不可知的（agnostisch）。

此外得出如下优点：可以提高给KI的输入的数目，从而可以更准确地确定所述部分对称，由此可以实现更准确的对象分类。

此外得出如下优点：例如通过记住（Auswendiglernen）对象、过拟合（Overfitting）等等可以实现更好的功能性。

在训练成功收敛之后（也就是说当输出保持恒定时），KI能够执行功能（诸如对象分类），而与此同时KI还能够有利地将传感器数据的相关改变与不相关改变区分。

因此还得出如下优点：例如通过迁移学习算法等等可以将已学会的功能转用于其他应用域（例如对象类的改变、环境的适配等等）。

这有如下优点：实现神经网络的概念性的（konzeptionell）域适配。

在一些实施例中，所述改变还基于下列至少之一：批处理（Batch-Processing）、可变训练步幅和可变训练权重。

在批处理的情况下可以在迭代期间获得多个传感器印象，例如可以同时获得第一传感器数据和第二传感器数据，其中对于每个传感器印象识别出不同的对称。因此，可以确定总迭代错误，紧接着可以相应地适配KI或者使其自身适配，这随之带来更准确的对象分类的优点。

在可变的（适应性的和/或不同的）训练步幅和可变的（要适配的）训练权重的情况下，可以针对每个训练输入个别地适配学习速率，利用该学习速率来适配KI的参数。例如，在基于风格迁移网络进行改变的情况下可以将学习速率调整得比在基于手动交互进行改变等等的情况下更高。

此外可以根据训练进展（Trainingsfortschritt）来适配学习速率。

此外可以使在每个训练步骤中所施加的权重仅仅适配于（神经网络的）最接近于输入的网络层。

在一些实施例中，训练还包括：识别出第二传感器数据关于第一传感器数据而言的不相关改变；并且标记所述不相关改变作为错误，以用于识别出部分对称。

所述不相关改变可以基于第二传感器数据关于第一传感器数据而言（或者反之）的（例如基于比较得出的）差异，所述差异被KI评价为错误，从而能够识别出部分对称（例如第一传感器数据和第二传感器数据的共同性（Gemeinsamkeit））。

在一些实施例中，传感器如在本文中所述的那样包括下列至少之一：摄像机、雷达和激光雷达。

然而，本发明并不限于这些类型的传感器，因为原则上本发明可以应用于每种适用于对象识别或对象分类的传感器，诸如飞行时间传感器以及其他传感器，所述传感器可以记录或确定图像、间距、深度等等。

因此得出本发明的普遍可应用性的优点，因为本发明在所有其中使用到对传感器数据进行评估的KI、尤其是具有深度学习能力的KI的领域中可应用，诸如在医药技术、医疗机器人、（自动）空中行驶、轨道行驶、航海、宇宙航行、（自动）道路交通、车辆内部空间监视、生产机器人、KI开发等等领域中可应用。

在一些实施例中，也可以根据在KI的中间计算（例如神经网络的网络层的激活模式）中的不同的经改变的第一传感器数据和第二传感器数据之间的差别来确定错误（并且由此确定部分对称）。

这些实施例涉及对象分类电路，所述对象分类电路被设立为，实施按照本发明的对象分类方法。

该对象分类电路可以包括处理器、诸如CPU（Central, Processing Unit（中央处理单元））、GPU（Graphic Processing Unit（图形处理单元））、FPGA（Field ProgrammableGate Array（现场可编程门阵列）），以及包括数据存储器、计算机、一个（或多个）服务器、控制设备、中央车载计算机等等，其中也可能是所提及的这些元件的组合。

对象分类电路可以包含按照本发明的KI，和/或对象分类电路可以具有基于KI的按照本发明的训练的用于对象分类的算法，而该对象分类电路却无需必然地具有所述KI，由此可以有利地节省计算能力。

一些实施例涉及机动车辆，该机动车辆具有按照本发明的对象分类电路。

该机动车辆可以表示每种任意的通过发动机（例如内燃机、电机等）来推动的车辆，诸如汽车、摩托车、载重汽车、公共汽车、农业或林业牵引机等等，其中，如上文所述的那样，本发明不应限于机动车辆。

在这样的实施例中，按照本发明的对象分类可以例如在道路交通中进行，以用于识别出障碍物、其他机动车辆、道路标牌等等，其中如上文提及的那样，本发明不应限于这种类型的对象分类。

例如，移动电话、智能电话、平板、智能眼镜等等也可以具有按照本发明的对象分类电路，例如在增强现实、虚拟现实或者其他已知的对象分类上下文这样的上下文中。

一些实施例涉及用于机器学习的系统，能够利用按照本发明的训练来训练该系统。

该系统可以包括处理器等等，如在本文中所述的那样，在其上实施人工智能。

按照本发明的训练可以是如下训练方法，该训练方法包括：获得表明该对象的第一传感器数据；获得表明该对象的第二传感器数据，其中在所述第一传感器数据和所述第二传感器数据之间存在部分对称；识别出部分对称；并且基于所识别出的部分对称创建对象类。

在一些实施例中，可以在系统中设置控制单元，该系统在一些实施例中在训练中被直接使用。因此，不仅能够处理第一传感器数据，而且也能够（同时）处理第二传感器数据，其中标签（例如地面真值（Grundwahrheit））在每个迭代中可以是相同的。

在此情况下，产生的错误可以被累加（summieren）并且用于适配KI（例如网络参数），这有利地可以在一个步骤中被执行，由此能够节省计算能力。

附图说明

现在示例性地并且参考附图来描述本发明的实施例。其中：

图1示意性地以框图示出按照本发明的对象分类方法的实施例；和

图2以框图示出按照本发明的机动车辆。

具体实施方式

在图1中以框图示出按照本发明的对象分类方法1的实施例。在2中基于传感器的传感器数据分类对象，其中所述分类基于人工智能的训练，其中所述训练包括：获得表明该对象的第一传感器数据；获得表明该对象的第二传感器数据，其中在所述第一传感器数据和所述第二传感器数据之间存在部分对称；识别出部分对称；并且如本文中所述的那样基于所识别出的部分对称创建对象类。

图2 示出按照本发明的机动车辆10，该机动车辆具有按照本发明的对象分类电路11。

此外，该机动车辆具有摄像机（传感器）12，该摄像机提供图像数据（传感器数据）给对象分类电路11，其中该对象分类电路11已实施了（implementieren）如下算法，该算法如在本文中所描述的那样基于KI的训练，由此，该对象分类电路11被设立为，根据所述图像数据来实施按照本发明的对象分类。

附图标记列表

1 对象分类方法

2 根据传感器数据分类对象

10 机动车辆

11 对象分类电路

12 摄像机（传感器）