摄像机原始数据通道和雷达原始数据通道的捆绑

摘要

本发明涉及一种例如基于CSI‑2协议、通过点对点连接来捆绑两个数据通道的装置和方法，尤其涉及用于捆绑摄像机原始数据通道和雷达原始数据通道的装置和方法。在此，将来自于第一数据通道的数据序列经由第一线路(310)以及将来自于第二数据通道的数据序列经由第二线路(210)传输给多路复用装置(450)。第一数据通道传输摄像机原始数据，第二数据通道传输源于雷达系统、激光雷达系统、超声波系统和/或激光系统的原始数据。在此，具有预定义的参数的数据空缺(312)被设置在第一数据(311)的每两个序列之间。来自于第二数据通道的数据被发送给缓冲存储器(457)，并且如果缓冲存储器(457)已经由具有预定义参数的第二数据(211)充填，则来自于第二数据通道的数据被插入到源于第一数据通道的数据(311)中。利用这些第一数据(311)和第二数据(211)，在多路复用装置(450)的输出端构成第三数据通道，并将数据传输到第三线路(110)。因此，第三数据通道具有捆绑的第一数据(311)序列和第二数据(211)序列。

说明书

本发明涉及一种例如基于CSI-2协议通过点对点连接将两个数据通道捆绑的装置和方法，所述装置和方法尤其用于摄像机原始数据通道和雷达原始数据通道的捆绑。此外，本发明还涉及一种用途、一种程序单元以及一种计算机可读介质。

点对点连接，尤其是通信连接，用于通过线路传输数据。

一种可能的应用可以是通过这些线路从图像传感器和从雷达传感器传输原始数据。一种可能的应用可以是在车辆中检测这类数据并将其例如用于辅助系统。这些应用中的一组可以是所谓的ADAS(“高级驾驶员辅助系统”)应用。在这类应用组中，对源于例如雷达传感器、激光雷达传感器、超声波传感器、激光传感器、诸如摄像机等基于视频的系统等不同传感器的大量数据进行汇总、显示和/或验证。在很多情况下，各种类型传感器例如在数据传输速率和/或所使用的线对数量方面都有差异。因此，在包含两种类型传感器的一种应用中，对公共处理单元而言必须为各传感器类型提供专用接收装置，或每个传感器必须由一单独的处理单元进行处理。这无论在处理单元还是在线路和连接器方面都会造成较高的成本费用。

DE 102015224782 A1公开一种用于操控机动车辆雷达装置的方法，其中，高频装置的工作数据被传输至微型计算机装置并由微型计算机装置进行分析评估。高频装置可拥有数据总线形式的接口，用于传输从周围环境检测中获取的基带数据。所需工作数据可通过被数字化设计的数据总线传输，该数据总线通常专门设计成用于传输基带数据。为此，接口可根据例如LVDS(低电压差分信号)规范或MIPI-CSI-2(移动行业处理器接口—摄像机串行接口2)规范进行设计。

EP 3324548 A1展示了一种用于车辆系统的总线系统，通过该总线系统可在多个控制单元(处理单元)间实现彼此的数据传输。摄像机装置和雷达控制装置可将它们的数据传输到转换单元，在转换单元中可对数据进行组合和调制以进行传输。到ADAS(高级驾驶员辅助系统)控制单元的数据传输可通过公共高速串行总线完成。

本发明的目的是提供一种改进型的传输解决方案。该目的通过独立权利要求的主题来实现。有益的实施方式是从属权利要求的主题以及随后的说明书和附图的描述。

在此，用于通过点对点连接捆绑/绑定两个数据通道的装置具有第一数据通道，它通过第一线路传输第一数据的多个序列，其中，在第一数据的每两个相应序列之间设置有具有第一预定义参数/尺寸/长度/大小的数据空缺/数据间隙。

在许多点对点连接，尤其是在串行连接中，数据以数据块形式传输，即传输多个数据的序列，然后是不传输数据的暂停或“空白阶段”，之后传输多个数据的另一序列。由此，在数据每两个序列之间都有数据空缺。根据总线协议，该数据空缺可具有不同的长度或始终具有相同的长度。在某些总线协议中，可指定该数据空缺的预定义参数。该预定义参数可始终相同；根据总线协议，也可定义最小参数。下文中的数据空缺的第一预定义参数应理解为是“净”数据数，即在扣除物理和逻辑协议间接耗用后可用于例如潜在地插入进一步数据的数据数。

此外，该装置还有第二数据通道，它通过第二线路传输第二数据的多个序列。在此，第二数据通道可具有不同的数据传输速率、不同数量的线路，并在一实施方式中还可具有不同的总线协议。

第一数据通道设置成用于传输摄像机原始数据，第二数据通道设置成用于传输源于雷达系统、激光雷达系统、超声波系统和/或激光系统的原始数据。尤其是在许多ADAS(高级驾驶员辅助系统)应用中，雷达系统具有明显低于摄像机系统的数据传输速率。

该装置还具有第三数据通道，它通过第三线路传输第三数据的序列。在此，在一实施方式中，第三数据通道具有与第一数据通道相同的总线协议。

此外，该装置还具有包括多路复用器和缓冲存储器的多路复用装置。在此，多路复用装置的第一输入端连接到第一线路，并且多路复用装置的第一输入端与多路复用器相连接。例如，可在多路复用装置第一输入端和多路复用器之间设置驱动器；但是，多路复用装置第一输入端也可直接与多路复用器相连接。多路复用装置具有与第二线路相连接的第二输入端。多路复用装置的第二输入端通过缓冲存储器与多路复用器相连接。缓冲存储器设置用于临时存储源于第二线路的第二数据。多路复用装置具有与第三线路以及与多路复用器的输出端相连接的输出端。例如，可在多路复用器输出端和多路复用装置之间设置驱动器；但是，多路复用器输出端也可直接与多路复用装置相连接。

多路复用器将第一数据的序列从多路复用装置第一输入端传输到多路复用装置输出端。该传输基本上无延迟地进行，即第一数据基本上直接发送到多路复用装置的输出端，尤其是在该路径中没有存储器件的情况下。

当数据空缺在第一输入端处开始，并当缓冲存储器已经被具有第二预定义参数/尺寸/长度/大小的第二数据充填时，多路复用器将第二数据序列从第二输入端传输到输出端，其中，第二预定义参数小于或等于第一预定义参数。数据空缺的预定义参数是已知的。该参数例如可通过总线协议的定义、通过在总线初始化时的设置或通过每个数据空缺前的规定预先确定。如果缓冲存储器已经充填有至少在第二预订参数范围内的第二数据时，则用该数据充填数据空缺。因此，多路复用器设置成用于做出是否以及何时将第二数据插入第一数据的数据空缺中的逻辑决定。由此，在多路复用装置输出端上，第三数据的序列具有捆绑的第一数据序列和第二数据序列。在一实施方式中，缓冲存储器可在预定数量的数据空缺后，用虚拟数据充填，使得具有较低数据传输速率的传感器也可在预定时间内将其数据传输到多路复用装置的输出端。在一实施方式中，还可提供具有相应缓冲存储器的多个第二输入端，以记录例如源于不同传感器类型的多个传感器数据。在此，源于第二数据通道的数据总数平均不得超过第一数据通道的数据空缺总数。

因此，所述装置使用具有比第一数据通道更高负载的第三数据通道。此外，与通过各相应分开的线路传输第一和第三数据通道的系统相比，所述装置节约了线路和连接器、驱动器模块和/或串行器或类似器件。这以有益的方式，在第一数据通道上数据没有明显延迟的情况下进行，因为在该路径上没有设置存储器件并且第一数据通道的数据在一定程度上以更高的优先级传输。所述装置的另一优点是，由于较高的集成度以及减少了线路数量，因此可进一步实现系统的小型化。这尤其可减少功率消耗和改善整个系统的热传导。

在所述装置的一实施方式中，点对点连接基于CSI-2(摄像机串行接口2)协议工作。

CSI-2是已由移动行业处理器接口(MIPI)联盟标准化的协议。在此，“CSI”代表“Camera Serial Interface(摄像机串行接口)”。

在一实施方式中，第一数据通道和第二数据通道具有不同的CSI-2通道编号。在CSI-2协议中，可选地，为数据包分配虚拟通道编号。在一实施方式中，在CSI-2的所谓分包标头中，可为视频数据规定通道0，为雷达数据规定通道1。由此可在中央控制单元中区分雷达数据和视频数据，并将其进行相应分离，并在此通过公共物理接口，即第三数据通道发送此数据。在一实施方式中，第三数据通道，即例如传感器或传感器群与中央控制器的连接，通过单一的LVDS(低电压差分信号)同轴线路实现。

根据一实施方式，在第二数据的分包的标头元素中对第二数据包的长度进行了标记，以便多路复用器可根据该长度决定在缓冲存储器中对第二数据是否进行以及要进行何种程度的参数确定或划分，或是否可立即清空缓冲存储器，即缓冲存储器中所包含的数据由多路复用器插入到第一数据的数据空缺中。

其他设计方案的变型是：

-事先已知数据包的长度；

-或在每个所涉及的数据块的开始处设置特殊标记，而与长度无关地实现区分(与所述通道的原理非常相似，即将虚拟通道编号分配给数据包)。

在一实施方式中，缓冲存储器被设计为FIFO(先入先出)缓冲器。这能对第二数据通道上的数据的发送时间进行简单、快速地分配。

在一实施方式中，第一数据通道的数据传输率是第二数据通道数据传输速率的两倍以上，尤其是四倍以上。通过该参数确定/尺寸确定可防止缓冲存储器的溢出。

在一实施方式中，多路复用装置和缓冲存储器以FPGA(现场可编程门阵列)、CPLD(复杂可编程逻辑器件)或ASIC(专用集成电路)、尤其是以单一FPGA(现场可编程门阵列)、单一CPLD(复杂可编程逻辑器件)或单一ASIC(专用集成电路)的形式实现。在此，也可考虑其他可编程逻辑电路。这可使装置以较紧凑的和成本经济合理的方式加以实现，也适用于较小规模或中等规模的系列。

在FPGA(现场可编程门阵列)、CPLD(复杂可编程逻辑器件)或ASIC(专用集成电路)中，根据一实施方式，装置的逻辑器件可被实现为有限状态机(Finite State Machine)。这可实现特别明确的设计和相对简单的功能验证。

换句话说，FPGA(现场可编程门阵列)、CPLD(复杂可编程逻辑器件)或ASIC(专用集成电路)可以如下的方式配置(编程或生成)，即，通过在FPGA(现场可编程门阵列)、CPLD(复杂可编程逻辑器件)或ASIC(专用集成电路)上执行的有限状态机决定，是否以及何时从第二输入端将第二数据的序列传输给多路复用装置的输出端。

本发明还涉及一种借助上述装置基于CSI-2(摄像机串行接口2)协议捆绑两个数据通道的方法。所述方法具有以下步骤：

–经由第一线路将第一数据的多个序列传输给多路复用装置的第一输入端，其中，该第一输入端与多路复用器相连接，其中，在第一数据的每相应两个序列之间设置有具有预定义参数的数据空缺。

–经由第二线路将第二数据的多个序列传输给多路复用装置的第二输入端，其中，第二输入端经由缓冲存储器与多路复用器相连接，所述缓冲存储器临时存储源于第二线路的第二数据。

–如果在数据空缺开始时已经由具有预定义参数的第二数据充填缓冲存储器，则将第二数据序列插入到数据空缺中。

–传输多个具有捆绑的第一数据序列和第二数据序列的第三数据序列。

所述装置特别用于捆绑摄像机原始数据通道和雷达原始数据通道。

本发明还涉及一种程序单元，当用所述程序单元对FPGA(现场可编程门阵列)或CPLD(复杂可编程逻辑器件)进行编程或生成ASIC(专用集成电路)时，FPGA(现场可编程门阵列)、CPLD(复杂可编程逻辑器件)或ASIC(专用集成电路)被指令为执行所述方法。

此外，本发明还涉及一种存储有所述程序单元的计算机可读媒介。

为进一步阐明本发明，根据附图中所示的实施方式对本发明进行描述。这些实施方式仅应理解为示例而不应被理解为限制。

其中：

图1示出了根据现有技术所述的用于传输摄像机原始数据和雷达原始数据的装置的示意图；

图2示出了根据本发明所述的用于捆绑和传输摄像机原始数据和雷达原始数据的装置的实施方式的示意图；

图3示出了用于将雷达原始数据插入包含摄像机原始数据的数据流中的实施方式的示意图；

图4示出了通过点对点连接捆绑两个数据通道的方法的概览。

图1示出了一种根据现有技术所述的用于传输摄像机原始数据和雷达原始数据的装置10。装置10具有传感器装置100，它具有用于传感器数据的两个数据源：雷达收发器200和图像传感器300。发送装置205和305通过数据线路210发送雷达原始数据，并通过数据线路310发送摄像机原始数据。传感器装置100的各数据通道都具有用于高速数据传输的发送装置280和380。这些发送装置例如可以LVDS串行器/串化器(LVDS：低压差分信号)的形式实现。数据经由两条线路285和385传输，并由控制装置500接收和处理。在此，控制装置500具有用于各数据通道的接收装置290和390。这些接收装置可以实现为例如LVDS(低压差分信号)解串器。然后，接收装置290和390将数据进一步发送到具有用于处理原始雷达数据的接收器模块527的控制器525和具有用于处理摄像机原始数据的接收器模块537的控制单元535。

图2示出根据本发明所述的用于捆绑和传输摄像机原始数据和雷达原始数据的装置20的一实施方式的示意图。用于传感器数据的数据源200和300与图1中基本相同。所述数据源通过线路210和310传输到驱动器(接收器模块)420和430。控制器400将摄像机原始数据和雷达原始数据汇合到公共线路110中。为此，摄像机原始数据通过接收器模块430传输到多路复用装置450的第一输入端453。在此，摄像机原始数据具有第一数据311的多个序列，这些序列通过第一线路310和接收器模块430加以传输。具有预定参数的数据空缺312被设置在第一数据311的每两个序列之间。图3展示的是数据序列。第一数据311被传输给作为多路复用装置450一部分的多路复用器455，并转发给输出端451。在从第一输入端453到输出端451的路径上没有设置存储器件。

多路复用装置450还有第二输入端452。原始的雷达数据从那里被传输给缓冲存储器457。缓冲存储器457可以FIFO(先进先出)存储器的形式实现。在一实施方式中，缓冲存储器457的参数/大小/长度被选择为大于数据空缺312。在每个数据空缺312开始前，多路复用装置450检查缓冲存储器457的充填程度。如果缓冲存储器457已达到或超过与数据空缺312的参数相对应的充填程度时，则多路复用装置450借助多路复用器455将雷达原始数据从缓冲存储器457插入到数据空缺312中。在一实施方式中，数据空缺312不能被充分利用，即数据在缓冲存储器457的充填程度小于数据空缺312时被插入。在一实施方式中，缓冲存储器可在预定数量的数据空缺后用虚拟数据充填，从而具有较低数据传输速率的雷达传感器也能在预定义时间内将其数据传输给多路复用装置的输出端。在此，虚拟数据的开始可通过转义序列进行标识。

在一实施方式中，可在雷达原始数据的标头元素中对雷达原始数据的长度加以标记，以便控制器400的逻辑器件做出决定，是否进行以及要进行何种程度的参数确定或划分，或是否可立即清空缓冲存储器。

然后，公共数据经由公共线路110从输出端451传输给公共发送装置180。传感器装置100经由单一线路185将公共数据传输给控制装置500。然后，公共数据的接收装置190可重新划分数据通道(未展示)。在所示实施方式中，接收装置190使用接收器模块517将公共数据转发到控制器515，控制器对公共数据进行处理。

在一实施方式中，传感器装置100和控制装置500在同一组件上实现。在此情况下，可省略连接电缆185以及接口驱动器180和190，并且发送装置440和接收器模块517可彼此直接通信。

图3示出了将雷达原始数据(即第二数据211)插入带有摄像机原始数据311(即第一数据)的数据流中的一实施方式的示意图，即第一数据311中。水平轴表示时间t。摄像机原始数据311的数据传输速率为252MB/每秒，而雷达原始数据211的数据传输率例如可为60MB/每秒。清晰可见的是，具有第一预定义参数的数据空缺312被设置在第一数据311的每两个序列之间。例如，第一数据包311.0对应于摄像机图像某一行N的第一数据311，第二数据包311.1对应于同一摄像机图像的相应行N+1。两者之间的数据空缺312例如对应于摄像机行的“空白阶段”。

原始雷达数据211的第一数据包A例如被细分为三个子数据包A1、A2和A3。

子数据包A1、A2和A3经由线路210和接收器420传输到缓冲存储器457，并用子数据包充填缓冲存储器(见图2)。在时间点t1，缓冲存储器457用具有小于或等于第一预定义参数的第二预定义参数的数据充填。在数据空缺312开始时，即在时间点t2，经缓冲的数据212被插入数据空缺312中。由此生成公共数据流，即第三数据111。这在图3中通过三个雷达数据包A(A1、A2、A3)、B(B1、B2、B3)和C(C1，C2，C3)加以说明(211)。这些数据包被分别在缓冲器填充操作A1、A2、A3等之间分配(212)，以便分别充填在摄像机原始数据流311的各相应数据空缺312中。这给出了组合得到的第三数据流111，其中，例如数据包111.1a和111.2a源于两个摄像机原始数据311.1和311.2(摄像机图像行N+1和摄像机图像行N+2)，插入其中的数据包111.1b源于缓冲数据212的缓冲得到的雷达数据包A1。经组合的第三数据流111的数据传输速率例如同样为252MB/每秒，即优选与摄像机原始数据流311的数据传输速率相同。

在时间点t3，雷达数据包A(A1、A2、A3)的所有数据已被传输，缓冲存储器457清空。在时间点t4，后续雷达数据包B的第一子数据包B1尚未完全处于缓冲存储器中。摄像机原始数据流211在该时间点出现的数据空缺不用雷达数据充填。相反，从时间点t5起，在缓冲存储器中有足够的数据用于子数据包B1。随着当前摄像机原始数据包311.5的结束(摄像机图像行N+5)，雷达子数据包B1作为新的数据包111.5b在时间点t6开始从缓冲存储器传输到经组合的数据流111中。

在时间点t7，缓冲存储器457中有足够的数据用于雷达数据包C的第一子数据包C1。但在该时间点，摄像机的行空白(行N+9、311.9和N+10、311.10的摄像机原始数据包之间的数据空缺)已在时间上过于超前了。因此，子数据包C1不能在后续摄像机图像行N+10(摄像机原始数据包311.10)开始之前传输。所述传输因此一直被延迟到摄像机原始数据流311中的下一个数据空缺。随着摄像机图像行N+10、311.10的摄像机原始数据包结束，即在时间点t8，雷达数据包C1作为新的数据包111.10b开始从缓冲存储器传输到经组合的数据流111。

一种可能的实现方式是将缓冲存储器457设置成FIFO(先进先出)存储器形式。FIFO(先进先出)存储器457的输入端452由第二数据流211馈入。FIFO(先进先出)存储器的输出端为多路复用器455提供雷达原始数据流211缓冲得到的数据包212。

摄像机原始数据流311被置于多路复用器455的第一输入端453上。由多路复用装置450组合得到的数据流111从多路复用器455的输出端451被传送到发送装置440或作为公共数据发送装置180的串行器。串行器180将经组合的数据流111转换成串行信号(例如LVDS(低压差分信号))。串行数据信号可被发送到控制器515，用以分析评估传感器原始数据。

图4示出了通过点对点连接捆绑两个数据通道的一种方法600的概览。

在步骤601中，第一数据311的多个序列经由第一线路310被传输到多路复用装置450的第一输入端453。在此，第一输入端453与作为多路复用装置450一部分的多路复用器455相连接。在此，具有预定义参数的第一数据空缺312被设置在第一数据311的每两个序列之间。

在步骤602中，经由第二线路210将第二数据211的多个序列传输给多路复用装置450的第二输入端452，其中，第二输入端452经由缓冲存储器457与多路复用器455相连接，所述缓冲存储器临时存储源于第二线路210的第二数据211。

在步骤603中，在数据空缺312开始时，检查缓冲存储器457是否已经被具有预定义第二参数的第二数据211所充填，其中，第二预定义参数小于或等于第一预定义参数。如果缓冲存储器457在数据空缺312开始时已经由具有预定义参数的第二数据所充填，则将经缓冲的第二数据212的序列插入数据空缺中，并由此构成第三数据111的序列。

在步骤604中，将具有捆绑的第一数据311序列和第二数据211序列的第三数据111的序列传输给公共数据线路110，从而使第三数据111的序列具有捆绑的第一数据311序列和第二数据211序列。

在此需要补充指出的是，“包含”和“具有”不排除其他元素或步骤，并且不定冠词“一”不排除多数。此外还应指出，参照上述实施例之一所描述的特征或步骤，也可与上文描述的其他实施例的其他特征或步骤组合使用。权利要求中的附图标记不得被视为限制。

10 装置

20 装置

100 传感器装置

110 公共收发装置的数据线路

111 第三数据

180 公共数据的发送装置

185、285、385 线路

190 公共数据的接收装置

200 雷达收发装置

205 CSI-2传送装置，雷达数据

210 雷达收发装置的数据线路

211 第二数据

212 经缓冲的第二数据

280 雷达收发装置的发送装置

290 雷达收发装置的接收装置

300 图像传感器

305 CSI-2传送装置，图像数据

310 图像传感器的数据线路

311 第一数据

312 数据空缺

380 图像数据收发装置的发送装置

390 图像数据收发装置的接收装置

400 公共数据的控制装置

420 雷达收发装置的接收装置

430 图像传感器的接收装置

440 传送装置

450 多路复用装置

451 多路复用装置的输出端

452 多路复用装置的第二输入端

453 多路复用装置的第一输入端

455 多路复用器

457 缓冲存储器

500 控制装置

510 公共收发装置的数据线路

517 接收器模块

520 雷达收发装置的数据线路

515、525、535 控制器

527 雷达数据接收装置

530 图像传感器的数据线路

537 图像数据接收装置

550 中央控制器

600 方法

601到604 方法步骤

A1、A2、A3 缓冲填充操作

A、B、C 雷达数据包