信息处理设备和信息处理方法、成像设备、计算机程序、信息处理系统和移动体设备

摘要

提供了用于在识别外界时使用的多个传感器的融合处理的信息处理设备。该信息处理设备设置有控制单元，该控制单元基于由第二传感器感测到的第二信息来控制在由第一传感器感测到的第一信息中要用于物体检测的信息量。该第一传感器是相机，并且该第二传感器是雷达。然后，控制单元基于关于由雷达检测到的物体的位置、速度或尺寸中的至少一个的信息，从捕获图像中确定目标区域。

说明书

技术领域

本说明书中公开的技术涉及处理主要识别外界的多个传感器的检测信息的信息处理设备和信息处理方法、成像设备、计算机程序、信息处理系统和移动体设备。

背景技术

为了实现自动驾驶或高级驾驶员辅助系统(ADAS)，有必要检测诸如另一车辆、人、车道等之类的各种物体，并且有必要在诸如不仅在晴朗天气在白天而且在雨天和在晚上之类的各种环境中检测物体。出于该原因，诸如相机、毫米波雷达和激光雷达之类的许多不同类型的外界识别传感器正开始被安装在车辆中。

每个传感器都有其优势和劣势，并且传感器的识别性能可以取决于要识别的物体的类型或尺寸、到物体的距离、检测时的天气等而劣化。例如，车内雷达具有高距离精度和相对速度精度，但具有低角度精度，并且不具有识别物体类型的识别功能，或者具有低精度的识别功能。另一方面，相机具有相对低的距离精度和相对速度精度，但具有良好的角度精度和识别精度。因此，不限于单独使用个体传感器，组合两个或多个传感器并利用各传感器的特征，由此有助于更准确地识别外界。下面，组合两个或更多个传感器将被称为“传感器融合”或“融合”。

例如，已设计出一种外围监视传感器，该外围监视传感器对分别由毫米波雷达和图像传感器检测到的数据执行区域划分，并且对于存在于预定区域中的物体(目标)，基于由这两个传感器获取的信息来创建关于物体的信息(参见专利文献1)。

此外，已设计出一种图像处理设备，该图像处理设备基于从成像装置的成像范围之外辐射的电磁波的反射波到成像范围之外的物体的距离信息来创建在成像装置的成像范围之外的物体进入成像范围时用于识别该物体的物体区域的预测区域信息，并且缩短了从成像装置开始对检测目标成像直到车内设备进行操作的时间(参见专利文献2)。

此外，已设计出一种车辆外界检测设备，该车辆外界检测设备校正车辆的行进方向与同一轴线上的安装在车辆上的车内相机和障碍物检测传感器的轴向方向之间的偏差角(参见专利文献3)。

引用列表

专利文献

专利文献1：日本专利申请公开No.2001-99930

专利文献2：日本专利申请公开No.2015-195018

专利文献3：日本专利申请公开No.2014-228943

发明内容

本发明要解决的问题

本说明书中公开的技术的目的是提供执行主要识别外界的多个传感器的融合处理的信息处理设备和信息处理方法、成像设备、计算机程序、信息处理系统和移动体设备。

问题的解决方案

本说明书中公开的技术的第一方面是一种信息处理设备，该信息处理设备包括控制单元，控制单元基于由第二传感器感测到的第二信息来控制在由第一传感器感测到的第一信息中要用于物体检测的信息量。

第一传感器是相机，并且第二传感器是雷达。然后，控制单元基于关于由雷达检测到的物体的位置、速度或尺寸中的至少一个的信息，从捕获图像中确定要用于物体检测的目标区域。

根据第一方面的信息处理设备还可以包括条件判定单元，该条件判定单元判定相机的成像条件。然后，控制单元可以基于条件判定单元的判定结果来设置阈值，并且通过使用该阈值基于雷达检测到的物体的信息来从捕获图像中确定目标区域。

此外，根据第一方面的信息处理设备还可以包括尺寸判定单元，该尺寸判定单元基于要由雷达检测到的反射波的强度来判定目标区域的尺寸。然后，控制单元可以基于尺寸判定单元判定的尺寸来从捕获图像中确定目标区域。

此外，根据第一方面的信息处理设备还可以包括优先级判定单元，该优先级判定单元判定由雷达检测到的每个物体的优先级。然后，控制单元可以基于优先级从捕获图像中确定目标区域。

此外，本说明书中公开的技术的第二方面是一种信息处理方法，该信息处理方法包括基于由第二传感器感测到的第二信息来控制在由第一传感器感测到的第一信息中要用于物体检测的信息量的控制步骤。

此外，本说明书中公开的技术的第三方面是一种计算机程序，该计算机程序是用计算机可读格式记载的，以在计算机上执行基于由第二传感器感测到的第二信息来控制在由第一传感器感测到的第一信息中要用于物体检测的信息量的处理。

根据第三方面的该计算机程序定义了以计算机可读格式记载以在计算机上实现预定处理的计算机程序。换句话说，通过在计算机上安装根据第三方面的计算机程序，在计算机上展现了协作功能，并且可以获得与根据第一方面的信息处理设备类似的功能和效果。

此外，本说明书中公开的技术的第四方面是

一种成像设备，包括：

成像单元；以及

控制单元，其基于由另一传感器感测到的信息来确定成像单元捕获图像中要用于物体检测的目标区域。

此外，本说明书中公开的技术的第五方面是

一种信息处理系统，包括：

第一物体检测单元，其基于在由第一传感器感测的第一信息中的基于由第二传感器感测到的第二信息确定的信息量来检测物体；以及

判定单元，其通过将由第一物体检测单元的物体检测结果与使用第二传感器的物体检测结果融合来判定物体。

然而，本文使用的术语“系统”是指多个设备(或实现特定功能的功能模块)的逻辑集合，并且设备和功能模块是否在单个壳体中并不重要。

此外，本说明书中公开的技术的第五方面是

一种移动体设备，包括：

移动装置；

第一传感器；

第二传感器；

第一物体检测单元，其基于在由第一传感器感测的第一信息中的基于由第二传感器感测到的第二信息确定的信息量来检测物体；

判定单元，其通过将由第一物体检测单元的物体检测结果与使用第二传感器的物体检测结果融合来判定物体；以及

驱动控制单元，其基于判定单元的判定结果来控制移动装置的驱动。

本发明的效果

根据本说明书中公开的技术，有可能提供执行主要识别外界的多个传感器的融合处理的信息处理设备和信息处理方法、成像设备、计算机程序、信息处理系统和移动体设备。

注意的是，在本说明书中描述的效果仅仅是示例，并且本发明的效果不限于它们。此外，本发明可以具有除了上述效果之外的附加效果。

根据基于随后要描述的实施例和附图进行的详细描述，本说明书中公开的技术的其它目的、特征和优点将变得清楚。

附图说明

图1是图示了车辆控制系统100的示意性功能配置示例的框图。

图2是示意性图示了物体检测系统200的功能配置的图。

图3是图示了相机201和毫米波雷达202被安装在同一车辆上的状态的图。

图4是图示了相机201与毫米波雷达202之间的捕获范围比较的图(远距离模式)。

图5是图示了相机201与毫米波雷达202之间的捕获范围比较的图(中间距离模式)。

图6是图示了从相机201和毫米波雷达202的传感器单元中的每一个向ECU传送的数据量的差异的图。

图7是示意性图示了物体检测系统700的功能配置的图。

图8是示意性图示了物体检测系统800的功能配置的图。

图9是用于说明基于毫米波雷达202的检测结果来控制相机201的捕获图像的传送的机制的图。

图10是图示了物体检测系统1000的功能配置的图。

图11是图示了包括用于确定ROI的尺寸的机构的物体检测系统1100的功能配置的图。

图12是图示了在尺寸判定单元1102中基于雷达波的反射强度来确定ROI的尺寸的处理过程的流程图。

图13是图示了包括用于优先处理优先级较高的ROI的机构的物体检测系统1300的功能配置的图。

图14是图示了在优先级判定单元1302中判定物体检测单元205检测到的各物体的优先级的处理过程的流程图。

具体实施方式

下文中，将参照附图详细地描述本说明书中公开的技术的实施例。

图1是图示了车辆控制系统100的示意性功能配置示例的框图，该车辆控制系统100是可以应用本技术的移动体控制系统的示例。

注意的是，下文中，在设置有车辆控制系统100的车辆与其它车辆区分开的情况下，该车辆被称为本车或本车辆。

车辆控制系统100包括输入单元101、数据获取单元102、通信单元103、车内设备104、输出控制单元105、输出单元106、驱动系统控制单元107、驱动系统108，车身系统控制单元109、车身系统110、存储单元111和自动驾驶控制单元112。输入单元101、数据获取单元102、通信单元103、输出控制单元105、驱动系统控制单元107，车身系统控制单元109、存储单元111和自动驾驶控制单元112经由通信网络121彼此连接。通信网络121包括例如符合诸如控制器局域网(CAN)、本地互连网络(LIN)、局域网(LAN)或FlexRay(注册商标)、总线等之类的任意标准的车内通信网络。注意的是，车辆控制系统100的单元可以彼此直接连接，而不使用通信网络121。

注意的是，下文中，在车辆控制系统100的各单元经由通信网络121彼此通信的情况下，省略对通信网络121的描述。例如，在输入单元101和自动驾驶控制单元112经由通信网络121彼此通信的情况下，简单地描述了输入单元101与自动驾驶控制单元112彼此通信。

输入单元101包括供乘员输入各种数据、指令等的设备。例如，输入单元101包括诸如触摸面板、按钮、麦克风、开关和操纵杆之类的操作设备、使得通过除了诸如语音或手势之类的手动操作之外的方法能够进行输入的操作设备等。此外，例如，输入单元101可以是使用红外线或其它无线电波的遥控设备，或者是与车辆控制系统100的操作兼容的诸如移动设备或可穿戴设备这样的外部连接设备。输入单元101基于乘员输入的数据、指令等生成输入信号，并且将该输入信号供应到车辆控制系统100的各单元。

数据获取单元102包括各种传感器，这些传感器获取将用于车辆控制系统100的处理的数据，并且将所获取的数据供应到车辆控制系统100的各单元。

例如，数据获取单元102包括用于检测本车状态等的各种传感器。具体地，例如，数据获取单元102包括陀螺仪传感器、加速度传感器、惯性测量单元(IMU)以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度、电机速度或车轮的旋转速度等的传感器等。

此外，例如，数据获取单元102包括用于检测本车外部的信息的各种传感器。具体地，例如，数据获取单元102包括诸如飞行时间(ToF)相机、立体相机、单眼相机、红外相机、任何其它相机等之类的成像设备。此外，例如，数据获取单元102包括用于检测天气、气候等的环境传感器以及用于检测本车周围物体的外围信息检测传感器。环境传感器包括例如雨滴传感器、雾传感器、日照传感器、雪传感器等。外围信息检测传感器包括例如超声波传感器、雷达，或光检测测距(LiDAR)设备(激光成像检测测距(LiDAR)设备)、声纳等。

此外，例如，数据获取单元102包括用于检测本车当前位置的各种传感器。具体地，例如，数据获取单元102包括从全球导航卫星系统(GNSS)卫星接收GNSS信号的GNSS接收器等。

此外，例如，数据获取单元102包括用于检测车辆内部的信息的各种传感器。具体地，例如，数据获取单元102包括对驾驶员进行成像的成像设备、检测驾驶员的生物信息的生物传感器、收集车辆内部的语音的麦克风等。生物传感器例如被设置在座椅表面、方向盘等上，并且检测坐在座椅上的乘员或握住方向盘的驾驶员的生物信息。

通信单元103与车内设备104和车辆外部的各种设备、服务器、基站等通信，发送从车辆控制系统100的单元供应的数据，并且将接收到的数据供应到车辆控制系统100的单元。注意的是，通信单元103支持的通信协议不受特别限制，并且通信单元103可以支持多种类型的通信协议。

例如，通信单元103通过无线LAN、蓝牙(Bluetooth，注册商标)、近场通信(NFC)、无线USB(WUSB)等与车内设备104执行无线通信。此外，例如，通信单元103经由未图示的连接端子(如有必要，还有电缆)通过通用串行总线(USB)、高清多媒体接口(HDMI)、移动高清链接(MHL)等与车内设备104执行有线通信。

此外，例如，通信单元103经由基站或接入点与存在于外部网络(例如，互联网、云网络或公司专用网络)上的设备(例如，应用服务器或控制服务器)通信。此外，例如，通信单元103通过使用对等(P2P)技术与存在于本车附近的终端(例如，行人或商店的终端或机器类型通信(MTC)终端)通信。此外，例如，通信单元103执行诸如车辆到车辆通信、车辆到基础设施通信、车辆到家庭(本车到家庭)通信以及车辆到行人通信之类的V2X通信。此外，例如，通信单元103包括信标接收单元，接收从安装在道路上的无线站等发送的无线电波或电磁波，并且获取诸如当前位置、拥堵、交通管制或所需时间之类的信息。

车内设备104包括例如乘员拥有的移动设备或可穿戴设备、携带在本车中或附接到本车的信息设备、搜索通向任意目的地的路线的导航设备等。

输出控制单元105控制向本车的乘员或本车的外部输出各种类型的信息。例如，输出控制单元105生成包括视觉信息(例如，图像数据)或听觉信息(例如，语音数据)中的至少一个的输出信号，并且将输出信号供应到输出单元106，以控制从输出单元106输出视觉信息和听觉信息。具体地，例如，输出控制单元105合成由数据获取单元102的不同成像设备成像的图像数据，以生成鸟瞰图像、全景图像等，并且将包括所生成图像的输出信号输出到输出单元106。此外，例如，输出控制单元105生成包括针对诸如碰撞、接触或进入危险地带之类的危险的警告声音、警告消息等的语音数据，并且将包括所生成语音数据的输出信号输出到输出单元106。

输出单元106包括能够将视觉信息或听觉信息输出到本车的乘员或本车的外部的设备。例如，输出单元106包括显示设备、仪表板、音频扬声器、耳机、可穿戴设备(诸如乘员穿戴的诸如眼镜型显示器)、投影仪、灯等。输出单元106中包括的显示设备可以是在驾驶员的视野中显示视觉信息的设备，例如，除了具有常规显示器的设备之外的平视显示器、透射型显示器、具有增强现实(AR)显示功能的设备等。

驱动系统控制单元107通过生成各种控制信号并将控制信号供应到驱动系统108来控制驱动系统108。此外，驱动系统控制单元107在需要时向除了驱动系统108之外的各单元供应控制信号，以执行对驱动系统108的控制状态的通知等。

驱动系统108包括与本车的驱动系统相关的各种设备。例如，驱动系统108包括：诸如产生内燃机或驱动电机之类的驱动力的驱动力产生装置；将驱动力传输到车轮的驱动力传输机构；转向机构，其调整转向角；产生制动力的制动设备；防抱死制动系统(ABS)；电子稳定性控制(ESC)；电动转向设备；等。

车身系统控制单元109通过生成各种控制信号并将控制信号供应到车身系统110来控制车身系统110。此外，车身系统控制单元109在需要时向除了车身系统110之外的各单元供应控制信号，以执行对车身系统110的控制状态的通知等。

车身系统110包括安装在车身上的车身系统的各种设备。例如，车身系统110包括无钥匙进入系统、智能钥匙系统、电动窗设备、电动座椅、方向盘、空调、各种灯(例如，前灯、后灯、制动灯、闪光信号灯、雾灯等)等。

例如，存储单元111包括诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器(HDD)之类的磁存储设备、半导体存储设备、光存储设备、磁光存储设备等。存储单元111存储将供车辆控制系统100的各单元使用的各种程序、数据等。例如，存储单元111存储诸如三维高精度地图(诸如，动态地图)、精度比高精度地图低并覆盖大面积的全局地图以及包括本车周围的信息的局部地图之类的地图数据。

自动驾驶控制单元112执行与诸如自主行驶或驾驶辅助之类的自动驾驶相关的控制。具体地，例如，自动驾驶控制单元112执行旨在实现高级驾驶者辅助系统(ADAS)的功能的协作控制，这些功能包括本车的碰撞避免或冲击减轻，基于车辆间距离的跟随行驶、车速保持行驶、本车碰撞警告、本车车道偏离警告等。此外，例如，自动驾驶控制单元112执行旨在不依赖于驾驶员的操作进行自主行驶的自动驾驶的协作控制。自动驾驶控制单元112包括检测单元131、自身位置估计单元132、状况分析单元133、计划单元134和动作控制单元135。

检测单元131检测控制自动驾驶所必需的各种类型的信息。检测单元131包括车辆外部信息检测单元141、车辆内部信息检测单元142和车辆状态检测单元143。

车辆外部信息检测单元141基于来自车辆控制系统100的单元的数据或信号，执行本车外部的信息的检测处理。例如，车辆外部信息检测单元141对本车周围的物体执行检测处理、识别处理和跟踪处理并且执行与物体的距离的检测处理。待检测物体包括例如车辆、人、障碍物、建筑物、道路、交通信号灯、交通标志、道路标记等。此外，例如，车辆外部信息检测单元141执行本车周围环境的检测处理。待检测的周围环境包括例如天气、温度、湿度、亮度、路面状态等。车辆外部信息检测单元141将指示检测处理结果的数据供应到：自身位置估计单元132；状况分析单元133的地图分析单元151、交通规则识别单元152和状况识别单元153；动作控制单元135的紧急情况回避单元171；等。

车辆内部信息检测单元142基于来自车辆控制系统100的单元的数据或信号，执行车辆内部的信息的检测处理。例如，车辆内部信息检测单元142执行驾驶员认证处理和识别处理、驾驶员状态检测处理、乘员检测处理、车辆内环境检测处理等。待检测的驾驶员状态包括例如身体状况、清醒水平、专注水平、疲劳水平、视线方向等。待检测的车辆内环境包括例如温度、湿度、亮度、气味等。车辆内部信息检测单元142将指示检测处理结果的数据供应到状况分析单元133的状况识别单元153、动作控制单元135的紧急情况回避单元171等。

车辆状态检测单元143基于来自车辆控制系统100的单元的数据或信号，执行本车状态的检测处理。待检测的本车状态包括例如速度、加速度、转向角、异常的存在与否和内容、驾驶操作的状态、电动座椅的位置和倾斜、门锁的状态、其它车载设备的状态等。车辆状态检测单元143将指示检测处理结果的数据供应到状况分析单元133的状况识别单元153、动作控制单元135的紧急情况回避单元171等。

自身位置估计单元132基于来自诸如车辆外部信息检测单元141、状况分析单元133的状况识别单元153等这样的车辆控制系统100的单元的数据或信号来执行本车的位置和方向的估计处理。此外，自身位置估计单元132根据需要生成将用于估计自身位置的局部地图(下文中，被称为自身位置估计地图)。自身位置估计地图例如是使用诸如同时定位和地图构建(SLAM)之类的技术的高精度地图。自身位置估计单元132将指示估计处理结果的数据供应到状况分析单元133的地图分析单元151、交通规则识别单元152和状况识别单元153等。此外，自身位置估计单元132致使存储单元111存储自身位置估计地图。

状况分析单元133执行本车和周围环境的状况分析处理。状况分析单元133包括地图分析单元151、交通规则识别单元152、状况识别单元153和状况预测单元154。

地图分析单元151在使用来自诸如自身位置估计单元132和车辆外部信息检测单元141之类的车辆控制系统100的单元的数据或信号的同时执行存储在存储单元111中的各种地图的分析处理，以构建包括自动驾驶处理所必需的信息的地图。地图分析单元151将所构建的地图供应到交通规则识别单元152、状况识别单元153、状况预测单元154以及计划单元134的路线计划单元161、行动计划单元162、动作计划单元163等。

交通规则识别单元152基于来自诸如自身位置估计单元132、车辆外部信息检测单元141和地图分析单元151之类的车辆控制系统100的单元的数据或信号，执行本车周围的交通规则的识别处理。通过该识别处理，例如，识别本车周围的信号的位置和状态、本车周围的交通管制的内容、车辆可以在其中行驶的车道等。交通规则识别单元152将指示识别处理结果的数据供应到状况预测单元154等。

状况识别单元153基于来自诸如自身位置估计单元132、车辆外部信息检测单元141、车辆内部信息检测单元142、车辆状态检测单元143和地图分析单元151之类的车辆控制系统100的单元的数据或信号，执行关于本车的状况的识别处理。例如，状况识别单元153执行对本车的状况、本车周围的状况、本车的驾驶员的状况等的识别处理。此外，状况识别单元153还在必要时生成将用于识别本车周围的状况的局部地图(下文中，被称为状况识别地图)。状况识别地图是例如占用栅格图(occupancy grid map)。

待识别的本车的状况包括例如本车的位置、方向和移动(例如，速度、加速度、移动方向等)、异常的存在与否和内容等。例如，待识别的本车周围的状况包括：周围静止物体的类型和位置；周围移动物体的类型、位置和移动(例如，速度、加速度、移动方向等)；周围道路的路面的道路作业和状态；周围的天气、温度、湿度和亮度；等。待识别的驾驶员状态包括例如身体状况、清醒水平、专注水平、疲劳水平、视线移动、驾驶操作等。

状况识别单元153将指示识别处理结果的数据(在必要时，包括状况识别地图)供应到自身位置估计单元132、状况预测单元154等。此外，自身识别单元153使存储单元111存储状况识别地图。

状况预测单元154基于来自诸如地图分析单元151、交通规则识别单元152和状况识别单元153之类的车辆控制系统100的单元的数据或信号来执行关于本车的状况的预测处理。例如，状况预测单元154执行对本车的状况、本车周围的状况、驾驶员的状况等的预测处理。

待预测的本车的状况包括例如本车的移动、异常的发生、可行驶距离等。待预测的本车周围的状况包括例如移动物体在本车周围的移动、信号状态的变化、诸如天气之类的环境的变化等。待预测的驾驶员的状况包括例如驾驶员的行为和身体状况。

状况预测单元154将指示预测处理结果的数据连同来自交通规则识别单元152和状况识别单元153的数据一起供应到计划单元134的路线计划单元161、行动计划单元162和动作计划单元163等。

路线计划单元161基于来自诸如地图分析单元151和状况预测单元154之类的车辆控制系统100的单元的数据或信号来计划通向目的地的路线。例如，路线计划单元161基于全局地图来设置从当前位置到指定目的地的路线。此外，例如，路线计划单元161基于拥堵、事故、交通法规、道路作业等的状况、驾驶员的身体状况等来适当地改变路线。路线计划单元161将指示计划路线的数据供应到行动计划单元162等。

行动计划单元162基于来自诸如地图分析单元151和状况预测单元154之类的车辆控制系统100的单元的数据或信号来计划本车按路线计划单元161计划的路线在计划时间内安全行驶的动作。例如，行动计划单元162制定诸如开始、停止、行驶方向(例如，前进、后退、左转、右转、方向改变等)、驾驶车道、行驶速度和超车之类的计划。行动计划单元162将指示本车计划动作的数据供应到动作计划单元163等。

动作计划单元163基于来自诸如地图分析单元151和状况预测单元154之类的车辆控制系统100的单元的数据或信号来计划实现行动计划单元162计划的动作的本车的操作。例如，动作计划单元163制定诸如加速、减速和行驶轨迹之类的计划。动作计划单元163将指示本车的计划操作的数据供应到动作控制单元135的加速/减速控制单元172和方向控制单元173等。

动作控制单元135控制本车的动作。动作控制单元135包括紧急情况回避单元171、加速/减速控制单元172和方向控制单元173。

紧急情况回避单元171基于车辆外部信息检测单元141、车辆内部信息检测单元142和车辆状态检测单元143的检测结果来执行诸如车辆的碰撞、接触、进入危险地带、驾驶员的异常或车辆的异常之类的紧急情况的检测处理。在检测到发生紧急情况的情况下，紧急情况回避单元171计划本车的操作以避免诸如突然停车或突然转弯之类的紧急情况。紧急情况回避单元171将指示本车的计划操作的数据供应到加速/减速控制单元172、方向控制单元173等。

加速/减速控制单元172执行加速/减速控制，以实现由动作计划单元163或紧急情况回避单元171计划的本车的操作。例如，加速/减速控制单元172计算驱动力产生设备或制动设备的控制目标值以实现所计划的加速、减速或突然停车，并且将指示计算出的控制目标值的控制命令供应到驱动系统控制单元107。

方向控制单元173执行方向控制，以实现动作计划单元163或紧急情况回避单元171计划的本车的动作。例如，方向控制单元173计算转向机构的控制目标值，以实现动作计划单元163或紧急情况回避单元171计划的行驶跟踪或突然转弯，并且将指示计算出的控制目标值的控制命令供应到驱动系统控制单元107。

诸如相机、毫米波雷达和激光雷达之类的许多不同类型的外界识别传感器正开始被安装在车辆中，以执行为了实现自动驾驶和ADAS的更精确的外界识别。然而，每个传感器都取决于检测原理而具有其优势和劣势。例如，对可见光进行成像的相机在暗处不好，而检测无线电波反射的雷达在诸如人或动物之类的不容易反射无线电波的物体处不好。下面的表1总结了雷达(毫米波雷达)、相机和激光雷达(LiDAR)的优势和劣势。在表中，◎意指它非常好(具有高精度)，○表示它是好的(具有良好精度)，△意味着它并不好(精度不足)。

[表1]

因此，已经开发出融合技术，该融合技术通过组合两个或多个传感器并利用每个传感器的特征来实现更准确的外界识别(例如，参见专利文献1至3)。

图2示意性图示了通过将相机201与毫米波雷达202融合而执行物体检测的物体检测系统200的功能配置。假定相机201和毫米波雷达202二者被安装在同一车辆上，使得它们的捕获范围彼此重叠。

相机201的捕获图像经过显影处理，然后被供应到物体检测单元203。物体检测单元203基于预定的图像识别算法从捕获图像中检测诸如行人、另一车辆、车道和其它之类的各种物体，并且在后续阶段中将检测结果输出到融合处理单元206。

此外，雷达信号处理单元204对毫米波雷达202发射的雷达波的原始波形数据和毫米波雷达202发射的雷达波的反射波的接收信号执行信号处理，以测量反射雷达波的各物体的距离、方向、尺寸和速度。然后，物体检测单元205基于雷达信号处理单元204的信号处理结果来检测各物体的位置、速度和尺寸，并且在后续阶段中将检测结果输出到融合处理单元206。

融合处理单元206对物体检测单元203从相机201的捕获图像中检测到的诸如物体位置之类的信息与物体检测单元205从毫米波雷达202的接收信号中检测到的诸如物体的位置、速度和尺寸之类的信息的融合处理，以执行物体判定处理。在同一车辆上进一步安装有另一外界识别传感器(未图示)的情况下，融合处理单元206可以进一步执行与传感器的检测信号的融合处理。然后，融合处理单元206将通过执行融合处理而获得的物体判定结果输出到车辆控制系统207。

基于融合处理单元207中的物体判定结果，车辆控制系统207进行用于自动驾驶或驾驶辅助的车辆控制，例如，自适应巡航控制(ACC)、车道偏离警告(LDW)、车道保持辅助(LKA)、自动紧急制动(AEB)、盲点检测(BSD)等。此外，车辆控制系统207控制用于进行ACC、LDW、LKA、AEB和BSD的诸如ACL、制动致动器(BRK)和转向装置(STR)之类的车辆中的每个驱动单元的驱动。例如，在融合处理单元206识别到道路车道的情况下，车辆控制系统执行诸如车道偏离警告(LDW)或车道保持辅助(LKA)之类的车辆的行驶控制，以防止车辆偏离车道。此外，在融合处理单元206识别到诸如另一车辆、行人或路边的栅栏或标牌之类的障碍物的情况下，车辆控制系统执行诸如车道保持辅助(LKA)或自动紧急制动(AEB)之类的车辆行驶控制，以避免车辆与障碍物碰撞。

注意的是，相机201的物体检测单元203通常与融合处理单元206一起安装在车辆的电子控制单元(ECU)中。另一方面，针对毫米波雷达的信号处理单元204和物体检测单元204通常安装在毫米波雷达302的传感器单元中。

这里，考虑到相机201和毫米波雷达202之间的捕获范围和分辨率的差异。

图3图示了相机201和毫米波雷达202被安装在同一车辆上的状态以及相机201和毫米波雷达202的视场(FOV)301和302。相机201被安装在后视镜或车顶附近，使得光轴面向前方。此外，毫米波雷达202例如被安装在前保险杠附近，使得雷达的照射方向面向前方。此外，毫米波雷达202的视野302比相机201的视野301窄。然而，在图3中，相机201的视场被设置为40度。

图4和图5各自图示了相机201的捕获图像，在该图像上叠加了毫米波雷达202的捕获范围。然而，相机201的分辨率为1920×1080像素。此外，图4图示了在远距离模式下的毫米波雷达202的捕获范围401，并且图5图示了在中距离模式下的毫米波雷达202的捕获范围501。相应模式下图示的毫米波雷达202的捕获范围401和501二者是垂直方向上的1个样本×水平方向上的100个样本。

如从图4和图5中可以看到的，毫米波雷达202具有比相机201低的分辨率，因此，使用毫米波雷达202的物体检测单元205的检测精度也低，并且担心造成了错误的判定。出于此原因，期望的是，车辆控制系统200与具有较高分辨率的相机201的物体检测结果执行融合。注意的是，为了防止错误判定，必须为物体检测单元205设置高判定阈值以检测物体。如果判定阈值被设置为高，则物体检测单元205的判定结果是物体的可能性高，但检测次数少。

另一方面，如上面的表1中指示的，相机201的性能可能在诸如夜间之类的暗处和恶劣天气中劣化，而毫米波雷达202的性能可以得以保持而不取决于诸如亮度和天气之类的条件。因此，期望的是，车辆控制系统200将相机201和毫米波雷达202的检测结果融合在一起，以在补偿彼此不足的同时保持稳定的性能。

然而，在使用相机201进行物体检测时，当物体检测单元203试图通过对由相机201的捕获图像的每帧执行全屏扫描来检测物体时，每帧的全屏图像数据必须被从相机201传送到物体检测单元203。在将针对相机201的物体检测单元203被安装在车辆侧的ECU中的设计中，相机201与ECU之间的数据传送量巨大。例如，当相机201的分辨率为1920×1080像素且每种RGB颜色的灰度为8位时，在帧速率为每秒30帧(fps)的情况下的传送速率如所指示地为每秒14929,920,000位(这是巨大的)，并且ECU(物体检测单元203)的处理量也是巨大的。

[表达式1]

1920×1080×RGB(8bit×3)×30fps＝14,929,920,000bps

此外，在物体检测单元203执行相机201的捕获图像的全屏扫描的情况下，在其中不存在物体的一部分中也执行检测处理，使得ECU的处理量是巨大的。例如，在如图4中图示的捕获图像的情况下，即使仅执行在本车前方行驶的前方车辆的物体检测就足够，也处理包括背景和道路两侧的整个区域，使得处理量是巨大的。

另一方面，物体识别信息(物体ID)和关于物体检测单元205检测到的每个物体的物体相对方向、深度和相对速度的信息每帧被从毫米波雷达202的传感器单元(参见图2)传送到ECU。因此，在帧速率为30fps的情况下，毫米波雷达202的传感器单元与ECU之间的传送速率如下所指示地为n×1,920bps(其中，n为被检测物体的数量)，并且远小于相机201与ECU之间的数据传送量。

[表达式2]

物体数量n×物体ID×相对方向×深度×相对速度×30fps＝n×1,920bps

参照图6，将给出对从相机201和毫米波雷达202的传感器单元中的每个向ECU传送的数据量的差异的描述。

相机201的捕获图像被用附图标记600表示，并且在物体检测单元203执行全屏扫描的情况下，整个图像600被传送到ECU。在捕获图像600中，仅需要包括在本车辆前方行驶的可以成为障碍物的前方车辆601的区域，其它区域是无用的。

此外，毫米波雷达202的捕获范围被用附图标记610表示。假定相机201的捕获图像600和毫米波雷达202的捕获范围610具有如图3中图示的对应关系。附图标记611所指示的灰色区域对应于物体检测单元205检测到的前方车辆。因此，关于检测区域611的物体ID和关于物体的相对方向、深度和相对速度的信息被以预定的帧率从物体检测单元205(或毫米波雷达202的传感器单元)传送到ECU。

简言之，从相机201传送到ECU的信息量大，但该信息包括大量无用信息。相机201的捕获图像中所需的信息是车辆、障碍物等，并且所传送信息中的大部分是无用的。另一方面，传送到毫米波雷达202的传感器单元的信息量少，并且物体的深度和位置的检测精度高，但因为分辨率低，所以关于物体尺寸的检测精度低。

因此，在本说明书中，如下所述，设计了限制从相机201传送到ECU的信息量以减少ECU(或物体检测单元203)的处理负荷同时保持检测精度的物体检测系统。

图7示意性图示了根据所设计的系统的物体检测系统700的功能配置，物体检测系统700被配置为限制从相机201传送到ECU的信息量。然而，与图2中图示的物体检测系统200相同的部件被用相同的附图标记指示，并且下面将省略对其的详细描述。

包括相机201的相机单元包括传送控制单元701。传送控制单元701介于相机201和物体检测单元203之间，并且控制将从相机201传送到物体检测单元203的信息。具体地，传送控制单元701确定其中将由物体检测单元203在相机201的捕获图像中检测物体的目标区域(所关注区域(ROI))，在显影处理之后仅从捕获图像中切出ROI的图像数据，并且将图像数据输出到物体检测单元203。相机201的捕获图像主要被用于物体检测，而不是用于观看(驾驶员等的景观观察)的目的。因此，除了ROI的图像数据之外的其中检测到诸如障碍物之类的物体的可能性极低的图像数据是不必要的。

可以能料想到传送控制单元701从捕获图像中判定ROI的许多方法。例如，可以基于由物体检测单元204使用毫米波雷达202检测的物体的位置来判定ROI的位置和尺寸。可替换地，在除了毫米波雷达202之外的外界识别传感器(未图示)被安装在同一车辆上的情况下，可以通过使用基于传感器的输出的物体检测结果来判定ROI的位置和尺寸。

此外，传送控制单元701可以基于物体检测单元203中的地图信息或最近的物体检测结果使用经验规则、学习结果等来判定ROI。当然，诸如车辆驾驶员之类的用户可以基于语音输入等来指示关于ROI的位置和尺寸的信息。

传送控制单元701将在随后阶段中将传送到物体检测单元203的图像限制为ROI的图像，由此与其中传送的是相机201的整个捕获图像的情况(上述)相比，相机201与ECU之间的数据传送的量可以减少。此外，物体检测单元203或ECU的处理量可以减少达数据传送量的减少量。

物体检测单元203基于预定的图像识别算法从自传送控制单元701接收的ROI的图像数据中检测诸如行人、另一车辆、车道和其它之类的各种物体，并且在后续阶段中将检测结果输出到融合处理单元206。

此外，雷达信号处理单元204对毫米波雷达202发射的雷达波的原始波形数据和毫米波雷达202发射的雷达波的反射波的接收信号执行信号处理，以测量反射雷达波的各物体的距离、方向、尺寸(角度)和速度。然后，物体检测单元205基于雷达信号处理单元204的信号处理结果来检测每个物体的位置、速度和尺寸，并且在后续阶段中将检测结果输出到融合处理单元206。

融合处理单元206对物体检测单元203从相机201的捕获图像中检测到的诸如物体位置之类的信息与物体检测单元205从毫米波雷达202的接收信号中检测到的诸如物体的位置、速度和尺寸之类的信息的融合处理，以执行物体判定处理。在同一车辆上进一步安装有另一外界识别传感器(未图示)的情况下，融合处理单元206可以进一步执行与传感器的检测信号的融合处理。然后，融合处理单元206将通过执行融合处理而获得的物体判定结果输出到车辆控制系统207。

实施例1

图8示意性图示了物体检测系统800的功能配置，该物体检测系统800被配置为通过使用除了相机201之外的外界识别传感器的检测结果判定ROI的位置和尺寸，来限制从相机201传送到ECU的信息的量。然而，与图2中图示的物体检测系统200相同的部件被用相同的附图标记指示，并且下面将省略对其的详细描述。

雷达信号处理单元204对毫米波雷达202发射的雷达波的原始波形数据和毫米波雷达202发射的雷达波的反射波的接收信号执行信号处理，以测量反射雷达波的各物体的距离、方向、尺寸和速度。接下来，物体检测单元205基于雷达信号处理单元204的信号处理结果来检测各物体的位置、速度和尺寸。然后，物体检测单元205检测到的每个物体的物体ID和关于每个物体的物体位置、速度和尺寸的信息每帧从毫米波雷达202的传感器单元传送到ECU。

传送控制单元801从ECU接收关于毫米波雷达202的传感器单元检测到的每个物体的位置、速度和尺寸的信息，并且判定ROI的位置和尺寸。然后，传送控制单元801从显影处理之后的捕获图像中仅切出ROI的图像数据，并且将图像数据输出到ECU中的物体检测单元203。

物体检测单元203基于预定的图像识别算法从自传送控制单元801接收的ROI的图像数据中检测诸如行人、另一车辆、车道和其它之类的各种物体，并且在后续阶段中将检测结果输出到融合处理单元206。

融合处理单元206对物体检测单元203从相机201的捕获图像中检测到的诸如物体位置之类的信息与物体检测单元205从毫米波雷达202的接收信号中检测到的诸如物体的位置、速度和尺寸之类的信息的融合处理，以执行物体判定处理。在同一车辆上进一步安装有另一外界识别传感器(未图示)的情况下，融合处理单元206可以进一步执行与传感器的检测信号的融合处理。然后，融合处理单元206将通过执行融合处理而获得的物体判定结果输出到车辆控制系统207。

如图8中图示的，传送控制单元801将在随后阶段中要传送到物体检测单元203的图像数据限制为ROI的图像数据，由此与其中传送的是相机201的整个捕获图像的情况(上述)相比，相机201与ECU之间的数据传送量可以减少。此外，物体检测单元203或ECU的处理量可以减少达数据传送量的减少量。

注意的是，在图8中图示的物体检测系统800的配置示例中，传送控制单元801被配置为经由ECU接收毫米波雷达202的检测结果(诸如物体的位置、速度和尺寸之类的信息)。这还取决于例如设计的便利度，在该设计中，相对于ECU，相机201侧的相机单元和毫米波雷达202侧的毫米波雷达传感器单元分别连接到ECU，并且相机单元与毫米波雷达传感器单元之间没有通信装置。例如，还可以配置物体检测系统800，使得传送控制单元801直接从物体检测单元205接收信息。

参照图9，将给出对图8中图示的物体检测系统800的机制的描述，通过该机制，传送控制单元801基于毫米波雷达202的检测结果来将传送到物体检测结果203的图像限制为ROI。

相机201的捕获图像用附图标记900表示。在捕获图像900中，仅需要包括用附图标记901指示的本车辆前方行驶的前方车辆的ROI，其它区域是无用的。

此外，毫米波雷达202的捕获范围用附图标记910表示。假定相机201的捕获图像900和毫米波雷达202的捕获范围910具有如图3中图示的对应关系。附图标记911所指示的灰色区域对应于物体检测单元205检测到的前方车辆。

关于检测区域611的物体ID和关于物体的相对方向、深度和相对速度的信息被以预定的帧率从物体检测单元205传送到ECU。此外，在物体检测系统800中，物体ID以及关于物体的位置、速度和尺寸的信息经由ECU被发送到传送控制单元801。

在图9中图示的示例中，用附图标记911指示的物体(物体ID：1)(即，前方车辆)的诸如位置、速度和尺寸之类的信息被从ECU发送到传送控制单元801。然后，传送控制单元801基于接收到的诸如位置、速度和尺寸之类的信息来判定ROI的位置和尺寸。传送控制单元801从显影处理之后的捕获图像900中仅切出ROI的图像数据，并且将图像数据输出到物体检测单元203。这里，当传送控制单元801判定的ROI 901的尺寸是水平300个像素×垂直200个像素并且每种RGB颜色的灰度为8位时，如以下所指示的，在帧率为30fps的情况下的传送速率为4,320,000bps，该传送速率的传送量比其中传送整个捕获图像的情况下的14,929,920,000bps小得多。

[表达式3]

300×200×RGB(8bit×3)×30fps＝4,320,000bps

如上所述，传送控制单元801将在随后阶段中将传送到物体检测单元203的图像限制为ROI的图像，由此与其中传送的是相机201的整个捕获图像的情况(上述)相比，相机201与ECU之间的数据传送量可以减少。此外，物体检测单元203或ECU的处理量可以减少达数据传送量的减少量。

在图2中图示的物体检测系统200中，由于全屏图像数据每帧都从相机201传送到物体检测单元203(即，ECU)，因此传送量大，并且物体检测单元203中的处理量相应较大。此外，在毫米波雷达202的传感器单元中，必须增加物体检测单元205的判定阈值，并且仅将可能性高的检测结果输出到ECU，并且被检测物体的数量少。另一方面，在图8中图示的物体检测系统800中，由于仅针对相机201的捕获图像中的ROI将图像数据传送到ECU，因此传送量小，并且物体检测单元203中的处理量相应减少。此外，在毫米波雷达202的传感器单元中，物体检测单元205的判定阈值可以被设置得低，以增加将输出到ECU的物体检测的数量。结果，向ECU通知了可能性低的物体，但在融合处理单元206中，使用相机201的捕获图像与可能性高的检测结果执行融合，由此被检测物体的数量可以增加并且被检测物体的可能性可以增加。

表2总结了在通过仅使用相机201和毫米波雷达202中的每个执行物体检测的情况下以及当在物体检测系统800中通过相机201和毫米波雷达202的检测结果的融合处理来执行物体检测的情况下的性能比较结果。在该表中，○指示高性能(具有良好精度)，△指示低性能(精度不足)，×指示不可检测。

[表2]

从上表2中可以看到，用物体检测系统800可以针对所有项目稳定地获得高物体检测性能。

此外，通过比较相机201与毫米波雷达202，毫米波雷达202在分辨率方面是较差的，但即使在诸如恶劣天气和暗处这样的恶劣条件下，也可以稳定地获得检测性能。另一方面，相机201在分辨率方面是优异的，但具有以下问题：在诸如恶劣天气和暗处这样的恶劣条件下，数据量大并且性能明显劣化。

因此，可以根据相机201的成像条件来调整毫米波雷达202的物体检测单元205中的判定阈值，使得在融合处理单元206中获得稳定的物体判定性能，而与成像条件的波动无关。

实施例2

在相机201的成像条件良好的情况下，物体检测单元205的判定阈值降低。当判定阈值降低时，物体检测单元205将可能性低的物体检测为物体，使得检测次数增加。结果，基于毫米波雷达202的检测结果检测到更多物体并且包括错误的检测，但物体检测单元203可以基于相机201的捕获图像来检测更多物体，并且除去错误的检测。

另一方面，在相机201的成像条件不好的情况下，物体检测单元203变得难以补偿检测精度，因此物体检测单元205的判定阈值增大。当判定阈值增加时，物体检测单元205仅将可能性高的物体检测为物体，使得检测次数减少。结果，基于毫米波雷达202的检测结果，防止了对物体的检测错误，并且保持了高检测性能。此外，基于相机201的捕获图像，不使用物体检测单元203的物体检测结果。

图10示意性图示了物体检测系统1000的功能配置，该物体检测系统1000包括根据相机201的成像条件基于毫米波雷达202的检测结果来调整物体检测的判定阈值的机构。然而，假定物体检测系统1000包括通过使用毫米波雷达202的检测结果从捕获图像中判定ROI并且控制向ECU进行的图像数据传送的机制，与图8中图示的物体检测系统800类似。此外，在图10中，与图2中图示的物体检测系统200相同的部件用相同的附图标记指示，并且下面将省略对其的详细描述。

相机201的捕获图像经过显影处理，然后被供应到传送控制单元1001和条件判定单元1002。条件判定单元1002分析捕获图像，并且基于例如亮度对比度等来判定成像条件是否良好。可替换地，条件判定单元1002可以基于环境传感器(在数据获取单元102中)的检测结果等来判定成像条件是否良好，而与捕获图像无关。可替换地，条件判定单元1002可以基于经由互联网等从外部获取的天气预报等来判定成像条件是否良好。

雷达信号处理单元204对毫米波雷达202发射的雷达波的原始波形数据和毫米波雷达202发射的雷达波的反射波的接收信号执行信号处理，以测量反射雷达波的每个物体的距离、方向、尺寸和速度。

物体检测单元205基于雷达信号处理单元204的信号处理结果来检测每个物体的位置、速度和尺寸。这里，当判定了物体时，物体检测单元205基于条件判定单元1002判定的成像条件来调整判定阈值。在相机201的成像条件好的情况下，物体检测单元205的判定阈值降低。结果，基于毫米波雷达202的检测结果检测到更多物体并且包括错误的检测，但物体检测单元203可以基于相机201的捕获图像来检测更多物体，并且除去错误的检测。另一方面，在相机201的成像条件不好的情况下，物体检测单元205的判定阈值增加。结果，基于毫米波雷达202的检测结果，防止了对物体的检测错误，并且保持了高检测性能。然后，物体检测单元205检测到的每个物体的物体ID和关于物体的位置、速度和尺寸的信息每帧从毫米波雷达202的传感器单元传送到ECU。

此外，传送控制单元1001经由ECU接收关于由毫米波雷达202的传感器单元检测到的每个物体的位置、速度和尺寸的信息，并且判定ROI的位置和尺寸。然后，传送控制单元1001从显影处理之后的捕获图像中仅切出ROI的图像数据，并且将图像数据输出到ECU中的物体检测单元203。物体检测单元203基于预定的图像识别算法从自传送控制单元1001接收的ROI的图像数据中检测诸如行人、另一车辆、车道和其它之类的各种物体，并且在后续阶段中将检测结果输出到融合处理单元206。

融合处理单元206对物体检测单元203从相机201的捕获图像中检测到的诸如物体位置之类的信息与物体检测单元205从毫米波雷达202的接收信号中检测到的诸如物体的位置、速度和尺寸之类的信息的融合处理，以执行物体判定处理。在同一车辆上进一步安装有另一外界识别传感器(未图示)的情况下，融合处理单元206可以进一步执行与传感器的检测信号的融合处理。然后，融合处理单元206将通过执行融合处理而获得的物体判定结果输出到车辆控制系统207。

在图2中图示的物体检测系统200中，由于全屏图像数据每帧都从相机201传送到物体检测单元203(即，ECU)，因此传送量大，并且物体检测单元203中的处理量相应大。此外，在毫米波雷达202的传感器单元中，必须增加物体检测单元205的判定阈值，并且仅将具有高可能性的检测结果输出到ECU，并且被检测物体的数量少。另一方面，在图10中图示的物体检测系统1000中，由于仅针对相机201的捕获图像中的ROI将图像数据传送到ECU，因此传送量小，并且物体检测单元203中的处理量相应减少。此外，当相机201的成像条件良好时，在毫米波雷达202的传感器单元中，物体检测单元205的判定阈值可以被设置得低，以增加要输出到ECU的物体检测的数量。结果，向ECU通知了可能性低的物体，但在融合处理单元206中，使用相机201的捕获图像与可能性高的检测结果执行融合，由此可能性可以增加。此外，当相机201的成像条件不好时，为了防止错误检测，在毫米波雷达202的传感器单元中，必须增加物体检测单元205的判定阈值，并且仅将可能性高的检测结果输出到ECU，并且被检测物体的数量减少。此外，当相机201的成像条件不好时，融合处理单元206不基于相机201的捕获图像来使用物体检测单元203的物体检测结果。

实施例3

毫米波雷达202是基于以辐射的无线电波的反射波为基础检测物体的原理。因此，存在的趋势是，来自包括大金属体的车辆反射的波的强度强，但来自诸如摩托车之类的小型车辆反射的波的强度略有减弱，并且来自诸如人或动物之类的非金属物体反射的波甚至更弱。因此，可以基于毫米波雷达202中的检测信号的强度来判定从相机201的捕获图像中切出的ROI的尺寸。通过判定适当的ROI尺寸，可以从捕获图像中无损失地切出图像并进行传送而物体中没有部分丢失，并且可以防止甚至切出了无用的图像部分，使数据传送量和处理量不必要地增加。

图11示意性图示了包括用于判定ROI的尺寸的机制的物体检测系统1100的功能配置。然而，假定物体检测系统1100包括通过使用毫米波雷达202的检测结果从捕获图像中判定ROI并且控制向ECU进行的图像数据传送的机制，与图8中图示的物体检测系统800类似。此外，在图11中，与图2中图示的物体检测系统200相同的部件被用相同的附图标记指示，并且下面将省略对其的详细描述。

雷达信号处理单元204对毫米波雷达202发射的雷达波的原始波形数据和毫米波雷达202发射的雷达波的反射波的接收信号执行信号处理，以测量反射雷达波的每个物体的距离、方向、尺寸和速度。接下来，物体检测单元205基于雷达信号处理单元204的信号处理结果来检测每个物体的位置、速度和尺寸。然后，物体检测单元205检测到的每个物体的物体ID和关于每个物体的位置、速度和尺寸的信息每帧从毫米波雷达202的传感器单元传送到ECU。

在ECU中，尺寸判定单元1102基于毫米波雷达202检测到的反射波的强度来判定ROI的尺寸。注意的是，假定尺寸判定单元1102在后续阶段中将物体检测单元205的输出原样地输出到融合处理单元206。传送控制单元1101从ECU接收关于毫米波雷达202的传感器单元检测到的每个物体的位置、速度和尺寸的信息以及关于尺寸判定单元1102判定的ROI的尺寸的信息。然后，传送控制单元1101从显影处理之后的捕获图像中仅切出具有通过尺寸判定单元1102指定的尺寸的ROI的图像数据，并且将图像数据输出到ECU中的物体检测单元203。

物体检测单元203基于预定的图像识别算法从自传送控制单元1101接收的ROI的图像数据中检测诸如行人、另一车辆、车道和其它之类的各种物体，并且在后续阶段中将检测结果输出到融合处理单元206。

融合处理单元206对物体检测单元203从相机201的捕获图像中检测到的诸如物体位置之类的信息与物体检测单元205从毫米波雷达202的接收信号中检测到的诸如物体的位置、速度和尺寸之类的信息的融合处理，以执行物体判定处理。在同一车辆上进一步安装有另一外界识别传感器(未图示)的情况下，融合处理单元206可以进一步执行与传感器的检测信号的融合处理。然后，融合处理单元206将通过执行融合处理而获得的物体判定结果输出到车辆控制系统207。

图12以流程图的形式图示了在尺寸判定单元1102中基于雷达波的反射强度来判定ROI的尺寸的处理过程。然而，为了便于说明，雷达波的反射强度以0至9的10个强度级别进行处理。

尺寸判定单元1102检查雷达波的反射强度的级别。然后，如果雷达波的反射强度的级别大于或等于7(步骤S1201中的“是”)，则尺寸判定单元1102估计物体检测单元205检测到的物体是车辆，并且判定车辆尺寸ROI(步骤S1202)，输出车辆尺寸ROI，结束该处理。

此外，如果雷达波的反射强度的级别在4至6的范围内(步骤S1203中的“是”)，则尺寸判定单元1102估计物体检测单元205检测到的物体是摩托车，并且判定摩托车尺寸ROI(步骤S1204)，输出摩托车尺寸ROI，结束该处理。

此外，如果雷达波的反射强度的级别在2至3的范围内(步骤S1205中的“是”)，则尺寸判定单元1102估计物体检测单元205检测到的物体是行人，判定行人尺寸ROI(步骤S1206)，输出行人尺寸ROI，结束该处理。

此外，如果雷达波的反射强度的级别小于或等于1(步骤S1207中的“是”)，则尺寸判定单元1102判定反射波是噪声并且判定没有ROI(步骤S1208)，结束该处理。

注意的是，在将LiDAR与相机201一起使用以代替毫米波雷达202的物体检测系统的情况下，系统可以被构建为基于例如反射光相对于照射激光的强度来判定ROI的尺寸。

实施例4

在图8中图示的物体检测系统800中，在物体检测单元205根据毫米波雷达202的检测结果检测到大量物体的情况下，如果传送控制单元801提取所有检测到的物体作为ROI，则向物体检测单元203(即，ECU)的传送量增大，并且ECU中的处理量也增加。因此，传送控制单元801可以设置从相机201的捕获图像中切出并传送的ROI的数量的上限，使得向ECU的传送量以及ECU的处理量没有增加至大于或等于预定值。

此外，优选的是，优先传送重要ROI的图像数据并抑制不重要ROI的图像数据的传送。在将物体检测系统安装在车辆上并在其中使用的情况下，可以说从避免碰撞的角度来看，包括有碰撞可能性的障碍物的ROI是重要的。具体地，当车辆向前行驶时，存在于车辆前方的物体有可能碰撞，因此包括此物体的ROI是重要的。此外，相对速度为正的物体正在远离本车辆移动并且发生碰撞的可能性低，但相对速度为负的物体正在接近本车辆并且发生碰撞的可能性高，因此包括后一个物体的ROI是重要的。

图13示意性图示了包括用于判定ROI的优先级并优先处理优先级较高的ROI的机制的物体检测系统1300的功能配置。物体检测系统1300还可以包括设置ROI的上限数量的功能。然而，假定物体检测系统1300包括通过使用毫米波雷达202的检测结果从捕获图像中判定ROI并且控制向ECU进行的图像数据传送的机制，与图8中图示的物体检测系统800类似。此外，在图13中，与图2中图示的物体检测系统200相同的部件用相同的附图标记指示，并且下面将省略对其的详细描述。

雷达信号处理单元204对毫米波雷达202发射的雷达波的原始波形数据和毫米波雷达202发射的雷达波的反射波的接收信号执行信号处理，以测量反射雷达波的每个物体的距离、方向、尺寸和速度。接下来，物体检测单元205基于雷达信号处理单元204的信号处理结果来检测各物体的位置、速度和尺寸。然后，物体检测单元205检测到的每个物体的物体ID以及关于物体的位置、速度和尺寸的信息每帧从毫米波雷达202的传感器单元传送到ECU。

在ECU中，优先级判定单元1302判定物体检测单元205检测到的每个物体的优先级。这里，优先级判定单元1302基于物体的位置和相对速度来判定优先级。当车辆向前行驶时，存在于车辆前方的物体有可能碰撞，因此该物体的优先级高。此外，由于相对速度为负的物体正接近本车辆并且发生碰撞的可能性高，因此该物体的优先级高。另一方面，存在于除了正面之外的本车辆的路径之外的地方的物体或相对速度为正并背离本车辆移动的物体发生碰撞的可能性低，因此该物体的优先级低。注意的是，假定优先级判定单元1302在后续阶段中将物体检测单元205的输出原样地输出到融合处理单元206。

然后，传送控制单元1301从ECU接收关于毫米波雷达202的传感器单元检测到的每个物体的位置、速度和尺寸的信息以及关于优先级判定单元1302判定的每个物体的优先级的信息。然后，传送控制单元1301通过从在显影处理之后的捕获图像中选择优先级较高的物体来切出ROI的图像数据，并且将图像数据输出到ECU中的物体检测单元203。此外，传送控制单元1301设置可以传送的ROI的上限数量，并且当达到上限时，停止图像数据的传送。物体检测单元203基于预定的图像识别算法从自传送控制单元1301接收的ROI的图像数据中检测诸如行人、另一车辆、车道和其它之类的各种物体，并且在后续阶段中将检测结果输出到融合处理单元206。

注意的是，可以传送的ROI的上限对应于全屏的图像数据。如果发送全屏的图像数据，则从相机单元向ECU的传送量以及ECU中的物体检测的处理量与其中未执行图像数据传送控制的情况相同。

融合处理单元206对物体检测单元203从相机201的捕获图像中检测到的诸如物体位置之类的信息与物体检测单元205从毫米波雷达202的接收信号中检测到的诸如物体的位置、速度和尺寸之类的信息的融合处理，以执行物体判定处理。在同一车辆上进一步安装有另一外界识别传感器(未图示)的情况下，融合处理单元206可以进一步执行与传感器的检测信号的融合处理。然后，融合处理单元206将通过执行融合处理而获得的物体判定结果输出到车辆控制系统207。

图14以流程图形式图示了在优先级判定单元1302中判定物体检测单元205检测到的每个物体的优先级的处理过程。

优先级判定单元1302首先检查物体检测单元205检测到的物体的位置(步骤S1401)。然后，在物体位于前方的情况下(步骤S1401中的“是”)，当车辆向前前进时，有可能碰撞。因此，优先级判定单元1302进一步检查物体的相对速度(步骤S1402)。然后，在相对速度为负的情况下(步骤S1402中的“是”)，物体正接近本车辆并且发生碰撞的可能性高，因此向物体分配高优先级(步骤S1403)，输出优先级，结束该处理。另一方面，在相对速度为正的情况下(步骤S1402中的“否”)，物体正远离本车辆移动并且发生碰撞的可能性略低，因此向物体分配中优先级(步骤S1404)，输出优先级，结束该处理。

在物体检测单元205检测到的物体在除了正面之外的地方存在的情况下(步骤S1405中的“是”)，与物体存在于正面的情况相比，发生碰撞的可能性较低。优先级判定单元1302进一步检查物体的相对速度(步骤S1406)。然后，在相对速度为负的情况下(步骤S1406中的“是”)，物体正接近本车辆并且有发生碰撞的可能性，因此向物体分配高优先级(步骤S1407)，输出优先级，结束该处理。另一方面，在相对速度为正的情况下(步骤S1406中的“否”)，物体正远离本车辆移动并且发生碰撞的可能性极低，因此向物体指派最低优先级(步骤S1408)，输出优先级，结束该处理。

注意的是，如果在ECU侧的物体检测单元203中布置了多个物体检测器，则可以并行处理多个ROI，并且可以针对每帧增加可以处理的ROI的数量，但是电路规模增加。因此，如上所述，优选的是，向毫米波雷达202检测到的每个物体分配优先级，在物体检测单元203中以有限硬件资源从具有较高优先级的ROI起依次执行物体检测。

此外，从相机201的捕获图像中提取的每个ROI的图像数据可以在不扩展ECU侧的物体检测单元203的硬件的情况下经过由软件进行的时分处理，但不可以处理比该帧中可以处理的上限数量更多的ROI。因此，如上所述，优选的是，将优先级分配给毫米波雷达202检测到的每个物体，并且在物体检测单元203中，在针对每帧的上限数量的处理内从具有较高优先级的ROI起依次执行物体检测。

工业实用性

以上，将参照特定实施例详细描述本说明书中公开的技术。然而，显而易见，本领域的技术人员可以在不脱离本说明书中公开的技术的范围的情况下对实施例进行修改和替换。

在本说明书中，主要描述了与车内传感器的融合相关的实施例；然而，本说明书中公开的技术的应用范围不限于车辆。本说明书中公开的技术可以类似地应用于各种类型的移动体设备，例如，诸如无人机之类的无人驾驶飞行器、给定工作空间(家庭、办公室、工厂等)中自主移动的机器人、船舶、飞行器等。当然，本说明书中公开的技术可以类似地应用于安装在移动体设备中的信息终端以及非移动类型的各种设备。

简言之，已经以示例的形式描述了本说明书中公开的技术，并且本说明书的描述内容不应被限制性地理解。为了确定本说明书中公开的技术的主旨，应该考虑权利要求书。

注意的是，本说明书中公开的技术也可以具有以下配置。

(1)一种信息处理设备，包括：

控制单元，其基于由第二传感器感测到的第二信息来控制在由第一传感器感测到的第一信息中要用于物体检测的信息量。

(2)根据(1)所述的信息处理设备，其中，

第一传感器是相机，并且

控制单元基于第二信息来确定相机的捕获图像中要用于物体检测的目标区域。

(3)根据(2)所述的信息处理设备，其中，

控制单元基于关于第二传感器感测到的物体的第二信息，从捕获图像中确定目标区域。

(4)根据(2)或(3)中任一项所述的信息处理设备，其中，

第二传感器是雷达，并且

控制单元基于关于由雷达检测到的物体的位置、速度或尺寸中的至少一个的信息，从捕获图像中确定目标区域。

(5)根据(4)所述的信息处理设备，还包括：

条件判定单元，其判定相机的成像条件，其中，

控制单元通过使用基于条件判定单元的判定结果而设置的阈值，基于雷达检测到的物体的信息从捕获图像中确定目标区域。

(6)根据(5)所述的信息处理设备，其中，

控制单元通过使用相机的成像条件良好的情况下设置为高的阈值或在相机的成像条件不好的情况下设置为低的阈值，基于雷达检测到的物体的信息来从捕获图像中确定目标区域。

(7)根据(4)至(6)中任一项所述的信息处理设备，还包括：

尺寸判定单元，其基于要由雷达检测到的反射波的强度来判定目标区域的尺寸，其中，

控制单元基于由尺寸判定单元判定的尺寸来从捕获图像中确定目标区域。

(8)根据(1)至(7)中任一项所述的信息处理设备，其中，

所述控制单元设置目标区域的上限数量。

(9)根据(4)至(8)中任一项所述的信息处理设备，还包括：

在优先级判定单元，其判定雷达检测到的每个物体的优先级，其中，

控制单元基于优先级从捕获图像中确定目标区域。

(1)根据(9)所述的信息处理设备，其中，

优先级判定单元基于由雷达检测到的物体的位置和相对速度来判定优先级。

(11)根据(10)所述的信息处理设备，其中，

优先级判定单元针对在信息处理设备的正面检测到的物体或相对于信息处理设备具有负相对速度的物体判定较高的优先级。

(12)一种信息处理方法，包括：

控制步骤，其基于由第二传感器感测到的第二信息来控制在由第一传感器感测到的第一信息中要用于物体检测的信息量。

(13)一种计算机程序，该计算机程序是用计算机可读格式记载的，以在计算机上执行基于由第二传感器感测到的第二信息来控制在由第一传感器感测到的第一信息中要用于物体检测的信息量的处理。

(14)一种成像设备，包括：

成像单元；以及

控制单元，其基于由另一传感器感测到的信息来确定成像单元的捕获图像中要用于物体检测的目标区域。

(14-1)根据(14)所述的成像设备，其中，

第二传感器是雷达，并且

控制单元基于关于由雷达检测到的物体的位置、速度或尺寸中的至少一个的信息，从捕获图像中确定目标区域。

(15)一种信息处理系统，包括：

第一物体检测单元，其基于由第一传感器感测的第一信息中在由基于第二传感器感测到的第二信息确定的信息量来检测物体；以及

判定单元，其通过将由第一物体检测单元得到的物体检测结果与使用第二传感器的物体检测结果融合来判定物体。

(16)一种移动体设备，包括：

移动装置；

第一传感器；

第二传感器；

第一物体检测单元，其基于在由第一传感器感测的第一信息中的基于由第二传感器感测到的第二信息确定的信息量来检测物体；

判定单元，其通过将由第一物体检测单元得到的物体检测结果与使用第二传感器的物体检测结果融合来判定物体；以及

驱动控制单元，其基于判定单元的判定结果来控制移动装置的驱动。

参考符号列表

100 车辆控制系统

101 输入单元

102 数据获取单元

103 通信单元

104 车内设备

105 输出控制单元

106 输出单元

107 驱动系统控制单元

108 驱动系统

109 车身系统控制单元

110 车身系统

111 存储单元

112 自动驾驶控制单元

121 通信网络

131 检测单元

132 自身位置估计单元

133 状况分析单元

134 计划单元

135 动作控制单元

141 车辆外部信息检测单元

142 车辆内部信息检测单元

143 车辆状态检测单元

151 地图分析单元

152 交通规则识别单元

153 状况识别单元

154 状况预测单元

161 路线计划单元

162 行动计划单元

163 动作计划单元

171 紧急情况回避单元

172 加速/减速控制单元

173 方向控制单元

200 物体检测系统

201 相机

202 毫米波雷达

203 物体检测单元

204 毫米波雷达信号处理单元

205 物体检测单元

206 融合处理单元

207 车辆控制系统

700 物体检测系统

701 传送控制单元

800 物体检测系统

801 传送控制单元

1000 物体检测系统

1001 传送控制单元

1002 条件判定单元

1100 物体检测系统

1101 传送控制单元

1102 尺寸判定单元

1300 物体检测系统

1301 传送控制单元

1302 优先级判定单元