首页> 中国专利> 移动体用光谱测定装置以及移动体用光谱测定方法

移动体用光谱测定装置以及移动体用光谱测定方法

摘要

移动体用光谱测定装置(11)具备:为了测定含有由测定对象的波长信息和光强度信息构成的信息的测定光谱数据(D1~Dm)而被搭载于移动体(10)的光谱传感器(13);搭载于移动体(10)以便通过对测定光谱数据进行处理来识别测定对象的处理装置(21);和用于将测定光谱数据从光谱传感器(13)传递给处理装置(21)的信号传递路(20)。移动体用光谱测定装置还具备数据传送装置(15),该数据传送装置(15)通过按照从测定光谱数据(D1~Dm)所含有的信息中选择作为规定信息的选择信息的方式重建测定光谱数据,来获得重建光谱数据(E1~En)。数据传送装置将重建光谱数据经由信号传递路(20)传送给处理装置(21)。

著录项

  • 公开/公告号CN103038628A

    专利类型发明专利

  • 公开/公告日2013-04-10

    原文格式PDF

  • 申请/专利权人 丰田自动车株式会社;

    申请/专利号CN201080042079.4

  • 发明设计人 船山龙士;佐佐木健史;佐藤润;

    申请日2010-07-30

  • 分类号G01N21/27(20060101);

  • 代理机构11227 北京集佳知识产权代理有限公司;

  • 代理人李伟;王轶

  • 地址 日本爱知县

  • 入库时间 2024-02-19 18:28:18

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2023-08-11

    未缴年费专利权终止 IPC(主分类):G01N21/27 专利号:ZL2010800420794 申请日:20100730 授权公告日:20150722

    专利权的终止

  • 2015-07-22

    授权

    授权

  • 2013-05-08

    实质审查的生效 IPC(主分类):G01N21/27 申请日:20100730

    实质审查的生效

  • 2013-04-10

    公开

    公开

说明书

技术领域

本发明涉及具有为了对测定对象的光谱数据进行测定而被搭载于 车辆尤其如汽车那样的移动体的光谱传感器的移动体用光谱测定装置、 以及移动体用光谱测定方法,尤其涉及光谱数据的传送处理的改进。

背景技术

近年来,正在被研究实用化的光谱测定装置通过使用对包括非可见 光区域在内的多光谱数据进行测定的光谱传感器,来识别周边环境存在 的测定对象。如果光谱测定装置向在如汽车那样的车辆中实际运用的驾 驶支援装置提供与测定对象相关的信息,则驾驶支援装置能够识别在车 辆周围的交通环境下存在的行人、其他车辆。由此,驾驶支援装置能够 对驾驶员(司机)的驾驶操作、意思决定进行支援。

如果从提高对测定对象进行识别的精度的观点出发,优选由这样的 光谱测定装置获得的光谱数据的空间分辨率即析像度和波长分辨率均 变高且精密入微。但是,在空间分辨率与波长分辨率两方都高的情况下, 有时会导致光谱数据的数据量过度增大。即,有时光谱测定装置需要用 于传送大量光谱数据的高数据传送能力、高数据处理能力。尤其是搭载 于如汽车那样的移动体的光谱测定装置,由于必须受到设计上的制约、 成本的制约等各种严格的限制,所以实现高数据传送能力、高数据处理 能力未必现实。

例如,专利文献1所记载的光谱测定装置在取代精密设定空间分辨 率而粗略设定波长分辨率的多光谱观测、与取代精密设定波长分辨率而 粗略设定空间分辨率的高光谱观测之间切换。

在上述文献中,光谱测定装置例如通过对由二维CCD构成的检测 器所接收到的各像素的数据,沿纵向或横向集中读出的分级(binning) 读出,来将波长分辨率和空间分辨率设定为与多光谱观测对应的值、与 高光谱观测对应的值。若如此切换多光谱观测和高光谱观测,则光谱数 据的数据量可靠地变化。即,光谱测定装置所观测的光谱数据的数据量 根据需要变化,从检测器读出的光谱数据的数据量根据需要而得到抑 制。

专利文献1:日本特开2006-145362号公报

但是,为了与各种测定对象、必要的测定精度灵活对应,并抑制光 谱数据的数据量,仅通过专利文献1那样的多光谱观测与高光谱观测的 切换,无法确保实用上的充分的实时性。

发明内容

本发明的目的在于,提供一种能够维持安装于如车辆那样的移动体 的通用性高的光谱传感器对测定对象的识别精度,同时能够实现由光谱 传感器获得的拍摄数据的适宜的实时处理的移动体用光谱测定装置、以 及移动体用光谱测定方法。

为了解决上述课题,本发明所提供的移动体用光谱测定装置具备: 为了测定含有由测定对象的波长信息和光强度信息构成的信息的测定 光谱数据而被搭载于移动体的光谱传感器;搭载于上述移动体以便通过 对上述测定光谱数据进行处理来识别上述测定对象的处理装置;和用于 将上述测定光谱数据从上述光谱传感器传递给上述处理装置的信号传 递路。上述移动体用光谱测定装置还具备数据传送装置,该数据传送装 置通过按照从上述测定光谱数据所含有的信息中选择作为规定信息的 选择信息的方式重建上述测定光谱数据,来获得重建光谱数据。上述数 据传送装置构成为将上述重建光谱数据经由上述信号传递路传送给上 述处理装置。

根据这样的构成,数据传送装置将测定光谱数据中含有的信息削减 为只含有选择信息,并将削减后的重建光谱数据传送给处理装置。因此, 能够削减在信号传递路、即通信线路中流动的数据量,并且还能降低处 理装置所处理的光谱数据的数据量。从而,光谱传感器可以是高性能的 高光谱传感器。即,在光谱传感器取得了含有大量信息的测定光谱数据 的情况下,从光谱传感器传送给处理装置的数据也能被削减为适当的数 据量。因此,还能消除信号传递路中的传送延迟、处理装置中的处理延 迟。其结果,光谱测定装置能够较高地维持光谱传感器对测定对象的识 别精度,同时能够实时进行识别处理。

这样,光谱测定装置将由光谱传感器获得后的测定光谱数据的数据 量削减。因此,在选择光谱测定装置所采用的光谱传感器时,不需要将 光谱传感器的能力抑制得低。即,不需要将光谱传感器检测的测定光谱 数据的数据量的上限值抑制得低。从而,提高了光谱传感器的选择自由 度。即,能够将通用的光谱传感器用于光谱测定装置。

优选上述选择信息是由上述测定光谱数据所含有的上述波长信息 中的一部分波长信息构成的波段的信息。

根据这样的构成,数据传送装置基于由光谱传感器获得的波长信息 中的一部分波长信息构成的波段的信息,来生成重建光谱数据。因此, 数据传送装置传送的重建光谱数据的数据量比测定光谱数据可靠地削 减。

上述一部分波长信息最好是上述测定对象的识别所需的波长信息。

根据这样的构成,数据传送装置基于由波长信息中的测定对象的识 别所需的一部分波长信息构成的波段的信息,来重建测定光谱数据。因 此,能够维持测定对象的识别精度,同时使得数据传送装置传送的重建 光谱数据的数据量比测定光谱数据可靠地削减。

上述一部分波长信息最好是上述移动体的周围的环境光所含有的 波长信息。

根据这样的构成,数据传送装置基于由波长信息中的移动体周围的 环境光中含有的一部分波长信息构成的波段的信息,来生成重建光谱数 据。因此,测定光谱数据中的环境光中不含有的波长的波长信息、强度 弱的波长的波长信息、与这些波长信息分别对应的光强度信息被除去。 数据传送装置只选择环境光中强度强的光的波长信息、和与该波长信息 对应的光强度信息。因此,重建光谱数据的数据量比测定光谱数据可靠 地削减。由于环境光中含有的波长信息包括与测定对象对应的光强度强 的波长信息,所以处理装置能够基于重建光谱数据良好地识别测定对 象。

上述选择信息可以是上述测定光谱数据所含有的光强度信息中的 一部分信息。

根据这样的构成,数据传送装置基于测定光谱数据中的光强度信息 的一部分信息,来生成重建光谱数据。即,重建光谱数据基于光强度信 息的密度而生成。因此,数据传送装置传送的重建光谱数据的数据量比 测定光谱数据可靠地削减。

上述测定光谱数据可以分别与经时的多个光谱图像对应。上述选择 信息可以是多个上述测定光谱数据中的、仅与一部分时间对应的上述测 定光谱数据的信息。

根据这样的构成,数据传送装置基于所有测定光谱数据中的、仅与 一部分的时间对应的测定光谱数据,来生成重建光谱数据。因此,数据 传送装置传送的重建光谱数据的数据量比测定光谱数据可靠地削减。

上述数据传送装置可以构成为通过从上述测定光谱数据所含有的 信息中提取并除去具有无意义的光强度信息的波长信息,来获得上述重 建光谱数据。

根据这样的构成,具有光强度信息的值饱和或一直不变化的无意义 的值的波长信息被从重建光谱数据除去。因此,所传送的光谱数据的数 据量被削减。

上述数据传送装置可以构成为设定作为能够传送给上述处理装置 的数据量的最大值的传送最大值。上述数据传送装置也可以限制上述选 择信息的量,以使上述重建光谱数据的数据量在上述传送最大值以下。

根据这样的构成,数据传送装置可以按照不超过信号传递路、即通 信线路的数据传送能力,且不超过处理装置的数据处理能力的方式,来 限制重建光谱数据的量。因此,能够抑制重建光谱数据的传送延迟、处 理延迟。即,能够确保上述光谱测定装置对测定对象进行识别处理时的 实时性。

多个上述测定对象也可以被分别设定优先级。上述数据传送装置也 可以构成为基于上述优先级来决定上述选择信息。

根据这样的构成,数据传送装置基于优先级来生成重建光谱数据。 因此,处理装置能够通过实时处理可靠地对优先级高的测定对象进行识 别。

上述移动体具有移动体状态取得部,该移动体状态取得部取得作为 上述移动体的状态的移动体状态。上述数据传送装置也可以构成为根据 上述移动体状态来决定上述选择信息。

根据这样的构成,数据传送装置可以根据如车辆速度、转向操作那 样的移动体的状态,来变更用于生成重建光谱数据的波长信息的波长间 隔、光强度信息的信息密度、光谱数据的取得时间。因此,处理装置能 够基于与移动体的状态对应的适当的重建光谱数据,对测定对象进行识 别处理。从而,能够良好地识别测定对象。

上述处理装置也可以构成为能够设定上述选择信息。上述处理装置 也可以构成为基于上述测定对象的识别结果来向上述数据传送装置发 出请求。上述数据传送装置构成为根据上述请求来决定上述选择信息。

根据这样的构成,数据传送装置可以基于来自处理装置的反馈,调 整波长信息的波长间隔、光强度信息的信息密度、光谱数据的取得时间, 生成重建光谱数据。例如,处理装置在通过对重建光谱数据进行处理, 判断为预测某个测定对象的出现高时,提高该测定对象、即高出现率对 象的优先级,并按照与高出现率对象对应的方式来变更选择信息。数据 传送装置通过使用该被调整(tuning)后的选择信息,按照包含对高出 现率对象的识别有效的信息的方式生成重建光谱数据。因此,处理装置 能够灵活地缩小目标来对测定对象进行识别处理。即,能够提高测定对 象的识别性能。

多个上述测定对象中存在被判断为与其他上述测定对象相比出现 率高的高出现率对象。将通过从上述测定光谱数据向上述重建光谱数据 的上述重建而削减掉的数据量称为数据削减量。也可以按照上述高出现 率对象用的上述数据削减量比其他上述测定对象用的上述数据削减量 少的方式来设定上述选择信息。

根据这样的构成,处理装置能够以数据量更多的方式识别高出现率 对象。因此,测定对象的识别精度被维持得高。

由上述测定光谱数据生成光谱图像。上述光谱图像的中央区域所对 应的上述选择信息也可以被设定成不同于上述光谱图像的周边区域所 对应的上述选择信息。

根据这样的构成,数据传送装置在光谱图像的中央区域与周边区域 选择相互不同的信息。例如,光谱图像的中央区域存在的测定对象由于 离移动体远所以看起来小,相对速度低。鉴于此,数据传送装置取代对 光谱图像的中央区域所对应的选择信息的波长信息和光强度信息细致 设定,而将帧速率设定得低。因此,能够抑制数据量的增加。另一方面, 光谱图像的周边区域存在的测定对象由于离移动体近所以看起来大,相 对速度高。鉴于此,数据传送装置取代将光谱图像的周边区域所对应的 选择信息的帧速率设定得高,而粗略设定波长信息和光强度信息。因此, 能够抑制数据量的增加。其结果,数据传送装置能够对应于光谱图像的 位置细致地识别测定对象。

上述处理装置构成为能够设定上述选择信息。将特定的上述测定对 象称为特定测定对象。上述处理装置在认识到上述光谱传感器的测定范 围中存在上述特定测定对象的情况下,也可以按照将上述特定测定对象 的存在所对应的部分的上述测定光谱数据除去的方式设定上述选择信 息。

根据这样的构成,在处理装置通过例如地图信息、电波探测器那样 的其他手段认识到特定测定对象的情况下,数据传送装置可以从重建光 谱数据中除去与特定测定对象对应的部分的光谱数据。因此,重建光谱 数据的数据量被可靠地削减。

也可以为了生成上述重建光谱数据,上述数据传送装置用代表波长 信息表示与某一范围的波长对应的波长信息,基于分别与这些波长信息 对应的光强度信息来计算出代表光强度信息。

根据这样的构成,某一波长范围中含有的波长信息被置换成一个代 表波长信息,与某个波长范围对应的光强度信息被置换成一个代表光强 度信息。因此,重建光谱数据自动削减。例如,数据传送装置将550nm~ 650nm的波长范围中含有的波长信息置换成作为叠印法的600nm的代 表波长信息。并且,数据传送装置通过对550nm~650nm的波长范围所 对应的光强度信息进行卷积(convolution)或平均化(averaging),将 其置换成作为一个代表光强度信息的600nm的光强度信息。因此,重 建光谱数据的数据量被可靠地削减。

为了解决上述课题,由本发明提供的移动体用光谱测定方法包括: 测定步骤,利用搭载于移动体的光谱传感器,来测定包含由测定对象的 波长信息和光强度信息构成的信息的测定光谱数据;识别步骤,通过利 用搭载于上述移动体的处理装置对上述测定光谱数据进行处理,来识别 上述测定对象;和传递步骤,将上述测定光谱数据从上述光谱传感器经 由信号传递路传递给上述处理装置。上述传递步骤还包括:按照从上述 测定光谱数据所含有的信息中选择作为规定信息的选择信息的方式重 建上述测定光谱数据,来获得重建光谱数据的步骤;和将上述重建光谱 数据经由上述信号传递路传送给上述处理装置的步骤。

根据这样的方法,将测定光谱数据所含有的信息仅削减为选择信息 的削减后的重建光谱数据被传送给处理装置。因此,在信号传递路、即 通信线路中流过的数据量被削减,而且处理装置处理的光谱数据的数据 量也被削减。从而,光谱传感器可以是高性能的高光谱传感器。即,即 使在光谱传感器取得了含有大量信息的测定光谱数据的情况下,从光谱 传感器传递到处理装置的数据也被削减为适当的数据量。因此,信号传 递路中的传送延迟、处理装置中的处理延迟也被消除。其结果,移动体 用光谱测定方法能够将光谱传感器对测定对象的识别精度维持得高,同 时能够使光谱测定装置实时进行识别处理。

这样,光谱测定方法能够削减由光谱传感器获得后的测定光谱数据 的数据量。因此,根据该光谱测定方法,在选择光谱测定装置所采用的 光谱传感器时,无需将光谱传感器的能力抑制得低。即,不需要将光谱 传感器所检测的测定光谱数据的数据量的上限值抑制得低。从而,提高 了光谱传感器的选择自由度。

附图说明

图1是表示将本发明具体化的第1实施方式所涉及的移动体用光谱 测定装置的概略结构的框图。

图2是图1所示的光谱传感器所测定的光谱数据的示意图。

图3是表示图1所示的数据传送装置选择光谱数据信息的方式的示 意图。

图4是表示图1的光谱测定装置生成重建光谱数据的步骤的流程图。

图5是表示本发明的第2实施方式的移动体用光谱测定装置的、具 有表示车辆速度与帧速率的关系的速度表的概略结构的框图。

图6是由图5的移动体用光谱测定装置进行的光谱数据生成步骤的 流程图。

图7是表示本发明的第3实施方式的移动体用光谱测定装置的概略 结构的框图。

图8是表示本发明的第4实施方式的移动体用光谱测定装置的概略 结构的框图。

图9是表示本发明的第5实施方式的移动体用光谱测定装置的概略 结构的框图。

图10是表示本发明的变形例的移动体用光谱测定装置的概略结构 的框图。

图11是表示本发明的另一变形例的移动体用光谱测定装置的概略 结构的框图。

图12是表示本发明的又一变形例的移动体用光谱测定装置的概略 结构的框图。

图13是表示发明的又一变形例的移动体用光谱测定装置对光谱数 据中包含的信息进行选择的条件的示意图。

图14是表示本发明的又一变形例的移动体用光谱测定装置对光谱 数据中包含的信息进行选择的条件的示意图。

图15是表示本发明的又一变形例的移动体用光谱测定装置的概略 结构的框图。

具体实施方式

(第1实施方式)

图1~图4表示了本发明的第1实施方式涉及的作为移动体用光谱 测定装置的光谱测定装置11。图1是表示光谱测定装置11的系统构成 的概要的框图。

如图1所示,作为移动体的车辆10具备:检测车速V的车速传感 器6、检测转向盘的角度的操舵角传感器7等作为移动体状态取得部的 各种传感器、以及高光谱传感器13。高光谱传感器13构成了光谱测定 装置11的一部分。并且,车辆10还具备控制发动机(省略图示)的发 动机控制装置9等各种控制装置、和支援驾驶员的驾驶操作的支援控制 装置12。来自车速传感器6、操舵角传感器7的信息被直接或者间接输 入给发动机控制装置9、支援控制装置12。处理装置21与支援控制装 置12之间、支援控制装置12与发动机控制装置9之间通过车载网络20 连接。

光谱测定装置11构成为通过对由含有可见光和非可见光的光信息 构成的车辆10外部的观测光L进行观测,来识别测定对象,将与测定 对象相关的识别信息输出给支援控制装置12。支援控制装置12将识别 信息传递给发动机控制装置9等其他的控制装置。支援控制装置12构 成为执行按每个测定对象所请求的驾驶支援。而且,支援控制装置12 将从车速传感器6、操舵角传感器7直接或者经由发动机控制装置9间 接传来的作为车辆10的信息的车辆信息,传达给光谱测定装置11。即, 车速传感器6、操舵角传感器7以及发动机控制装置9构成用于取得表 示车辆10的状态的车辆信息的车辆信息取得部。车辆信息中包括车辆 10的前照灯的点亮/熄灭状况、方向指示器的动作状况,还包括车速V。

如图1所示,光谱测定装置11具有:根据来自测定对象的光、即观 测光L来检测测定光谱数据D1~Dm的高光谱传感器13;输送测定光 谱数据D1~Dm的大容量通信线路14;和根据测定光谱数据D1~Dm 生成重建光谱数据E1~En的数据传送装置15。M与n分别是表示帧 速率的整数,将在后面详述。

并且,光谱测定装置11具有通过使用重建光谱数据E1~En,来进 行识别测定对象的识别处理的处理装置21。数据传送装置15与处理装 置21通过车载网络20连接。大容量通信线路14能够进行比车载网络 20容量大的通信,但长度短。大容量通信线路14、和数据传送装置15 与处理装置21之间的车载网络20的部分构成高光谱传感器13与处理 装置21之间的信号传递路。高光谱传感器13通过对作为由可见光和非 可见光构成的光的观测光L进行观测,来生成分光成多个波段的光谱图 像。

图2对由高光谱传感器13获得的作为光谱图像的测定光谱数据 D1~Dm进行详述。各个测定光谱数据D1~Dm与高光谱传感器13的 帧速率的时间t1~tm对应。若设帧速率m=20fps(frame per second), 则高光谱传感器13每1秒钟测定20个测定光谱数据D1~Dm。这些测 定光谱数据D1~Dm分别与由高光谱传感器13获得的每时每刻的光谱 图像对应。

如果设高光谱传感器13的波长的测定波段数x=150个,则测定光 谱数据D1具有150个单波长图像F1~Fx。例如对于高光谱传感器13 的测定波段的范围,选择设定400nm(纳米)作为测定开始波长、设定 2635nm作为测定结束波长、波长分辨率f=15nm的范围。该情况下, 高光谱传感器13的测定波段数x通过将测定波段[2635nm-400nm]除以 波长分辨率f=15nm,求出x=150。需要说明的是,除了时间t1的测定 光谱数据D1之外,在其他的时间t2和tm的测定光谱数据D2、Dm中, 也分别具有150个单波长图像F1~Fx。即,高光谱传感器13在1秒钟 测定帧速率fx测定波段数x=20×150=3000个单波长图像F1~Fx。这样, 单波长图像F1~Fx分别是与高光谱传感器13测定出的测定波段中包含 的波长的每一个对应的图像。即,测定光谱数据D1由作为将测定波段 按波长分辨率f划分后的数量的测定波段数x个单波长图像F1~Fx构 成。

如果将高光谱传感器13的空间分辨率、即析像度设为640个×480 个,则一个单波长图像F1具有矩阵状的i个×j个单波长像素P11~Pij。 作为横分辨率的i=640个,作为纵分辨率的j=480个。由于一个单波长 像素P11具有一个单波长光强度信息p11,所以一个单波长图像F1含 有640×480个单波长光强度信息p11~pij。

这些帧速率m、测定波段数x以及空间分辨率i×j并不限定于上述 的值,可以根据高光谱传感器13的规格任意决定。

由此可知,作为光谱图像的各个测定光谱数据D1~Dm具有:作为 对构成分光后的波段的波长进行表示的信息的波长信息(波段数m)、 和作为按这些波段的每个波长对观测光L的光强度进行表示的信息的 单波长光强度信息p11~pij。而且,作为各个光谱图像的测定光谱数据 D1~Dm具有多个按波段的每个波长观测到的图像、即单波长图像F1~ Fx。单波长图像F1~Fx是按高光谱传感器13的测定波段中包含的每 个波长观测到的图像。

高光谱传感器13具有由检测光强度信息的CCD、CMOS等多个摄 像元件构成的检测面(省略图示)。构成检测面的各个摄像元件对与构 成光谱图像的各个单波长像素P11~Pij对应的单波长光强度信息p11~ pij进行检测。即,构成测定光谱数据D1~Dm的多个单波长像素P11~ Pij具有与测定波段对应的作为个别光谱数据的单波长光强度信息 p11~pij。即,各个单波长图像F1~Fx具有多个单波长像素P11~Pij、 和与上述多个单波长像素P11~Pij分别对应的单波长光强度信息p11~ pij。因此,例如单波长像素P11的单波长光强度信息p11构成单像素光 强度信息。

图1所示的大容量通信线路14如上述那样,1秒钟将由3000个单 波长图像F1~Fx构成的测定光谱数据D1~Dm传送给数据传送装置 15。大容量通信线路14是如能够高速传送大量数据的数据总线那样的 通信线路。即,大容量通信线路14可以将由高光谱传感器13获得的测 定光谱数据D1~Dm在中途不发生停滞地、即不延迟地依次传送给数据 传送装置15。大容量通信线路14是具备高可靠性,并且通用且价格低 廉的高速大容量通信线路,可由公知的通信线路实现。另一方面,为了 维持通信性能大容量通信线路14的通信距离被限制在短距离,即使长 也不过几cm~十几cm。尤其在如车辆那样电噪声多的环境中使用时, 大容量通信线路14的通信距离被限制为更短的距离。

数据传送装置15以具有运算装置、存储装置的微型计算机为中心 构成。存储装置中预先存储有:用于生成重建光谱数据E1~En的数据 选择处理所使用的程序、数据选择处理所需要的各种设定值。而且,数 据传送装置15中具备用于暂时存储多个测定光谱数据D1~Dm、重建 光谱数据E1~En的暂时存储装置(省略图示)。

图3表示通过数据传送装置15对测定光谱数据D1~Dm进行重建 而生成的重建光谱数据E1~En。即,数据传送装置15通过对测定光谱 数据D1~Dm中包含的信息的一部分进行剔除或卷积来削减且重建,由 此生成重建光谱数据E1~En。数据传送装置15将重建光谱数据E1~ En经由车载网络20输出到处理装置21。

N表示重建光谱数据E1~En的帧速率,y表示重建波段数。例如, 重建光谱数据E1是由多个、即y个重建单波长图像G1~Gy构成的光 谱图像。重建单波长图像G1~Gy分别是由通过数据选择处理从测定光 谱数据D1~Dm中选择出的信息构成的图像。例如,重建单波长图像 G1具有矩阵状的重建单波长像素Q11~Qgh。即,g表示重建空间分辨 率的横分辨率,h表示纵分辨率。与这些重建单波长像素Q11~Qgh分 别对应,获得作为重建单波长光强度信息的重建光强度信息q11~qgh。

图1所示的存储装置16是公知的存储装置中设置的存储区域的全 部或一部分。存储装置16中预先存储有数据传送装置15在数据选择处 理中使用的规定信息、即作为选择信息的一个或多个数据选择条件。数 据传送装置15从存储装装置16中取得数据选择处理所使用的数据选择 条件。本实施方式的存储装置16中存储有信息的削减方法、信息的削 减量相互不同的多个数据选择条件。本实施方式的数据传送装置15基 于车载网络20、处理装置21的规格,从存储装置16中选择适当的数据 选择条件,并基于所选择的数据选择条件实施数据选择处理。

表示数据传送装置15从测定光谱数据D1~Dm中为了生成重建光 谱数据E1~En而选择出的规定信息、即选择信息的规定条件,例如是 以下的“帧速率变更条件”、“波长分辨率变更条件”以及“析像度变更条 件”中的至少一个。“帧速率变更条件”削减测定光谱数据D1~Dm的数 量,“波长分辨率变更条件”削减单波长图像F1~Fx的数量,“析像度变 更条件”削减单波长像素P11~Pij的数量。此外,数据选择条件并不限 于这些。

[帧速率变更条件]

帧速率变更条件被用于从作为光谱图像的测定光谱数据D1~Dm中 选择一部分,来生成重建光谱数据E1~En。即,重建光谱数据E1~En 的帧速率n被设定得比测定光谱数据D1~Dm的帧速率m小。m>n。

例如,数据传送装置15从测定出的测定光谱数据D1~D5中仅选择 D1作为选择信息,而删除D2、D3、D4、D5。即,只选择1/5的测定 光谱数据D1。总之,数据传送装置15设定成重建光谱数据E1=D1、 E2=D6、E3=D11、E4=D16......。即,重建帧速率n=m/5=4。

该情况下,即使测定波段数恒定为x=重建波段数y=150,重建光谱 数据E1~En的重建单波长图像G1~Gy的数量也n×y=4×150=600个。 因此,与3000个单波长图像F1~Fx相比,重建光谱数据E1~En的信 息量为1/5。

[波长分辨率变更条件]

波长分辨率变更条件被用于从单波长图像F1~Fx中选择一部分, 来生成重建单波长图像G1~Gy。即,作为重建单波长图像G1~Gy的 波段数的重建波段数y被设定得比单波长图像F1~Fx的波段数、即测 定波段数x小。x>y。基于重建单波长图像G1~Gy,生成重建光谱数 据E1~En。即,重建光谱数据E1~En的波长分辨率比测定光谱数据 D1~Dm的波长分辨率粗略、即较低。例如,数据传送装置15从单波 长图像F1~F10中只选择F1作为一部分的波长信息,并删除其余的 F2~F9。即,只选择1/10的单波长图像F1。总之,数据传送装置15 设定成重建单波长图像G1=F1、G2=F11、G3=F21、G15=F14。即,重 建波段数y=15。

该情况下,即使帧数恒定为m=n=20个,重建光谱数据E1~En的 重建单波长图像G1~Gy的数量也为n×y=20×15=300个。因此,与测 定光谱数据D1~Dm的3000个单波长图像F1~Fx相比,重建光谱数 据E1~En的信息量为1/10。

[析像度变更条件]

析像度变更条件被用于从单波长像素P11~Pij中选择一部分,来生 成重建单波长像素Q11~Qgh。即,根据与单波长像素P11~Pij分别对 应的单波长光强度信息p11~pij,生成与一部分像素对应的重建光强度 信息q11~qgh。因此,重建单波长图像G.1~Gy的析像度比单波长图 像F1~Fx的分辨率粗略、即较低。例如,数据传送装置15从纵4个× 横4个共计16个单波长光强度信息p11~p14、p21~p24、p31~p34 以及p41~p44中仅选择p11,并将其余的15个p12~p14、p21~p24、 p31~p34以及p41~p44削除。即,数据传送装置15设定成重建光强 度信息q11=p11、q12=p15、q13=p19、......、q21=p51、q22=p55、 q23=p59、......。即,在横向选择1/4的像素,且在纵向也选择1/4的像 素。

因此,重建空间分辨率的g×h=(640/4)×(480/4)=160×120。即, 与640×480个单波长光强度信息p11~pij相比,重建光强度信息q11~ qgh的信息量成为1/16。

数据传送装置15选择这些数据选择条件的至少一个,并且基于所 选择的数据选择条件执行数据选择处理。综上可知,由数据传送装置15 生成的重建光谱数据E1~En的信息量与从高光谱传感器13输出的信 息量相比,被可靠地削减。即,基于单位时间的重建光谱数据E1~En 所包含的信息的数据量,比单位时间的测定光谱数据D1~Dm减少。

图1和图3所示的车载网络20例如是车载用的局域CAN (Controller Area Network),是能够确保某种程度的通信距离、例如几 m~几十m的通用通信线路。即,车载网络20由于构成通信线路的布 线的自由度高,所以能够确保进行通信的装置彼此之间的距离。车载网 络20上也可以连接数据传送装置15与处理装置21之外的装置。即, 根据车载网络20,能够提高车辆10中的数据传送装置15与处理装置 21的配置自由度。

需要说明的是,由于车载网络20具有布线、装置的连接自由度高, 但如果通信数据量变多则会发生通信数据的冲突、通信等待,导致通信 效率降低的特性,所以能够传送的数据量受限。在本实施方式中,车载 网络20能够通信的数据量比大容量通信线路14能传送的数据量少,例 如为大容量通信线路14的几分之1~100分之1。数据传送装置15重建 数据量被削减得比测定光谱数据D1~Dm小的重建光谱数据E1~En并 输出给车载网络20。因此,能够通过数据传送装置15将向车载网络20 传送的数据量削减为车载网络20能够恰当传送的数据量。即,能够将 重建光谱数据E1~En经由车载网络20恰当地传送给处理装置21。

图1所示的处理装置21以具有运算装置22、存储装置的微型计算 机为中心构成。由于处理装置21与数据传送装置15连接,所以被输入 从该数据传送装置15输出的重建光谱数据E1~En。处理装置21通过 基于被输入的重建光谱数据E1~En进行测定对象的识别处理,来识别 测定对象。其中,由于处理装置21通过公知的方法来识别测定对象, 所以在本实施方式中,出于简洁的目的而省略了用于识别测定对象的处 理装置21的部分构成和用于识别测定对象的识别处理的部分详细说明。

处理装置21基于被输入的重建光谱数据E1~En进行测定对象的识 别处理。处理装置21例如通过测定出的光谱图像、与存储装置(省略 图示)中预先存储的测定对象的光谱图像的比较,来判定这些光谱图像 的一致/不一致,并且基于该判定结果来识别测定对象。通常,由于在 光谱图像的比较中需要进行选定比较区域的处理、在选定出的比较区域 中依次更新测定对象直到确定了测定对象为止而进行比较的处理等很 多处理,所以这些处理需要由运算装置22进行的大量运算。

与此相比,由高光谱传感器13进行的光谱图像的测定短时间即可 完成。因此,在通过处理装置21针对由高光谱传感器13拍摄到的所有 光谱图像进行识别处理时,要求进行与识别处理相关的运算的运算装置 22具有高性能。但是,由于车载限制,处理装置21(运算装置22)在 设计上、成本方面必然受到各种制约。因此,处理装置21和其中含有 的运算装置22如果只顾及高性能化,则它们的通用性、低价格性、维 护性有可能产生问题。

本实施方式通过数据传送装置15将向处理装置21传送的重建光谱 数据E1~En的数据量削减成处理装置21能够恰当地进行识别处理的 数据量,能够由处理装置21对重建光谱数据E1~En恰当地进行实时 处理。

如上所述,处理装置21通过运算装置22的识别处理,在确保实时 性的同时识别测定对象。而且,处理装置21将识别出的测定对象的信 息用在处理装置21自身中、或传递给作为光谱测定装置11的外部装置 的支援控制装置12。

图4是表示数据传送装置15进行的数据选择处理的步骤的流程图。 数据选择处理与高光谱传感器13对光谱图像的测定同步,被依次执行。

如果数据选择处理开始,则在步骤S10中,数据传送装置15设定 数据选择条件。即,本实施方式的数据传送装置15基于被车载网络20 规定的能够传送的数据量、被处理装置21规定的具有实时性的识别处 理能够处理的数据量,设定车载网络20能传送的数据量的最大值的传 送最大值。在本实施方式中,传送最大值被预先设定在数据传送装置15、 存储装置16中。如果设定了传送最大值,则数据传送装置15从存储装 置16取得用于生成不超过传送最大值的重建光谱数据E1~En的数据 选择条件。在步骤S20中,数据传送装置15基于数据选择条件来选择 测定光谱数据D1~Dm中含有的信息,并且,通过对选择出的信息重建 来生成重建光谱数据E1~En。因此,生成信息量、即数据量被削减的 重建光谱数据E1~En。在步骤S30中,数据传送装置15将重建光谱数 据E1~En传送给处理装置21。

这样,数据传送装置15使重建光谱数据E1~En的数据量不超过车 载网络20的数据传送能力、处理装置21的处理能力。因此,能够防止 车载网络20对重建光谱数据E1~En的传送延迟、基于重建光谱数据 E1~En的处理装置21的延迟。从而,基于光谱图像的测定对象的识别 处理能够实时恰当地进行。

在前述的专利文献1中,执行分级读出的光谱测定装置通过任意设 定从检测器读出数据的波长分辨率、空间分辨率,还能够使数据量多样 地变更。但是,由于通常的检测器是光谱传感器的一部分,所以对检测 器自身进行控制有可能使得光谱传感器的设计繁琐、光谱传感器的通用 性和维护性降低。对于该点,本实施方式的数据传送装置15没有对高 光谱传感器13自身进行改变,而削减从高光谱传感器13输出的测定光 谱数据D1~Dm。由此,本实施方式可以将具有高光谱测定能力的高光 谱传感器13直接用于光谱测定装置11。

如以上说明那样,图1~图4的第1实施方式的光谱测定装置11具 有以下列举的效果。

(1)数据传送装置15构成为通过只选择作为规定信息的选择信息 来削减测定光谱数据D1~Dm中含有的信息,然后,将削减后的数据、 即重建光谱数据E1~En传送给处理装置21。由此,车载网络20中流 动的数据量、处理装置21应该处理的重建光谱数据E1~En的数据量 被削减。因此,如果是高性能的高光谱传感器13所取得的测定光谱数 据D1~Dm含有大量信息的情况,则光谱测定装置11能够将测定光谱 数据D1~Dm削减到适当的数据量,并将削减后的数据、即重建光谱数 据E1~En传送给处理装置21。其结果,能够消除车载网络20的传送 延迟、处理装置21的处理延迟。即,光谱测定装置11通过使用高光谱 传感器13能够将测定对象的识别精度维持得高,同时能够充分地实时 进行识别处理。

(2)从高光谱传感器13输出后的测定光谱数据D1~Dm被削减一 部分。由此,在采用高光谱传感器13时,不需要考虑测定光谱数据D1~ Dm的数据量对于车载网络20是否过大、是否超过处理装置21的处理 能力。因此,提高了光谱传感器的选择自由度。即,只要是通用的光谱 传感器,便能够用于光谱测定装置11。

(3)数据传送装置15基于由从高光谱传感器13输出的波长信息 中的一部分波长信息构成的波段的信息、即波长分辨率变更条件,来生 成重建光谱数据E1~En。因此,能够可靠地削减由数据传送装置15传 送的重建光谱数据E1~En的数据量。

(4)数据传送装置15基于从高光谱传感器13输出的光强度信息 中的一部分信息、即析像度变更条件,换言之根据基于光强度信息的密 度的析像度,来生成重建光谱数据E1~En。因此,数据传送装置15传 送的重建光谱数据的数据量被从测定光谱数据可靠地削减。

(5)数据传送装置15基于由高光谱传感器13输出的与经时的光 谱图像分别对应的测定光谱数据D1~Dm中的一部分时间信息,来生成 重建光谱数据E1~En。即,根据经时拍摄的光谱图像的帧速率、即帧 速率变更条件,由测定光谱数据D1~Dm生成重建光谱数据E1~En。 因此,能够可靠地削减由数据传送装置15传送的重建光谱数据E1~En 的数据量。

(6)数据传送装置15将重建光谱数据E1~En的最大值,设定为 根据车载网络20、即信号传递路或者通信线路的数据传送能力、处理装 置21的数据处理能力而决定的能够实时操作的数据量的最大容量值以 下。因此,在传送重建光谱数据E1~En时,能够抑制数据的传送延迟、 数据的处理延迟,能够可靠地提高光谱测定装置11进行测定对象识别 处理所涉及的实时性。

(第2实施方式)

图5和图6对本发明的第2实施方式涉及的光谱测定装置11进行说 明。如图5所示,本实施方式与第1实施方式的不同之处在于,具有用 于根据车速V来选择重建帧速率n的速度表19,由于其他构成相同, 所以对相同的构成赋予相同附图标记而省略重复说明。即,本实施方式 的数据选择条件不是预先决定的,而对应于车速V变化。其中,图6 的流程图所示的数据选择条件设定相当于图4的步骤S10的详细处理。

如图5所示,在速度表19中,当车速V小于20km时,设定为重 建帧速率n=2fps。同样,在速度表19中,当车速V为20km以上且小 于60km时,重建帧速率n=4fps,当车速V为60km以上且小于90km 时,重建帧速率n=8fps,当车速V为90km以上小于120km时,重建 帧速率n=15fps,当车速V为120km以上时,重建帧速率n=30fps。

例如,将作为车载网络20的传送最大值的可传送容量ct用重建帧 速率n、重建波段数y、重建析像度g×h表现成ct=n×y×g×h。

图6是表示由光谱测定装置11进行的数据选择条件设定的处理步骤 的流程图。如图6所示,当数据选择条件设定开始后,在步骤S11中, 数据传送装置15设定初始可传送容量ct0。初始可传送容量ct0基于数 据传送装置15新取得的车辆10的信息而设定。新取得的车辆10的信 息包括基于测定对象的识别状况、车辆的外部环境取得的信息,数据传 送装置15经由车载网络20从处理装置21取得。另外,例如初始可传 送容量ct0也可以基于测定对象的优先级、或者基于为了识别测定对象 所需的受限定的信息,由数据传送装置15设定。并且,例如初始可传 送容量ct0也可以基于由处理装置21取得的车载网络20的每时每刻能 传送的数据量、处理装置21的每时每刻能处理的数据量,由数据传送 装置15设定。如果带后缀“0”来表现初始值,则初始可传送容量 ct0=n0×y0×g0×h0。例如初始重建帧速率n0=10fps,初始重建波段数 y0=20个(20band),初始重建分辨率g0×h0=320个×240个 (320×240pxel)。

在步骤S12中,数据传送装置15从支援控制装置12经由处理装置 21取得车速V。在步骤S13中,数据传送装置15通过参照存储装置16 中存储的速度表19,来选择重建帧速率n。

在步骤S14中,数据传送装置15选择新的重建分辨率g1×h1。在步 骤S15中,数据传送装置15计算出新的重建波段数y1。例如,如果与 车速V无关地将重建分辨率g1×h1维持为恒定值、即g0×h0,则新的重 建波段数y1通过y1=ct0/(g0×h0)/n1计算出。由此可知,在车速V 慢的情况下,通过取代使重建帧速率n1变小而使重建波段数y1增加, 来增大波长分辨率。相反,在车速V快的情况下,为了短时间发现测定 对象,取代增大重建帧速率n1而使重建波段数y1减少。如果决定了新 的重建帧速率n1、新的重建分辨率g1×h1、以及新的重建波段数y1, 则数据传送装置15基于这些重建帧速率n1、分辨率m2以及新的波段 数b2,生成重建光谱数据E1~En。然后,数据传送装置15将重建光 谱数据E1~En经由车载网络20传递给处理装置21。

这样,图5和图6的第2实施方式具有与第1实施方式的效果同等 或以其为标准的效果,并会起到以下的效果。

(7)数据传送装置15根据车速V来变更重建光谱数据E1~En的 重建帧速率n。因此,即使针对车速V的变化也能够维持识别精度,同 时能够实现处理装置21实时对测定对象的识别处理。

(第3实施方式)

图7是表示本发明的第3实施方式涉及的光谱测定装置11的概略结 构的框图。本实施方式与上述第1实施方式的不同之处在于,数据传送 装置15不从存储装置16取得数据选择条件,而是处理装置21将作为 选择信息的数据选择条件C1设定给数据传送装置15。运算装置22具 有生成数据选择条件C1的选择条件生成部23。由于其他的构成相同, 所以省略与第1实施方式重复的说明。

如图7所示,处理装置21从存储装置25取得表示测定对象的优先 级的各种表。测定对象的优先级除了按每个测定对象预先决定的固定优 先级之外,还有对应于处理装置21的当前的测定对象的识别状况,发 生反馈变化的优先级;对应于车辆10的状态、车辆外部的环境而变化 的优先级。存储装置25还按每个测定对象存储有识别所需的波长信息 (由一个或多个波长信息构成的波段)。另外,例如还可以按照昼夜的 不同,与环境光的光源光谱对应地在存储装置25中存储适合测定对象 的识别的波长信息。

选择条件生成部23通过参照存储装置25中设定的测定对象的优先 级,来计算出应该优先检测的测定对象。而且,选择条件生成部23为 了反映处理装置21的当前的测定对象的识别状况而参照存储装置25。 选择条件生成部23基于计算出的优先级参照存储装置25生成作为为了 检测测定对象而合适的选择信息的数据选择条件C1,并将其输出给数 据传送装置15。

例如在总是计算为应该优先检测行人、车、路面的情况下,选择条 件生成部23可以生成对适合检测行人、车、路面的信息进行选择的数 据选择条件C1。另外,例如在想要优先检测行人的情况下,例如当由 于事先没有检测行人,所以特别想要优先检测行人时,可以生成适合用 于检测行人的数据选择条件C1,并向数据传送装置15输出。例如作为 数据选择条件C1在通过前处理没有发现行人的情况下,为了尽早发现 新出现的行人,可以提高重建帧速率n,另一方面,可以减少重建析像 度g×h、重建波段数y。或者,在之前的处理结果为发现了行人的情况 下,为了高精度识别发现的行人,可以按照将用于明确行人与周围的分 界线或者判别行人的属性的与行人对应的波长的前后的波长分辨率设 定得高的方式,来设定数据选择条件C1。

另外,选择条件生成部23可以按照以昼夜的不同来设定适合测定 对象的检测的波长信息的方式,生成数据选择条件C1。例如在通过支 援控制装置12检测到前照灯点亮的情况下,选择条件生成部23按照以 与作为光源的前照灯中含有的波长成分对应的波长信息为主的方式,生 成数据选择条件C1。另外,在通过支援控制装置12检测到是夜间的情 况下,选择条件生成部23按照以与照明灯、投光器的波长成分对应的 波长信息为主的方式,生成数据选择条件C1。

并且,选择条件生成部23也可以根据从支援控制装置12取得的车 速V、操舵角,来生成适合测定对象的检测的数据选择条件C1。

选择条件生成部23将如上述那样生成的数据选择条件C1设定给数 据传送装置15。数据传送装置15基于被设定的数据选择条件C1,根据 测定光谱数据D1~Dm生成重建光谱数据E1~En。因此,重建光谱数 据E1~En的数据量与测定光谱数据D1~Dm的数据量相比被可靠地削 减。

这样,图7的第3实施方式也能获得与先前的第1实施方式同等或 以其为标准的效果,并且还能获得以下列举的效果。

(8)处理装置21设定数据选择条件C1,并将其传递给数据传送装 置15。因此,数据传送装置15可以根据与状况对应的细微指示,生成 重建光谱数据E1~En。

(9)处理装置21可以基于波长信息中的由移动体周围的环境光、 即光源中含有的一部分波长信息构成的波段的信息,设定数据选择条件 C1。因此,处理装置21可以按照将环境光、即光源中不含有的波长、 强度弱的波长的波长信息、与这些波长信息对应的光强度信息除去的方 式,设定数据选择条件C1。从而,由于数据传送装置15能够只选择环 境光、即光源下强度强的波长的波长信息、和与这些波长信息对应的光 强度信息,所以能可靠地削减重建光谱数据E1~En的数据量。另外, 由于重建光谱数据E1~En含有在环境光下光强度对应于测定对象而变 化的波长信息,所以处理装置21的识别处理在基于数据量被削减的重 建光谱数据E1~En的情况下也能良好地进行。

(10)选择条件生成部23可以按照根据处理装置21对测定对象的 识别结果,向数据传送装置15进行反馈的方式,来设定作为请求的数 据选择条件C1。选择条件生成部23可以基于波长信息的波长间隔、光 强度信息的信息密度、光谱数据的取得时间来变更数据选择条件C1。 例如,在为了根据处理装置21的识别结果而测定预料出现的高出现率 对象,变更了优先级的情况下,处理装置21能够变更数据选择条件C1 以便捕捉该高出现率对象。其结果,能够改进数据传送装置15的数据 重建处理,以便能够灵活地变更并识别所需的测定对象。进而,会提高 测定对象的识别性能。

(第4实施方式)

图8是表示本发明的第4实施方式涉及的光谱测定装置11的概略结 构的框图。其中,本实施方式与上述图7的第3实施方式的不同之处在 于,追加了对环境信息取得装置进行扩充的导航装置30。并且,还具有 光传感器8。

如图8所示,构成环境信息取得装置的一部分的导航装置30经由 支援控制装置12与处理装置21连接。或者,也可以将导航装置30直 接与处理装置21连接。导航装置30是取得车辆10的外部环境的信息 的装置,构成取得例如车辆10的行驶位置、昼夜的各种环境取得装置。 导航装置30将这些各种环境信息传递给处理装置21。导航装置30可以 通过检测车辆10的位置信息,来检测城市街道、高速道路、田地等行 驶场所的特性,并且通过将这些位置表示到显示面板的地图上来传递给 搭乘者。导航装置30可以利用钟表、照度计来判别昼夜。在取得位置 的情况下,导航装置30可以根据由GPS(Global Positioning System) 获得的位置信息、位置信息与地图的组合来确定位置,也可以通过通信 从通报位置信息的系统来取得。另外,构成环境信息取得装置的一部分 的光传感器8可以将环境光、按昼夜划分的检测信息经由发动机控制装 置9传递给处理装置21。

存储装置25中设定有表示测定对象的优先级的各种表。测定对象 的优先级中预先存储有对应于由导航装置30取得的环境状态而分别设 定的测定对象的优先级。例如,设定有根据行驶场所的特性将频繁出现 的测定对象的优先级提高的信息、根据行驶场所的特性将不应该出现的 测定对象的优先级降低的信息。而且,存储装置25中还按每个测定对 象存储有识别所需的波长信息。

选择条件生成部23基于从导航装置30输入的环境信息,通过参照 存储装置25中设定的测定对象的优先级,来计算出应该优先检测的测 定对象。选择条件生成部23基于计算出的优先级生成数据选择条件C2, 并将数据选择条件C2设定给数据传送装置15。

例如在由导航装置30检测出是城市街道的情况下,处理装置21可 以生成使数据传送装置15选择适合检测自行车、行人的信息的数据选 择条件C2。另外,例如在由导航装置30检测出是高速道路的情况下, 处理装置21可以生成使数据传送装置15选择适合检测汽车的信息的数 据选择条件C2。而且,也可以生成使数据传送装置15选择适合检测在 高速道路上出现的可能性低但影响大的行人的信息的数据选择条件 C2。选择条件生成部23也可以按照使数据传送装置15按昼夜的不同来 选择适合测定对象的检测的信息的方式,生成数据选择条件C2。

另外,例如选择条件生成部23也可以按照使数据传送装置15只 选择与由光传感器8观测或推断出的光源的光谱对应的波长信息的方 式,来生成数据选择条件C2。并且,例如选择条件生成部23也可以根 据导航装置30用于使显示面板显示的图像信息的请求,在波长信息的 选择条件中作为红色“R”、绿色“G”、蓝色“B”的光的波长信息而生成数 据选择条件C2。

选择条件生成部23将如上述那样生成的数据选择条件C2设定为 数据传送装置15。数据传送装置15基于被设定的数据选择条件C2,根 据测定光谱数据D1~Dm生成重建光谱数据E1~En。因此,重建光谱 数据E1~En的数据量与测定光谱数据D1~Dm的数据量相比被可靠地 削减。

如以上说明那样,根据图8的第4实施方式也能获得与先前的第 1实施方式和第3实施方式的效果同等或以其为标准的效果,并且,还 可以获得以下的效果。

(11)由于处理装置21能够基于通过数据量更多的方式重建后的重 建光谱数据E1~En来识别测定对象,所以光谱测定装置11的识别精 度也自动提高。

(第5实施方式)

图9是表示本发明的第5实施方式涉及的光谱测定装置11的概略结 构的框图。本实施方式与图7的第3实施方式的不同之处在于,使用了 照相机、电波探测器、或者激光测定装置等对象检测装置31。

如图9所示,对象检测装置31经由支援控制装置12与处理装置 21连接。或者,也可以将对象检测装置31与处理装置21直接连接。对 象检测装置31对在车辆10的外部环境存在的测定对象、检测对象进行 检测。例如,对象检测装置31是用于根据地图信息和位置信息来检测 测定对象、检测对象的信息取得装置,例如是对在前方行驶的车辆、道 路周边的构造物、建筑物等测定对象、检测对象进行检测的信息取得装 置。对象检测装置31将检测到的检测对象传递给处理装置21。即,对 象检测装置31是基于照相机的拍摄图像的图像识别或利用电波探测器、 激光对前方的车辆进行检测那样的装置。而且,对象检测装置31也可 以是根据车辆10的位置信息检测道路周边的构造物、建筑物,通过将 这些位置表示到显示面板的地图上来向搭乘者传递的导航系统。

选择条件生成部23基于对象检测装置31检测出的检测对象的位 置和大小,按照重建光谱数据E1~En不含有与检测对象所存在的位置 对应的部分的信息的方式,设定数据选择条件C3。并且,选择条件生 成部23也可以基于测定对象的优先级来生成数据选择条件C3。例如, 选择条件生成部23可以生成对预先生成的数据选择条件C2追加了不选 择检测对象所存在的位置的条件后的条件,来作为数据选择条件C3。 另外,也可以根据数据选择条件C2、和不选择检测对象所存在的位置 的条件来生成数据选择条件C3。

选择条件生成部23将如上述那样生成的数据选择条件C3设定给 数据传送装置15。数据传送装置15基于被设定的数据选择条件C3,根 据测定光谱数据D1~Dm生成重建光谱数据E1~En。因此,重建光谱 数据E1~En的数据量与测定光谱数据D1~Dm的数据量相比被可靠地 削减。其中,数据传送装置15可以在处理数据选择条件C2之后,处理 其他的数据选择条件C3,也可以同时处理数据选择条件C3。

如以上说明那样,图9的第5实施方式也能获得与先前的第1实 施方式、第3实施方式的效果同等或以其为标准的效果,并且还可以获 得以下的效果。

(12)数据传送装置15将地图信息、与如电波探测器那样的对象检 测装置31已经检测完毕的测定对象对应的部分的光谱数据,从重建光 谱数据E1~En中除去。因此,重建光谱数据E1~En的数据量被可靠 地削减了不必要的部分。

此外,上述各实施方式也可以通过以下的方式来实施。

可以如图10所示,将地图信息设置到光谱测定装置11的存储装置 25中。即,地图信息并不限于如上述第3以及第4实施方式那样,设置 于光谱测定装置11的外部的导航装置30或对象检测装置31。

也可以如图11所示,上述各实施方式的数据传送装置15设置有 不合适数据选择部17。不合适数据选择部17通过将测定光谱数据D1~ Dm中含有的无意义信息除去,来使无意义信息不包含在重建光谱数据 E1~En中。不合适数据选择部17通过对测定光谱数据D1~Dm中含 有的光强度信息进行检查,检测出例如光强度信息的值超过上限值或下 限值、或在下限值以下完全不变化的信息,作为无意义的光强度信息。 数据传送装置15不将作为不适合数据而检测出的光强度信息选择为重 建光谱数据E1~En、即将其除去。因此,通过作为重建光谱数据E1~ En而传送的数据量被削减,并且,防止重建光谱数据E1~En中含有 无意义的光强度信息,还能够维持测定装置的识别精度。此外,也可以 针对由测定光谱数据D1~Dm基于数据选择条件而生成的重建光谱数 据E1~En,从后开始应用不合适数据选择部17。

也可以如图12所示,数据传送装置15设置有对测定光谱数据 D1~Dm的一部分进行加工的光谱数据加工部18。光谱数据加工部18 基于按数据选择条件C1而设定的条件,削减波长信息。例如,光谱数 据加工部18将由于信息的变化小,所以作为对测定对象的识别影响少 的区域而设定的特定波长区域、例如550nm~650nm的光强度信息平均 化、卷积。即,光谱数据加工部18求出与一个特定的代表波长、例如 600nm对应的一个代表光强度信息。

因此,波长连续的多个波长信息和与其对应的光强度信息分别被 置换成一个波长信息、和与该一个波长信息对应的一个光强度信息。从 而,重建光谱数据El~En的数据量也自动削减。例如数据传送装置15 将与550nm~650nm的波长对应的多个波长信息计算为600nm的波长 信息,将与550nm~650nm的波长对应的光强度信息通过卷积或平均化 计算为600nm的波长信息的光强度信息。因此,550nm~650nm的波 长信息、和与它们对应的光强度信息被选择为600nm的波长信息、和 与其对应的光强度信息。

也可以如图13所示,上述第3~第5实施方式的选择条件生成部 23分别对应于作为光谱图像34的周边部的周边区域35、作为中间部的 过渡区域36、以及作为中央部的中央区域37,使重建帧速率n、重建 波段数y以及重建析像度、即重建析像度g×h变化。

通常,在单波长图像F1~Fx等光谱图像34中,周边区域35中 映现的测定对象由于与车辆10的相对距离近,所以看起来较大,相对 车辆10的相对速度快、即光谱图像34上的移动速度也快。由此,为了 处理装置21能够迅速识别测定对象,针对光谱图像34的周边区域35 的数据选择条件取代提高重建帧速率n,而设定为低的重建析像度g×h 和少的重建波段数y。另一方面,光谱图像34的中央区域37中映现的 测定对象由于与车辆10的相对距离远,所以看起来较小,而且相对车 于辆10的相对速度慢,光谱图像34中的移动速度也慢。由此,为了处 理装置21能够以高精度识别测定对象,针对光谱图像34的中央区域37 的数据选择条件取代设为高的重建析像度g×h和大的重建波段数y,而 设定为低的重建帧速率n。另外,对于位于光谱图像34的周边区域35 与中央区域37之间的过渡区域36,将数据选择条件设为中程度的重建 析像度g×h和重建波段数y、且设定成中程度的重建帧速率n。

因此,数据传送装置15能够根据车速V、因转向操作引起的车辆 10的状态,变更用于生成重建光谱数据E1~En的波长信息的波长间隔、 即波长分辨率;光强度信息的信息密度、即析像度;测定光谱数据的取 得时间间隔、即帧速率。从而,光谱测定装置可以基于对应于移动体的 状态而重建后的适当的重建光谱数据E1~En,进行测定对象的识别处 理。进而,可实现测定对象的更良好的识别。例如,与根据同一条件在 光谱图像的全部区域选择信息的情况相比,能够维持测定对象的识别精 度,同时削减重建光谱数据的数据量。因此,实时的测定对象的识别处 理变得容易。

此外,在上述第1或者第2实施方式的情况下,也可以使与光谱 图像34的周边区域35、过渡区域36以及中央区域37对应的重建帧速 率n、重建波段数y、以及重建析像度g×h变化,对数据传送装置15、 存储装置16设定数据选择条件。

上述第3~第5实施方式的选择条件生成部23可以根据转向的操 作角度、即操舵角,将位于光谱图像34中的新的行进方向的部分的重 建帧速率n设定得大。即,可以取代能够迅速识别测定对象,而将重建 析像度g×h、重建波段数y设定得小。因此,处理装置21能够实时、 恰当地对新的行进方向的测定对象进行识别处理。

如图14所示,在从光谱图像38识别出测定对象39的情况下,第 3~第5实施方式的选择条件生成部23可以在测定对象39与背景之间 的边界部分设置重点框W。可以使针对该重点框W重建帧速率n、重 建析像度g×h以及重建波段数y变化,来生成数据选择条件。重点框W 例如按照能够对从作为测定对象39的其他车辆的作为死角的影子出现 的行人的面容等迅速识别的方式进行设定,以便可以预先锁定该行人的 面容等。即,对于重点框W,设为高的重建帧速率n,并且由于重点框 W小,所以重建析像度g×h与重建波段数y也设定得高。因此,不会 大幅增加重建光谱数据E1~En的数据量,能够通过实时的识别处理尽 快检测从测定对象39的死角出现的进一步的测定对象。

在上述第1实施方式中,为了生成不超过传送最大值的重建光谱 数据E1~En,数据传送装置15从存储装置16取得数据选择条件。但 并不局限于此,在数据选择条件具有测定对象的优先级的情况下,只要 数据传送装置依次选择优先级从高到低的测定对象的信息,且重建光谱 数据E1~En不超过传送最大值即可。例如,首先不考虑优先级地生成 重建光谱数据E1~En,在重建光谱数据E1~En的数据量超过传送最 大值那样的情况下,数据传送装置15重新生成重建光谱数据E1~En, 以便限制为与优先级高的测定对象相关的信息。

在上述第2实施方式中,不限于将新的重建分辨率g1×h1维持为 初始重建分辨率g0×h1,也可以进行变形例如,使新的重建分辨率 g1×h1、和新的重建波段数y1这两方变化。能够提高数据选择条件的设 定自由度。

在上述第2实施方式中,速度表19不限于使重建帧速率n与车速 V相关设定,也可以与车辆的转向操舵角相关地设定重建帧速率n。例 如,随着转向操舵角增大,提高重建帧速率n,而且减少重建波段数y, 以便能够短时间发现测定对象。因此,能够设定与车辆状态对应的恰当 的重建帧速率n。

在上述第1以及第2实施方式中,存储装置16中也可以存储由测 定对象的识别所需的波长信息构成的数据。因此,数据传送装置可以通 过取得与测定对象对应的数据,来生成由测定对象所需的波长信息构成 的重建光谱数据。从而,光谱测定装置11可削减数据量,同时提高针 对所选择的测定对象的识别精度。

在上述第1以及第2实施方式中,存储装置16可以存储光源中含 有的波长信息的数据。即,数据传送装置15可以按照确实含有光源中 含有的波长信息的方式,来生成重建光谱数据E1~En。

在上述第1实施方式中,重建帧速率n、重建析像度g×h以及重 建波段数y中的多个条件可以同时被选择,也可以仅设定一个。光谱测 定装置11的设计自由度提高。例如,在测定光谱数据D1~Dm的数据 量少的情况下,只要以有效条件进行信息选择即可。

在上述第1实施方式中,重建帧速率n、重建析像度g×h以及重 建波段数y不限于被预先决定,也可以通过设定装置任意变形例如,数 据传送装置15、处理装置21可以对应于通过车载网络20的其他数据量 的变动,来变更选择信息。其他装置也可以变更选择信息。能够提高数 据选择条件的自由度。

另外,可以不通过映射而利用运算式来设定数据选择条件。能够 提高光谱测定装置11中的数据选择条件的设计自由度。

可以如图15所示,将高光谱传感器13与数据传送装置15单元化, 构成一个高光谱传感器单元40。高光谱传感器单元40具有构成将高光 谱传感器13与数据传送装置15连接的大容量通信线路14的总线。该 情况下,光谱测定装置11可以小型化。

在上述各实施方式中,表示了作为数据选择条件的选择信息构成 重建光谱数据E1~En的情况。但并不局限于此,也可以反过来设定不 够成重建光谱数据E1~En的信息,来作为数据选择条件。该情况下, 也能够提高数据选择条件的条件设定的自由度。

在上述各实施方式中,表示了车载网络20为CAN的情况。但并 不限于此,车载网络20只要能够进行网络通信即可,也可以是Ethernet (注册商标)、FlexRay(注册商标)、IEEE1394(FireWire(注册商标)) 等其他网络。由此,能够提高该光谱测定装置的可采用性。

附图标记说明:10...车辆,11...光谱测定装置,12...支援控制装 置,13...高光谱传感器,14...大容量通信线路,15...数据传送装置,16... 存储装置,17...不合适数据选择部,18...光谱数据加工部,19...速度表, 20...车载网络,21...处理装置,22...运算装置,23...选择条件生成部, 25...存储装置,30...导航装置,31...对象检测装置,34...光谱图像,35... 周边区域,36...过渡区域,37...中央区域,38...光谱图像,39...测定对 象,40...高光谱传感器单元,D...测定光谱数据,E...重建光谱数据,F... 单波长图像,G...重建单波长图像,L...观测光,P、Q...像素。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号