基于远红外线摄像头的夜间行人识别方法

摘要

本发明的基于远红外线摄像头的夜间行人识别方法，包括：接收行人的热成像影像的输入的阶段；利用DoG(Difference of Gaussian)过滤器获得输入的影像的各像素的第1回应值的阶段；测定输入的影像的各像素的分散值(Variance)的阶段；由第1回应值和分散值的乘积计算像素的第2回应值，对其二值化并生成二值化影像的阶段；从二值化影像生成行人候选组群集的阶段；把行人候选组群集根据行人的行为特性所学习的一个以上的分类器分类从而识别行人的阶段；算出行人的位置的阶段。本发明从远红外线摄像头接收行人的热成像影像的输入，使用DoG过滤器而设置候选组，通过根据行人的行为特性的分类器，正确地识别行人。

说明书

技术领域

本发明涉及夜间行人识别方法,更具体地说，涉及基于远红外线摄像 头的夜间行人识别方法，基于通过远红外线摄像头获得的影像检出行人并 判断其位置。

背景技术

最近，交通事故中行人事故占据相当一部分。这种行人事故会牵连到 更大的人命事故，所以非常严重。

尤其，夜间的驾驶视野会急剧变小，所以经常发生驾驶员很难看到行 人的现象。为了防止这种现象，通过利用如近红外线摄像头或与远红外线 摄像头的传感器使得驾驶员确保视野而提供视图的方法和通过夜间行人 的识别进行提前报警等方法，进行着Night Vision（夜视）系统的研究。

此外，对于行人保护相关的研究也在活跃地进行。例如，提前识别行 人，向驾驶员发送警报，或通过控制车辆而制动的构成，事前防止行人事 故的ADAS系统(尖端驾驶员辅助系统)等。

本田公司为了抽出行人候选组，选择了利用红外线摄像头中行人的灰 度值较高的特征而进行二值化的方法。但是这种方法可通过像素的灰度值 与周边的平均亮度值等的比较而区分领域，但问题点在于，由于影像杂音 而发生选择错误。

GM公司利用行人的警戒信息和动作分析而决定Confidence level （置信水平），由此检出行人。利用这种动作分析的行人检出方法，因车 辆有摄像头本身的活动，要分析全部领域发生的动作的方向，需要很长的 处理时间。并且存在没有行人的活动时正确度降低的问题点。

在先专利文献

美国注册专利公报第7130448号(申请日:2003.01.17)

美国注册专利公报第8050459号(申请日:2008.07.25)

发明内容

（要解决的技术问题）

本发明的目的在于提供一种基于远红外线摄像头的夜间行人识别方 法，从远红外线摄像头接收行人的热成像影像的输入，使用对影像杂音具 有强韧特性的DoG(高斯差-Difference of Gaussian)过滤器而设置候选组， 通过行人的行为特性的分类器，正确地识别行人。

（解决问题的手段）

为了达成上述本发明的目的，本发明的特征在于，包括：接收行人的 热成像影像的输入的阶段；利用DoG(Difference of Gaussian)过滤器获 得输入的影像的各像素的第1回应值的阶段；测定输入的影像的各像素的 分散值(Variance)的阶段；由DoG过滤器的第1回应值和分散值的乘积计 算像素的第2回应值，对其二值化并生成二值化影像的阶段；从二值化影 像生成行人候选组群集的阶段；把行人候选组群集根据行人的行为特性所 学习的一个以上的分类器分类而识别行人的阶段；算出行人的位置的阶段。

热成像影像的特征在于，通过影射红外线带域的光的远红外线摄像头 所拍摄的影像，第1回应值的特征在于，具有不同标准偏差的两个高斯过 滤器对输入的影像分别进行卷积(convolution)而生成的两个影像的相同 像素下的差值。

分散值是算出输入的影像的一个像素和相邻像素的的明暗差异 (contrast)而获得的值，二值化影像是二值化第2回应值低的像素为0(黑 色)、高的像素为1(白色)的影像。

行人候选组群集生成阶段中，通过连接要素标记(Component Labeling) 方法，把第2回应值类似的部分归为一个领域而进行群集化。

行人候选组群集分类为三个群集，即行人向左边走或跑的群集、向前 后走或跑的群集、向右边走或跑的群集；行人识别阶段中，测定对行人候 选组群集进行学习后生成的分类器的信赖值，合计各个信赖值，最终对行 人与否进行分类。

学习的特征在于，对行人移动的方向和角度进行至少一次的实验而对 各相似的移动确保数据；信赖值的特征在于，是对通过分类器所获得的学 习数据和通过二值化影像收集的行人候选组群集的类似度，进行数值化的 值。这种信赖值的类似度越高，其值也越高。

行人的位置通过分类的行人的二值化影像的位置信息和摄像头校准 (calibration)信息算出，这时，位置信息的特征在于，根据二值化影像 的行人的大小，改变DoG过滤器的参数值而获得。

（发明的效果）

根据本发明的基于远红外线摄像头的夜间行人识别方法，使用远红外 线摄像头和DoG过滤器而设置候选组，通过根据行人的行为特性所学习的 分类器，提高识别行人的正确度，事前防止人命事故。

附图说明

图1是根据本发明的优选实施例的基于远红外线摄像头的夜间行人识 别方法的流程图；

图2是呈现像素中的第1回应值和分散值的乘积计算的第2回应值的 结果的图；

图3是呈现本发明的二值化方法和灰度值二值化方法的差异的图；

图4是呈现行人分类方法的图；及

图5是呈现为了DoG过滤器的参数值变更的领域分割的图。

具体实施方式

以下，参照附图详细说明根据本发明的优选实施例的基于远红外线摄 像头的夜间行人识别方法。

如图1所图示，根据本发明的基于远红外线摄像头的夜间行人识别方 法，包括：

接收行人的热成像影像的输入的阶段(S110)；利用DoG(Difference  of Gaussian)过滤器获得输入的影像的各像素的第1回应值的阶段(S120)； 测定输入的影像的各像素的分散值(Variance)的阶段(S130)；由DoG过滤 器的第1回应值和分散值的乘积计算像素的第2回应值，对其二值化并生 成二值化影像的阶段(S140)；从二值化影像生成行人候选组群集的阶段 (S150)；把行人候选组群集根据行人的行为特性所学习的一个以上的分类 器分类而识别行人的阶段(S160)；算出行人的位置的阶段(S170)。

首先，接收行人的热成像影像的输入的阶段(S110)中，通过投影人看 不见的红外线带域的光的远红外线摄像头而检测行人。通常，使用CCD、 CMOS元件接收通过透镜进入的光并转化成电子信号的摄像头起到检测可 视光领域的光并投影的作用，因此能够获得近似于肉眼所看的影像。

相反，远红外线摄像头使用光的波长中8μm到15μm的远红外线带域， 这种远红外线带域的波长根据温度而变化，因此具有能够区分温度的优点。 人的体温具有10μm的波长，因此通过远红外线摄像头，能够更正确地检 测行人。

其次，利用DoG(Difference of Gaussian)过滤器获得输入的影像的 各像素的第1回应值的阶段(120)中，利用消除灰色影像的噪音并检出特 征的影像处理算法即DoG过滤器，获得输入的影像的各像素的第1回应值。

DoG过滤器如下面的[数学式1]，利用具有不同标准偏差的两个高斯 过滤器对输入的影像分别进行卷积(convolution，求特定像素周边的像素 和各自加重值的乘积后相加的值)而生成模糊的影像并计算两个影像的差 值。

【数学式1】

$f(x;\mu ,{\sigma }_1,{\sigma }_2)=\frac{1}{{\sigma }_1\sqrt{2\pi }}\exp (-\frac{{(x-\mu )}^2}{{2\sigma }_1^2})-\frac{1}{{\sigma }_2\sqrt{2\pi }}\exp (-\frac{{(x-\mu )}^2}{{2\sigma }_2^2})$

更具体地说，DoG过滤器是以影像特征检出目的的算法，增进数字影 像中边缘(Edge)及其他不同细节的可视性时使用。

并且，通过高斯过滤器减少了噪音，能够消除影像中不必要的信息， 通过抽出客体特征而维持因照明而无法看见的重要信息。

其次,测定输入的影像的各像素的分散值(Variance)的阶段(S130)中, 算出输入的影像的特征像素和相邻像素的明暗差异(contrast)，测定各像 素的分散值。

其次，由DoG过滤器的第1回应值和分散值的乘积计算像素的第2回 应值，对其二值化并生成二值化影像的阶段(S140)中，像素的回应值低时 为0(黑色)，高时为1(白色)而进行二值化。

二值化(binarization)是指只通过0(黑)和1(白)表现所有像素。

热成像的行人具有DoG过滤器的第1回应值和分散值非常高的特性， 因此二值化像素的第2回应值时，行人的第2回应值为1，比背景的第2 回应值0较高，能够明确区分行人和背景。

即，行人为白色，背景为黑色。

其次，从二值化影像生成行人候选组群集的阶段(S150)中，根据连接 要素标记(Component Labeling)方法，集合影像的像素中的第2回应值类 似的部分而生成行人候选组群集。

Component Labeling（成分标记）是指，区分影像内互相分开的物体 领域时使用的影像处理算法，连接的像素上粘贴相同的编号(Label)，未 连接的其他像素上粘贴不同的编号，使各个体独立化。

即，影像内有不同种类的物体时，通过Labeling（标记）过程，给每 个物体赋予固有像素值，只把一个物体输出到画面时，可只输出相当于物 体的固有像素值。

其次，把行人候选组群集根据行人的行为特性所学习的一个以上的分 类器分类而识别行人的阶段(S160)中，测定相对于车辆左右移动的行人群 集，对前后移动的行人群集等进行学习后生成的分类器的信赖值，融合各 个信赖值并最终区分行人与否。

行人候选组群集分为三个群集，即行人向左边走或跑的群集、向前后 走或跑的群集、向右边走或跑的群集。

这里，学习是指根据行人移动的方向和角度进行多次实验后，对相似 的移动获得数据，通过多次学习和输入人的身体特征数据，区分不是行人 的事物或动物，可从行人群集中排除。

如图4所图示，通过学习区分的群集，保存到各个分类器1、2、3中， 按各分类器测定信赖值后，最终融合(Fusion)三种信赖值。

信赖值是对保存在分类器的学习数据（行动模式数据）和通过影像收 集的行人群集的行动模式的类似度进行比较而测定，行动模式的类似度越 高，信赖值也越高。

并且，分类器识别行人时，也能识别行人向哪个方向移动即行人的移 动方向。

最后，算出行人的位置的阶段(S170)中，利用分类的行人的影像的位 置信息和摄像头校准信息，最终算出行人的位置。

掌握行人的位置信息时，根据摄像头内行人与车辆的距离而大小会不 同，因此有必要根据行人的大小变更DoG过滤器的参数值(σ)。

因此利用DoG(Difference of Gaussian)过滤器获得所述输入的影像 的第1回应值的阶段(S120)中，如图5所图示，按影像的A、B、C领域， 适用不同的DoG过滤器的参数值而抽出第1回应值，掌握行人的位置。

摄像头校准信息是指拍摄摄像头与被摄体之间的距离或照明有急剧 变化的场面时，测定预定的镜头焦距或光圈刻度并提前标示。若利用校准， 具有正确显示对象场面的焦点或曝光的优点。

因此，利用参数值的变化和摄像头校准信息的话，能够更正确地掌握 行人的位置。

如上述，根据本发明的基于远红外线摄像头的夜间行人识别方法，与 传统技术不同，用DoG过滤器过滤了远红外线影像并二值化，从而设定行 人群集，比较行人群集的行动模式与学习并保存的行动模式的类似度而识 别行人，相比传统，提高了夜间行人识别的正确度。

以上，根据本发明的优选实施例，说明了本发明的基于远红外线摄像 头的夜间行人识别方法，但本发明的权利范围并不限定于所述实施例，本 领域从业者在不超过本发明的技术思想的范围内，可进行修正、变更及实 施多种变形的实施例。