能见度推断装置、能见度推断方法以及记录介质

摘要

提供能见度推断装置等，不需要特別的测定装置就能够推断能见度。获取由摄影单元(C)拍摄室外而得到的图像(S1)，从图像中推断环境光和光的透射映射，基于环境光和光的透射映射，生成对图像进行锐化而得到的锐化图像(S2)，从锐化图像中识别物体，基于与识别出的该物体的实际尺度相关的信息，将该物体的像素尺度换算为该物体的物理尺度(S5)，根据物体的物理尺度的进深方向上的成分来计算物体的进深方向距离(S6)，将透射映射与距摄影单元的距离的关系式应用于图像来计算大气的光衰减参数(S8、S20)，基于应用了计算出的光衰减参数的关系式，根据进深方向距离来计算能见度(S8、S21)。

说明书

技术领域

本发明涉及基于图像处理的能见度推断装置、能见度推断方法以及记录介质。

背景技术

由于雾、霾、雨、雪等恶劣天气条件以及多云、夜间的照度条件而产生视野不良，作为测量该视野不良的尺度，测定能见度。例如，在专利文献1中，公开了以下气象测定装置：光源朝向测定对象空间照射近红外线，分光照相机安装有偏振滤光片，使在测定对象空间的被测定物处发生偏振的近红外线中的与偏振滤光片的偏振角相同的近红外线透过，由此拍摄该被测定物的二维图像，在图像分析装置中，基于二维图像信息，根据测定对象空间的被测定物的不同的分光和偏振光图像信息，通过相关等统计处理来高精度地识别测定对象空间的被测定物的种类，并且计算量和能见度。

现有技术文献

专利文献

专利文献1：日本特开2012-86604号公报

发明内容

发明要解决的课题

但是，在上述技术中，从光源照射近红外线，通过其反射光来测定能见度等，因此需要特别的测定装置，尤其是在多个观测点设置测定装置的情况下，成本增大。

因此，本发明是鉴于上述问题等而完成的，其课题的一例的目的在于，提供不需要特别的测定装置就能够推断能见度的能见度推断装置等。

用于解决课题的手段

为了解决上述课题，技术方案1所记载的发明的特征在于，具有：获取单元，其获取由摄影单元拍摄室外而得到的图像；推断单元，其从所述图像中推断环境光和光的透射映射；图像锐化单元，其基于所述环境光和所述透射映射，生成对所述图像进行锐化而得到的锐化图像；物体尺度换算单元，其从所述锐化图像中识别物体，基于与识别出的该物体的实际尺度相关的信息，将该物体的像素尺度换算为该物体的物理尺度；进深方向距离计算单元，其根据所述物体的物理尺度的进深方向上的成分来计算所述物体的进深方向距离；光衰减参数计算单元，其将所述透射映射与距所述摄影单元的距离的关系式应用于所述图像来计算表示光衰减程度的光衰减参数；以及能见度计算单元，其基于应用了计算出的所述光衰减参数的所述关系式，根据所述进深方向距离来计算能见度。

另外，技术方案2所记载的发明在技术方案1所记载的发明中，特征在于，当无法在所述图像中识别出用于计算所述进深方向距离的物体的情况下，根据所述摄影单元的设置高度和拍摄方向来计算所述图像中的所述进深方向距离。

另外，技术方案3所记载的发明在技术方案1或2所记载的发明中，特征在于，所述关系式除了指数函数之外，还包含正弦函数和余弦函数中的至少一个函数要素，所述光衰减参数包含由所述光衰减参数计算单元计算出的针对所述正弦函数和余弦函数中的至少一个函数要素的参数。

另外，技术方案4所记载的发明在技术方案1至3中的任意一项所记载的发明中，特征在于，所述能见度计算单元根据所述进深方向距离和基于应用了计算出的所述光衰减参数的所述关系式的规定的所述图像的区域中的光透射值来计算能见度。

另外，技术方案5所记载的发明在技术方案1至4中的任意一项所记载的发明中，特征在于，所述能见度计算单元计算基于应用了计算出的所述光衰减参数的所述关系式的光透射值成为规定的值的所述能见度。

另外，技术方案6所记载的发明在技术方案1至5中的任意一项所记载的发明中，特征在于，所述能见度推断装置还具有将所述能见度转换为能见度等级的能见度等级单元。

另外，技术方案7所记载的发明的特征在于，包含以下步骤：获取步骤，获取单元获取由摄影单元拍摄室外而得到的图像；推断步骤，推断单元从所述图像中推断环境光和光的透射映射；图像锐化步骤，图像锐化单元基于所述环境光和所述透射映射，生成对所述图像进行锐化而得到的锐化图像；物体尺度换算步骤，物体尺度换算单元从所述锐化图像中识别物体，基于与识别出的该物体的实际尺度相关的信息，将该物体的像素尺度换算为该物体的物理尺度；进深方向距离计算步骤，进深方向距离计算单元根据所述物体的物理尺度的进深方向上的成分来计算所述物体的进深方向距离；光衰减参数计算步骤，光衰减参数计算单元将所述透射映射与距所述摄影单元的距离的关系式应用于所述图像来计算表示光衰减程度的光衰减参数；以及能见度计算步骤，能见度计算单元基于应用了计算出的所述光衰减参数的所述关系式，根据所述进深方向距离来计算能见度。

另外，技术方案8所记载的发明的特征在于，使计算机作为以下单元发挥功能：获取单元，其获取由摄影单元拍摄室外而得到的图像；推断单元，其从所述图像中推断环境光和光的透射映射；图像锐化单元，其基于所述环境光和所述透射映射，生成对所述图像进行锐化而得到的锐化图像；物体尺度换算单元，其从所述锐化图像中识别物体，基于与识别出的该物体的实际尺度相关的信息，从该物体的像素尺度来换算该物体的物理尺度；物体进深方向距离计算单元，其根据所述物体的物理尺度的进深方向上的成分来计算所述物体的进深方向距离；光衰减参数计算单元，其将所述透射映射与距所述摄影单元的距离的关系式应用于所述图像来计算表示光衰减程度的光衰减参数；以及能见度计算单元，其基于应用了计算出的所述光衰减参数的所述关系式，根据所述进深方向距离来计算能见度。

发明效果

根据本发明，获取由摄影单元拍摄室外而得到的图像，从图像中推断环境光和光的透射映射，基于环境光和光的透射映射，生成对图像进行锐化而得到的锐化图像，从锐化图像中识别物体，基于与识别出的该物体的实际尺度相关的信息，将该物体的像素尺度换算为该物体的物理尺度，根据物体的物理尺度的进深方向上的成分来计算物体的进深方向距离，将透射映射与距摄影单元的距离的关系式应用于图像来计算大气的光衰减参数，基于应用了计算出的光衰减参数的关系式，根据进深方向距离来计算能见度，由此不需要特別的测定装置就能够推断能见度。

附图说明

图1是示出本发明的实施方式的能见度推断系统的概要结构例的示意图。

图2是示出图1的信息处理服务器装置的概要结构例的框图。

图3是示出存储于图2的信息处理服务器装置的图像数据库中的数据的一例的示意图。

图4是示出存储于图2的信息处理服务器装置的物体数据库中的数据的一例的示意图。

图5是示出存储于图2的信息处理服务器装置的照相机信息数据库中的数据的一例的示意图。

图6是示出图1的终端装置的概要结构例的框图。

图7是示出计算能见度的图像处理的一例的流程图。

图8是示出照相机拍摄的图像的一例的示意图。

图9A是示出物体的局部图像区域的一例的示意图。

图9B是示出物体的局部图像区域的一例的示意图。

图9C是示出物体的局部图像区域的一例的示意图。

图10A是示出照相机拍摄的图像的一例的示意图。

图10B是示出进深方向距离的一例的示意图。

图10C是示出进深方向距离的一例的示意图。

图10D是示出进深方向距离的一例的示意图。

图11A是示出照相机拍摄的图像的一例的示意图。

图11B是示出照相机拍摄的图像的一例的示意图。

图12是示出照相机系统模型的一例的示意图。

图13A是示出图像和进深方向距离的一例的示意图。

图13B是示出图像和进深方向距离的一例的示意图。

图14是示出能见度等级的一例的示意图。

图15是示出图7的图像锐化的子程序的流程图。

图16是示出图7的推断能见度的子程序的流程图。

图17A是示出计算能见度的一例的示意图。

图17B是示出计算能见度的一例的示意图。

图18是示出照相机系统模型的一例的示意图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。另外，以下所说明的实施方式是将本发明应用于能见度推断系统的情况下的实施方式。

[1.能见度推断系统的结构和功能的概要]

首先，使用图1对本发明的一个实施方式的能见度推断系统的结构和概要功能进行说明。

图1是示出本发明的实施方式的能见度推断系统的概要结构例的示意图。

如图1所示，能见度推断系统1具有：信息处理服务器装置10，其根据来自设置在道路等的各地点的照相机C的图像数据来计算各地点的能见度等气象信息；以及终端装置20，其显示从信息处理服务器装置10提供的能见度等气象信息。

各终端装置20和作为能见度推断装置的一例的信息处理服务器装置10通过网络3而连接。作为摄像单元的一例的照相机C拍摄道路等室外的气象状况。照相机C通过经由无线站5的无线通信而与信息处理服务器装置10进行通信。另外，网络3例如可以是因特网、专用通信线路(例如，CATV(Community Antenna Television：社区公共电视天线系统)线路)、移动通信网(包含基站等)。

信息处理服务器装置10是提供各种气象信息的公司的服务器装置。信息处理服务器装置10向终端装置20提供高速公路、普通道路、铁路、机场等交通设施的气象信息以及航路、港口、海上等的气象信息。例如，作为气象信息的一例，可以列举天气、气温、湿度、气压、风向、风速、表示视野的程度的能见度等信息。

此外，信息处理服务器装置10也可以提供车辆拥堵、通行限制等交通信息、火车、飞机等的运行状况以及船舶的航行状况。

此外，信息处理服务器装置10对来自各地点的照相机C的图像数据进行图像分析，计算能见度等与气象相关的值。此外，信息处理服务器装置10也可以对来自照相机C的图像数据进行图像分析，计算并提供路面的状态、跑道的状态、海上的状态、交通量等。

终端装置20从信息处理服务器装置10接收气象信息，并显示气象信息。

照相机C例如是具有CCD(Charge Coupled Device：电荷耦合器件)图像传感器或CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)图像传感器等摄像元件的彩色或黑白数码照相机。照相机C拍摄静态图像、动态图像等。照相机C可以是搭载于车辆、飞机、火车等移动体的照相机。照相机C也可以是搭载于智能电话等移动终端的照相机。

各照相机C例如在高速公路等道路上按照规定的间隔设置或设置在规定的位置。在道路旁设置有杆，并在规定的高度设置有照相机C。照相机C例如朝向道路的行进方向。只要将照相机C设置为能够从道路的上方进行拍摄即可。

[2.各信息处理服务器装置的结构和功能]

(2.1信息处理服务器装置10的结构和功能)

接下来，使用图2至图5对信息处理服务器装置10的结构和功能进行说明。

图2是示出信息处理服务器装置10的概要结构例的框图。图3是示出存储于信息处理服务器装置10的图像数据库中的数据的一例的示意图。图4是示出存储于信息处理服务器装置10的物体数据库中的数据的一例的示意图。图5是示出存储于信息处理服务器装置的照相机信息数据库中的数据的一例的示意图。

如图2所示，作为计算机发挥功能的信息处理服务器装置10具有通信部11、存储部12、显示部13、操作部14、输入输出接口部15以及控制部16。并且，控制部16和输入输出接口部15经由系统总线17而连接。

通信部11与网络3连接，对与各照相机C和各终端装置20的通信状态进行控制。

存储部12例如由硬盘驱动器、硅磁盘驱动器等构成，存储操作系统和服务器程序等各种程序以及气象信息等。另外，各种程序例如也可以经由网络3从其他服务器装置等获取，也可以记录在记录介质中并经由驱动装置读入。

另外，在存储部12中构建有图像数据库12a(以下，称为“图像DB 12a”)、物体信息数据库12b(以下，称为“物体信息DB 12b”)、机器学习数据库12c(以下，称为“机器学习DB12c”)、气象和交通信息数据库12d(以下，称为“气象和交通DB 12d”)、照相机信息数据库12e(以下，称为“照相机信息DB 12e”)等。

在图像DB 12a中存储有各照相机C拍摄的图像数据。如图3所示，在图像DB 12a中，与用于确定照相机C的照相机ID相关联地存储有拍摄的时刻、规定的格式形式的图像数据。

另外，照相机C的位置信息在存储部12中可以与照相机ID相关联地存储于其他数据库中。

在物体信息DB 12b中，作为与识别出的物体的实际尺度相关的信息的一例，按照物体的每种类别存储有物体的尺寸信息。例如，如图4所示，在物体信息DB 12b中，与用于确定物体的类别的物体类别ID相关联地存储有物体类别、物体的尺寸信息。作为物体的尺寸信息，可以列举全长[m]×高度[m]×宽度[m]等。

这里，作为物体的类别的一例，在车辆的情况下，可以列举普通汽车、轻型车、公共汽车、小型公共汽车、大型卡车、中型卡车等类别。作为物体的类别的一例，在飞机的情况下，可以列举客机、轻型飞机等类别。作为物体的类别的一例，在建筑物等地标的情况下，可以列举小型大厦、中型大厦等类别。也可以按照各汽车制造商的每种车型来设定物体类别ID。

在机器学习DB 12c中存储有基于AI(Artificial Intelligence：人工智能)的分析所需的数据。在物体识别的机器学习的情况下，存储有物体识别用的学习完毕的数据。例如，是通过作为教师数据的物体的每个类别的图像进行学习后的物体识别用的学习完毕的数据。对物体的类别分配有物体类别ID。

在气象和交通DB 12d中存储有气温、湿度、气压、风向、风速、天气、水温、波浪、海流、潮流、气压配置、来自卫星的各种图像数据等气象数据。这些气象数据是从各船舶、气象卫星、各国的气象机构、观测地点等获得的。另外，在气象和交通DB 12d中，除了存储有当前、过去的气象数据之外，也存储有计算出的预测的气象数据。例如，可以列举低气压的预想路径和气压的变化等。

在气象和交通DB 12d中存储有车辆拥堵、通行限制等交通信息、火车、飞机等的运行状况、船舶的航行状况的信息。另外，在气象和交通DB 12d中存储有包括道路、铁路、海图等的地图信息。在地图信息中，在船舶的情况下，也可以包含冰山的位置、海盗出没的地区等回避区域、排出量限制区域等信息。

在照相机信息DB 12e中存储有设置各照相机C的位置等信息。如图5所示，在图像DB 12a中，与用于确定照相机C的照相机ID相关联地存储有设置照相机C的场所的位置信息(例如，经度和纬度)、设置地点的照相机C的高度、照相机C的拍摄方向等。照相机C的高度可以是从照相机C的拍摄中心到设置面的高度，也可以是支承照相机C的杆的高度。照相机C的拍摄方向例如用方位角、仰角等来表示。另外，在照相机的朝向可变的情况下，拍摄时的照相机的拍摄方向的数据也可以存储于图像DB 12a中。

显示部13例如由液晶显示元件或有机EL(Electro Luminescence：电致发光)元件等构成。操作部14例如由键盘和鼠标等构成。输入输出接口部15进行通信部11等与控制部16之间的接口处理。

控制部16由CPU(Central Processing Unit：中央处理单元)16a、ROM(Read OnlyMemory：只读存储器)16b、RAM(Random Access Memory：随机存取存储器)16c等构成。

(2.2终端装置20的结构和功能)

接下来，使用图6对终端装置20的结构和功能进行说明。

图6是示出终端装置20的概要结构的一例的框图。

如图6所示，作为计算机发挥功能的终端装置20具有通信部21、存储部22、显示部23、操作部24、输入输出接口部25以及控制部26。而且，控制部26和输入输出接口部25经由系统总线27而连接。另外，由于终端装置20具有与信息处理服务器装置10大致相同的结构和功能，因此省略共通部分的说明。

通信部21与网络3连接，对与信息处理服务器装置10的通信状态进行控制。

存储部22像信息处理服务器装置10的存储部12那样例如由硬盘驱动器、硅磁盘驱动器等构成。

显示部23对应显示部13，操作部24对应操作部14，输入输出接口部25对应输入输出接口部15。另外，控制部26对应控制部16，由CPU 26a、ROM 26b、RAM 26c等构成。

[3.能见度推断系统1的动作]

接下来，使用图对本发明的一个实施方式的能见度推断系统1的动作进行说明。

(3.1能见度推断系统1的动作)

使用图7至图14对能见度推断系统1的动作进行说明。

图7是示出计算能见度的图像处理的一例的流程图。图8是示出照相机拍摄的图像的一例的示意图。图9A至图9C是示出物体的局部图像区域的一例的示意图。图10B至图10D是示出进深方向距离的一例的示意图。图11A和图11B是示出照相机拍摄的图像的一例的示意图。图12是示出照相机系统模型的一例的示意图。图13A和图13B是示出图像和进深方向距离的一例的示意图。图14是示出能见度等级的一例的示意图。

如图7所示，能见度推断系统1获取并存储图像数据(步骤S1)。具体而言，信息处理服务器装置10从设置于室外的各照相机C获取各照相机C拍摄的图像。更具体而言，控制器16从各照相机C接收各照相机C的照相机ID和图像数据。在图像数据中可以包含有拍摄时刻的数据。

控制部16根据照相机ID将接收到的图像数据存储于图像DB 12a中。

信息处理服务器装置10作为如下的获取单元的一例发挥功能：获取由摄像单元拍摄室外而得到的图像。

接着，能见度推断系统1进行图像锐化处理(步骤S2)。具体而言，信息处理服务器装置10从图像DB 12a获取图像，在图像由于雾、霾、雨等而不清晰的情况下，进行图像锐化处理。更具体而言，控制器16从所获取的图像中推断环境光和光的透射映射，根据环境光和透射映射来生成对图像进行锐化后的锐化图像。另外，雾和霾为相同气象现象，与霾相比，在雾的情况下能见度是更近的距离。详细内容在后述的图像锐化处理子程序中说明。

这里，为了除去雾、霾，例如，使用物理模型进行图像锐化处理。物理模型例如是式(1)的模型。

I(x)＝J(x)t(x)+A(1-t(x))…(1)

其中，照相机C拍摄到的具有雾等的原始图像为I(x)，没有雾等的锐化图像为J(x)，环境光的强度为A，光的透射映射为t(x)。光的透射映射也被称为光传输映射、光衰减函数、光传递函数。另外，向量x是图像内的二维位置向量(x，y)，例如是I(x，y)，J(x，y)，t(x，y)。

在该物理模型(也称为线性图像生成模型或雾图像模型)中，关于图像的亮度(I(x))，假定有两个光路，在图像上的物体存在来自太阳或月亮等的伴随着由雾或霾引起的光衰减的光(J(x)t(x))和从太阳或月亮等直接进入图像的光(A(1-t(x)))。另外，在本实施方式中，如图8所示，将图像的左下作为原点。向量x＝0是图像的下部，在通常的场景中，相当于最接近照相机C的部分。

关于该透射映射t(x)，根据图像内的位置，该透射映射t(x)呈指数函数变化。

t(x)＝exp(-beta×d(x))…(2)

其中，将从照相机视点到图像内的进深方向上的距离设为d(x)。beta是调整光衰减程度的参数，是光衰减参数的一例。光衰减参数是表示由气溶胶等引起的光衰减程度的系数。或者，光衰减参数也可以是光的散射系数。式(2)是透射映射与距摄像单元的距离之间的关系式的一例。

透射映射t(x)相当于图像内的雾的浓度，离照相机C越远，则浓度越高，离照相机C越近，则雾的浓度越低。另外，向量x是图像内的二维位置向量(x，y)，例如是t(x，y)，d(x，y)。

另外，如果拍摄到的图像没有雾或霾并且图像是清晰的，则信息处理服务器装置10可以不进行图像锐化处理而进行接下来的物体识别处理。

信息处理服务器装置10作为如下的推断单元的一例发挥功能：从上述图像中推断环境光和光的透射映射。信息处理服务器装置10作为如下的图像锐化单元的一例发挥功能：根据上述环境光和上述透射映射来生成对上述图像进行锐化后的锐化图像。

接着，能见度推断系统1识别物体(步骤S3)。具体而言，信息处理服务器装置10的控制部16参照机器学习DB 12c，通过机器学习的图像识别处理来识别汽车、货运车等物体，也判定物体的类别。例如，如图8所示，控制部16在图像30中识别道路上的物体，确定各物体的物体类别ID。另外，在图8中，识别出的物体在图像30中用矩形框来表示。图像30的大小为p像素×q像素。例如，作为机器学习的方法，可以列举CNN(Convolution Neural Network：卷积神经网络)、Faster RCNN(Region Convolution Neural Network：区域卷积神经网络)、SSD(Single Shot MultiBox Detector：单步多框检测)等。

在识别出物体的情况下(步骤S3；是)，能见度推断系统1计算图像的物体部分的大小(步骤S4)。例如，如图9A至图9C所示，控制部16提取普通汽车这一物体的局部图像区域30a、大型卡车这一物体的局部图像区域30b、普通汽车这一物体的局部图像区域30c等各物体的局部图像区域。控制部16在局部图像区域30a中以像素为单位来测量物体的高度ha×宽度wa×全长da。控制器16在局部图像区域30b中以像素为单位来测量物体的高度hb×宽度wb×全长db。控制器16在局部图像区域30c中以像素为单位来测量物体的高度hc×宽度wc×全长dc。例如，控制器16从局部图像区域30a提取边缘，应用长方体的模型，以像素为单位来测量物体的高度×宽度×全长。另外，控制部16也计算各物体的朝向。

通过机器学习的图像处理，控制部16可以以像素为单位来计算物体的高度×宽度×全长或者计算物体的朝向。作为图像的物体部分的大小，控制部16可以计算各局部图像区域的x方向、y方向的像素。例如，局部图像区域30a的大小是xa像素×ya像素，局部图像区域30b的大小是xb像素×yb像素，局部图像区域30c的大小是xc像素×yc像素。此外，控制部16也可以在对局部图像区域30a、30b、30c进行三维旋转的图像处理使得与高度×宽度对应的物体的表面成为正面之后求取物体的高度hc×宽度wc×全长dc。

另外，在物体的朝向与照相机C的拍摄方向大致一致的情况下，全长Da、Db、Dc等是物体的物理尺度的进深方向上的成分的一例。另外，控制部16也可以根据物体的朝向与摄像头C的拍摄方向之间的角度、根据全长Da、高度Ha或者宽度Wa等来计算物体的物理尺度的进深方向上的成分。

接着，能见度推断系统1计算物体的物理尺度(步骤S5)。具体而言，控制器16根据确定出的物体类别ID，参照物体信息DB 12b来提取全长[m]×高度[m]×宽度[m]作为物体的尺寸信息。

信息处理服务器装置10作为如下的物体尺度换算单元的一例发挥功能：从上述锐化图像中识别物体，基于与该识别出的物体的实际尺度相关的信息，将该物体的像素尺度换算为该物体的物理尺度。

控制部16计算像素尺度与物体的物理尺度的比率。如图9A所示，控制部16计算像素尺度的高度ha×宽度wa×全长da和物理尺度的高度Ha×宽度Wa×全长Da的比率，即比率Ha/ha、比率Wa/wa以及比率Da/da。该比率表示平均每个像素的物理尺度[m]。

另外，也可以将比率Ha/ha、比率Wa/wa以及比率Da/da的平均值作为像素尺度与物体的物理尺度的比率。另外，控制部16在进行平均时，可以对根据图像30中的物体的朝向进行校正后的值进行平均。作为校正，可以是如下的校正：进行旋转，使得局部图像区域中的物体的高度×宽度×全长的各边朝向照相机C的正面。另外，在难以测定物体的全长的情况下，也可以仅是高度、宽度的比率。也可以是局部图像区域的大小xa×ya来代替像素尺度的高度ha×宽度wa。

当存在多个物体的情况下，控制部16可以计算多个物体的像素尺度与物体的物理尺度的比率。控制部16也可以主要针对接近照相机C的物体来计算像素尺度与物体的物理尺度的比率。

在物体的正面或后面大致朝向照相机C的情况下，比率Da/da、Db/db、Dc/dc是针对图像30的规定的y方向上的像素位置的平均每个像素的物理尺度进深方向距离。另外，关于平均每个像素的物理尺度进深方向距离，也可以代替比率Da/da而是以使物体的宽度方向成为进深的方式对图像中的物体进行旋转变换而求出的wa'的比率Ha/wa'。这里，进深方向距离在图像30中可以是y方向的距离，也可以是沿着道路表面的距离，也可以是距照相机C的视点的距离。

接着，能见度推断系统1推断进深方向距离(步骤S6)。例如，如图10A所示，控制部16根据局部图像区域30a的中心坐标(xa0，ya0)和局部图像区域30c的中心坐标(xc0，yc0)那样的各物体的中心坐标，计算像素尺度下的各物体的进深方向距离(例如，y1＝yc0-ya0)。控制部16根据ya0处的比率Da/da和yc0处的比率Dc/dc，将从y＝ya0至y＝yc0的每个像素的物理尺度的进深方向距离相加，像图10B所示那样推断物体间的进深方向距离dy1。

另外，如图10B所示，控制器16也可以根据比率Wa/wa、比率Wc/wc以及y1来计算物体的进深方向距离。这里，假设在从y＝ya0到y＝yc0的范围内，该比率从Wa/wa到Wc/wc成比例地变化或者以规定的递增函数变化。如图10C所示，在物体较长的情况下，物体的进深方向距离可以是长度Db或长度dy3。

另外，也可以是，在图10B中，在局部图像区域30a的物体和局部图像区域30c的物体中，将物体的大小归一化，在物体与物体之间考虑相似倍则，计算出充满几个物体，控制部16根据物体数×全长[m]来推断进深方向距离。

另外，也可以如图10D所示，控制部16根据基于相似倍则的外观上的长度来推断进深方向距离。例如，假设车辆的横向宽度大致恒定(不论是进深的推断精度允许数十m的误差的情况，还是按照比率Wa/wa和比率Wc/wc等进行归一化的情况)并且进深方向为道路的进深方向，选择车辆正面的横向宽度的长度Wa、Wc的大小，控制部16计算Wa(例如，2m)、Wc×wc/wa(例如，1m)作为外观横向宽度长。

接着，将车辆的全长设为5m左右，控制部16根据相似倍则来推断进深。例如，在外观横向宽度长为2m、外观横向宽度长为1m的两辆车之间，根据外观全长Da(例如，5m)和外观全长Da'＝Da×wa/wc(例如，10m)，将能见度推断为例如5m+10m＝15m。另外，在物体不是相同的物体类别ID的情况下，将大小归一化。例如，控制部16也可以使用比率Wa/wa和比率Wc/wc的倒数来代替wa和wc进行计算。在该情况下，例如，外观全长Dc'＝Dc×wa/wc×Wc/Wa。

另外，也可以使用AI，通过图像处理，模型化为3D，计算各物体间的进深方向距离和从照相机C到各物体的进深方向距离。

信息处理服务器装置10也作为如下的进深方向距离计算单元的一例发挥功能：根据上述物体的物理尺度的进深方向上的成分来计算上述物体的进深方向距离。

在无法识别物体的情况下(步骤S3；否)，能见度推断系统1利用照相机系统模型来计算进深方向距离(步骤S7)。无法识别物体的情况是指例如像图11A和图11B所示那样在图像31、图像32之中没有拍到车辆等物体的情况。信息处理服务器装置10按照下述的式(3)来计算物理尺度的进深方向距离。

照相机系统模型中的进深方向距离dv为式(3)。

dv＝1/(v-vh)×H×f/cos(theta)…(3)

这里，如图12所示，在照相机系统模型中，照相机C的照相机中心为C0，支承照相机C的杆的长度为H(从照相机C的设置点S到照相机中心C0)，杆的倾斜为theta。假设与图像31、32对应的图像面P位于距照相机中心C0的焦距f处。如图12所示，进深方向距离dv是距安装点S的水平距离，如图11A、图11B以及图12所示，向量v在图像面P上是以y＝q为基点朝向y＝0的方向的向量。向量vh是以y＝q为基点朝向y＝0的方向直至图像中的与无穷远对应的图像点为止的向量。d0是图像面P的与图像31、32的y＝0对应的点的进深距离。这里，长度H是摄像单元的设置高度的一例。杆的倾斜theta是摄像单元的拍摄方向的一例。进深方向距离dv是图像的进深方向距离的一例。

如图13A和13B所示，关于向量v与进深方向距离dv的关系，在图像31、32中，像式(3)所示那样，向量v越接近vh，则进深方向距离dv越长，v越接近y＝0，则进深方向距离dv越短。

接着，能见度推断系统1推断能见度(步骤S8)。信息处理服务器装置10例如将透射映射t(x)与距离的关系式(2)应用于图像30(I(x))来计算表示光衰减程度的光衰减参数beta，根据基于计算出的光衰减参数beta的关系式(2)，并根据进深方向距离来推断能见度。这里，进深方向距离是在步骤S6中推断出的距离或在步骤S7中计算出的距离。另外，详细内容在后述的推断能见度的子程序中进行说明。

如图14所示，信息处理服务器装置10可以用能见度等级来表现物理尺度下的推断出的能见度。例如，在能见度等级为等级1时，能见度为10m以下，看不清前方，因此是在道路的情况下要进行交通限制的等级。在能见度等级为等级2时，能见度从10m至50m，处于相当不容易看到前方的状态，是在车辆的情况下要进行速度限制的等级。在能见度等级为等级3时，能见度从50m至100m，是要唤起注意的等级。通过这样按照等级来划分能见度，能够吸收能见度推断的误差，能够表示能见度。另外，等级的设定可以由用户任意设定。在飞机场的情况下，能见度的等级例如可以是等级1～5，能见度以100m为单位。

接着，能见度推断系统1输出能见度(步骤S9)。具体而言，信息处理服务器装置10将从各照相机C的图像中推断出的能见度或能见度等级的信息与各照相机C的位置信息一同发送给终端装置20。

终端装置20在地图上，根据位置信息，在显示部23显示能见度信息。另外，地图信息可以从终端装置20的存储部22获取，也可以从信息处理服务器装置10等外部获取。

另外，信息处理服务器装置10也可以根据图像30来计算雾等的不清晰程度，在晴天的情况下不进行上述的能见度计算。例如，在图像的浓淡值(例如，亮度)为100(0～255级)以上并且其偏差值为规定的值以上的情况下，控制部16判定为晴天。另外，偏差值的规定的值可以是使用过去的数据，根据对晴天与否进行了分类的图像，以统计的方式决定的。

(3.2图像锐化的子程序)

接下来，使用图15对图像锐化的子程序进行说明。

图15是示出图像锐化的子程序的流程图。

信息处理服务器装置10基于式(1)，根据由照相机C拍摄的图像I(x)，像以下这样计算锐化图像J(x)。

如图15所示，信息处理服务器装置10决定环境光的强度(步骤S10)。这里，在亮度以8位(0～255)表现的彩色图像(例如，RGB图像)中，在自然图像的情况下，图像具有各种各样的明暗。另一方面，在规定的图像区域(patch：块)中，由于阴影或黑色物体等的存在，存在亮度值低的像素。另外，亮度的最小值为0。当存在太阳光、在图像中存在天空的情况下，假定为在每个RGB通道或块中，最亮的像素的0.1％对应于天空。控制部16根据图像I(x)内的该部位的像素来推断环境光的强度A。

接着，信息处理服务器装置10推断光的透射映射t(x)(步骤S11)。例如，在式(1)中，作为第1近似，在假设在真实的图像J(x)中暗通道的亮度为0的情况下，取得

I(x)＝A(1-t(x))…(4)。

其中，I(x)表示暗通道的成分I

根据该式(4)，透射映射能够变形为

t(x)＝1-I(x)/A…(5)。

其中，0＜t(x)的值＜1。

在许多情况下，从照相机C观察时，雾图像的天空区域被认为位于无限远。因此，在天空区域中，t(x)的值大致为0，I≒A，即天空图像I与环境光的强度A相等。

接着，信息处理服务器装置10对图像进行锐化(步骤S12)。例如，为了获取锐化图像，在式(1)中，成为

J(x)＝(I(x)-A)/t(x)+A…(6)。

其中，为了防止除以0，提供常数t0，通过max(t(x)，t0)来代替t(x)而进行式(6)的计算。

除了以上那样的He的算法之外，也可以是He的各种各样的改良方法、使图像的对比度最大化的去除雾的方法、使用中值滤波的方法、基于马尔可夫随机场模型的方法等，只要能够对图像进行锐化即可。信息处理服务器装置10也可以通过使用了AI的图像处理来去除雾。

(3.3推断能见度的子程序)

接下来，使用图16、图17A以及图17B对推断能见度的子程序进行说明。

图16是示出推断能见度的子程序的流程图。图17A和图17B是示出计算能见度的一例的示意图。

如图16所示，信息处理服务器装置10计算光衰减参数(步骤S20)。具体而言，信息处理服务器装置10将透射映射t(x)与距照相机C的距离的关系式(2)应用于作为I(x)的图像30来计算光衰减参数beta。

更具体而言，在式(5)中，得到了t(x)＝1-I(x)/A，因此是二维的每个像素的t(x，y)在整个图像中具有浓淡值的光源衰减图像。

在将从x＝0((x，y)＝(0，0))即图像的最底部(近前)至x＝MAX((x，y)＝(p，q))即图像30的上部为止的所有像素之和设为Sigma的情况下，以使照相机C拍摄的图像I(x)与进深方向距离d(x)的函数的式(2)的浓淡图像之差的绝对值的和E成为最小的方式来求取未知数β。

E＝Sigma|I(x)-exp(-beta×d(x))|^2＞minimization…(7)

对于该式(7)，能够将系数beta作为未知数，并通过最小二乘法来求取。例如，作为必要条件，加上基于E的beta的一阶偏微分为0的条件，能够应用各种方法作为数值解法，可以应用最简单的最速下降法来求取系数beta和d(x)。光衰减参数beta越大，则表示雾等的变化与进深方向距离相比越急剧地变化。另外，如果应用于各种各样的图像，则0.1＜beta＜0.5。

信息处理服务器装置10也作为如下的光衰减参数计算单元的一例发挥功能：将上述透射映射与距上述摄像单元的距离的关系式应用于上述图像来计算表示光衰减程度的光衰减参数。

接着，信息处理服务器装置10基于光的透射映射的关系式(2)，根据从物体推断出的进深方向距离或从式(3)计算出的进深方向距离来计算能见度(步骤S21)。具体而言，信息处理服务器装置10根据基于计算出的光衰减参数beta的exp(-beta×d(x))，并根据在步骤S6中推断出的各物体的进深方向距离或者在步骤S7中计算出的进深方向距离来计算能见度。当在步骤S6中出推断的各物体的进深方向距离的情况下，更具体而言，如图17A所示，控制部16对表示作为规定的图像区域的一例的各物体的局部图像区域的I(x)等的雾等的浓度的值应用在步骤S20中计算出的光衰减参数beta的值(例如，beta1、beta2等)的函数exp(-beta×d(x))的浓度分布。此外，函数exp(-beta×d(x))的值或其倒数等是基于应用了光衰减参数的关系式的光透射值的一例。另外，在图17A中，当在步骤S7中计算出的进深方向距离的情况下，横轴是式(2)的进深方向距离dv，在图像面P中向量v表示的像素的位置对应于规定的图像区域。

作为基于应用了计算出的光衰减参数的关系式的光透射值成为规定的值的能见度的一例，如图17A所示，控制器16将函数值成为规定的值的距离(例如，v1、v2)作为能见度。例如，式(2)的右边的函数exp(-beta×d(x))的函数值是基于应用了光衰减参数的关系式的光透射值的一例。在函数exp(-beta×d(x))中，d(x)可以是d1或d2的值。可以根据能见度等级而设定多个阈值。

作为式(2)的左边的值即表示各物体的局部图像区域的I(x)等的雾等的浓度的值，例如，根据将式(6)变形得到的式(8)来计算

t(x)＝I(x)-A/(J(x)-A)…(8)。

另外，当在步骤S7中计算出的进深方向距离的情况下，向量x表示的像素是在图像面P中与向量v对应的像素。

此外，t(x)的推断值可以是在对图像30进行锐化前的图像的块内，用RGB的任意成分来计算的值。例如，t(x)的推断值可以是从1减去局部图像区域中的某个颜色成分的I/A的最小值(块内的最小值)后的值。

另外，也可以如图17B所示，控制部16以更接近照相机C的d1作为基准来应用浓度分布。此外，控制部16也可以在d1和d2之间使用t(d1)、t(d2)进行线性近似来计算能见度。

由于作为光衰减函数的t(x)从近前向进深形成浓淡值分布，因此也可以求取其最大值、最小值，控制部16对它们分别分配物理距离(以m作为单位)。例如，控制部16对图像30锐化前的图像，从近前起在进深方向上按每一横行来累计亮度，求取整体的亮度的总和，考虑到噪声，对于该累计值，相对于总和，可以将10％作为最小值，将90％作为最大值。

这样，信息处理服务器装置10也作为如下的能见度计算单元的一例发挥功能：基于应用了上述计算出的光衰减参数的关系式，根据上述进深方向距离来计算能见度。信息处理服务器装置10也作为如下的能见度计算单元的一例发挥功能：根据基于应用了上述计算出的光衰减参数的关系式的规定的上述图像的区域中的光透射值和上述进深方向距离来计算能见度。信息处理服务器装置10也作为如下的能见度计算单元的一例发挥功能：计算基于应用了上述计算出的光衰减参数的关系式的光透射值成为规定的值的能见度。

以上，根据本实施方式，获取由照相机C拍摄室外而得到的图像，生成对图像进行了锐化的锐化图像，从锐化图像中提取物体，从该物体的像素尺度换算出该物体的物理尺度，根据物体的物理尺度来计算物体的进深方向距离，将光的透射映射t(x)与距照相机C的距离d(x)的关系式(2)应用于图像来计算大气的光衰减参数beta，根据基于计算出的光衰减参数beta的关系式(2)、并根据进深方向距离来计算能见度，由此不需要特别的测定装置就能够推断能见度。

另外，由于从锐化图像中提取物体，因此易于应用基于AI的图像处理，能见度的精度提高。

此外，虽然通过关系式(2)计算的d(x)始终是像素单位，但能够通过从物体的像素尺度来换算物体的物理尺度的表(物体信息DB 12d)来求取以米作为单位等的物理尺度，计算能见度。

另外，当无法在图像31、32中识别用于计算进深方向距离的物体的情况下根据照相机C的设置高度和拍摄方向来计算图像31、32中的进深方向距离dv时，即使在道路等没有拍摄到车辆的情况下，也能够计算能见度。

另外，在根据基于应用了计算出的光衰减参数beta的关系式(2)的与作为规定的图像区域的一例的物体对应的图像的区域中的光透射值和物体的进深方向距离d(x)来计算能见度的情况下，通过对图像应用关系式，能够计算与物体的进深方向距离d(x)对应的能见度。

另外，在计算基于应用了计算出的光衰减参数beta的关系式(2)的光透射值成为规定的值的能见度的情况下，能够计算与规定的值对应的规定的能见度。

另外，在将能见度转换为能见度等级的情况下，能够吸收推断物理距离的能见度时的误差，能够用等级稳定地表示能见度。

(变形例)

另外，也可以如图18所示，在道路或跑道不是水平的情况下，信息处理服务器装置10根据道路或跑道的倾斜程度来校正dv的值。例如，当道路为上坡路时，由于道路接近照相机C，因此根据道路的倾斜而将dv的值校正成较短。当道路为下坡路时，由于照相机C远离道路，因此根据道路的倾斜而将dv的值校正成较长。另外，在将能见度转换为能见度等级的情况下，有时即使不校正dv的值，dv的值的校正范围也会被能见度向能见度等级的转换吸收，因此信息处理服务器装置10也可以根据道路等的倾斜而不校正式(3)的dv的值。

接下来，对透射映射t(x)的变形例进行说明。式(8)的关系式是扩展了式(2)的关系式的光的透射映射而得到的式子。式(8)是除了式(2)的指数之外再加上表示正弦波、余弦波、线性的要素的各函数的式子。

t(x)＝alpha1×exp(-beta1×d(x))+alpha2×sin(-beta2×d(x))+alpha3×cos(-beta3×d(x))+alpha4×(beta4×d(x)) …(9)

其中，对于权重系数alpha1至alpha4，例如设为默认值1。权重系数alpha1至alpha4可以根据图像而改变。作为光衰减参数的一例的系数beta1到beta4分别是针对指数函数要素的参数beta1、针对正弦函数要素的参数beta2、针对余弦函数要素的参数beta3、针对线性要素的参数beta4。

关于多个光衰减参数beta1至beta4，对于照相机C拍摄的图像I(x)，在式(7)的关系式中，应用式(9)的透射映射t(x)来代替exp(-beta×d(x))，信息处理服务器装置10将系数beta1至beta4作为未知数，通过最小二乘法来计算各光衰减参数beta1至beta4。

另外，关于beta1至beta4，也可以是，求取照相机C拍摄的图像I(x)的直方图分布(横轴为0～255亮度级，纵轴为与亮度值对应的1张图像内的像素数)，关于该直方图分布和式(9)，信息处理服务器装置10通过最小二乘法来计算各光衰减参数beta1至beta4。

实际的雾的浓度具有在时间和空间上时刻变化的特征。另一方面，以往的单调递减的指数函数(式(2))假定了雾的浓淡均匀分布。因此，可以认为精度降低违背雾的非均匀性的程度。但是，如式(9)所示，关系式除了指数函数之外，还包含正弦函数和余弦函数中的至少一个函数要素，在光衰减参数包含由光衰减参数计算单元计算出的针对正弦函数和余弦函数中的至少一个函数要素的参数的情况下，即使雾的浓淡不均匀，也能够更准确地计算能见度。

接下来，对图像锐化的变形例进行说明。

在浓雾明显的图像的情况下，仅实施一次步骤S2的图像锐化处理的话，产生无法充分地锐化、无法准确地计算能见度的问题。因此，在只有1张图像的情况下，信息处理服务器装置10可以重复几次步骤S2的图像锐化处理。例如，信息处理服务器装置10在第一次的处理中，在步骤S12中取得暂时的锐化图像，并将其作为输入图像而返回到步骤S10，重复几次。

此外，可以是，信息处理服务器装置10重复以下内容：实施通过使用了AI的图像处理等来去除雾的锐化处理，通过式(7)来推断第1光衰减参数(包括式(9)的参数)，将锐化处理后的图像作为输入图像而返回到步骤S10，通过式(7)来推断第2光衰减参数。也可以是，信息处理服务器装置10在步骤S21中根据第1光衰减参数和第2光衰减参数(例如，根据第1光衰减参数和第2光衰减参数的平均值)来计算能见度。

而且，本发明不限于上述各实施方式。上述各实施方式是例示，具有与本发明的权利要求书所记载的技术思想实质上相同的结构并实现相同的作用效果的实施方式不论如何均包含于本发明的技术范围内。

标号说明

1：能见度推断系统；10：信息处理服务器装置(能见度推断装置)；20：终端装置；30：图像；C：照相机(摄像单元)。