拍摄图像识别装置、拍摄图像识别系统以及拍摄图像识别方法

摘要

本发明提供拍摄图像识别装置，其能够使图像识别功能的性能充分发挥。视场比例估计单元（31）使用拍摄图像S1估计摄像机单元（20）的视场比例。候选应用选择单元（32）基于估计出的视场比例，从多个图像识别应用中选择能对现在的拍摄图像执行处理或优选的图像识别应用的候选。图像识别处理单元（40）从候选应用中执行由用户选择出的图像识别应用。由此，能够执行适于现在的拍摄图像的图像识别应用，因此能够充分发挥图像识别功能的性能。

说明书

技术领域

本发明涉及拍摄图像识别装置、拍摄图像识别系统以及拍摄图像 识别方法，例如在监视摄像机系统、车载摄像机系统中进行的图像识 别技术。

背景技术

近年来，作为支持人的视觉识别的技术，在多方面利用了基于电 路的图像识别技术。例如，在监视摄像机系统中使用图像识别技术， 进行混杂度的检测、侵入者的检测、侵入者的面部识别等。另外，在 车载摄像机中，进行行车线检测、标识检测、步行者检测等。

另外，在近年来的摄像机系统中，随着用途的多样化，装载有许 多功能。而且，还提出了从许多功能中选择与拍摄图像的状态相应的 功能的摄像机系统。

例如，在专利文献1中公开的多摄像机系统中，根据由多个摄像 机所得到的拍摄图像的状态，从多个功能中选择最合适功能。

具体而言，在2台摄像机的视场重合时，执行立体距离计量功能、 立体物形状计量功能、全景图像生成功能、死角拍摄功能、人物行动 分析功能中的至少一个功能。另一方面，在2台摄像机的视场没有重 合的情况下，使用2台摄像机的各自的拍摄图像进行检测对象的检测。

这样，在以往的摄像机系统中有如下的摄像机系统，从所装载的 多个功能中选择与拍摄图像的状态相应的功能来执行，从而能够执行 最适合拍摄图像的处理。

现有技术文献

专利文献

【专利文献1】日本特开2009－77092号公报

发明内容

发明要解决的问题

但是，如上所述，在搭载有多个功能的摄像机系统中，为了得到 高精度的执行结果，从多个功能中选择并执行与拍摄图像的状态相应 的功能是非常重要的。

但是，在监视摄像机系统或车载摄像机系统中，在进行图像识别 时，并没有充分研究从多个图像识别功能中选择哪一识别功能，就能 够充分地灵活运用所装载的识别功能而得到高精度的识别结果。

特别是，近年来图像识别的技术研发出色，开发出非常多的图像 识别技术，因此其中选择最合适的图像识别功能是重要的。但是，在 利用人工选择最合适的图像识别功能时，需要专门的知识，普通的摄 像机使用者难以充分发挥识别功能的性能。另外，并不是充分地研究 对怎样的图像选择哪一识别功能的标准，因此即使具备专门的知识也 未必能够充分发挥识别功能的性能。

本发明是考虑以上问题而完成的，其目的在于提供能够充分发挥 图像识别功能的性能的拍摄图像识别装置、拍摄图像识别系统以及拍 摄图像识别方法。

本发明的一个方式的拍摄图像识别装置，其包括：拍摄状态估计 单元，估计拍摄图像中的目标尺寸相对于所述拍摄图像的视角尺寸的 视场比例；候选应用选择单元，基于估计出的所述视场比例，选择图 像识别应用的候选应用；以及图像识别处理单元，执行从所述候选应 用中被选择出的图像识别应用。

本发明的一个方式的拍摄图像识别系统，包括：具有存储有多个 图像识别应用程序的数据库的服务器装置；以及与所述服务器装置网 络连接的网络摄像机，所述服务器装置，基于由所述网络摄像机拍摄 到的的目标尺寸相对于所述拍摄图像中拍摄图像的视角尺寸的视场比 例，从所述存储的多个图像识别应用程序中选择图像识别应用的候选 应用，并且，将选择出的图像识别应用的候选的信息提示给所述网络 摄像机的用户，将由所述用户选择出的所述图像识别应用的程序发送 给所述网络摄像机。

本发明的一个方式的拍摄图像识别方法，其包含：拍摄状态估计 步骤，估计拍摄图像中的目标尺寸相对于所述拍摄图像的视角尺寸的 视场比例；候选应用选择步骤，基于估计出的所述视场比例，选择图 像识别应用的候选应用；以及图像识别处理步骤，执行从所述候选应 用中被选择出的图像识别应用。

发明的效果

根据本发明，能够提供充分发挥图像识别功能的性能的拍摄图像 识别装置、拍摄图像识别系统以及拍摄图像识别方法。

附图说明

图1是表示从摄像机到拍摄对象为止的距离与视场比例的关系的 图。

图2是表示将实施方式的结构与摄像机的视场比例以及拍摄图像 关联表示的图，图2A是表示拍摄图像与视场比例的关系的图，图2B 是表示实施方式的结构的方框图。

图3是表示摄像机的视场角、从摄像机到拍摄对象（目标）为止 的距离以及视场比例之间的关系的图。

图4是用于说明拍摄图像识别系统的动作的流程图。

图5是表示设备资源状况的显示例的图，图5A是表示选择了1 个图像识别应用时的设备资源状况的图，图5B是表示选择了2个图像 识别应用时的设备资源状况的图。

图6是表示用于进行设备资源的状况显示的处理顺序的流程图。

图7是表示实施方式的网络结构例的方框图。

图8是表示实施方式的网络结构例的方框图。

图9是表示监视摄像机设置在接近监视区域的位置的处理例（图 9A）、以及监视摄像机设置在远离监视区域的位置的处理例（图9B） 的图。

标号说明

10拍摄图像识别系统

20摄像机单元

30处理选择单元

31视场比例估计单元

32候选应用选择单元

40图像识别处理单元

41拥挤检测单元

42人检测单元

43动作识别单元

44面部识别单元

45视线估计单元

46活动线路检测单元

47穿着检索单元

48性别年龄估计单元

49表情估计单元

50用户终端

51显示单元

52输入单元

60变焦控制单元

100、300服务器

200、400网络摄像机

S1拍摄图像

S2适当处理推荐信息

α、α1视场比例

具体实施方式

本发明的发明人着眼于如下情况：根据拍摄图像的不同，有适合 于该拍摄图像的图像识别功能，也有不适合的图像识别功能。并且， 本发明的发明人详细研究了怎样的拍摄图像适合怎样的图像识别处 理。除此之外，本发明的发明人详细研究了对于拍摄图像选择应适用 的图像识别功能的指标。

研究的结果是发现了如下情况：通过将拍摄图像中的目标尺寸相 对于拍摄图像的视角尺寸的视场比例用作用于选择图像识别功能的指 标，从而能够进行适于拍摄图像的图像识别处理。

本发明的一个特征在于，估计拍摄图像中的目标尺寸相对于拍摄 图像的视角尺寸的比例，基于估计出的上述比例，选择图像识别应用 的候选，执行从候选应用中选择出的图像识别应用。

另外，检测拍摄图像中的目标尺寸相对于拍摄图像的视角尺寸的 比例的方法并没有特别限定，在以下的实施方式中，提示使用摄像机 的视场比例作为上述比例的方法。这是着眼于如下的现象：如图1所 示，一般而言，摄像机的视场角越大，则拍摄图像中的目标尺寸相对 于拍摄图像的视角尺寸的比例越小，从摄像机到拍摄对象为止的距离 越远，则拍摄图像中的目标的尺寸相对于拍摄图像的视角尺寸的比例 越小。

另外，在以下的实施方式中，将识别对象的目标为人的情况作为 例子进行说明，但目标也可以不是人，例如也可以是车辆或其他物体。

以下，参照附图详细说明本发明的实施方式。

［1］结构

图2是将本实施方式的结构与摄像机的视场比例以及拍摄图像P1 －P5关联地示出的图。图2A是表示拍摄图像P1－P5与摄像机的视场 比例的关系的图。图2B是表示本实施方式的结构的方框图。

从图2A可知，视场比例越大，则相对于拍摄图像的图像尺寸的拍 摄图像中的目标尺寸（为图2的例子时，拍摄到的人的尺寸）越大。

图3示出摄像机的视场角、从摄像机到拍摄对象（目标）的距离 以及视场比例之间的关系。从该图可知，若为同一视场角，则离摄像 机的距离越近，则视场比例越大。

如图2B所示，本实施方式的拍摄图像识别系统10包括摄像机单 元20、处理选择单元30、图像识别处理单元40、用户终端50以及变 焦控制单元60。

图像识别处理单元40设置在服务器装置上。另外，图像识别处理 单元40也可以设置在摄像机单元20上。处理选择单元30设置在服务 器装置上。另外，处理选择单元30也可以设置在摄像机单元20或用 户终端50上。

图像识别处理单元40保存有用于实现多个图像识别功能的多个 应用程序（以下有时也将其简称为应用），执行用户从多个图像识别 应用中选择出的图像识别应用。

在为本实施方式的情况下，图像识别处理单元40存储有进行拥挤 检测、人检测、动作识别、面部识别、视线估计、活动线路检测、穿 着搜索、性别年龄估计、表情估计的应用来作为图像识别应用，分别 由拥挤检测单元41、人检测单元42、动作识别单元43、面部识别单元 44、视线估计单元45、活动线路检测单元46、穿着检索单元47、性别 年龄估计单元48、表情估计单元49来执行上述各应用。

各应用设定有适于动作的视场比例。所设定的视场比例预先根据 实验或应用的特性等来决定。另外，合适的视场角比例根据摄像机的 分辨率而变动，因此也可以根据摄像机的分辨率信息适当变更合适的 视场比例。例如，即使如图2A的P2那样视场比例较低的情况下，若 分辨率高，则也能够电子扩大人的面部，因此面部识别单元44的适当 范围也可以向视场比例较低的方向扩展。

处理选择单元30选择可在图像识别处理单元40中执行的所述多 个图像识别应用中的、能够对现在的拍摄图像适当执行的图像识别应 用的候选，并将该候选应用提示给用户。

处理选择单元30将来自摄像机单元20的拍摄图像S1输入到视场 比例估计单元31。视场比例估计单元31使用拍摄图像S1估计摄像机 单元20的视场比例。在本实施方式的情况下，视场比例估计单元31 进行人检测处理以及面部检测处理，基于检测出的人尺寸以及面部尺 寸，估计视场比例。例如，能够基于拍摄图像S1的相对于视角尺寸的 人尺寸以及面部尺寸，估计视场比例。具体而言，估计为相对于视角 尺寸的人尺寸或面部尺寸的比例越小，则视场比例越小即可。

另外，视场比例的估计方法不限于此。例如，也可以进行人检测 处理及面部检测处理，基于各检测处理的成功或失败的程度来估计视 场比例。例如，估计为人检测的成功率越大则视场比例α越小，并估 计为面部检测的成功率越大则视场比例α越大即可。

另外，也可以进行使用了多个尺寸不同的模板的人检测处理，基 于各尺寸的检测处理的成功或失败的程度来估计视场比例。例如在使 用了大、中、小三个尺寸的模板的情况下，估计为大尺寸下的成功率 越高则视场比例越大，并估计为小尺寸下的成功率越高则视场比例越 小。

另外，例如也可以视场比例估计单元31基于来自摄像机单元20 的参数来估计视场比例。具体而言，能够利用图1所示的关系，根据 摄像机的视场角的信息以及摄像机与目标的位置关系（距离）的信息 求得视场比例。

估计出的视场比例α被发送到候选应用选择单元32。候选应用选 择单元32基于视场比例α选择图像识别应用的候选。图像识别应用的 候选指的是在可于图像识别处理单元40中执行的多个图像识别应用中 的、能够对现在的拍摄图像适当执行的图像识别应用。

在图2中示出各图像识别应用适于哪一视场比例。在图中例子的 情况下，示出了适于视场比例α1的图像识别应用处理为拥挤检测、人 检测、动作识别以及活动线路检测。因此，候选应用选择单元32在视 场比例为α1的情况下，选择拥挤检测、人检测、动作识别以及活动线 路检测作为图像识别应用的候选。

另外，至此说明了摄像机的变焦倍率固定的情况，但变焦倍率可 变的情况下，摄像机的视场角发生变动，因此视场比例也发生变动。 图2中的表示视场比例的α1用直线表现，但为变焦倍率可变的摄像机 的情况下，设α1为在左右具有相当于变焦范围的宽度的直线即可。

由处理选择单元30的候选应用选择单元32选择出的候选应用的 信息作为适当处理推荐信息S2而被发送到用户终端50的显示单元51。 由此，在显示单元51显示能够由图像识别处理单元40对现在的拍摄 图像适当执行的图像识别应用的候选，用户能够从该候选中选择想要 执行的图像识别应用。

另外，也可以是，候选应用选择单元32除了选择候选应用之外， 还可以对选择出的候选应用进行排列来加以显示。即，也如图2所示 那样，在各图像识别应用中存在能够执行该应用的视场比例区域即有 效视场比例、以及能够在该有效视场比例中更适当地执行该应用的视 场比例区域即适当视场比例。适当视场比例是有效视场比例范围内的 一部分的视场比例范围。

候选应用选择单元32可以判断选择出的候选应用仅是可执行的 应用还是可适当执行的应用，使其显示在显示单元51。例如，将仅是 可执行的应用显示为“可利用的应用列表”，将可更适当地执行的应用显 示为“适当应用列表”即可。

实际上，用户在观看显示在显示单元51上的图像识别应用的同 时，选择所希望的图像识别应用，由输入单元52输入选择结果。被选 择出的图像识别应用的信息被发送到图像识别处理单元40，图像识别 处理单元40执行由用户选择出的图像识别应用。

另外，由用户选择出的图像识别应用的信息被发送到变焦控制单 元60。变焦控制单元60控制变焦（焦点距离），以使摄像机单元20 的视场比例变为对选择出的图像识别应用而言最合适。例如，在图2 所示那样的视场比例α1下，由用户选择出拥挤检测作为图像识别应用 的情况下，优选对拥挤检测而言视场比例比α1小，因此由变焦控制单 元60进行变焦控制，以使视场比例（视场角）比当前小。

［2］拍摄图像识别系统的动作

接着，使用图4说明拍摄图像识别系统10的动作。

首先，在步骤ST11中摄像机单元20被初始设定。在步骤ST12 中，由摄像机单元20进行拍摄。在步骤ST13中，由视场比例估计单 元31估计视场比例α，在步骤ST14中，保存估计出的视场比例α。例 如在视场比例估计单元31内设置存储器，在该存储器中保存该估计视 场比例α即可。

另一方面，拍摄图像识别系统10在步骤ST21中起动图像识别选 择处理。首先，在步骤ST22中，候选应用选择单元32从图像识别处 理单元40获得图像识别应用的列表。图像识别应用的列表是指可由图 像识别处理单元40执行的图像识别应用的列表。在为图2的例子的情 况下，图像识别应用列表包括拥挤检测、人检测、动作识别、面部识 别、视线估计、活动线路检测、穿着检索、性别年龄估计以及表情估计。

在步骤ST23中，候选应用选择单元32从图像识别应用列表中选 择与现在的视场比例α相应的至少一个以上的图像识别应用，将其作 为候选应用而显示在显示单元51上。例如，在图2的例子中，拍摄图 像是以视场比例α1拍摄到的图像，在显示单元51显示能够执行拥挤 检测、人检测、动作识别以及活动线路检测。

在步骤ST24中，由用户使用输入单元52选择图像识别应用。

在步骤ST25中，图像识别处理单元40为了执行由用户选择出的 图像识别应用，经由网络从外部获得图像识别应用程序，或者，在预 先保存有程序的情况下，将模块切换为选择出的图像识别应用程序。

在步骤ST26中，变焦控制单元60控制摄像机单元20的变焦，以 变为对用户选择出的图像识别应用而言是最佳的视场比例。

在步骤ST27中，由摄像机单元20进行拍摄。

在步骤ST28中，图像识别处理单元40利用由用户选择出的图像 识别应用进行图像识别处理。

［3］设备资源的状况显示

在此，优选在显示单元51除了显示候选应用之外还显示设备资源 状况，以便能够做成为用户选择图像识别应用时的指标。

图5示出设备资源状况的显示例。图5A示出选择了1个图像识别 应用时（例如选择了人检测时）的设备资源状况，图5B示出选择了2 个图像识别应用时（例如选择了人检测和活动线路检测时）的设备资 源状况。用户只要观看设备资源状况就得知设备资源的剩余量，因此 能够作为选择图像识别应用时的指标。

图6示出用于进行设备资源的状况显示的处理顺序。另外，在图 6中，与图4相同的处理标以相同的标号。图6的处理顺序是在图4的 处理顺序上增加了步骤ST30、ST31、ST32。

在步骤ST30中，显示如图5所示那样的设备资源的状况。在步骤 ST31中，判定执行在步骤ST24中选择出的图像识别应用所需要的资 源的判定。通过例如候选应用选择单元32询问图像识别处理单元40 （例如服务器）来进行该判定即可。在步骤ST32中，判断应用的选择 是否完成，在没有完成的情况下（步骤ST32；否），返回到步骤ST30。 在步骤ST30中，除了显示在上一次的步骤ST30中进行的资源之外， 还增加了在步骤ST31中判定出的必要资源来进行设备资源状况显示。 即，若在上一次的步骤ST31中进行的显示为图5A那样的显示，则在 本次的步骤ST31中进行的显示是如图5B所示那样的显示。

［4］网络结构

接着，使用图7和图8说明拍摄图像识别系统10的优选网络结构。 在此，在图7及图8中，与图2对应的部分标以相同标号而示出。

图7的网络结构是网络摄像机通过网络下载图像识别应用程序来 使用的结构例。

图7的网络结构包括服务器100、与服务器100通过网络连接的 网络摄像机（NW摄像机）200以及用户终端50。用户终端50既可以 设置在网络摄像机200上，也可以设置在服务器100上，还可以与网 络摄像机200及服务器100独立地设置。其中，在独立设置的情况下， 需要与网络摄像机200建立连接。

服务器100包括候选应用选择单元32、用于存储图像识别应用程 序的应用数据库（应用DB）101、适当处理推荐询问单元102、接收单 元103以及发送单元104。

网络摄像机200包括摄像机单元20、视场比例估计单元31、图像 识别处理单元40、发送单元201、接收单元202、下载应用存储单元（DL 应用存储单元）203。

在由摄像机单元20得到拍摄图像S1后，由视场比例估计单元31 估计视场比例α，该视场比例α经由发送单元201而被发送到服务器 100。

服务器100经由接收单元103而接收视场比例α。候选应用选择 单元32基于视场比例α选择图像识别应用的候选，将选择出的图像识 别应用的候选发送到适当处理推荐询问单元102。适当处理推荐询问单 元102将选择出的图像识别应用的候选显示在用户终端50的显示单元 51上。另外，适当处理推荐询问单元102从用户终端50的输入单元输 入由用户52选择出的图像识别应用的信息，将由用户选择出的图像识 别应用程序经由发送单元104发送到网络摄像机200。

网络摄像机200由接收单元202接收图像识别应用程序，将其存 储在下载应用存储单元203中。图像识别处理单元40使用下载到下载 应用存储单元203中的图像识别应用程序来执行图像识别处理。

图8的网络结构是网络摄像机进行拍摄、剩余的处理大都由服务 器进行的结构例。

在图8的结构中，网络摄像机400经由发送单元401，将由摄像 机单元20得到的拍摄图像S1发送到服务器300。

服务器300由接收单元303接收拍摄图像S1，将其输入到视场比 例估计单元31及图像识别处理单元40。由视场比例估计单元31估计 视场比例α，由候选应用选择单元32选择与视场比例α相应的图像识 别应用的候选。适当处理推荐询问单元302使选择出的图像识别应用 的候选显示在用户终端50的显示单元51上。另外，适当处理推荐询 问单元302从用户终端50的输入单元52输入由用户选择出的图像识 别应用的信息，将该信息发送到图像识别处理单元40。图像识别处理 单元40从应用数据库（应用DB）301读出由用户选择出的图像识别应 用程序，使用该图像识别应用程序对拍摄图像S1实施图像识别处理。

［5］应用例

在此，说明能够应用本发明的结构实现的应用例（商业模式）。

在多个图像识别应用程序作为打包软件贩卖时，以往用户必须从 打包软件中根据摄像机的设置状况等，自己选择认为合适的图像识别 应用程序，进行图像识别的性能评价。此时，若用户选择错误的图像 识别应用程序，则无法进行所设置的摄像机与准备好的图像识别应用 程序的最佳组合下的图像识别的性能评价。

与此不同，若使用本实施方式的结构，则摄像机的用户只要购买 包装有多个图像识别应用程序的打包软件，即使没有选择适合于摄像 机的图像识别应用程序，也就能够由视场比例估计单元31及候选应用 选择单元32选择适合于摄像机的图像识别应用程序。其结果是，能够 进行使用了对当前的摄像机状态而言为合适的图像识别应用程序的性 能评价。其结果是，例如预订了购买摄像机或图像识别应用程序的用 户能够将适于该摄像机状态的性能评价作为购买的指标。

图9示出将本实施方式的处理应用于包括了拥挤度检测、活动线 路检测、性别年龄估计的图像识别应用的打包软件的例子。

图9A示出监视摄像机设置在接近监视区域（拍摄区域）的位置上 的情况。此时，基于视场比例选择活动线路检测和性别年龄估计的图 像识别应用，执行这些图像识别应用。

图9B示出监视摄像机设置在远离监视区域（拍摄区域）的位置上 的情况。此时，基于视场比例选择拥挤度检测和活动线路检测的图像 识别应用，执行这些图像识别应用。

［6］效果

如上所述，根据本实施方式，设置有视场比例估计单元31、基于 估计出的视场比例选择图像识别应用的候选的候选应用选择单元32、 以及执行由用户从候选应用中选择出的图像识别应用的图像识别处理 单元40，从而能够对用户提示适合现在的拍摄图像的图像识别应用， 执行可靠的图像识别应用，并能够充分发挥图像识别功能的性能。

另外，上述实施方式的处理选择单元30能够由包含存储器、CPU 的个人计算机等计算机构成。并且，能够通过CPU读取存储在存储器 上的计算机程序来执行处理，从而实现构成处理选择单元30的各结构 要素的功能。

2011年1月17日提交的日本专利申请特愿2011－006832号所包 含的说明书、说明书附图和说明书摘要的公开内容全部引用于本申请。

工业实用性

本发明适合于对于通过例如监视摄像机、车载摄像机等摄像机得 到的拍摄图像实施图像识别处理的情况。