标识判定装置、标识判定检测系统、标识判定检测装置、标识、标识判定方法及其程序

摘要

本发明提供一种标识判定装置、标识判定检测系统、标识判定检测装置、标识、标识判定方法及其程序。本发明的标识判定装置具有：特征存储单元，从图像中提取出的特征点配置在规定的空间，该规定的空间中的所述特征点在规定数量以下的部分被作为特异特征，该特征存储单元存储该特异特征以及从已有的标记中提取出的特征点；和特征比较单元，将从所述已有的标记中提取出的特征点配置到所述规定的空间，当与所述特异特征一致的特征点的数量在规定数量以上时，判断为能够将所述已有的标记作为能从所述图像中检测出的标识来使用。

说明书

技术领域

本发明涉及判定已有的标记(mark)是否能够作为检测用标识 (marker)使用的标识判定装置、具备该标识判定装置的标识判定检测系 统、具有标识判定功能的标识判定检测装置、通过标识判定功能被判定为 能够作为检测用标识使用的标识、进行该检测用标识的判定的标识判定方 法、以及用于执行该标识判定的标识判定程序。

背景技术

在判别某一空间内是否存在所希望的物体的方法中，存在如下方法。

例如，存在下述技术，即，在标识生成阶段，通过影像输入单元拍摄 不存在标识的空间的图像来作为背景影像，从该背景影像中提取特征点， 将该特征点映射到不变量特征空间来作为不变特征，将未出现该不变特征 的部分作为特异特征，基于该特异特征生成标识图案；在标识检测阶段， 拍摄包含带有标识的物体的空间的图像来作为检测对象影像，从该检测对 象影像中提取特征点，判断该特征点的配置中是否存在与从标识图案提取 出的特征点的配置一致的特征点，当存在一致的特征点时，将其作为标识 进行检测(例如参照专利文献1)。

根据该技术，在标识生成阶段，能够将背景影像中未出现的图案作为 标识图案来生成。因此，在标识检测阶段，不会从检测对象影像中不存在 标识的部分误检测出标识，从而能够可靠地检测出物体所带有的标识。

(现有技术文献)

专利文献

专利文献1：国际公开第2008/090908号公报

发明内容

(发明所要解决的课题)

但是，在上述专利文献1所记载的技术中，存在如下状况。

在该技术中，标识是基于特异特征而生成的。

并且，在标识检测阶段，检测出带有该标识的物体。

然而，在我们的生活环境中使用了各种各样的标记。从图样简单的标 记到图样复杂的标记，丰富多彩。

若能够从这些已经存在的标记中任意选出几个标记来作为物体检测 用标识来使用，则能够自由选择图样，从而能够将喜欢的图样的标记作为 标识来使用。

另外，若能够将一直以来使用的标记作为检测用标识使用，则效率更 高，而且能够提高该标记的功能性。

作为一个例子，可列举公司的标志(logo mark)。标志用于通过附在 某一商品上来表示该商品是标志所表示的公司的商品。这是由于标志具有 使消费者识别出该商品是该公司的商品而非其他公司的商品的功能(自他 商品识别力)的缘故。

为了具有这种自他商品识别力，通常以与其他公司的标志不同的图样 来制作标志。

这种标志所具有的功能、即通过与其他标记不同的图样来表示带有该 标志的物品与其他物品不同的功能，在检测用标识中也是通用的。

即，还考虑了有效利用标志所本来具备的自他商品识别力来进行物体 检测。

为此，要求提供一种判定是否可将标志作为检测用标识发挥功能的方 法。

而且，近年，在工业产品的设计中，在进行部件的选择或功能的改进 之前设计该产品的外观形状、图样，然后，按照与这些形状等匹配的方式 选定部件或改进功能。

对此，上述专利文献1所记载的技术，按照在规定的空间中选择特异 特征，并以该特异特征来提取特征点的方式决定了标识的图样。即，基于 特异特征来制作标识的图样。

但是，由于标识附在物体上，因此大多情况下会引人注目。尤其是， 当物体是商品时，还有在标签的一部分上添加标识的情况。这样，该标识 的图样就变得重要。

因此，对于标识，也要求提供一种既重视图样又能够确定基于特异特 征的图样的技术。

本发明鉴于上述状况而实现，其目的在于提供一种能够判定如标志这 样已有的标记或图样已预先确定的标记等是否可作为物体检测用标识来 使用的标识判定装置、标识判定检测系统、标识判定检测装置、标识、标 识判定方法及标识判定程序。

(用于解决课题的方案)

本发明的标识判定装置具有：特征存储单元，从图像中提取出的特征 点配置在规定的空间，该规定的空间中的所述特征点在规定数量以下的部 分被作为特异特征，该特征存储单元存储该特异特征以及从已有的标记中 提取出的特征点；和特征比较单元，将从所述已有的标记中提取出的特征 点配置到所述规定的空间，当与所述特异特征一致的特征点的数量在规定 数量以上时，判断为能够将所述已有的标记作为能从所述图像中检测出的 标识来使用。

本发明的标识判定检测系统具有标识判定装置和标识检测装置，所述 标识判定装置具有：第一影像输入单元，输入图像；第一配置单元，从由 该第一影像输入单元输入的所述图像中提取特征点，将该提取出的特征点 表示到规定的空间；特异特征选择单元，将所述空间中的所述特征点在规 定数量以下的部分选择为特异特征；特征比较单元，将基于已有的标记的 特征点配置到所述规定的空间，选择与所述特异特征一致的特征点，当该 选出的特征点的数量在规定数量以上时，判断为能够将所述标记作为能从 所述图像中检测出的标识来使用；和标识存储单元，存储所述标记的特征 点；所述标识检测装置具有：第二影像输入单元，输入图像；第二配置单 元，基于由该第二影像输入单元输入的所述图像来提取特征点，将该提取 出的特征点表示到规定的空间；和对照单元，判断在所述规定的空间所示 的特征点组的配置中是否存在基于所述标识的特征点的配置。

本发明的标识判定检测装置具有：第一影像输入单元，输入图像；第 一配置单元，从由该第一影像输入单元输入的所述图像中提取特征点，将 该提取出的特征点表示到规定的空间；特异特征选择单元，将所述空间中 的所述特征点在规定数量以下的部分选择为特异特征；特征比较单元，将 基于已有的标记的特征点配置到所述规定的空间，选择与所述特异特征一 致的特征点，当该选出的特征点的数量在规定数量以上时，判断为能够将 所述标记作为能从所述图像中检测出的标识来使用；标识存储单元，存储 所述标识；第二影像输入单元，输入图像；第二配置单元，基于由该第二 影像输入单元输入的所述图像来提取特征点，将该提取出的特征点表示到 规定的空间；和对照单元，判断在所述规定的空间所示的特征点组的配置 中是否存在与所述标识对应的特征点的配置。

本发明的标识，从图像中提取特征点，将该提取出的特征点表示到规 定的空间，将所述规定的空间中的所述特征点在规定数量以下的部分选择 为特异特征，从已有的标记中提取特征点，将该特征点配置到所述规定的 空间，选择与所述特异特征一致的特征点，当该选出的特征点的数量在规 定数量以上时，判断为能够作为能从所述图像中检测出的标识来使用。

本发明的标识判定方法包括：输入图像的步骤；从所述图像中提取特 征点，将该提取出的特征点表示到规定的空间的步骤；将所述空间中的所 述特征点在规定数量以下的部分选择为特异特征的步骤；和将基于已有的 标记的特征点配置到所述规定的空间，选择与所述特异特征一致的特征 点，当该选出的特征点的数量在规定数量以上时，判断为能够将所述标记 作为能从所述图像中检测出的标识来使用的步骤。

本发明的标识判定程序使信息处理装置执行：输入图像的处理；从所 述图像中提取特征点，将该提取出的特征点表示到规定的空间的处理；将 所述空间中的所述特征点在规定数量以下的部分选择为特异特征的处理； 和将基于已有的标记的特征点配置到所述规定的空间，选择与所述特异特 征一致的特征点，当该选出的特征点的数量在规定数量以上时，判断为能 够将所述标记作为能从所述图像中检测出的标识来使用的处理。

(发明效果)

根据本发明的标识判定装置、标识判定检测系统、标识判定检测装置、 标识、标识判定方法及标识判定程序，从作为判定对象的标记中提取特征 点，将该特征点配置到规定的空间，判断这些特征点是否与特异特征一致， 由此，可判定已有的标记或图样已确定的标记是否可成为标识检测装置的 检测对象。

附图说明

图1是表示本发明的第一实施方式中的标识判定装置的结构的框图。

图2是表示本发明的第一实施方式中的标识判定装置的详细结构的 框图。

图3是表示特异特征信息表的结构的图表。

图4是表示标记特征信息表的结构的图表。

图5是表示配置了标记的不变特征的不变量特征空间的图。

图6是表示配置了特异特征的不变量特征空间的图。

图7是表示配置了标记的不变特征和特异特征的不变量特征空间的 图。

图8是表示本发明的第一实施方式中的标识判定装置的动作的流程 图。

图9是表示本发明的第二实施方式中的标识判定装置的结构的框图。

图10是表示本发明的第二实施方式中的标识判定装置的详细结构的 框图。

图11是表示背景影像的例子的图。

图12是表示配置了特征点的特征空间的图。

图13是表示配置了带有编号的特征点的特征空间的图。

图14是表示特征点信息表的结构的图表。

图15是表示描绘了区块线的特征空间的图。

图16是表示区块的名称的图。

图17是表示区块的坐标的图。

图18是表示特征点数分布图(频度分布)的结构的图表。

图19是表示判定对象的标记的图样的图。

图20是表示从图19所示的标记中提取出的特征点的图。

图21是表示配置了特征点的特征空间的图。

图22是表示配置了标记的特征点的特征空间的图。

图23是表示配置了标记的特征点和特异特征的特征点数分布图的 图。

图24是表示本发明的第二实施方式中的标识判定装置的动作的流程 图。

图25是表示本发明的第三实施方式中的标识判定装置的结构的框 图。

图26是表示本发明的第三实施方式中的标识判定装置的详细结构的 框图。

图27是表示以第5特征点为基底，将各特征点映射到不变量特征空 间的情形的图。

图28是表示以第15特征点为基底，将各特征点映射到不变量特征空 间的情形的图。

图29是表示以第89特征点为基底，将各特征点映射到不变量特征空 间的情形的图。

图30是表示以第91特征点为基底，将各特征点映射到不变量特征空 间的情形的图。

图31是表示将图12所示的所有特征点映射到不变量特征空间的情形 的图。

图32是表示对不变量特征空间添加了区块线后的图。

图33是表示对配置有1个以上特征点的区块添加了灰色影线的不变 量特征空间的图。

图34是表示将标记的特征点映射到不变量特征空间后的图。

图35是表示不变量特征空间中的标识图案生成范围的图。

图36是表示对配置有1个以上特征点的区块添加了灰色影线的标识 图案生成范围的图。

图37是表示本发明的第三实施方式中的标识判定装置的动作的流程 图。

图38是表示标识检测装置的结构的框图。

图39是表示标识检测装置的详细结构的框图。

图40是表示检测对象影像的例子的图。

图41是表示从检测对象影像中提取出的特征点的例子的图。

图42是表示标识检测方法的步骤的流程图。

图43是表示标识判定检测装置的结构的框图。

图44是表示标识判定检测装置的详细结构的框图。

图45是表示标识判定检测系统的结构的框图。

具体实施方式

下面，参照附图，对本发明的标识判定装置、标识判定检测系统、标 识判定检测装置、标识、标识判定方法以及标识判定程序的优选实施方式 进行说明。

(标识判定装置及标识判定方法的第一实施方式)

首先，参照图1，说明本发明的标识判定装置及标识判定方法的第一 实施方式。

图1是表示本实施方式中的标识判定装置的结构的框图。

(I)标识判定装置

如图1所示，标识判定装置1a具备特征存储单元10和特征比较单元 20。

特征存储单元10如图2所示，具有特异特征存储部11和标记特征存 储部12。

特异特征存储部11保持有规定的存储区域。该特异特征存储部11 存储“特异特征信息表”。

“特异特征信息表”是整理了与配置在规定的空间的特异特征相关的 数据的表。

该“特异特征信息表”如图3所示，可将“表的序号”(ア)、“特异 特征的序号”(イ)、“特异特征的x坐标”(ウ)、“特异特征的y坐标” (エ)作为项目而构成。

“表的序号”表示在特异特征信息表为一个或两个以上时，对这些特 异特征信息表的每一个表添加的编号。在由影像输入单元30(后述)输 入的影像由多个帧图像构成时，相当于按各帧图像添加的编号。

“特异特征的序号”表示按每个特异特征添加的编号。

“特异特征的x坐标”表示规定的空间中的该特异特征的x坐标。

“特异特征的y坐标”表示规定的空间中的该特异特征的y坐标。

其中，规定的空间例如包含特征空间、不变量特征空间、特异特征空 间等。

另外，关于特征空间、不变量特征空间、特异特征空间，在第二实施 方式中详细说明。进而，关于特异特征的提取方法等，也在第二实施方式 中详细说明。

标记特征存储部12保持有规定的存储区域。该标记特征存储部12 存储“标记特征信息表”。

“标记特征信息表”如图4所示，可将“标记的序号”(ア)、“特征 点的序号”(イ)、“特征点的x坐标”(ウ)、“特征点的y坐标”(エ)作 为项目而构成。

“标记的序号”表示对一个或两个以上标记的每一个添加的编号。

“特征点的序号”表示对基于标记的一个或两个以上特征点的每一个 添加的编号。

“特征点的x坐标”表示规定的空间中的该特征点的x坐标。

“特征点的y坐标”表示规定的空间中的该特征点的y坐标。

其中，“规定的空间”例如包含特征空间、不变量特征空间等。

另外，“特征点”包含从标记中提取出的特征点、特征空间中配置的 特征点、不变量特征空间中配置的不变特征等。

关于这些特征空间、不变量特征空间，在第二实施方式中详细说明。 进而，关于不变特征的提取方法等，也在第二实施方式中详细说明。

特征比较单元20如图2所示，具有特征比较部21和比较结果存储部 22。

特征比较部21从特征存储单元10的特异特征存储部11中取出“特 异特征信息表”。并且，特征比较部21从特征存储单元10的标记特征存 储部12中取出“标记特征信息表”。

然后，特征比较部21参照“标记特征信息表”，将标记的特征点配置 到规定的空间(例如不变量特征空间)。在图5中表示配置了该特征点的 规定的空间。图5表示将配置了特征点的区块涂上黑色的情形。

接着，特征比较部21从“特异特征信息表”中取出特异特征的坐标。 而后，特征比较部21按照该坐标，将特异特征配置到规定的空间(例如 不变量特征空间)。在图6中表示配置了该特异特征的规定的空间。图6 中白色的区块是特异特征。

然后，特征比较部21判断标记的特征点的全部或一部分是否与特异 特征一致。

可通过将图6所示的特异特征的配置与图5所示的特征点的配置重叠 来判断是否一致，从而进行该判断。还可通过对标记的特征点的坐标和特 异特征的坐标进行比较对照来判断是否一致，从而进行该判断。

即，特征比较部21将标记的特征点配置到配置了特异特征的规定的 空间，选择与特异特征配置在相同区块的标记的特征点。

图7中表示该重叠的结果。在图7所示的情况下，标记的9个特征点 之中的3个与特异特征一致。

然后，特征比较部21判断该标记是否能够作为检测用标识使用。

该判断中例如存在下面的方法。

(1)若标记的特征点(包含标记的不变特征)有1个与特异特征一 致，就判断为能够作为检测用标识使用。

特异特征是未出现从背景影像(背景图案)中提取出的特征点的部分。 在检测阶段，该部分中出现了特征点也就是意味着在检测阶段出现了背景 影像中未出现的物体(包含物体的一部分、多个物体的重叠部分、图样等 可成为特征点的提取对象的部分)。这里，在背景影像中未出现且在检测 阶段出现的物体被限定为标识这样的情况下，若特异特征中出现特征点， 则可将其确定为标识。因此，在标记的特征点有一个与特异特征一致时， 可将该标记作为检测用标识使用。

(2)若标记的特征点有规定数量以上与特异特征一致，则判断为能 够作为检测用标识使用。

在背景影像中未出现但在检测阶段可出现的物体并不限定于标识的 情况下，特异特征中出现的特征点可能是基于标识以外的物体。但即便是 标识以外的物体，在检测对象影像中出现可获得与多个特异特征的全部完 全一致的特征点的物体的可能性也非常低。另一方面，关于已有的标记， 在特异特征的数量比较少时，可获得与多个特异特征的全部完全一致的不 变特征的标记也很少存在。因此，在排除作为判定对象的标记以外的物体 的同时判断该标记是否能够作为检测用标识使用时，当标记的特征点有规 定数量以上与特异特征一致时，可将该标记作为检测用标识使用。

其中，“规定数量”可任意确定。例如，在设“规定数量”为3时， 在图7所示的结果中，可将该标记作为检测用标识使用。相对于此，在设 “规定数量”为4时，在图7所示的结果中，则该标记不能作为检测用标 识使用。

(3)当与特异特征一致的标记的特征点的数量相对于标记的特征点 的数量的比例在规定值以上时，可将该标记作为检测用标识使用。

例如，当如图7所示标记的不变特征数为9、一致的不变特征数为3 时，二者的比例为“1/3”。作为该商的“3”在规定值以上时，可将该标 记作为检测用标识使用。

该方法可在(2)的想法、即关于在背景影像中未出现但在检测阶段 可出现的物体难以设想基于该物体的多个特征点全部与特异特征一致时 使用。

(4)在基于标记的多个特征点全部与特异特征一致时，可将该标记 作为检测用标识使用。

在特异特征的数量比较少时，标记的特征点全部与特异特征一致的可 能性低。相对于此，在特异特征的数量多时，标记的特征点与特异特征一 致的可能性变高。

另外，与特异特征一致的特征点的数量多的标识的稳健性高。

因此，在基于标记的多个不变特征全部与特异特征一致时，也可将该 标记作为检测用标识使用。

通过采用上述(1)～(4)中的任一方法，能够判定该标记是否能作 为检测用标识使用。

此外，(1)～(4)的各方法，不仅可用于从图形上使特异特征与标 记的特征点重叠的情况，还可用于从数值上比较标记的特征点的坐标和特 异特征的坐标的情况。

(II)标识判定方法

下面，参照图8，说明本实施方式的标识判定装置的动作(标识判定 方法)。

图8是表示本实施方式中的标识判定方法的规定步骤的流程图。

特征存储单元10的特异特征存储部11预先存储有“特异特征信息表” (步骤10)。另外，特征存储单元10的标记特征存储部12预先存储有“标 记特征信息表”(步骤11)。

特征比较部21从特异特征存储部11中取出“特异特征信息表”。并 且，特征比较部21从标记特征存储部12中取出“标记特征信息表”(步 骤12)。

进而，特征比较部21将“标记特征信息表”的“特征点的序号”所 示的每个特征点，按照“特征点的x坐标”所示的x坐标和“特征点的y 坐标”所示的y坐标而配置到规定的空间。

另外，特征比较部21从“特异特征信息表”中取出特异特征的坐标。

而后，特征比较部21按照该坐标，将特异特征配置到规定的空间(步 骤13)。

然后，特征比较部21判断基于标记的多个不变特征的全部或一部分 是否与特异特征一致。

即，特征比较部21向规定的空间配置特异特征并且配置标记的特征 点，选择与特异特征一致的标记的特征点(步骤14)。

然后，特征比较部21判断与特异特征一致的标记的特征点的数量是 否在规定数量以上(步骤15)。

当判断的结果是在规定数量以上时，判定为该标记能够作为检测用标 识使用(步骤16)。

而不在规定数量以上时，判定为该标记不能作为检测用标识使用(步 骤17)。

通过这样的方法，可判断该标记是否能作为检测用标识使用。

如上所述，根据本实施方式的标识判定装置和标识判定方法，从作为 判定对象的标记中提取特征点，将该特征点配置到规定的空间，判断这些 特征点是否与特异特征一致。由此，可判定已有的标记或图样已确定的标 记是否可成为标识检测装置的检测对象。

此外，图4所示的标记特征信息表和图5所示的不变量特征空间，对 基于标记单体的特征点进行了表示，但并不限于标记单体，例如，也可以 从包含标记的背景中提取特征点，针对该特征点制作标记特征信息表，并 将该特征点配置到不变量特征空间，与特异特征进行比较。

(第二实施方式)

下面，参照图9，说明本发明的标识判定装置及标识判定方法的第二 实施方式。

图9是表示本实施方式的标识判定装置的结构的框图。

本实施方式与第一实施方式相比，不同点在于还具备影像输入单元和 特征提取单元。其他构成要素与第一实施方式相同。

因此，在图9中，对与图1相同的构成部分赋予同一符号并省略其详 细说明。

(I)标识判定装置

如图9所示，标识判定装置1b具备特征存储单元10、特征比较单元 20、影像输入单元30和特征提取单元40。

在此，影像输入单元30如图10所示，具有影像输入部31和影像存 储部32。

影像输入部31对背景影像进行拍摄或输入。

背景影像是对不存在作为判定对象的标记的环境进行拍摄而得到的。 例如，当存在搬送物体的带式输送机时，拍摄搬送不带有作为判定对象的 标记的物体的状态的带式输送机及其周边而得到的影像等，对应于背景影 像。

该背景影像可以是运动图像(影像)，也可以是以规定时间间隔拍摄 的多张静止图像。

进而，背景影像可包含直播影像、录制影像、发布影像等。

另外，影像输入部31能够以单体的方式(通过蓝背景等)拍摄作为 判定对象的标记(想要判定是否能作为检测用标识使用的已有的标记)。 该拍摄得到的影像作为标记单体影像。

而且，影像输入部31还能够拍摄作为判定对象的标记所在的环境。 该拍摄得到的影像作为标记环境影像。

另外，影像输入部31本身可具有摄像器件。这种情况下，影像输入 部31可拍摄配置该标识判定装置1b的场所的周围的情形来作为背景影 像。

进而，影像输入部31还可通过通信网络或通信电缆等来输入由该标 识判定装置1b以外的装置获取的背景影像。

图11中表示由该影像输入部31输入的背景影像的例子。

影像存储部32将构成背景影像的静止图像帧存储为数字化后的帧图 像。构成背景影像的静止图像帧，例如在如图11所示的图像有多张的情 况下是指这些图像的每一张。

另外，影像存储部32存储对多张帧图像的每一张赋予的编号(例如 序号)。

进而，影像存储部32还可存储拍摄帧图像的时刻、用于确定拍摄帧 图像的装置的信息(帧图像是从外部输入的情况)等。

特征提取单元40如图10所示，具有背景特征提取部41、标记特征 提取部42和特征存储部43。

背景特征提取部41从影像存储部32中取出帧图像。并且，背景特征 提取部41对取出的帧图像中的包含特征图案的图像特征进行提取。

图像特征例如可采用从图形上对特征性的特性进行数值化而得到的 结果。

对此，例如可采用1998年IEEE计算机视觉和模式识别会议录中登 载的Tommasini等完成的“Making good features track better”所记载的方 法。该方法可对图像中的物体形状提取顶点、线状的物体的交叉点、端点 等。并且，可将这些点在图像上的位置坐标信息的序列作为图形特征。例 如，对于图11的帧图像，若以该方法提取特征点，则如图12所示会配置 多个特征点。可通过坐标对每个特征点进行管理。

其中，将配置了特征点的空间称为特征空间。该特征空间可以是二维 空间，也可以是三维空间。设本实施方式的特征空间是二维空间。

另外，作为其他方法，例如有Montanari所完成的1971年 Communications of ACM，14卷中登载的“On the option detection of curves  in noisy pictures”所记载的方法。该方法可将存储了距基准点的距离、相 对角度的R表的内容作为特征使用。此时，预先对所有的特征位置设定 基准点，并且无遗漏地提取特征点，从而对于部分特征缺损的情况而言， 标识的检测变得稳健。

进而，作为其他特征提取方法，例如有将图像上的各像素的亮度值或 色差值作为特征的方法。

然后，背景特征提取部41如图13所示，对各个特征点赋予序号。该 序号例如可从位于最上方的特征点开始按照t1、t2、t3、t4、……的方式 依次赋予。

接着，背景特征提取部41求取各个特征点的坐标。关于坐标如图13 所示，可在特征空间中设定X轴和Y轴，将距离Y轴的距离作为X坐标， 将距离X轴的距离作为Y坐标。

而后，背景特征提取部41将这些特征点的序号、坐标存储到特征存 储部43中。特征存储部43可将这些序号等如图14所示那样作为“特征 点信息表”进行存储。

“特征点信息表”如图14所示，可将“帧图像的序号”(ア)、“特征 点的序号”(イ)、“特征点的x坐标”(ウ)、“特征点的y坐标”(エ)作 为项目而构成。

“帧图像的序号”表示对提取了特征点的帧图像添加的编号。

“特征点的序号”表示对多个特征点的每一个添加的编号。具体而言， 对应于图13的“t1”、“t15”等。

“特征点的x坐标”表示特征空间中的该特征点的x坐标。

“特征点的y坐标”表示特征空间中的该特征点的y坐标。

然后，如图15所示，背景特征提取部41对特征空间添加格子状的网 格，划分成多个区块。

此时，背景特征提取部41算出各区块的坐标。各区块的坐标可由划 分各区块的线(区块线)的坐标表示。

例如，如图16所示，设划分线的坐标为x1、x2、x3、……、y1、y2、 y3、……。

另外，设各区块的名称为区块(1，1)、区块(1，2)、区块(1，3)、……、 区块(2，1)、区块(2，2)、区块(2，3)、……。其中，区块(1，1) 是由坐标(0，0)-(x1，0)-(x1，y1)-(0，y1)-(0，0)包围的范 围。

在此，x1是X方向的第一条区块线的x坐标。另外，y1是Y方向的 第一条区块线的y坐标。由此，区块(1，1)的坐标如图17所示可表示 为(x1，y1)。

同样，区块(2，1)的坐标可表示为(x2，y1)，区块(3，1)的坐 标可表示为(x3，y1)，区块(1，2)的坐标可表示为(x1，y2)，区块(2， 2)的坐标可表示为(x2，y2)。

在图17中表示这些各区块的名称与坐标之间的关系。这些各区块的 名称和坐标可作为区块坐标表而存储在特征存储部43中。

另外，一个区块的大小可任意设定。不过，希望按照不存在特征点的 区块在特征空间中至少为2～3个以上的方式设定一个区块的大小。

然后，背景特征提取部41按各区块求取特征点的数量。

按各区块的特征点的数量的计算，可利用各区块的坐标和各特征点的 坐标来进行。

如图18所示，算出的按各区块的特征点的数量可表示为特征点数分 布图(频度分布)。该特征点数分布图存储于特征存储部43中。

此外，在图18中，为了便于理解，对于存在1个以上特征点的区块 添加灰色影线来显示。

另外，背景特征提取部41将特征点的数量为0或在规定数量以下的 区块选择为特异特征。例如，在图18所示的特征点数分布图中，(x1，y1)、 (x2，y1)、(x3，y1)等被选为特异特征。

然后，特征提取部21制作表示选出的特异特征的坐标的“特异特征 信息表”(参照图3)。使特征存储单元10的特异特征存储部11存储该特 异特征信息表。

标记特征提取部42基于由影像输入部31输入的标记的影像来提取特 征点。

例如，设该输入的标记为如图19所示的图样(形状)。标记特征提取 部42从该标记中提取特征点。该提取方法与背景特征提取部41所执行的 提取方法相同。

标记特征提取部42从图19所示的标记中提取出的特征点如图20所 示。

而且，标记特征提取部42将提取出的特征点配置到特征空间。图21 表示配置了该特征点的特征空间。

并且，标记特征提取部42算出特征空间中的各特征点的坐标。标记 特征提取部42将该算出的特征点的坐标汇总为“标记特征信息表”(参照 图4)。该“标记特征信息表”存储于特征存储单元10的标记特征存储部 12中。

特征存储部43存储“特征点信息表”、“区块坐标表”、“特征点数分 布图”。

特征存储单元10如图10所示，具有特异特征存储部11和标记特征 存储部12。

特异特征存储部11存储“特异特征信息表”。

标记特征存储部12存储“标记特征信息表”。

特征比较单元20具有特征比较部21和比较结果存储部22。

特征比较部21将“标记特征信息表”所示的特征点配置到特征空间。 并且，特征比较部21对配置了标记的特征点的特征空间添加区块线而划 分成多个区块。进而，特征比较部21确定特征点在规定数量(本实施方 式中为“1”)以上的区块。图22中表示该确定出的区块。图22中涂上黑 色的区块是特征点在规定数量以上的区块。

另外，特征比较部21将“特异特征信息表”所示的特异特征配置到 特征空间。进而，特征比较部21在该特征空间中配置标记的特征点。图 23中表示配置了这些特异特征和标记的特征点后的情形。

在图23中，白色区块表示配置了特异特征的区块，灰色区块表示未 配置特异特征的区块，黑色区块表示配置了标记的特征点的区块。

此外，在图23中，配置了特异特征的区块(白色区块)比未配置特 异特征的区块(灰色区块)多。这是由于原始的图像是如图11所示的图 像，提取出的特征点数量比较少。假如从整个图像中提取了更多数量的特 征点，则灰色区块增多，特异特征减少。

进而，特征比较部21选择与特异特征一致的标记的特征点。

在图23中，标记的特征点全部与特异特征一致。这种情况下，由于 与特异特征一致的特征点的数量在规定数量以上，因此特征比较部21判 断为可将该标记作为检测用标识使用。

比较结果存储部22存储特征比较部21中的判断的结果。

(II)标识判定方法

下面，参照图24，说明标识判定装置的动作步骤(标识判定方法)。

图23是表示标识判定方法的处理步骤的流程图。

在标识判定装置1b中，影像输入单元30的影像输入部31拍摄(或 输入)背景影像(步骤20)。该背景影像可由多张帧图像构成。影像输入 单元30的影像存储部32将由影像输入部31输入的背景影像存储为帧图 像。

另外，影像输入部31拍摄(或输入)作为判定对象的标记的影像(步 骤21)。影像存储部32存储由影像输入部31输入的标记的影像。

特征提取单元40的背景特征提取部41从影像存储部32中取出帧图 像，并从该帧图像中提取特征点(步骤22)。

另外，背景特征提取部41将这些特征点配置到特征空间。并且，背 景特征提取部41算出特征空间中的特征点的坐标。该算出的坐标被汇总 为“特征点信息表”，并存储到特征存储部43中。

然后，背景特征提取部41对特征空间添加格子状的网格，划分成多 个区块。接着，背景特征提取部41按各区块求取特征点的数量，将特征 点为0或在规定数量以下的区块选择为特异特征(步骤23)。

并且，背景特征提取部41制作表示选出的特异特征的坐标的“特异 特征信息表”。特征存储单元10的特异特征存储部11存储“特异特征信 息表”。

特征提取单元40的标记特征提取部42从影像存储部32中取出标记 的图像，并从该标记的图像中提取特征点(步骤24)。

另外，标记特征提取部42将这些特征点配置到特征空间。并且，标 记特征提取部42算出特征空间中的特征点的坐标。该算出的坐标被汇总 为“标记特征信息表”，并存储到特征存储单元10的标记特征存储部12 中。

特征比较单元20的特征比较部21从特异特征存储部11中取出“特 异特征信息表”。并且，特征比较部21从标记特征存储部12中取出“标 记特征信息表”。

然后，特征比较部21参照“特异特征信息表”，将特异特征配置到特 征空间。并且，特征比较部21参照“标记特征信息表”，将标记的特征点 配置到该特征空间(步骤25)。然后，特征比较部21选择与特异特征一 致的标记的特征点(步骤26)。

接着，特征比较部21判断选出的标记的特征点的数量是否在规定数 量以上(步骤27)。

当判断的结果是选出的标记的特征点的数量在规定数量以上时，判定 为该标记能作为检测用标识使用(步骤28)。

另一方面，当选出的标记的特征点的数量小于规定数量时，判定为该 标记不能作为检测用标识使用(步骤29)。

如上所述，根据本实施方式的标识判定装置和标识判定方法，从作为 判定对象的标记中提取特征点，将该特征点配置到特征空间，判断这些特 征点是否与特异特征一致。由此，可判定已有的标记或图样已确定的标记 是否可成为标识检测装置的检测对象。

此外，图22所示的特征空间中配置的标记的特征点和图23所示的特 征空间中配置的标记的特征点，对基于标记单体的特征点进行了表示，但 并不限于标记单体，例如，也可以从包含标记的背景中提取特征点，将这 些特征点配置到特征空间，与特异特征进行比较。这种情况下，若包含标 记的特征点的区块与特异特征一致，则也能够判断为该标记能作为检测用 标识使用。

(第三实施方式)

下面，参照图25，说明本发明的标识判定装置及标识判定方法的第 三实施方式。

图25是表示本实施方式的标识判定装置的结构的框图。

本实施方式与第一实施方式相比，不同点在于还具备影像输入单元、 特征提取单元和不变特征变换单元。其他构成要素与第一实施方式相同。

因此，在图25中，对与图1相同的构成部分赋予同一符号并省略其 详细说明。

(I)标识判定装置

如图25所示，标识判定装置1c具备特征存储单元10、特征比较单 元20、影像输入单元30、特征提取单元40和不变特征变换单元50。

在此，特征提取单元40如图26所示，具有背景特征提取部41、标 记特征提取部42和特征存储部43。

背景特征提取部41从影像存储部32中取出帧图像，对该帧图像中的 包含特征图案的图像特征进行提取。

然后，背景特征提取部41如图13所示，对各个特征点赋予序号。接 着，背景特征提取部41求取各个特征点的坐标。

而后，背景特征提取部41将这些特征点的序号、坐标汇总为“特征 点信息表”而存储到特征存储部43中。

标记特征提取部42基于由影像输入部31输入的标记的影像来提取特 征点。而且，标记特征提取部42将提取出的特征点配置到特征空间。配 置了该特征点的特征空间与图21所示的特征空间相同。

并且，标记特征提取部42算出特征空间中的各特征点的坐标。标记 特征提取部42将该算出的特征点的坐标汇总为“标记特征信息表”(参照 图4)。该“标记特征信息表”存储于特征存储单元10的标记特征存储部 12中。

特征存储部43存储“特征点信息表”。

不变特征变换单元50如图26所示，具有第一不变特征变换部51、 第二不变特征变换部52、不变特征存储部53和特异特征选择部54。

第一不变特征变换部51将特征点变换为不变特征。该第一不变特征 变换部51从特征提取单元40的特征存储部43取出“特征点信息表”，将 该特征点变换为不变特征，并存储到不变特征存储部53中。

在提取出图像的特征部位，并将该图像上的位置坐标信息的序列作为 图形特征的情况下(例如，在从图11所示的背景影像中提取图12所示的 特征点的处理的情况)，这些向不变特征的变换例如可按如下方式进行。 为了便于描述，在此将位置坐标信息的序列称为特征点组。并且在此为了 简单起见，对背景位于远处时的几何学的不变特征进行说明。其中，由于 光学失真的影响而图像受到剪切变形失真的情况也认为是特征量不变。此 外，背景不在远处的情况等容易扩展为自由度更高的不变特征。说明在几 何学的不变特征即照相机与拍摄对象的布景相对旋转、平行移动而受到剪 切变形失真的情况下，与该相对位置关系变化无关地根据特征点组的位置 关系来生成不变的特征量的方法的一例。

从特征点组中选择任意3个特征点。另外，将不变量特征空间定义为 正交的2个轴所展开的二维平面。将从特征点组中选出的特征点中的一点 对应到不变量特征空间的原点。将其余两点分别对应到不变量特征空间中 的位置坐标(1，0)和(0，1)处。将这3点称为基底。此时，将从原图 像空间到不变量特征空间的一一对应的线性映射定义为仿射变换。若将除 基底之外的所有特征点组，利用通过基底而赋予特征的同一仿射变换映射 到不变特征空间，则这些特征点组与照相机和布景的相对位置关系无关地 保持不变。但是，实际上，根据布景而未必能始终选择相同基底，因而需 要从特征点组的所有的3点的排列组合中进行基底选择，将相对于各基底 的非基底特征点映射到不变量特征空间。

这样生成的所有基底和向不变量特征空间的所有特征点的映射，作为 不变特征而存储到不变特征存储部53中。这些特征点组相对于几何变形 而不变的理由是，在包含其他物体的影像中，通过从标识选出的基底而得 到的不变特征始终一致。

到此为止说明的方法是设基底为3个点的情况，但基底并不限于3 个点，可以是1个点、2个点或4个点以上。下面，说明设基底为1个点 的情况。

设从某一帧图像提取出的特征点如图12所示那样配置在特征空间。 另外，设对各特征点如图13所示那样赋予了序号。

第一不变特征变换部51将一个特征点确定为基底，按照使该基底到 达不变量特征空间的坐标(0，0)的位置的方式进行移动，求取该移动量， 对其他所有特征点也以该移动量在不变量特征空间中进行移动。

例如，如图27所示，以序号第5的特征点为基底，按照使该第5特 征点在不变量特征空间中到达坐标(0，0)的位置的方式，使所有特征点 平行移动。由此，在不变量特征空间中，特征点配置成如图27中右侧所 示那样。其中，将不变量特征空间中配置的特征点称为不变特征。

另外，如图28所示，以序号第15的特征点为基底，按照使该第15 特征点在不变量特征空间中到达坐标(0，0)的位置的方式，使所有特征 点平行移动，则不变特征组配置成如图28中右侧所示的不变量特征空间 那样。

另外，如图29所示，以序号第89的特征点为基底，按照使该第89 特征点在不变量特征空间中到达坐标(0，0)的位置的方式，使所有特征 点平行移动，则不变特征组配置成如图29中右侧所示的不变量特征空间 那样。

另外，如图30所示，以序号第91的特征点为基底，按照使该第91 特征点在不变量特征空间中到达坐标(0，0)的位置的方式，使所有特征 点平行移动，则不变特征组配置成如图30中右侧所示的不变量特征空间 那样。

这样，依次地分别将各特征点确定为基底进行下述处理，即，将一个 特征点确定为基底，随着将该基底移动到不变量特征空间的原点而以与该 移动量相同的移动量移动所有特征点的处理，并且，通过将这些移动后的 特征点重叠，从而将特征点映射到不变量特征空间。

将图12所示的特征点映射到不变量特征空间的结果如图31所示。这 是不变量特征空间中的配置了不变特征的状态。

此外，在本实施方式中，将特征点映射到不变量特征空间的方法采用 了图27～图31所示的方法，但映射方法并不限于该方法，还可采用各种 方法。

例如，可以将多个特征点中的一个确定为第一基底，将另一个确定为 第二基底，随着将第一基底移动到不变量特征空间的坐标(0，0)，将第 二基底移动到(0，1)，而按照与该移动规则相同的变换规则移动所有的 特征点，并存储不变量特征空间中的移动后的各特征点(不变特征)的坐 标。接着，将另外两个特征点确定为第一基底和第二基底，随着这些第一 和第二基底的移动，而按照同一变换规则移动所有的特征点，并存储不变 量特征空间中的不变特征的坐标。然后，当所有特征点被确定为第一和第 二基底且不变量特征空间中的不变特征的坐标的蓄积完成时，向不变量特 征空间的映射结束。

另外，上述说明是关于几何学的不变量的说明，但除了几何学的不变 量之外还可使用各种不变量。

例如，可使用物体颜色作为不变量。

关于物体的颜色，即便是同一物体，也会根据拍摄环境中存在的光源 颜色而以不同的颜色被拍摄。若能够从图像上将光源颜色变动的影响分离 并去除，则能够获得实际的物体颜色。可将获得的实际的物体颜色作为物 体颜色不变量使用。由于在镜面反射的部位光源颜色的影响占支配地位， 亮度值在光源颜色成分中容易饱和，因此可以将此视为光源色，不将饱和 部位所对应的颜色成分选择为不变特征。

此外，在根据图像推定物体颜色的方法中，也可使用Robby T.Tan and  Katsushi Ikeuchi完成的IEEE TRANSACTIONS ON PATTERN ANALYSIS  AND MACHINE INTELLIGENCE、VOL.27、NO.2、FEBRUARY 2005、 pp.178～193中记载的“Separating Reflection Components of Textured  Surfaces Using a Single Image”、Graham D.Finlayson、Steven D.Hordley、 Cheng Lu、and Mark S.Drew完成的IEEE TRANSACTIONS ON PATTERN  ANALYSIS AND MACHINE INTELLIGENT、VOL.28、NO.1、JANUARY 2006、pp.59～68中记载的“On the Removal of Shadows from Images”等。

进而，可以使用纹理作为不变量。

将对图像的部分区域的亮度分布实施数值运算而得到的数值或矢量 设为特征量。与图形的不变量同样，纹理不变量容易受到照相机与拍摄对 象之间的相对位置关系的影响，因而算出不易受该影响的特征量，设为纹 理不变量。例如，照相机与对象之间的距离或变焦不变的特征量，可通过 对关注的部分图像进行极坐标变换，并在矢径方向上获取能谱而安装。进 而，若针对上述能谱在方位角方向上再次求取能谱，则成为相对于绕照相 机光轴的旋转而不变的特征量。此外，还可采用Chi-Man Pun and  Moon-Chuen Lee完成的IEEE TRANSACTIONS ON PATTERN  ANALYSIS AND MACHINE INTELLIGENCE、VOL.25、NO.5、MAY 2003 所记载的“Log-Polar Wavelet Energy Signatures for Rotation and Scale  Invariant Texture Classification”等方法。

另外，关于几何学的不变量，也可使用如Richard Hartley and Andrew  Zisserman完成的“Multiple View Geometry in Computer Vision”等所记载 的其他几何学的不变量。根据该文件所记载的方法，在由多个照相机观测 同一布景时，能够获得距离或深度方向的相对位置关系的信息，但是这种 情况下，若将不在同一平面的4点选择为基底，设不变量特征空间为三维， 则可生成三维的几何学的不变量。此时，求取将从特征点组中选出的基底 4点中的一点对应到不变量空间的原点、将其他的基底的特征点对应到不 变量空间中的位置坐标(1，0，0)及(0，1，0)、(0，0，1)的变换映 射，使用该变换映射将其他特征映射到不变量空间。

将特征点映射到不变量特征空间的第一不变特征变换部51如图32 所示那样，对不变量特征空间添加格子状的网格，划分成多个区块。

接着，第一不变特征变换部51按各区块求取不变特征的数量。图33 中表示其计算结果。图33是表示在不变量特征空间中对不变特征的数量 为一个以上的区块添加了灰色的图。

第二不变特征变换部52将标记的特征点映射到不变量特征空间。

该映射的方法与第一不变特征变换部51将背景影像的特征点映射到 不变量特征空间的方法相同。

例如，在将图20所示的特征点映射到了不变量特征空间的情况下， 不变特征成为图34所示的配置。

另外，第二不变特征变换部52针对不变量特征空间中的不变特征， 制作“标记特征信息表”(参照图4)。该制作的“标记特征信息表”存储 在特征比较单元20的标记特征存储部12中。

不变特征存储部53保持了规定的存储区域。该不变特征存储部53 存储由第一不变特征变换部51求出的各种数据。各种数据中例如包括不 变量特征空间中配置的各不变特征的坐标、各区块的坐标(范围)、按各 区块的不变特征数等。

如图35所示，特异特征选择部54将不变量特征空间中进行标识图案 生成的范围(对判定对象的标记是否能作为检测用标识使用进行判定的范 围)，确定为标识图案生成范围。该标识图案生成范围可设为与静止图像 帧的大小相同的大小。

然后，特异特征选择部54将该标识图案生成范围中的按各区块的不 变特征数从不变特征存储部53中取出。图36中表示该取出的按各区块的 不变特征数。

此外，图36是表示在标识图案生成范围中对不变特征的数量为1个 以上的区块添加了灰色的图。

接着，特异特征选择部54将标识图案生成范围中的按各区块的不变 特征数为0或在规定数量以下的区块选择为特异特征。

而后，特异特征选择部54针对选出的特异特征制作“特异特征信息 表”(参照图3)，并存储到特异特征存储部11中。

(II)标识判定方法

下面，参照图37，说明本实施方式的标识判定装置的动作(标识判 定方法)。

图37是表示本实施方式的标识判定方法的处理步骤的流程图。

在标识判定装置1c中，影像输入单元30的影像输入部31拍摄(或 输入)背景影像(步骤30)。该背景影像可由多张帧图像构成。影像输入 单元30的影像存储部32将由影像输入部31输入的背景影像存储为帧图 像。

另外，影像输入部31拍摄(或输入)作为判定对象的标记的影像(步 骤31)。影像存储部32存储由影像输入部31输入的标记的影像。

特征提取单元40的背景特征提取部41从影像存储部32取出帧图像， 并从该帧图像中提取特征点(步骤32)。

另外，背景特征提取部41将这些特征点配置到特征空间。并且，背 景特征提取部41算出特征空间中的特征点的坐标。该算出的坐标被汇总 为“特征点信息表”，并存储到特征存储部43中。

然后，不变特征变换单元50的第一不变特征变换部51将背景影像的 特征点映射到不变量特征空间(步骤33)。

接着，第一不变特征变换部51对不变量特征空间添加格子状的网格， 划分成多个区块。进而，第一不变特征变换部51按各区块求取不变特征 的数量，将不变特征为0或在规定数量以下的区块选择为特异特征(步骤 34)。

并且，第一不变特征变换部51制作表示选出的特异特征的坐标的“特 异特征信息表”。特征存储单元10的特异特征存储部11存储“特异特征 信息表”。

特征提取单元40的标记特征提取部42从影像存储部32中取出标记 的图像，并从该标记的图像中提取特征点(步骤35)。

另外，标记特征提取部42将这些特征点配置到特征空间。并且，标 记特征提取部42算出特征空间中的特征点的坐标。该算出的坐标被汇总 为“标记特征信息表”，并存储到特征存储单元10的标记特征存储部12 中。

特征比较单元20的特征提取部21从特异特征存储部11中取出“特 异特征信息表”。并且，特征比较部21从标记特征存储部12中取出“标 记特征信息表”。

然后，特征比较部21参照“特异特征信息表”，将特异特征配置到特 征空间。并且，特征比较部21参照“标记特征信息表”，将标记的特征点 配置到该特征空间(步骤36)。然后，特征比较部21选择与特异特征一 致的标记的特征点(步骤37)。

接着，特征比较部21判断选出的标记的特征点的数量是否在规定数 量以上(步骤38)。

当判断的结果是选出的标记的特征点的数量在规定数量以上时，判定 为该标记能作为检测用标识使用(步骤39)。

另一方面，当选出的标记的特征点的数量小于规定数量时，判定为该 标记不能作为检测用标识使用(步骤40)。

如上所述，根据本申请发明的标识判定装置和标识判定方法，从作为 判定对象的标记中提取特征点，将该特征点配置到不变量特征空间，判断 这些特征点是否与特异特征一致。由此，可判定已有的标记或图样已确定 的标记是否可成为标识检测装置的检测对象。

此外，图34所示的不变量特征空间中配置了基于标记单体的不变特 征，但并不限于标记单体，例如，也可以从包含标记的背景中提取特征点， 将这些特征点映射到不变量特征空间，与特异特征进行比较。这种情况下， 若包含标记的不变特征的区块与特异特征一致，则也能够判断为该标记能 作为检测用标识使用。

(标识检测装置以及标识检测方法)

(标识检测装置)

下面，参照图38、39，对标识检测装置进行说明。

图38是表示标识检测装置的结构的框图。图39是表示标识检测装置 的详细结构的框图。

如图38所示，标识检测装置100具备影像输入单元110、特征提取 单元120、标识存储单元130、对照单元140和通知单元150。

在此，影像输入单元110如图39所示，具有影像输入部111和影像 存储部112。

影像输入部111对有可能存在标识的环境进行拍摄(输入)来作为检 测对象影像。例如，影像输入部111如图40所示，可输入包含标识的检 测对象影像。

影像存储部112将构成检测对象影像的静止图像帧存储为数字化后 的帧图像。

特征提取单元120如图39所示，具有特征提取部121和特征存储部 122。

特征提取部121从影像存储部112取出帧图像。并且，特征提取部 121对取出的帧图像中的包含特征图案的图像特征进行提取。

例如，在检测对象影像是如图40所示的图像的情况下，特征提取部 121从该检测对象影像中提取如图41所示的特征点。

特征存储部122存储由特征提取部121提取出的特征点的各坐标。

标识存储单元130存储由标识判定装置1判定出的与标识图案有关的 数据。该标识存储单元130还可存储例如基于标识图案的特征点。

对照单元140如图39所示，具有对照部141和对照结果存储部142。

对照部141从特征存储部122中取出基于检测对象影像的特征点的各 坐标，并且从标识存储单元130中取出基于标识图案的特征点的各坐标， 对这些坐标进行对照。然后，对照部141判断与基于标识图案的特征点一 致的特征点是否在基于检测对象影像的特征点之中。

例如，可以对标识图案的一个特征和从检测对象影像中生成的一个特 征进行比较，当特征空间中的欧几里得距离在既定值以下时，视为这些特 征一致，将一致的特征的数量作为得分进行累计，若得分达到了阈值，则 接受标识的检测。另外，也可以附加上述的欧几里得距离的累计值在既定 值以下的条件。

另外，例如，标识判定装置1a的特征提取部21在量化后的特征空间 中执行了特异特征的确定的情况下，标识存储单元130存储该特异特征的 坐标。并且，在来自检测对象影像的特征有1次投影到了标识设计时频度 为0的网格时，对照部141将此视为是来自标识图案的贡献，从而能够确 定检测。由此，能够高速地进行标识检测。

为了避免噪声或特征提取计算的误差所导致的误对应，也可将接受的 投影的频度设定为1次以上的既定值。或者，在可根据标识图案生成量化 的特征空间的情况下，也可利用该特征空间。这种情况下，可以在从检测 对象影像获得的特异特征有1次或既定次数与标识图案所投影的特征空 间网格一致时，接受标识图案检测。

进行这些对照的结果，当与基于标识图案的特征点一致的特征点在基 于检测对象影像的特征点之中时，对照部141对检测对象影像中的该特征 点的坐标进行检测，并将其存储到对照结果存储部142中。另外，对照部 141向通知单元150发送通知信号。

另一方面，当与基于标识图案的特征点一致的特征点不在基于检测对 象影像的特征点之中时，对照部141不进行特征点的坐标的检测和通知信 号的送出。

具体而言，对照部141从图41所示的特征点组中，找出与从标识存 储单元130中取出的基于标识图案的特征点一致的特征点。此时，对照部 141将基于标识图案的特征点组放大或缩小后与特征空间中的特征点组 进行对照。

其结果，若从图41所示的特征点组中找到了与从标识存储单元130 中取出的基于标识图案的特征点一致的特征点，则对照部141检测图41 所示的特征空间中的该特征点的坐标，并将其存储到对照结果存储部142 中。

对照结果存储部142存储与由对照部141进行的对照相关的数据。

例如，对照结果存储部142存储基于检测对象影像的特征点之中与基 于标识图案的特征点一致的特征点(在图41中由左侧的椭圆包围的特征 点)的各坐标。

若通知单元150从对照部141收到通知信号，则向外部通知与基于标 识图案的特征点一致的特征点在基于检测对象影像的特征点之中这一情 况。该通知的方法例如有声音输出、画面显示等。

(标识检测方法)

下面，参照图42，对本实施方式的标识检测方法进行说明。

标识存储单元130预先存储了在标识判定装置1中作为判定对象的标 识所相关的数据(步骤50)。该标识存储单元130例如还可存储基于标识 图案的特征点。

影像输入单元110的影像输入部111输入有可能存在标识的环境来作 为检测对象影像(步骤51)。

影像存储部112将构成检测对象影像的静止图像帧存储为数字化后 的帧图像。

特征提取单元120的特征提取部121从影像存储部112中取出帧图 像。并且，特征提取部121对取出的帧图像中的包含特征图案的图像特征 进行提取(步骤52)。

另外，特征提取部121计算提取出的特征点的坐标(步骤53)。

特征存储部122存储由特征提取部121算出的特征点的各坐标。

对照单元140的对照部141从特征存储部122中取出基于检测对象影 像的特征点的各坐标，并且从标识存储单元130中取出基于标识图案的特 征点的各坐标，对这些坐标进行对照(步骤54)。然后，对照部141判断 与基于标识图案的特征点一致的特征点是否在基于检测对象影像的特征 点之中。

判断的结果，当与基于标识图案的特征点一致的特征点在基于检测对 象影像的特征点之中时，对照部141对检测对象影像中的该特征点的坐标 进行检测，并将其存储到对照结果存储部142中。另外，对照部141向通 知单元150发送通知信号。

另一方面，当与基于标识图案的特征点一致的特征点不在基于检测对 象影像的特征点之中时，对照部141不进行特征点的坐标的检测和通知信 号的送出。

若通知单元150从对照部141收到通知信号，则向外部通知与基于标 识图案的特征点一致的特征点在基于检测对象影像的特征点之中这一情 况(步骤55)。

然后，判断是否结束(步骤56)，在未结束时重复步骤51～步骤56 的处理。

如上所述，根据本实施方式的标识检测装置和标识检测方法，利用在 标识判定装置中判定为能作为检测用标识使用的标记，能够可靠地检测出 检测对象影像中突出显示的标识。

另外，在本实施方式中，设为在特征空间中进行标识的检测，但标识 的检测并不限于特征空间，例如也可在不变量特征空间中进行。这种情况 下，在标识判定阶段，预先存储选择了特异特征的特异特征配置图，在标 识检测阶段，从检测对象影像中提取特征点，将该特征点映射到不变量特 征空间来作为不变特征，使该不变量特征空间和上述的特异特征配置图重 叠，当特异特征配置图所示的特异特征中出现了不变量特征空间所示的不 变特征时，可将该不变特征作为基于标识的不变特征进行检测。

进而，在检测用标识的判定中，在利用了物体颜色不变量或纹理不变 量的情况下，在标识检测中，利用这些物体颜色不变量或纹理不变量进行 标识检测。这种情况下，在标识判定阶段，从背景影像中提取物体颜色不 变量或纹理不变量，选择基于这些不变量的特异特征并进行存储，在标识 检测阶段，从检测对象影像中提取物体颜色不变量或纹理不变量，在这些 物体颜色不变量或纹理不变量与特异特征一致时，可将这些物体颜色不变 量或纹理不变量作为标识进行检测。

(标识判定检测装置以及标识判定检测系统)

(标识判定检测装置)

下面，参照图43，对标识判定检测装置进行说明。

图43是表示标识判定检测装置的结构的框图。

如图43所示，标识判定检测装置1000具备标识判定装置1和标识检 测装置100。

在此，标识判定装置1可采用上述第一实施方式～第六实施方式的任 一个中的标识判定装置1。

标识检测装置100可采用上述的图43所示的标识检测装置100。

这样，标识判定检测装置1000可采用将标识判定装置1和标识检测 装置100一体化的结构。

另外，由于标识判定装置1和标识检测装置100具有可共有化的功能， 因此也可采用如图44所示的结构。

例如，标识判定检测装置1000具有：影像输入单元30、特征提取单 元40、不变特征变换单元50、特征存储单元10、特征比较单元20、标识 存储部60、对照单元140和通知单元150。

其中，影像输入单元30、特征提取单元40、不变特征变换单元50、 特征存储单元10、特征比较单元20和标识存储部60具有作为标识判定 装置的功能。

另一方面，影像输入单元30、特征提取单元40、标识存储部60、对 照单元140和通知单元150具有作为标识检测装置的功能。

并且，影像输入单元30、特征提取单元40和标识存储部60是标识 判定装置和标识检测装置中通用的部分。

标识判定装置中的标识判定方法与上述第一实施方式～第六实施方 式中的标识判定方法相同。

另外，标识检测装置中的标识检测方法与上述实施方式中的标识检测 方法相同。

(标识判定检测系统)

下面，参照图45，对本实施方式的标识判定检测系统进行说明。

如图45所示，标识判定检测系统2000具备标识判定装置1和标识检 测装置100。该标识判定装置1和标识检测装置100可通过通信网络或通 信电缆300等连接。

标识判定装置1具有：影像输入单元30、特征提取单元40、不变特 征变换单元50、特征存储单元10、特征比较单元20、标识存储部60、通 信单元70。

通信单元70取出标识存储部60中存储的与标识有关的数据，并将其 发送给标识检测装置100。

标识检测装置100具有：影像输入单元110、特征提取单元120、标 识存储单元130、对照单元140、通知单元150和通信单元160。

通信单元160接收从标识判定装置1发送来的与标识有关的数据。另 外，通信单元160将该接收的与标识有关的数据存储到标识存储部130 中。

如上所述，根据标识判定检测装置和标识判定检测系统，能够判定已 有的标记或图样已确定的标记是否可成为标识检测装置的检测对象。

(标识判定程序以及标识检测程序)

下面，对标识判定程序以及标识检测程序进行说明。

上述各实施方式中的计算机(标识判定装置、标识检测装置、标识判 定检测装置、标识判定检测系统)的标识判定功能(用于执行标识判定方 法的功能)、标识检测功能(用于执行标识检测方法的功能)，可通过存储 单元(例如ROM(Read only memory)或硬盘等)所存储的标识判定程 序或标识检测程序来实现。

标识判定程序和标识检测程序通过被读入到计算机的控制单元(CPU (Central Processing Unit)等)，向计算机的结构的各部分发送指令，使 其执行规定的处理，例如标识判定装置的影像输入处理、特征提取处理、 特异特征选择处理、标识判定处理、不变特征变换处理、标识检测装置的 影像输入处理、特征提取处理、对照处理和通知处理等。

由此，标识判定功能或标识检测功能，可通过作为软件的标识判定程 序和作为硬件资源的计算机(标识判定装置、标识检测装置、标识判定检 测装置、标识判定检测系统)的各结构单元协作来实现。

此外，用于实现标识判定功能或标识检测功能的标识判定程序，除了 存储于计算机的ROM或硬盘等之外，还可保存在计算机可读取的记录介 质例如外部存储装置和便携记录介质等中。

外部存储装置是指内置CD-ROM(Compact disk-Read only memory) 等存储介质，与标识判定装置进行外部连接的存储器增设装置。另一方面， 便携记录介质是指可安装于记录介质驱动装置(驱动装置)且可携带的记 录介质，如软盘、存储卡、光磁盘等。

并且，记录介质中记录的程序被加载到计算机的RAM(Random  access memory)等中由CPU(控制单元)执行。通过该执行，可实现上 述各实施方式的标识判定装置的功能。

进而，在计算机中加载标识判定程序时，也可将其他计算机所保持的 标识判定程序利用通信线路下载到自己所具有的RAM或外部存储装置 中。该下载的标识判定程序也由CPU执行，实现上述各实施方式的标识 判定装置的标识判定功能。

如上所述，根据本实施方式的标识判定装置、标识判定检测系统、标 识判定检测装置、标识、标识判定方法及标识判定程序，可判定已有的标 记或图样已确定的标记是否可作为标识检测装置的检测对象使用。

以上，对本发明的标识判定装置、标识判定检测系统、标识判定检测 装置、标识、标识判定方法及标识判定程序的优选实施方式进行了说明， 但本发明的标识判定装置、标识判定检测系统、标识判定检测装置、标识、 标识判定方法及标识判定程序并不限于上述实施方式，当然可在本发明的 范围内实施各种变更。例如，在上述实施方式中，说明了将一个标记判定 为判定对象的标记的方法，但并不限于一个标记，也可一次判定多个标记。

另外，标记判定装置可具备通知单元。若通知单元从特征比较部收到 通知信号，则向外部通知判定对象的标记是否能作为检测用标识使用的判 定结果。该通知的方法例如有声音输出、画面显示等。

进而，在背景影像随时间变化的情况下，特征比较部能够在特征空间 或不变量特征空间中标记的特征点和特异特征在时间上不重叠时，可判断 该标记能作为检测用标识使用。

另外，上述实施方式的内容也可表现为如下方式。

(附记1)一种标识判定装置，具有：

特征存储单元，从图像中提取出的特征点配置在规定的空间，该规定 的空间中的所述特征点在规定数量以下的部分被作为特异特征，该特征存 储单元存储该特异特征以及从已有的标记中提取出的特征点；和

特征比较单元，将从所述已有的标记中提取出的特征点配置到所述规 定的空间，当与所述特异特征一致的特征点的数量在规定数量以上时，判 断为能够将所述已有的标记作为能从所述图像中检测出的标识来使用。

(附记2)根据附记1所述的标识判定装置，其中，

所述标识判定装置还具有：

影像输入单元，拍摄所述图像；

特征提取单元，从所述图像中提取特征点；和

特异特征选择单元，将所述特征点配置到特征空间，将该特征空间中 的所述特征点在规定数量以下的部分选择为所述特异特征；

所述特征比较单元将从所述已有的标记中提取出的特征点配置到所 述规定的空间，当与所述特异特征一致的特征点的数量在规定数量以上 时，判断为能够将所述已有的标记作为能从所述图像中检测出的标识来使 用。

(附记3)根据附记1所述的标识判定装置，其中，

所述标识判定装置还具有：

影像输入单元，拍摄所述图像；

特征提取单元，从所述图像中提取特征点；和

不变特征变换单元，将从所述图像中提取出的特征点映射到不变量特 征空间，将该不变量特征空间中的所述特征点在规定数量以下的部分选择 为所述特异特征；

所述特征比较单元将从所述已有的标记中提取出的特征点配置到所 述不变量特征空间，当与所述特异特征一致的特征点的数量在规定数量以 上时，判断为能够将所述已有的标记作为能从所述图像中检测出的标识来 使用。

(附记4)根据附记1～3中任一项所述的标识判定装置，其中，

所述标识判定装置还具有通知单元，该通知单元将所述特征比较单元 中的判断的结果通知到外部。

(附记5)一种标识判定检测系统，具有标识判定装置和标识检测装 置，

所述标识判定装置具有：

第一影像输入单元，输入图像；

第一配置单元，从由该第一影像输入单元输入的所述图像中提取特征 点，将该提取出的特征点表示到规定的空间；

特异特征选择单元，将所述空间中的所述特征点在规定数量以下的部 分选择为特异特征；

特征比较单元，将基于已有的标记的特征点配置到所述规定的空间， 选择与所述特异特征一致的特征点，当该选出的特征点的数量在规定数量 以上时，判断为能够将所述标记作为能从所述图像中检测出的标识来使 用；和

标识存储单元，存储所述标记的特征点；

所述标识检测装置具有：

第二影像输入单元，输入图像；

第二配置单元，基于由该第二影像输入单元输入的所述图像来提取特 征点，将该提取出的特征点表示到规定的空间；和

对照单元，判断在所述规定的空间所示的特征点组的配置中是否存在 基于所述标识的特征点的配置。

(附记6)根据附记5所述的标识判定检测系统，其中，

所述第一配置单元将所述提取出的特征点配置到特征空间；

所述特异特征选择单元将所述特征空间中的所述特征点在规定数量 以下的部分选择为特异特征。

(附记7)根据附记5所述的标识判定检测系统，其中，

所述第一配置单元将所述提取出的特征点映射到不变量特征空间；

所述特异特征选择单元将所述不变量特征空间中的所述特征点在规 定数量以下的部分选择为特异特征。

(附记8)一种标识判定检测装置，具有：

第一影像输入单元，输入图像；

第一配置单元，从由该第一影像输入单元输入的所述图像中提取特征 点，将该提取出的特征点表示到规定的空间；

特异特征选择单元，将所述空间中的所述特征点在规定数量以下的部 分选择为特异特征；

特征比较单元，将基于已有的标记的特征点配置到所述规定的空间， 选择与所述特异特征一致的特征点，当该选出的特征点的数量在规定数量 以上时，判断为能够将所述标记作为能从所述图像中检测出的标识来使 用；

标识存储单元，存储所述标识；

第二影像输入单元，输入图像；

第二配置单元，基于由该第二影像输入单元输入的所述图像来提取特 征点，将该提取出的特征点表示到规定的空间；和

对照单元，判断在所述规定的空间所示的特征点组的配置中是否存在 与所述标识对应的特征点的配置。

(附记9)根据附记8所述的标识判定检测装置，其中，

所述第一配置单元将所述提取出的特征点配置到特征空间；

所述特异特征选择单元将所述特征空间中的所述特征点在规定数量 以下的部分选择为特异特征。

(附记10)根据附记8所述的标识判定检测装置，其中，

所述第一配置单元将所述提取出的特征点映射到不变量特征空间；

所述特异特征选择单元将所述不变量特征空间中的所述特征点在规 定数量以下的部分选择为特异特征。

(附记11)一种标识，从图像中提取特征点，将该提取出的特征点 表示到规定的空间，将所述规定的空间中的所述特征点在规定数量以下的 部分选择为特异特征，从已有的标记中提取特征点，将该特征点配置到所 述规定的空间，选择与所述特异特征一致的特征点，当该选出的特征点的 数量在规定数量以上时，判断为能够作为能从所述图像中检测出的标识来 使用。

(附记12)根据附记11所述的标识，其中，

将所述提取出的特征点配置到特征空间，将该特征空间中的所述特征 点在规定数量以下的部分选择为特异特征。

(附记13)根据附记11所述的标识，其中，

将所述提取出的特征点映射到不变量特征空间，将所述不变量特征空 间中的所述特征点在规定数量以下的部分选择为特异特征。

(附记14)一种标识判定方法，包括：

输入图像的步骤；

从所述图像中提取特征点，将该提取出的特征点表示到规定的空间的 步骤；

将所述空间中的所述特征点在规定数量以下的部分选择为特异特征 的步骤；和

将基于已有的标记的特征点配置到所述规定的空间，选择与所述特异 特征一致的特征点，当该选出的特征点的数量在规定数量以上时，判断为 能够将所述标记作为能从所述图像中检测出的标识来使用的步骤。

(附记15)根据附记14所述的标识判定方法，其中，

所述标识判定方法包括：将从所述已有的标记提取出的特征点配置到 所述特征空间，当与所述特异特征一致的特征点的数量在规定数量以上 时，判断为能够将所述已有的标记作为能从所述图像中检测出的标识来使 用的步骤。

(附记16)根据附记14所述的标识判定方法，其中，

所述标识判定方法包括：将从所述已有的标记提取出的特征点配置到 所述不变量特征空间，当与所述特异特征一致的特征点的数量在规定数量 以上时，判断为能够将所述已有的标记作为能从所述图像中检测出的标识 来使用的步骤。

(附记17)一种标识判定程序，使信息处理装置执行：

输入图像的处理；

从所述图像中提取特征点，将该提取出的特征点表示到规定的空间的 处理；

将所述空间中的所述特征点在规定数量以下的部分选择为特异特征 的处理；和

将基于已有的标记的特征点配置到所述规定的空间，选择与所述特异 特征一致的特征点，当该选出的特征点的数量在规定数量以上时，判断为 能够将所述标记作为能从所述图像中检测出的标识来使用的处理。

(附记18)根据附记17所述的标识判定程序，其中，

所述标识判定程序使信息处理装置执行：将从所述已有的标记提取出 的特征点配置到所述特征空间，当与所述特异特征一致的特征点的数量在 规定数量以上时，判断为能够将所述已有的标记作为能从所述图像中检测 出的标识来使用的处理。

(附记19)根据附记17所述的标识判定程序，其中，

所述标识判定程序使信息处理装置执行：将从所述已有的标记提取出 的特征点配置到所述不变量特征空间，当与所述特异特征一致的特征点的 数量在规定数量以上时，判断为能够将所述已有的标记作为能从所述图像 中检测出的标识来使用的处理。

此外，本发明的标识判定装置、标识判定检测系统、标识判定检测装 置和标识判定方法，也可将第一实施方式、第二实施方式、第三实施方式 各自中的标识判定装置或标识判定方法任意组合而成。

本申请主张以2009年7月23日提出的日本申请特愿2009-171842号 为基础的优先权，在此引入其所公开的全部内容。

(产业上的可利用性)

本发明是与标识的生成相关的发明，因此可利用于进行标识的生成的 装置或设备，进而可利用于以物品管理、物理安全为首的影像监控、机器 人视觉、复合现实感UI、内容生成应用等用途。

符号说明

1    标识判定装置

10   特征存储单元

20   特征比较单元

30   影像输入单元

40   特征提取单元

50   不变特征变换单元

60   标识存储部

100  标识检测装置

110  影像输入单元

120  特征提取单元

130  存储单元

140  对照单元

1000 标识判定检测装置

2000 标识判定检测系统