特征量提取方法、被摄体分类方法、被摄体判别方法、特征量提取装置、被摄体分类装置、被摄体判别装置、特征量提取·被摄体分类及被摄体判别程序以及记录了该程序的记录介质

摘要

本发明提供一种根据对被摄体进行摄像所得的图像不依赖于该被摄体的形状来表示被摄体的特征的特征量提取方法、以及使用了所提取的特征量的被摄体的分类以及判别方法。一种特征量提取方法，从由摄像单元所摄像的被摄体的图像之中提取特征量，通过包括：根据所述图像来作成滤波器组的步骤；根据所述滤波器组来作成最大亮度图像的步骤；设定所述最大亮度图像的图像区域圆并设定该图像区域圆的中心Cc以及半径Rc的步骤；以(a)从像素的位置(x，y)到所述中心Cc之间的距离LD与所述半径Rc之比、(b)像素的亮度值FD(x，y)、(c)与附近像素的亮度值的差分的合计为轴而将最大亮度图像的像素投影到三维空间的步骤；和根据被投影到所述三维空间的像素来作成频度直方图的步骤；由此从对被摄体进行摄像所得的图像之中提取特征量。

说明书

技术领域

本发明涉及特征量提取方法、被摄体分类方法、被摄体判别方法、特征量提取装置、被摄体分类装置、被摄体判别装置、特征量提取·被摄体分类及被摄体判别程序以及记录了该程序的记录介质，尤其涉及不取决于柔软物体的形状地从作为被摄体而对柔软物体进行摄像所得到的图像之中提取该柔软物体的特征量的方法、进而使用了所提取的特征量的被摄体的分类以及被摄体的判别方法、以及被摄体的分类以及被摄体的判别装置、进而用于使计算机作为特征量提取装置、被摄体分类装置以及被摄体判别装置发挥功能的程序。

背景技术

随着技术的进步，目前在各种领域中机械化较为发达。由于在由机器人操作物体之际需要判别物体的位置、类别等，因此通过对由CCD照相机等所得的图像进行处理、解析，来发挥相当于人类眼睛的功能。

在人类所生活的日常环境中存在多样种类的物体，例如也存在从形状完全不发生变化的刚体到布、纸等的变化为多样形状的物体，在由机器人进行自动化之际，需要不取决于物体的形状而根据图像来判别该物体是何种物体。

对于基于图像处理的物体的判别，近年来经常采用的是SIFT(非专利文献1)。在该方法中，虽然即便物体的外观发生某种程度的变化也能进行图像处理，但是由于基本上是假定刚体的图像处理，因此例如难以适用于(1)可取得重叠、折叠、皱褶等的多样形状的衣服等的柔软物体、(2)道路的沥青部分和路边的土、草的部分、(3)地板上的尘埃等的、混合或者积层于被摄体中的不同物体、(4)由于叶的形状、折弯等而使得即便是相同种类但外形形状也不相同的蔬菜、水果、等的判别中。因此，在人类的日常环境中，为了支援生活，例如需要以下图像处理方法：(1)在考虑使机器人等的自动化机器完成作为柔软物体的清洗物的操作的情形时，用于适当地判别这些柔软物体的图像处理方法；(2)视觉障碍者所使用的电动轮椅或者汽车用于行驶于所决定的场所的自动行驶系统用的图像处理方法；(3)在自动吸尘器打扫地板之际用于判别地板上的污垢部分的图像处理方法；等。进而还需要(4)在食品工厂中的蔬菜、水果的分类等的工业场所中，用于对可获取多样外观形状的物品准确地进行分类以及／或者判别的图像处理方法。

关于柔软物体的图像处理方法，目前为止所采用的是多样的图像特征。例如，Kakikura等人使用颜色信息来实现分离任务(参照非专利文献2)，Ono等人提出了关于手帕这样的四边形状的布制品而将其一部分折弯的状态的表现方式(参照非专利文献3)。此外，Kita等人提出了将模型应用于使用三维的可变形状模型进行测量而得到的三维点群的方法(参照非专利文献4)。然而，在这些现有研究中，要么预先赋予布制品的种类，并且要么另外将用于确定布制品的判别信息定义为原料的颜色等，事前需要用于确定布制品等的信息。

如上述那样，如果存在纵使无需用于确定布制品等的信息也可从一般能利用的图像之中提取它们的特征量的方法，则在生活支援、清洗工厂等中能够按每一相同制品对多个制品进行分类，进而如果存在可判别已分类的制品为何种制品的方法，则认为在利用了机器人等的自动化方面是有用的。因而，Osawa等人(参照非专利文献5)、Abbeel等人(参照非专利文献6)提出一种在机器人操作布制品的期间判别其轮廓、下端点的位置，并判别布制品的种类的方式。

在先技术文献

非专利文献

非专利文献1：D.G.Lowe：“Distinctive image features from scale-invariant keypoints，”Int’l Journal of Computer Vision，vol.60，No.2，pp.91-110，2004.

非专利文献2：K.Hamajima and M.Kakikura：“Planning Strategy forUnfolding Task of Clothes-Isolation of clothes from washed mass-，”inProc.ofInt’l.Conf.on Robots and Systems，pp.1237-1242，2000

非专利文献3：E.Ono，H.Okabe，H.Ichijo and N.Aisaka“Robot Handwith Sensor for Cloth Handling，”In Proc.1990，Japan，U.S.A.Symp.onFlexible Automation，pp.1363-1366，1990.

非专利文献4：Y.Kita，F.Saito and N.Kita：“A deformable modeldriven method for handling clothes，”Proc.of Int.Conf.on PatternRecognition，2004.

非专利文献5：F.Osawa，H.Seki，and Y.Kamiya：“Unfolding ofMassive Laundry and Classification Types by Dual Manipulator，”Journal ofAdvanced Computational Intelligence and Intelligent Informatics，Vol.11No.5，pp.457-，2007.

非专利文献6：J.Maitin-Sphepard，M.Cusumano-Towner，J.Lei andP.Abbeel：“Cloth Grasp Point Detection based on Multiple-ViewGeometric Cues with Application to Robotic Towel Folding，”Int’1.Conf.onRobotics and Automation，pp.2308-2315，2010.

非专利文献7：Y.Zhao and G.Karypis：“Comparison of agglomerativeand partitional document clustering algorithms，”University of Minnesota-Computer Science and Engineering Technical Report，No.02-014，2002.

非专利文献8：C.Chang and C.Lin：“LIVSVM”http：／／www.csie.ntu.edu.tw/cjlin/libsvm/.

发明内容

发明要解决的课题

然而，上述记载的图像处理方法全部是对柔软物体施以物理操作的方法，例如难以判别从口袋取出的手帕、从脱衣篓取出的衣服等、堆叠起来的状态或折叠为不规则形状的状态的柔软物体的种类等。此外，判别混合或者积层于被摄体中的不同物体、或者对即便是相同种类但外观也不相同的物体进行分类或者判别也较为困难。

本发明者们经由潜心研究，新发现了一种如果原料相同则与皱褶、堆叠等的外观形状无关，此外如果物体的种类相同则与因个体差异所引起的外观形状的差异无关，这样来表示同样特征的特征量的提取方法，进而新发现了一种与混合或者积层于被摄体的不同物体的形状无关，按每个物体表示同样特征的特征量的提取方法。而且，发现了通过基于由该特征量提取方法所提取的特征量来分类被摄体从而能够将被摄体分类为相同群组，进而通过与已知的被摄体的特征量进行比较从而能够判别被摄体为何种物体，由此完成了本发明。

即，本发明的目的在于提供一种根据对被摄体进行摄像所得到的图像，不取决于该被摄体的形状，表示被摄体的特征的特征量提取方法、以及使用了所提取的特征量的被摄体的分类以及判别方法。此外，本发明的其他目的在于提供一种使用了所述特征量提取方法的被摄体分类装置以及被摄体判别装置。进而，本发明的其他目的在于提供一种用于使计算机作为特征量提取装置、被摄体分类装置或者被摄体判别装置发挥功能的程序以及记录了该程序的记录介质。

用于解决课题的手段

本发明为以下所示的、特征量提取方法、被摄体分类方法、被摄体判别方法、特征量提取装置、被摄体分类装置、被摄体判别装置、特征量提取·被摄体分类以及判别程序以及记录了该程序的记录介质。

(1)一种特征量提取方法，其特征在于，从由摄像单元所摄像的被摄体的图像之中提取特征量，该特征量提取方法包括：

根据所述图像来作成滤波器组的步骤；

根据所述滤波器组来作成最大亮度图像的步骤；

设定所述最大亮度图像的图像区域圆，并设定该图像区域圆的中心Cc以及半径Rc的步骤；

以(a)从像素的位置(x，y)到所述中心Cc之间的距离L_D与所述半径Rc之比、(b)像素的亮度值F_D(x，y)、(c)附近像素的亮度值与像素的亮度值F_D之间的差分的合计为轴，将最大亮度图像的像素投影到三维空间的步骤；和

根据被投影到所述三维空间的像素来作成频度直方图的步骤。

(2)一种特征量提取方法，其特征在于，从由摄像单元所摄像的被摄体的图像之中提取特征量，该特征量提取方法包括：

根据所述图像来作成滤波器组的步骤；

根据所述滤波器组来作成最大亮度图像的步骤；

设定所述最大亮度图像的图像区域圆，并设定该图像区域圆的中心Cc以及半径Rc的步骤；

以(d)从关注像素的位置(x，y)到所述中心Cc之间的距离L_O与所述半径Rc之比、(e)用连续值来对关注像素属于堆叠的上下哪处进行评价而得到的值E_O、(f)关注像素所属的堆叠部分的方向分量为轴，将最大亮度图像的像素投影到三维空间的步骤；和

根据被投影到所述三维空间的像素来作成频度直方图的步骤。

(3)根据上述(1)或(2)所述的特征量提取方法，其特征在于，所述被摄体为柔软物体。

(4)根据上述(1)～(3)中任一项所述的特征量提取方法，其特征在于，使用贾伯滤波器(Gabor filter)来作成所述滤波器组。

(5)一种被摄体分类方法，其特征在于，使用由上述(1)～(4)中任一项所述的特征量提取方法所提取出的频度直方图，来对被摄体进行分类。

(6)一种被摄体判别方法，其特征在于，将由上述(1)～(4)中任一项所述的特征量提取方法所提取出的频度直方图与已知的被摄体的频度直方图进行比较。

(7)根据上述(6)所述的被摄体判别方法，其特征在于，所述已知的被摄体为多个种类的被摄体，通过将所提取出的频度直方图与多个种类的已知的被摄体的频度直方图进行比较，由此来判别被摄体的种类。

(8)一种特征量提取装置，其特征在于，从由摄像单元所摄像的被摄体的图像之中提取特征量，该特征量提取装置包括：

滤波器组作成单元，其根据所述图像来作成滤波器组；

滤波结果合成单元，其根据所述滤波器组来作成最大亮度图像；

最大亮度图像中心以及半径设定单元，其设定所述最大亮度图像的图像区域圆，并设定该图像区域圆的中心Cc以及半径Rc；

三维投影单元，其以(a)从像素的位置(x，y)到所述中心Cc之间的距离L_D与所述半径Rc之比、(b)像素的亮度值F_D(x，y)、(c)附近像素的亮度值与像素的亮度值F_D之间的差分的合计为轴，将最大亮度图像的像素投影到三维空间；和

频度直方图作成单元，其根据被投影到所述三维空间的像素来作成频度直方图。

(9)一种特征量提取装置，其特征在于，从由摄像单元所摄像的被摄体的图像之中提取特征量，该特征量提取装置包括：

滤波器组作成单元，其根据所述图像来作成滤波器组；

滤波结果合成单元，其根据所述滤波器组来作成最大亮度图像；

最大亮度图像中心以及半径设定单元，其设定所述最大亮度图像的图像区域圆，并设定该图像区域圆的中心Cc以及半径Rc；

三维投影单元，其以(d)从关注像素的位置(x，y)到所述中心Cc之间的距离L_O与所述半径Rc之比、(e)用连续值来对关注像素属于堆叠的上下哪处进行评价而得到的值E_O、(f)关注像素所属的堆叠部分的方向分量为轴，将最大亮度图像的像素投影到三维空间；和

频度直方图作成单元，其根据被投影到所述三维空间的像素来作成频度直方图。

(10)根据上述(8)或(9)所述的特征量提取装置，其特征在于，所述被摄体为柔软物体。

(11)根据上述(8)～(10)中任一项所述的特征量提取装置，其特征在于，使用贾伯滤波器来作成所述滤波器组。

(12)一种被摄体分类装置，其特征在于，包括图像分类单元，该图像分类单元使用由上述(8)～(11)中任一项所述的特征量提取装置所提取出的频度直方图来对被摄体进行分类。

(13)一种被摄体判别装置，其特征在于，包括：判别DB，其保存已知的被摄体的频度直方图；以及判别单元，其将由上述(8)～(12)中任一项所述的特征量提取装置所提取出的频度直方图与保存在所述判别DB中的已知的被摄体的频度直方图进行比较来判别。

(14)根据上述(13)所述的被摄体判别装置，其特征在于，保存在所述判别DB中的已知的被摄体的频度直方图为多个种类的被摄体的频度直方图，所述判别单元通过将所述提取出的频度直方图与保存在所述判别DB中的多个种类的频度直方图进行比较，由此来判别被摄体的种类。

(15)一种程序，其特征在于，使计算机作为上述(8)～(11)所述的特征量提取装置、上述(12)所述的被摄体分类装置、或者上述(13)或(14)所述的被摄体判别装置发挥功能。

(16)一种计算机可读取的记录介质，记录有上述(15)所述的程序。

发明效果

在本发明中，即便由于皱褶、堆叠等而使得被摄体的外观形状有所不同，此外因物体的个体差异所引起的外观形状有所不同，进而混合或者积层于被摄体中的物体的外观形状有所不同，也能够提取不取决于该被摄体的外观形状的特征量，因而能够在不使用物理手段的情况下以原本的形状来对被摄体进行分类、判别。此外，摄像单元无需对被摄体高精细地进行摄像，也可以是较低分辨率的图像。而且，通过与已知的被摄体的特征量进行比较，从而无论被摄体是什么样的形状，均能够判别该被摄体的种类。进而，本发明的特征量提取方法、被摄体分类方法以及被摄体判别方法不是比较被摄体的外观形状、其大小，而是将因被摄体的原料或种类所引起的皱褶、堆叠、叶片或叶脉的图案、茎或干、果实的存在及其密度、砂土的种类、沉积物·附着物的种类或量所引起的原有面的外表、硬物质的原料或表面加工的粗糙度等作为特征量来进行提取并加以分类以及判别，因此通过对从任意角度摄像到的至少一枚图像进行处理，能够实现被摄体的分类以及判别，其结果，通过使这些分类、判别所需的数据量最小化，从而能够提高这些分类、判别所需的装置的处理速度。

附图说明

图1是表示本发明的、(1)被摄体判别装置、(2)被摄体分类装置以及(3)特征量提取装置的概要的图。

图2是表示本发明的、(1)被摄体判别装置的特征量提取部以及图像判别部、(2)被摄体分类装置的特征量提取部以及图像分类单元、的详细构成的框图。

图3是表示本发明的特征量提取方法的步骤的图。

图4是表示滤波器组作成的具体步骤的图。

图5是表示方向·大小不同的边缘检测滤波器的构成的图，滤波器的形状由振幅和窗口宽度来规定。

图6是表示由最大亮度图像所设定的衣服区域圆的中心Cc以及半径Rc的图。

图7是表示本发明的CM-WD法(关注于布料、皱褶的密度的特征量提取方法)的概要的图，是表示以最大亮度图像区域的中心Cc为基点所指定的像素及其周边的像素的图。

图8是表示将特征量投影到三维空间接着将三维空间划分为n³个三维网格而在各网格中容纳的像素数计数的概要的图。

图9是表示频度直方图的图，横轴表示划分为n³个的各网格，纵轴表示在该网格中容纳的像素数。

图10是表示本发明的OVLP法(关注于布的堆叠的位置和方向的特征量提取法)的概要的图，表示针对于作为堆叠部分所提取的边缘上的各像素，以对象区域的中心Cc为基点将关注像素的周边像素分割为堆叠的上侧或者下侧。

图11是表示比较例的DST-W法(皱褶的分布和方向上的特征量)的概要的图，表示将Cc和椭圆区域的长轴的中心坐标连结在一起的线、与椭圆区域的长轴之间的相对角度。

图12是表示判别DB的作成步骤的一例的图。

图13是代替附图的照片，是表示在实施例中使用的布制品的照片。

图14是表示根据由本发明的特征量提取法所提取的特征量、以及由比较例的方法所提取的特征量来作成判别DB并对布制品进行判别时的判别率的图表。

图15是表示组合特征量来作成判别DB时的判别率的图表。

具体实施方式

以下，使用附图来说明用于实施本发明的方式。

本发明所涉及的特征量提取方法、被摄体分类方法以及被摄体判别方法，例如由图1所示那样的装置来实施。

即，图1(1)是表示被摄体判别装置100的一例的图，具备：摄像单元110，其对被摄体进行摄像；特征量提取部120，其从所摄像的图像之中提取特征量；图像判别部130，其被提供特征量提取部120的输出，并进行被摄体的判别；控制部140，其对摄像单元110、特征量提取部120以及图像判别部130进行控制；以及程序存储器150，其由控制部140进行存取。当被摄体放置于被摄体判别装置中，且由未图示的传感器来确认被摄体的有无时，可以根据控制部140的指示而由摄像单元110对被摄体进行摄像，也可以不使用传感器等而将被摄体放置于摄像单元110之前，以手动操作的方式进行摄像。此外，在从由外部的摄像单元所摄像到的被摄体的图像之中提取特征量，并进行被摄体的判别的情况下，也可将图1(1)的摄像单元110除去之后的装置作为被摄体判别装置100。

此外，在不进行被摄体的判别而只进行被摄体的分类的情况下，如图1(2)所示，如果设置图像分类单元230来代替图像判别部130，则可获得被摄体分类装置200。而且，在不进行被摄体的分类或者判别而只进行从图像之中的特征量的提取的情况下，如图1(3)所示，能够由摄像单元110、特征量提取部120、控制部140、以及程序存储器150来获得特征量提取装置300。

另外，即便在被摄体分类装置200以及特征量提取装置300中，也可在从由外部的摄像单元所摄像到的被摄体的图像之中提取特征量的情况下，将摄像单元110除去。此外，在图1(1)～(3)中，赋予相同编号的表示具有相同功能。

在本发明中，所谓特征量是指用于根据由摄像单元所摄像到的被摄体的图像对被摄体进行分类或者判别的信息。本申请发明的特征量如权利要求1以及2所记载的那样，是指根据由摄像单元所摄像到的被摄体的图像来作成最大亮度图像，将最大亮度图像的像素投影到三维空间，并根据该像素来作成频度直方图而提取出的特征量。即，意味着对图像进行计算机处理而获得关于被摄体的外观所产生的信息、例如折叠、皱褶、叠放、叶片或叶脉的图案、茎或干、果实的存在及其密度等的形状信息、砂土的种类、硬物质的原料或表面加工的粗糙度等的构成被摄体本身的原料的信息、沉积于原有面的沉积物或附着于原有面的附着物的种类或量的信息等的特征量。另外，本发明中的特征量既可以是从单一物体的被摄体之中所提取的特征量，也可以是混合或者积层于多个物体的被摄体中的不同物体的各个特征量。在图像中混合多个物体的情况下，执行在图像内预先对外观不同的区域进行分割的处理，将该所分割的区域作为被摄体，例如能够按照“道路”、“丛林”等的每个区域来提取特征量。此外，本发明能适用的被摄体从形状难以改变的物体到易于改变的物体，但是并不特别限定。

作为柔软物体的原料，例如列举棉、丝绸、毛、纤维素；人造丝、粘液丝、铜氨纤维等的利用了天然木材等中包含的纤维素的再生物等的天然原料；使天然的纤维素或动物性蛋白质等和醋酸等的化学品合成后的醋酸酯、三醋酸酯、普罗米克斯等的半合成天然原料；将石油等作为原料的聚酰胺、丙烯、尼龙、芳香族聚酰胺、维尼纶、聚丙烯、聚乙烯、聚氨基甲酸酯、聚氯乙烯、亚乙烯基、聚酯等的合成化学原料；树木等的植物、碳、橡胶等的有机原料；硅、玻璃等的无机原料；铁、铜、不锈钢等的金属原料、等等的原料。而且，从使用了这些原料的薄片、线、纤维、金属丝等获得制品，从编织物、纺织物、变为格子状的物体、纤维等缠绕在一起的毡、无纺织布等获得制品，作为具体制品，列举布、衣服、纸、金属丝网等的由于皱褶、堆叠等而使得形状发生变化的柔软物体。

虽然各个物体为较刚性的刚体，但是作为因个体差异而使得外观形状发生变化的物体，列举植物、动物、食品(面包类、面条类)等，作为植物，例如列举黄瓜、萝卜、胡萝卜、茄子、番茄、菠菜、白菜、卷心菜等的蔬菜类；桃、苹果、橘子、草莓、葡萄等的水果类；等等。此外，作为动物，列举哺乳类、鸟类、鱼类、爬行类、昆虫等，例如若预先对体表部分放大拍摄并作为“杜伯曼犬的毛色”等进行记录，则可以基于毛色来判别狗的种类，关于鸟类、鱼类、爬行类、昆虫等，也可同样地进行判别。

进而，作为混合于被摄体中的各个物体，列举道路照片中的沥青和路边的草、土；航空照片中的建筑物；等等。

此外，作为积层于被摄体中的某物体之上的其他物体，列举地板上的尘埃、废纸、调料等的污垢、动物等的脱落的毛、残渣、等等。另外，为了判别在图像中是积层了多个物体、还是未积层多个物体，需要将积层的状态和未积层的状态预先定义为分别不同的形态。

在程序存储器150中，例如预先保存有用于使图1(1)所示的计算机作为被摄体判别装置发挥功能的程序、用于使图1(2)所示的计算机作为被摄体分类装置发挥功能的程序、用于使图1(3)所示的计算机作为特征量提取装置发挥功能的程序，由控制部140读出并执行该程序，从而进行后述的摄像单元110、特征量提取部120、图像判别部130或者图像分类单元230的动作控制。程序也可以记录于记录介质中，并使用安装手段而保存于程序存储器150中。

图2(1)是对特征量提取部120、图像判别部130或者图像分类单元230的构成进行详细地说明的图。特征量提取部120至少包括：滤波器组作成单元121，其根据所摄像的图像来作成滤波器组；滤波结果合成单元122，其对由滤波器组作成单元121所获得的滤波图像进行合成，作成最大亮度图像；最大亮度图像中心以及半径设定单元123，其设定由滤波结果合成单元122所获得的最大亮度图像的图像区域圆，并设定该图像区域圆的中心Cc以及半径Rc；三维投影单元124，其将最大亮度图像投影到三维空间；和频度直方图作成单元125，其根据由三维投影单元124所投影的像素来作成频度直方图。作为摄像单元110，只要是能将被摄体作为数字数据图像来进行摄像的单元，则并不特别限定。此外，无需高精细地拍摄布料的原料，也可以是较低分辨率的图像。在验证试验中，即便是横640像素且纵480像素、即约300，000的像素数，也能够进行被摄体的可判别的特征量的提取。这与市面上出售的数字照相机相比，为十分之一以下的分辨率。另外，即便必要的像素数为约300，000以下，只要是能提取特征量的范围，则没有特别限制。另一方面，虽然如果像素数为约300，000以上，则在特征量提取的观点上不存在问题，但是若像素数过多，则特征量提取的处理速度变慢，所以只要在考虑计算机的性能等的基础上适当设定像素数即可。

此外，图像判别部130包括将已知的制品的频度直方图与已知制品建立关联地进行保存的判别DB131。即便是一个制品，保存在所述判别DB131中的已知的制品的频度直方图也可以为多个种类的制品的频度直方图。另外，在被摄体分类装置200的情况下，如图2(2)所示，只要设置图像分类单元230来代替图像判别部130即可，其中，该图像分类单元230将由频度直方图作成单元125所作成的频度直方图分类为相类似的直方图。而且，在特征量提取装置300的情况下，只要包括特征量提取部120即可，无需图像判别部130或者图像分类单元230。

图3是表示特征量提取部120的动作步骤的图。当保存在程序存储器150中的程序被控制部140读出并执行时，首先输入由CCD等所摄像到的被摄体的图像(S421)，然后按照以下步骤的顺序来进行动作，即：根据该图像来作成滤波器组的滤波器组作成步骤(S422)、对由滤波器组作成步骤(S422)所获得的滤波图像进行合成并作成最大亮度图像的滤波结果合成步骤(S423)、设定由滤波结果合成步骤(S423)所获得的最大亮度图像的图像区域圆并设定该图像区域圆的中心Cc以及半径Rc的最大亮度图像中心以及半径设定步骤(S424)、将最大亮度图像投影到三维空间的三维投影步骤(S425)、根据由三维投影步骤(S425)所投影的像素来作成频度直方图的频度直方图作成步骤(S426)。

在滤波器组作成步骤(S422)中，进行图像的多尺度(scale)·多方向的图像滤波。本发明并非将被摄体的形状与已知的形状进行比较，而是从所摄像的图像之中提取因原料所引起的皱褶、堆叠等的差异作为特征量，所以所输入的图像数据也可以为一个。

进行多尺度·多方向的图像滤波并作成滤波器组，作为用于进行纹理图像的分类的方式被经常利用。在该滤波中，可将波形的参数改变为多种多样，通过卷积积分来生成针对每一个波形的反应图像(输入图像的针对各滤波器的反应)。在本发明中，针对使核心函数的相位错开π／2而作为边缘检测器的贾伯滤波器，将振幅、窗口宽度、方向分量等改变为多种多样来加以利用。

图4是表示滤波器组作成的具体步骤的图。图4(A)表示将随手放置于地板上的长袖的Y衬衫设为被摄体的摄像图像。在此，图像中的布制品能够在部位上划分为(1)纽扣、领袖、(2)皱褶部分、(3)布的堆叠部分·轮廓这三个种类。在这些部位之中，(1)为取决于布制品的种类的部分，例如领子存在于Y衬衫中但却不附带于毛巾中。另一方面，(2)的皱褶部分以及(3)的布的堆叠部分是所有布制品均能具有的部分，在本发明中，将(2)的皱褶部分的状态以及(3)的布的堆叠部分的状态、进而布料的纺织物形状或原料作为特征量来提取。

图4(B)表示滤波的概要。首先，在拍摄到布制品的图像区域中检测平缓的带状边缘，该区域密集地包含周期较长的频率。因而，为了从图像数据之中提取该性质，如上所述那样，适用将振幅、窗口宽度、方向分量等改变为多种多样的贾伯滤波器。图4(B)的各个图像表示将振幅、窗口宽度、方向分量等改变为多种多样的贾伯滤波器。图4(B)的横向的各个图像是仅使滤波器的方向发生变化的图像，根据滤波器的方向来强调布的特定方向的较粗的皱褶。此外，图4(B)的纵向的各个图像是使滤波器的频率逐渐地变化得较小的图像，随着频率变小而能够强调较细的皱褶，也易于观测布料的纺织物(纺织品)的形状。本发明中所使用的滤波器的频率优选在1.0～8.0像素之间变化，其中的1.0～3.0像素的值针对观测较细的皱褶、观看纺织物的差异是有效的。此外，也被用于提取布的堆叠部分。关于图像中的黑白，较白的部分是表示相对于平缓的皱褶而滤波较强的反应的部分，较黑的部分是判断为较之于平缓的皱褶更应强调较细的皱褶、堆叠部分这样的部分(判断为识别中应使用的部分)。

在此，关于贾伯滤波器更进一步地详细说明。该贾伯滤波器在小波变换中被用于尺度空间构建等，由以下的式子进行表示。

[数学式1]

$>g(x,\theta ,{\sigma }_x,{\sigma }_y)=\frac{1}{\sqrt{2\pi }{\sigma }_x{\sigma }_y}{e}^a\cos (2\pi {\mathrm{fx}}_{\theta }+p)---\left(1\right)$>

其中，存在下述式子。

[数学式2]

$>a=-\frac{1}{2}(\frac{x_{\theta }^2}{{\sigma }_x^2}+\frac{y_{\theta }^2}{{\sigma }_y^2})$>   (2)

x_θ=(x-u_x)cosθ+(y-u_y)sinθ

y_θ=-(x-u_x)sinθ+(y-u_y)cosθ

在此，f表示频率区域。为决定核心尺寸的值，如图5所示，f与σ联动地决定。例如，由图表的横轴和(1)式的曲线所包围的图形的体积与振幅值无关地为固定，这样来决定σ的值。另外，在本发明中，由于同样地处理x、y，因此以后一并记为σ。即，f(x，θ，σ_x，σ_y)也标记为f(x，θ，σ)。x、y为当前像素的坐标，u_x、u_y为高斯分布的中心坐标。p为表示相位的变量，在本发明中，在此通过设定π／2来构成边缘检测器。

由于在贾伯滤波器中存在指向性，因此可以通过式(1)的θ的设定来强调特定方向的边缘。为了调查皱褶等的方向，只要使该θ变化的同时施加滤波即可。具体而言，执行在-π≤θ＜π之间进行8分割后的各方向上的边缘检测。其中，关于在各方向上的滤波中表示负值的像素，将值修正为0。

接着，在滤波结果合成步骤(S423)中，对通过滤波所获得的图像进行合成，来生成最大亮度图像(Maximum magnitude image：以下有时记载为“MM图像”。)。该MM图像，使所有图像处于相同位置的像素(图4(B)的横向的图像)的像素值(亮度)相加在一起来生成一张图像(图4(B)中的‘贾伯合计’)。进而，通过将σ改变为多种多样来进行同样处理，从而可获得多张图像。MM图像是将在这些图像中表示最大亮度值时的σ的值设为各像素的像素值(亮度值)的图像。

图4(C)是所合成的MM图像，较暗的像素集中的部分表示皱褶、堆叠、或者起绒织物等的凸凹部分，这意味着以将σ设定得较小的滤波器可获得较强的反应。此外，图4(C)的明亮的部分为较细的皱褶的部分，意味着布平滑。若将该图像记为I_mag(x)，则计算式如下所示那样表示。

[数学式3]

I_mag(x)=argmaxF₂(x，σ)   (3)

其中，

[数学式4]

F₂(x，σ)=∫_θ∫_wf(x)g(x+x₀，θ，σ)dx₀dθ.   (4)

窗口宽度w和频率f根据σ自动地决定。在本发明的安装中，窗口的宽度决定为w=6×σ，频率设为f=1／(3×σ)。另一方面，波形的最大振幅的值根据以下的式子求出。

[数学式5]

$>{\lambda }_{\max }=\frac{\mathrm{cons}}{x}.---\left(5\right)$>

在上述设定的基础上，设为cons=0.3171。这是根据图5中的横轴与波形之间的部分的面积调整成在所有σ下均相同的结果所求出的值。

当合成MM图像时，在最大亮度图像中心以及半径设定步骤(S424)中，如图6所示，从MM图像之中提取衣服区域，定义包围该区域这样的圆形区域，并设定该区域的中心Cc、半径Rc。

当设定MM图像区域的中心Cc、半径Rc时，在三维投影步骤(S425)中，MM图像被投影到三维空间。进行三维投影时的轴根据MM图像中的要提取的特征量如下所述那样设定。

首先，对本申请发明的实施例中的关注于布料、皱褶的密度的特征量提取方法即CM-WD法(Cloth Material and Wrinkle Distribution)进行说明。

在布制品的原料中存在棉、聚酯等多种多样的原料，其加工方法也仍然为多种多样。此外，皱褶的形成方式除了这种条件之外还受到布的厚度等的影响。认为通过设计对因这些差异所引起的布制品的状态良好地进行描述的特征量，从而能够对布制品进行分类。因而，关于MM图像的所有像素，如图7所示，以MM图像区域的中心Cc为基点来调查以下的三个种类的参数。

1.从像素的位置(x，y)到中心Cc之间的距离L_D与半径Rc之比；

2.像素的亮度值F_D(x，y)；

3.附近像素的亮度值与像素的亮度值F_D之间的差分的合计；

其中，所述“3.与附近像素的亮度值的差分的合计”能够由下述式子进行表示。

[数学式6]

D_D=∑_i，j∈W(F_D(x，y)-F_D(x+i，y+j))   (6)

而且，关于MM图像的所有像素，如图8所示，通过向以所述三个种类的参数为轴的三维空间进行投影，从而MM图像的所有像素分布于三维空间内。

接着，在频度直方图作成步骤(S426)中，通过对各轴进行n等分，从而将三维空间划分成n³个三维网格，取出在各网格中容纳的像素数。而且，如图9所示，将各网格设为横轴，将在该网格中容纳的像素数设为纵轴，而获得一维的频度直方图。由于这样获得的特征量提取在布的形状、大小、方向等方面是不变的，因此如果是同一种制品，则表示大致相同的频度直方图。另外，关于三维网格的数目(n³)并没有特别限制，但是n优选4～16，在n不足4的情况下，一个网格中包含的像素数变得过多，无法适当地提取特征量；当n为17以上时，相反地在一个网格中包含的像素数过少，无法适当地提取特征量，因此n优选8。

接着，对作为本申请发明的其他实施例的、关注于布的堆叠的位置和方向的特征量提取法即OVLP法(Existence of Cloth-Overlaps)进行说明。在OVLP法中，在三维投影步骤(S425)中所投影的轴如下述那样设定。

OVLP法是通过关注于较短波长处的滤波结果从而可以提取布的边界、布的堆叠部分的方法。图10是表示以MM图像的输出为基础的、OVLP法描述的概要的图，首先在MM图像中设定布的边界、布的堆叠部分等的关注区域，接着关于关注区域的像素(以下称作“关注像素”。)来调查以下的三个种类的参数。

1.从关注像素的位置(x，y)到中心Cc之间的距离L_O与半径Rc之比；

2.用连续值来对关注像素属于堆叠的上下哪处进行评价而得到的值E_O；

3.关注像素所属的堆叠部分的方向分量；

此外，在所述参数之中，“用连续值来对关注像素属于堆叠的上下哪处进行评价而得到的值E_O”的计算方法如下所述。首先，根据图4的结果(贾伯合计)来决定视为堆叠部分的图像边缘(因为是端部图像，所以在图10中为弯弯曲曲的较黑的粗线部分)，假设该边缘局部呈直线，来进行直线近似(图10的虚线部分)。关于该直线近似，首先准备(1)将认为是堆叠的部分设为白、将非堆叠的部分设为黑的图像I1、(2)使原始图像灰度标度化的图像I2。而且，按顺序来参照图像I1的较白的像素，执行如下那样的处理。参照以某白像素(设为A)为中心的局部区域(在实际安装中为16x16像素程度)，选择在该局部区域内部置于更多的白像素之上这样的一条直线。这样一来，作为直线的方程式ax+by+c=0的a、b、c，来进行参数化。

接着，调查处于该边缘两侧的多个像素的亮度值，判别何处为堆叠的上侧、何处为下侧。在判别方法的具体步骤中，首先关于A的周边的较黑的像素(设为B)处于上述直线的哪一侧，能够通过在ax+by+c=0的x和y中代入B的坐标值来进行判断。另一方面，关于所述(2)的灰度标度化后的图像I2中的该像素的亮度值，调查在被直线分开的两个区域的哪一侧明亮的亮度值多。其结果，将明亮的亮度值的像素多的一侧设为上侧，将不多的一侧设为下侧，暂时作成对前者像素附加1的值、对后者像素附加-1的值后所得的映射图，接着定义针对某像素及其附近像素来相加所附加至这些像素的1或-1值后所得的变量。而且，该变量除以附近像素的数目，设为实数值。该实数值为“用连续值来对关注像素属于堆叠的上下哪处进行评价而得到的值E_O”。针对边缘周边的所有像素来进行上述步骤。

而且，与CM-WD法同样地，将MM图像的关注像素的这些结果向以所述三个种类的参数为轴的三维空间进行投影，来获得频度直方图。这样获得的表现在尺度·旋转·平移方面不变。

(用于比较的特征量)

除了上述的本申请发明的特征量提取法(CM-WD法、OVLP法)之外，为了进行比较，也提取以下三种特征量，并进行了后述的实验。第一个为关注于布的皱褶的特征量。第二个为利用了经常用于以往认识中的一部分特征量计算的特征量。第三个为使用了在计算CM-WD法、OVLP法的过程中所获得的中间处理结果的特征量。以下，对各个特征量进行说明。

(皱褶的分布和方向上的特征量：DST-W(Distribution of Wrinkleposition))

在基于滤波器组的多方向滤波中，关于皱褶这样的平稳的亮度变化，能够获得其存在和梯度方向。因此，根据方向分量的差异来对被作为皱褶提取出的区域进行分割，并将各自的分割结果近似于椭圆。此时，分割数设为与生成滤波器组时的方向分量相同的数目。分割的间隔也是同样的。将其向以以下的三个种类的参数为轴的三维空间进行投影。

1.椭圆区域的长轴的长度与半径Rc之比；

2.对中心Cc和椭圆区域的中心坐标C_E进行连结的线段L_E的长度与半径Rc之比；

3.线段L_E与椭圆长轴之间的相对角度θ_E；

在此，中心Cc、半径Rc如图6所示那样。此外，图11是表示DST-W法的三维投影时的各参数的关系的图，C_E为椭圆区域的长轴的中心坐标，θ_E为线段L_E与椭圆长轴之间的相对角度。在对所有皱褶区域进行了该处理之后，与所述CM-WD法同样地，将特征空间划分为三维网格，取出在各网格中容纳的值的数目，由此获得频度直方图。

(尺度空间中的极值：SSEX(Scale Space EXtrema)

在众所周知的图像特征“SIFT”中，使用尺度空间中的极值，实现了在尺度·平移·旋转变化方面鲁棒的特征描述。即便在本发明中，认为关注于该极值有助于描述布料、皱褶的形成方式。因此，根据所检测的极值及其周围来计算以下那样的特征量。

1.极值的尺度值；

2.半径Rc与中心Cc和各极值间的距离之比；

3.半径Rc与当前的极值和最接近于该极值的极值间的距离之比；

在此，中心Cc、半径Rc如图6所示那样。与所述CM-WD法同样地向三维空间进行投影，将特征空间划分为三维网格，取出在各网格中容纳的值的数目，由此获得频度直方图。

(布区域的轮廓：CNTR(Contour)

作为上述的本申请发明的实施例中的用于提取特征量(CM-WD法、OVLP法)的前处理，需要进行布制品的区域提取。即，能够在进行特征量计算的过程中获得布制品的轮廓。因此，也根据该轮廓按照以下那样的步骤来计算特征量。首先，在布区域和除此之外的区域中使图像二值化。然后，对该图像实施极坐标变换，生成以中心Cc为中心的θ-r图表。在此，θ为通过中心Cc的直线在以图像的横轴为0度时的倾斜角度，r为从该线段上的中心Cc到轮廓为止的距离。由此，可获得与边界线相关的距离直方图，所以使之以任意间隔进行离散化来生成特征向量。

接着，参照图12来说明图像判别部130中包含的判别DB131的作成步骤的一例。首先，作为被摄体来准备多个已知制品，按照每一个已知制品准备从多种多样的角度所拍摄到的多张图像。然后，输入最初的已知制品的第一张图像(S531)，通过所述(S422)～(S426)的步骤来作成频度直方图(S532)，判断是否存在预先准备的一个已知制品的多张图像的未处理图像(S533)，在存在未处理图像的情况下重复执行所述(S531)～(S532)的步骤。在不存在未处理图像的情况下，最初的已知制品的频度直方图的作成结束，判断是否存在下一个已知制品的图像(S534)，在存在下一个已知制品的图像的情况下，重复执行所述(S531)～(S533)的步骤。当所准备的已知制品的图像的处理全部结束时(S534的“否”)，进入到将所作成的频度直方图与是哪个已知制品建立关联地保存在DB中的步骤(S535)。在该步骤中，按照所作成的每个已知制品对频度直方图进行分组化，在与其他已知制品的频度直方图群组之间设定边界面，而且按每个群组与已知制品建立关联地保存在DB中，由此作成判别DB131。该边界面能够通过支持向量机(SVM)等的公知的机械学习方法来设定。由于针对一个已知制品所预先准备的图像数目因所期望的判别精度的不同而不同，因此尤其是没有下限值，但是图像数目越多则判别误差越少，因而所准备的图像数目优选200以上。

判别DB131除了上述方法之外，例如还将根据已知制品的多张图像所作成的各个频度直方图与已知制品建立关联地保存在DB中，由此作成判别DB131，只要是在机械学习等领域中解决分类问题时的公知方法即可，并没有特别限制。

而且，在所述图3所示的步骤中，根据应判别的被摄体的图像来作成频度直方图，通过判别该频度直方图属于保存在所述判别DB131中的频度直方图的哪个群组，从而能够判别该被摄体为何物。如果将本发明的被摄体判别装置适用于例如清洗工厂的搬运线，则将所搬运来的清洗对象物即Y衬衫、手帕、毛巾等作为被摄体进行摄像，根据摄像图像来作成频度直方图，接着使用判别DB131来判别被摄体为何物，接下来在与判别结果相应的处理工序中自动地进行搬运，由此能够使清洗工厂中的清洗对象物的区分以及向处理工序的搬运自动化。

此外，如果不进行被摄体的判别而将被摄体分类为相类似的群组，则也可无需设置判别DB131，而设置将相类似的频度直方图分类为同一群组的图像分类单元230来构成被摄体分类装置。作为图像分类单元230，能够使用repeated bisection法(非专利文献7)、K-means法等的公知的图像分类手段。如果将本发明的被摄体分类装置例如适用于清洗工厂的搬运线，则将Y衬衫、手帕、毛巾等作为被摄体进行摄像，根据摄像图像来作成频度直方图，接着，频度直方图相类似的被分类为同一群组，从而可以自动地区分清洗对象物。

实施例

(实施对象制品)

将图13的上半段(1)～(9)所示那样的日常上使用的布制品9种类别用作实施对象。下半段左侧为(7)的布制品，下半段右侧为(9)的布制品，是在日常生活中实际上观看到的、表示堆叠在一起的状况的照片。关于布制品的种类和原料而言，(1)为高领的毛衣(100％棉制)，(2)为较厚的派克大衣(100％聚酯制)，(3)为毛衣(100％棉制)，(4)为对襟毛衣(100％晴纶制)，(5)为连衣裙(100％棉制)，(6)为T衬衫(100％棉制)，(7)为手巾(100％棉制)，(8)为手巾(100％棉制)，(9)为衬衫(78％棉、22％聚酯制)。另外，虽然(7)、(8)双方均为起绒织物的毛巾，但是展开时的尺寸和形状却不同。

(被摄体的分类)

通过无教师的聚类方式评价了由本发明的特征量提取方法所获得的频度直方图是否适于被摄体的分类。作为聚类方法，使用了重复二分(repeated bisection)法。该方法是不存在将被赋予的数据保存在DB等中的外在基准，而是将相类似的频度直方图自动地分类成群组的方法，如果由上述特征量提取方法所提取的频度直方图相类似，则与布制品的放置方式无关地按照布制品的每个种类进行分类。

在本实施例中，将作成频度直方图时的三维空间的各轴的分割数n设定为8。关于布制品(6)～(9)，针对各自约250个的频度直方图的合计为约1000个的频度直方图进行了无教师的聚类。另外，聚类数(所分类的群组数)设定为10。表1表示关于作为本申请发明实施例的CM-WD法的结果，表2表示关于作为比较例的SSEX法的结果。

[表1]

[表2]

如表2可明确的那样，在以往公知的SSEX法的情况下，例如在聚类2中，对多样的布制品预先进行分类，T衬衫(6)被分类为68个、衬衫(9)被分类为30个、毛巾(7)被分类为10个、毛巾(8)被分类为3个等，分类为在某种程度上按每个布制品进行群组划分的、特征量相似的群组(聚类)，但在特征量与布制品之间却没有发现对应关系。

另一方面，若对作为表1的本申请发明的特征量提取法的CM-WD法进行观察，则在聚类2中，T衬衫(6)包含64个，衬衫(9)仅为1个，毛巾(7)以及毛巾(8)为0个等，与以往的SSEX法相比，如果为相同制品则能够确认出与布制品的形状无关地被分类为相同的聚类，且能够找到特征量与布制品之间的对应关系。因此，如果使用本发明的特征量提取方法，则与皱褶、堆叠等的形状无关，且即便不使用用于判别被摄体的判别单元，只要为相同的被摄体，便可以分类成相同的群组。

(被摄体的判别)

关于由本发明的特征量提取方法所获得的频度直方图是否为适于被摄体的判别的频度直方图，进行了使用机械学习方法的判别。首先，为了判别从被摄体的图像之中所提取的频度直方图相当于何种布制品，关于图13所示的(1)～(9)的布制品，将布制品随手放置于地板、桌子等的平面上，按每个布制品拍摄约250张的图像。图像尺寸为VGA(640×480pixel)，获得了约2400张的图像数据。针对这些图像的各图像，通过上述图12所示的步骤，作成本发明的CM-WD法、OVLP法的频度直方图、以及比较例的DST-W法、SSEX法的频度直方图，按每个制品使频度直方图分组化，设定各群组的边界面并且与已知制品建立关联地保存在DB中，从而作成了判别DB131。针对判别DB131的作成，使用了多分类SVM(Support Vector Machine)。对于安装使用LIBSVM(非专利文献8)，判别单元和核心函数分别设定了C-SVC、RBF核心。另外，关于CNTR法，如上所述，以任意的间隔使与边界线相关的距离直方图离散化，将所生成的特征向量与已知制品建立关联地保存在DB中。

作为对判别DB131的性能进行评价的方法，适用了N-fold的交叉验证。图14表示了针对本发明的CM-WD法以及OVLP法、且比较例的DST-W法、SSEX法以及CNTR法而使N从2变化到10的情况下的判别率的变化。在此也为，作为本申请发明的特征量提取法的CM-WD法的判别率为89％表示最好的结果，相对于此，作为比较例的SSEX法只不过为61％。

接着，关于CM-WD法、OVLP法、SSEX法、DST-W法的4个种类，将这些直方图进行2个种类或者3个种类连结，作为学习数据而作成了判别DB131。另外，所谓直方图的连结，表示在某种直方图之后接下来排列其他种类的直方图，例如在图15中，所谓CM-WD OVLP，表示接在CM-WD法的直方图之后排列OVLP法的直方图来作成判别DB131。如图15可明确的那样，在排列了CM-WD以及SSEX的情况下，判别率最高达98％，无论布制品是何种形状，均能够大致无差错地对该布制品的类别进行判别，这是显而易见的。

此外，在该图表中，当N的值为4或5之际判别率呈稳定。由此，学习数据的数目与布制品可获取无限形状无关，只要为200张左右即可，这是显而易见的。

产业上的可利用性

本发明通过搭载于机器人等机械，由此可使处理对象物范围从柔软物体扩展到刚体，故在IT领域、汽车领域、生产机械领域、医疗·护理领域中是有用的。尤其是，在本发明中，由于能够在不使用特殊物理单元的情况下不依赖于该被摄体的外观形状来提取特征量，并能够根据该特征量来对被摄体的类别进行判别，因此例如在如下等方面是有用的，即：清洗工厂中的清洗对象物的自动区分等的、柔软物体的处理的自动化；通过将因衬衫等制品的使用所引起的经时变化作为特征量提取，由此来判别制品的使用状况的自动化；在街头设置照相机来判别经过人的服装的自动化；电动轮椅、汽车的自动行驶系统的开发；重点清扫有尘埃、废物、或污点等污垢的部分的自动吸尘器的开发；通过从航空照片之中提取特征量，由此进行城市间的类似度的判别；蔬菜、水果等的分类的自动化；通过提取因蔬菜、水果等的经时变化所引起的特征量的变化，由此来判别蔬菜、水果等的新鲜程度的自动化；通过经由网络传送鸟、植物等被摄体图像并对该被摄体的种类进行判别，由此进行图书馆·博物馆·资料馆等中的学习功能的提高。