图像识别装置、图像识别方法以及图像识别单元

摘要

提供能够进行高精度的触摸识别的图像识别装置、图像识别方法以及图像识别单元。一种图像识别装置，摄像装置被配置于第2象限或第3象限，其特征在于，该图像识别装置具有图像处理部，该图像处理部根据所述摄像装置所取得的图像，检测消失部与位于核线上并显示在所述对象物上的检测用图像之间的距离而进行触摸识别，其中，该消失部是在对象物位于检测用图像显示装置与图像显示面之间时因来自所述检测用图像显示装置的光被所述对象物遮挡而在所述图像显示面上产生的，所述核线是根据所述摄像装置与所述检测用图像显示装置之间的位置关系而确定的，并且经过所述消失部。

说明书

技术领域

本发明涉及图像识别装置、图像识别方法以及图像识别单元。

背景技术

作为被认为能够应用于检测手指是否与投影出来自投影仪的图像的屏幕接触的图像识别的技术，存在如下技术：投影出NIR光随机散斑图(NIR light random specklepattern)，利用NIR照相机取得被手指反射的NIR光(反射光)，根据取得的信息检测手指是否与屏幕接触(例如，参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特表2009-511897号公报

发明内容

发明所要解决的课题

但是，在专利文献1所记载的图像识别技术中，存在如下问题：从NIR照相机观察时的手指的进深方向的位置(深度)的检测精度较差，与此相伴地，触摸识别的精度也较差。

本发明的目的在于，提供能够进行高精度的触摸识别的图像识别装置、图像识别方法以及图像识别单元。

用于解决课题的手段

这样的目的是通过下述的本发明而达成的。

本发明的图像识别装置被图像显示单元所使用，该图像显示单元具有：检测用图像显示装置，其在图像显示面上显示检测用图像；以及摄像装置，其对所述图像显示面进行拍摄，在将包含有形成所述检测用图像的铅直方向上侧的端部的光线组的面设为第1虚拟面，将包含有形成所述检测用图像的铅直方向下侧的端部的光线组的面设为第2虚拟面，将位于所述图像显示面与所述检测用图像显示装置之间并且被所述第1虚拟面和所述第2虚拟面夹着的区域设为第1象限，将位于所述第1象限的铅直方向上侧的区域设为第2象限，将位于所述第1象限的铅直方向下侧的区域设为第3象限时，所述摄像装置被配置于所述第2象限或所述第3象限，该图像识别装置的特征在于，该图像识别装置具有图像处理部，该图像处理部根据所述摄像装置所取得的图像，检测消失部与位于核线上并显示在对象物上的所述检测用图像之间的距离，根据检测结果来判断所述对象物是否与所述图像显示面接触，其中，所述消失部是在所述对象物位于所述检测用图像显示装置与所述图像显示面之间时因来自所述检测用图像显示装置的光被所述对象物遮挡而在所述图像显示面上产生的，所述核线是根据所述摄像装置与所述检测用图像显示装置之间的位置关系而确定的，并且经过所述消失部。

由此，成为能够进行高精度的触摸识别的图像识别装置。

在本发明的图像识别装置中，优选为，所述检测用图像具有与所述核线交叉的线状图案。

由此，检测用图像是比较简单的结构。

在本发明的图像识别装置中，优选为，所述摄像装置配置在所述第2象限，所述第1虚拟面和所述第2虚拟面都倾斜成所述图像显示面侧比所述检测用图像靠显示装置侧靠下方。

由此，能够利用摄像装置更可靠地拍摄消失部。

在本发明的图像识别装置中，优选为，所述摄像装置配置在所述第3象限，所述第1虚拟面和所述第2虚拟面都倾斜成所述图像显示面侧比所述检测用图像显示装置侧靠上方。

由此，能够利用摄像装置来更可靠地拍摄消失部。

在本发明的图像识别装置中，优选为，所述线状图案的因所述消失部而消失的消失部分显示在所述对象物上，所述图像处理部对所述消失部分在没有所述对象物的情况下所显示的位置与显示在所述对象物上的实际位置之间的、沿着所述核线的距离进行检测。

由此，能够比较简单且高精度地进行触摸识别。

在本发明的图像识别装置中，优选为，所述图像处理部具有位置推定部，该位置推定部根据所述消失部的形状来推定所述对象物的前端部的位置。

由此，能够更准确地检测对象物与图像显示面的接触位置。

在本发明的图像识别装置中，优选为，所述检测用图像具有第1线状图案和第2线状图案，该第1线状图案和该第2线状图案与所述核线交叉地延伸，并且图案互相不同，所述第1线状图案和所述第2线状图案沿着所述核线的延伸方向交替地排列配置。

由此，能够以比摄像装置的分辨率高的分辨率进行触摸识别，并且能够检测对象物与图像显示面的接触位置。

在本发明的图像识别装置中，优选为，所述检测用图像具有：第1区域，其位于距所述摄像装置较近的一侧；以及第2区域，其位于与所述第1区域相比距所述摄像装置较远的一侧，在所述第1区域中配置有沿着所述核线延伸的线状图案，在所述第2区域中配置有与所述核线交叉的线状图案。

由此，尤其能够在第1区域中更可靠地进行触摸识别。

本发明的图像识别方法被用于图像显示单元，该图像显示单元具有：检测用图像显示装置，其在图像显示面上显示检测用图像；以及摄像装置，其对所述图像显示面进行拍摄，在将包含有形成所述检测用图像的铅直方向上侧的端部的光线组的面设为第1虚拟面，将包含有形成所述检测用图像的铅直方向下侧的端部的光线组的面设为第2虚拟面，将位于所述图像显示面与所述检测用图像显示装置之间并且被所述第1虚拟面和所述第2虚拟面夹着的区域设为第1象限，将位于所述第1象限的铅直方向上侧的区域设为第2象限，将位于所述第1象限的铅直方向下侧的区域设为第3象限时，所述摄像装置被配置于所述第2象限或所述第3象限，该图像识别方法的特征在于，具有判断步骤，在该判断步骤中，根据所述摄像装置所取得的图像，检测消失部与位于核线上并显示在对象物上的所述检测用图像之间的距离，根据检测结果来判断所述对象物是否与所述图像显示面接触，其中，所述消失部是在所述对象物位于所述检测用图像显示装置与所述图像显示面之间时因来自所述检测用图像显示装置的光被所述对象物遮挡而在所述图像显示面上产生的，所述核线是根据所述摄像装置与所述检测用图像显示装置之间的位置关系而确定的，并且经过所述消失部。

由此，能够进行高精度的触摸识别。

本发明的图像识别单元的特征在于，具有：本发明的图像识别装置；所述检测用图像显示装置；以及所述摄像装置。

由此，获得了能够进行高精度的触摸识别的图像识别单元。

在本发明的图像识别单元中，优选具有图像显示装置，其在所述图像显示面上显示图像。

由此，能够在图像显示面上显示希望的图像。

附图说明

图1是示出本发明的第1实施方式的图像识别单元的结构的侧视图。

图2是图1所示的图像识别单元的俯视图。

图3是示出检测用图像的平面图。

图4是对核线(epipolar line)进行说明的图。

图5是用于对触摸识别进行说明的图。

图6是用于对触摸识别进行说明的图。

图7是用于对屏幕与手指之间的间隔距离的计算方法的一例进行说明的图。

图8是对本发明的第2实施方式的图像识别单元的触摸识别进行说明的图。

图9是示出在本发明的第3实施方式的图像识别单元中使用的检测用图像的图。

图10是对照相机所取得的图像进行立体平行化后的图。

图11是对照相机所取得的图像进行立体平行化后的图。

图12是示出在本发明的第4实施方式的图像识别单元中使用的检测用图像的图。

图13是示出图12所示的检测用图像的变形例的图。

图14是示出本发明的第5实施方式的图像识别单元的结构的侧视图。

图15是示出本发明的第6实施方式的图像识别单元的结构的侧视图。

具体实施方式

以下，参照附图对本发明的图像识别装置、图像识别方法以及图像识别单元的优选的实施方式进行说明。

<第1实施方式＞

图1是示出本发明的第1实施方式的图像识别单元的结构的侧视图。图2是图1所示的图像识别单元的俯视图。图3是示出检测用图像的平面图。图4是对核线进行说明的图。图5和图6是用于对触摸识别进行说明的图。图7是用于对屏幕与手指之间的间隔距离的计算方法的一例进行说明的图。另外，为了方便说明，如图1所示，将互相垂直的3轴设为X轴、Y轴以及Z轴，Y轴被设为沿着铅直方向。

图1所示的图像识别单元100是能够判断作为对象物的手指F是否与作为图像显示面的平坦的屏幕900接触的装置。根据这样的图像识别单元100，能够通过检测手指F对屏幕900的接触而对呈现于屏幕900的图像(想要使观察者视觉辨认的图像。以下，也称为“显示用图像”。)进行切换。另外，以下，为了方便说明，将手指F是否与屏幕900接触的判断称为“触摸识别”。

另外，图像识别单元100例如可被用于演示(presentation)，通过进行演示者的手指F的触摸识别，在需要时对呈现于屏幕900的显示用图像进行切换、或者进行放大或缩小，从而能够使演示顺利地进行。

另外，作为图像显示面，并不限定于屏幕900，例如，也可以是墙壁、玻璃等。另外，图像显示面可以不是平坦的，也可以是球面或凹凸面。另外，图像显示面的形状也可以随时间而发生变化。另外，作为进行触摸识别的对象物，并不限定于手指F，例如，也可以是指示棒、吸附于图像显示面的磁铁等。另外，作为图像识别单元100的用途，并不限定于演示，例如，可以使用在商场等的店铺引导、经办商品的介绍/检索等各种用途中。

如图1和图2所示，这样的图像识别单元100具有：图像显示单元200，其具有作为检测用图像显示装置的投影仪300和作为摄像装置的照相机400，其中，该投影仪300将检测用图像800显示在屏幕900上，该照相机400对屏幕900进行拍摄；图像识别装置500，其进行触摸识别；以及作为图像显示装置的投影仪700，其将显示用图像(图像)显示在屏幕900上。

投影仪300和照相机400配置在不同的位置。另外，投影仪300和照相机400的相对(几何)位置关系恒定，与位置关系相关的信息被存储在图像识别装置500所具有的未图示的存储部，并且被适当使用。

这里，对投影仪300和照相机400的具体位置关系进行说明。如图1所示，在将包含有形成检测用图像800的铅直方向上侧(+Y轴侧)的端部的光线组的面设为第1虚拟面f1，将包含有形成检测用图像800的铅直方向下侧(-Y轴侧)的端部的光线组的面设为第2虚拟面f2，将位于屏幕900与投影仪300之间并且被第1虚拟面f1和第2虚拟面f2夹着的区域设为第1象限S1、将位于第1象限S1的铅直方向上侧的区域设为第2象限S2，将位于第1象限S1的铅直方向下侧的区域设为第3象限S3时，照相机400被配置于第2象限S2。另外，投影仪300例如吊在天花板等，配置成从比较高的位置朝向斜下侧射出光。并且，第1虚拟面f1和第2虚拟面f2都倾斜成使屏幕900侧比投影仪300侧靠下方，不从投影仪300射出具有与屏幕900的法线(Z轴)一致的光轴的光。通过使投影仪300和照相机400为这样的配置，能够利用照相机400来更可靠地拍摄消失部890(影部。参照图6。)，其中，该消失部890是在手指F存在于投影仪300与屏幕900之间时因来自投影仪300的光(形成检测用图像800的光)被手指F遮蔽而在屏幕900上产生的。

另外，如图2所示，在从铅直方向上侧俯视观察时，投影仪300和照相机400沿着屏幕900的法线方向(Z轴方向)排列配置。进而，投影仪300的光轴和照相机400的光轴分别沿着法线方向。

以上，对投影仪300和照相机400的配置进行了说明，但作为投影仪300和照相机400的配置，只要照相机400被配置于第2象限S2，则并不限定于上述配置。

以下，按顺序对投影仪300、照相机400以及图像识别装置500进行说明。

[投影仪300]

投影仪300是将用于进行触摸识别的检测用图像800显示于屏幕900的装置。本实施方式的投影仪300是如下结构：该投影仪300具有射出NIR(近红外)光的光源、对从光源射出的NIR光进行衍射的衍射光学元件、以及对衍射后的NIR光进行投影的镜头系统。由此，投影仪300的结构比较简单。特别是通过使用NIR光，检测用图像800不容易被人视觉辨认，因此不会使来自投影仪700的影像(显示用图像)劣化。

另外，作为投影仪300，只要能够将检测用图像800投影在屏幕900上，则并不限定于本实施方式的结构，例如，可以是光扫描方式的投影仪，也可以是LCD方式的投影仪，还可以是DMD方式的投影仪。另外，作为投影仪300的光源，并不限定于射出NIR光的光源，也可以是射出可见光的光源。在该情况下，优选赋予不容易使人视觉辨认检测用图像800的亮度变化，或者按照不容易被人的眼睛视觉辨认的频率进行周期地显示。由此，能够降低因与检测用图像800的重叠而使显示用图像劣化的可能性。

如图3所示，由这样的投影仪300显示于屏幕900的检测用图像800是多个在与核线EL交叉的方向上延伸的线状图案810沿着核线EL的延伸方向等间距(等间隔)地配置的图像。由此，检测用图像800是比较简单的结构。特别是在本实施方式中，线状图案810与核线EL垂直。因此，与在核线EL的延伸方向上的间距相同但与核线EL不垂直的线状图案810相比，能够增大最小间距。因此，能够通过图像识别装置500来更明确地判别相邻的线状图案810，能够更高精度地进行触摸识别。这里，作为线状图案810的间距，并没有特别地限定，根据照相机400的分辨率而不同，例如可以是5mm以上、20mm以下的程度。另外，为了方便说明，在图3中图示了以核线EL为垂直成分的方式进行立体平行化后的检测用图像800。实际上，由于核线EL呈放射状延伸，所以线状图案810为圆弧状的图案。

这里，对核线EL进行简单地说明。核线EL是根据投影仪300与照相机400的几何(相对)位置关系而确定的线。具体来说，如图4所示，将直线(base line)l2与投影仪300的虚拟图像平面π2之间的交点称为核点Pe，将在虚拟图像平面π2内经过核点Pe的所有直线称为核线EL，其中，该直线l2是将照相机400的照相机中心(镜头系统的主点)C1与投影仪300的投影仪中心(镜头系统的主点)C2连接而得的直线。

另外，如果手指F包含在照相机400的图像中，则照相机400的图像平面π1内的手指F的坐标(面内坐标)x被确定。将由经过该坐标x和照相机中心C1的直线l1和直线l2限定的平面称为核平面Σ。并且，在将与直线l3一致的核线EL称为“核线EL'”的情况下，手指F位于核线EL'上的某处，该直线l3是核平面Σ与虚拟图像平面π2交叉而形成的。

以上，对检测用图像800进行了说明，但作为检测用图像800，只要能够用于触摸识别，则并不限定于此，例如，也可以是多个点(dot)均匀散开的图像。

[照相机400]

照相机400是对屏幕900上的检测用图像800进行拍摄的装置。这样的照相机400例如是与NIR光对应的NIR照相机，其具有：受光单元，其具有镜头系统和拍摄元件；以及处理部，其对来自拍摄元件的影像信号进行处理。

[图像识别装置]

图像识别装置500是使用上述投影仪300和照相机400进行触摸识别的装置。如图1所示，这样的图像识别装置500具有图像处理部510。图像处理部510构成为根据照相机400所取得的图像，检测消失部890与位于核线EL'上并显示在手指F上的检测用图像800之间的距离D，根据检测结果(所求出的距离D)来进行触摸识别，其中，该消失部890是在手指F位于投影仪300与屏幕900之间时因来自投影仪300的光(形成检测用图像800的光)被该手指F遮挡而在屏幕900上产生的，该核线EL'是根据照相机400与投影仪300之间的位置关系而确定的，并且经过消失部890。这样，通过以距离D为基础，能够进行简单且高精度的触摸识别。以下，对图像处理部510进行具体地说明。

图5和图6是分别示出对照相机400所拍摄到的屏幕900上的检测用图像800进行立体平行化后的图像的图。当在屏幕900与投影仪300之间不存在手指F的情况下，来自投影仪300的光照射在屏幕900上而不会被遮挡，因此，如图5所示，在显示于屏幕900的检测用图像800中不产生消失部890。与此相对，当在屏幕900与投影仪300之间存在手指F的情况下，来自投影仪300的光被手指F遮挡，因此，如图6所示，在显示于屏幕900的检测用图像800中产生相当于被手指F遮挡的部分的消失部890，因消失部890而消失的部分(消失部分)沿核线EL的延伸方向错开而显示在手指F上。

如图6所示，线状图案811、812(810)的因消失部890而消失的消失部分811a、812a沿核线EL'的延伸方向错开而而显示在手指F上。因此，图像处理部510根据与消失部890重叠的线状图案811、812中的位于最上侧(相对于手指F的远位侧)的线状图案811的位置，从立体平行化后的图像中设定消失部分811a的原本的位置P1(在无手指F的情况下所显示的位置)，接着，设定实际的消失部分811a的位置P2，其中，该位置P2位于经过位置P1的核线EL'上，并且显示在手指F上。另外，能够断定为：在手指F上的消失部分811a与消失部890之间无法显示线状图案811以外的线状图案810，消失部890向下侧脱离后首先出现的线状图案810为消失部分811a。然后，图像处理部510接着求出位置P1与位置P2之间的沿着核线EL'的距离D。由于屏幕900与手指F之间的间隔距离越短，该距离D越小，所以例如如果距离D为预先设定的阈值以下，则图像处理部510判断为手指F与屏幕900接触的“接触状态”，如果超过阈值，则判断为手指F不与屏幕900接触的“非接触状态”(判断步骤)。根据这样的图像处理部510，由于只求出距离D即可，所以能够比较简单且高精度地进行触摸识别。

此外，图像处理部510根据立体平行化的图像而检测手指F的触摸位置的XY坐标(平面坐标)。另外，由于消失部890的前端部与手指F的前端部的位置对应，所以优选将消失部890的前端部(消失部分811a)的坐标检测为触摸位置的坐标。

另外，图像处理部510将触摸识别的结果发送到未图示的控制部。收到该判定结果的控制部在从图像处理部510发送的触摸识别的结果为“接触状态”的情况下，根据一同发送来的触摸位置的坐标信息，对投影仪700发送例如对显示于屏幕900的显示用图像进行放大或缩小的命令、对显示用图像进行切换的命令等、根据手指F的接触位置而确定的画面操作命令。通过进行这样的控制，仅通过用手指F触摸屏幕900便能够对显示于屏幕900的显示用图像进行操作，成为便利性高的图像识别单元100。

根据以上那样的图像识别单元100，能够进行精度高的触摸识别。

另外，以下，根据图7对屏幕900与手指F之间的间隔距离(手指F距离屏幕900的悬浮距离)的计算方法的一例进行说明。在将照相机400的焦距设为f，将由照相机400与投影仪300之间的距离构成的基线长度设为L，将照相机400的光轴相对于屏幕900的斜率设为α，照相机400与屏幕900之间的距离(立体基准面方向的距离)设为h时，通过事先的校正来满足tanβ1＝z1/(L-y1)、tanα＝(h+y1)/z1、z1＝y1×(f/i1)、z2＝y2×(f/i2)的关系。另外，根据三角测量的基本原理来满足z1＝L/{(i1/f)+(1/tanβ1)}、z2＝L/{(i2/f)+(1/tanβ1)}的关系。另外，由图7满足(h+y1)/z1＝(h+y0)/z2的关系。因此，屏幕900与手指F之间的间隔距离Δf满足Δf＝(y2-y0)×cosα的关系。由此，能够比较简单地计算出屏幕900与手指F之间的间隔距离Δf。

<第2实施方式＞

接着，对本发明的第2实施方式的图像识别单元进行说明。

图8是对本发明的第2实施方式的图像识别单元的触摸识别进行说明的图。另外，在图8中，为了方便说明，示出了以核线为垂直成分的方式进行立体平行化后的图。

以下，对本发明的第2实施方式的图像识别单元进行说明，但以与上述实施方式不同的点为中心来进行说明，对同样的事项省略其说明。

除了图像识别装置的结构不同以外，第2实施方式的图像识别单元与上述第1实施方式同样。另外，对与上述实施方式同样的结构赋予相同的标号。

与上述第1实施方式相比，本实施方式的图像处理部510能够更高精度地检测触摸位置的XY坐标。以下，进行具体地说明。本实施方式的图像处理部510具有位置推定部，该位置推定部根据消失部890的形状来推定手指F的前端部的位置。如图8所示，位置推定部设定线段Lf而推定出手指F在该线段Lf的延伸方向上延伸，其中，该线段Lf经过因消失部890而消失的线状图案811、812的消失部分811a、812a的长度方向的中点P₈₁₁、P₈₁₂。接着，虚拟地生成正三角形状的标记M，将该标记M沿着线段Lf配置在消失部分811a的前端侧(与手指F相反的一侧)，其中，该正三角形状以与消失部分811a、812a中的位于消失部890的最上侧的消失部分811a相同的长度为1边。由于标记M是模仿手指F的前端部(指尖)的形状，所以能够将标记M的顶点Pm推定为手指F的前端部的位置。因此，图像处理部510将顶点Pm的XY坐标检测为触摸位置的坐标。这样，通过具有位置推定部，能够更准确地检测触摸位置的坐标。

另外，在将线状图案810的间距设为D₈₁₀，将消失部分811a(位于消失部890的最上侧的消失部分)的长度设为D₈₉₀时，优选仅在满足D₈₁₀＞D₈₉₀的关系的情况下通过位置推定部来进行上述推定。换言之，优选仅在标记M的顶点Pm位于比处于线状图案811的正上方的线状图案810靠下侧的位置的情况下通过位置推定部来进行上述推定。这是因为，当在D₈₁₀≤D₈₉₀的情况下通过位置推定部来进行上述推定时，与不进行推定的情况相比，有可能导致距离实际手指F的前端部的位置的偏移量变大。

通过以上那样的第2实施方式，也能够发挥出与上述第1实施方式同样的效果。另外，在本实施方式中，标记M由正三角形构成，但作为标记M的形状，并没有特别地限定，能够像模仿对象物的前端形状那样适当变更。

<第3实施方式＞

接着，对本发明的第3实施方式的图像识别单元进行说明。

图9是示出在本发明的第3实施方式的图像识别单元中使用的检测用图像的图。图10和图11是分别对照相机所取得的图像进行立体平行化后的图。

以下，对本发明的第3实施方式的图像识别单元进行说明，但以与上述实施方式不同的点为中心来进行说明，对同样的事项省略其说明。

除了检测用图像不同以外，第3实施方式的图像识别单元与上述第1实施方式同样。另外，对与上述实施方式同样的结构赋予相同的标号。

如图9所示，本实施方式的检测用图像800具有与核线EL交叉(在本实施方式中为垂直)延伸的、图案互相不同的第1线状图案820和第2线状图案830，第1、第2线状图案820、830沿着核线EL的延伸方向交替地排列配置。第1线状图案820是在延伸方向上亮度恒定的图案，第2线状图案830是由具有第1亮度的部分和具有与第1亮度不同的第2亮度的部分交替且周期性(等间隔)地排列而成的图案。

越靠屏幕900的下侧，与照相机400的角度越小，因此在照相机400所取得的图像中，如图10所示，第1、第2线状图案820、830的间距朝向屏幕900的下侧逐渐减小，并且第1、第2线状图案820、830的宽度也逐渐减小。因此，根据照相机400的分辨率(解像力)，也想到了如下情况：即使能够清晰地识别呈现在屏幕900的上部的检测用图像800(第1、第2线状图案820、830)，也很难清晰地识别呈现在屏幕900的下部的检测用图像800(第1、第2线状图案820、830)。

因此，有可能在屏幕900的下部无法识别出位于消失部890的最上侧(前端侧)的是第1、第2线状图案820、830中的哪个。另一方面，如图11所示，即使手指F位于屏幕900的下部，但由于与照相机400的角度变大，所以能够清晰地识别出呈现在手指F上的第1、第2线状图案820、830。因此，通过识别位于手指F的最前端侧的是第1、第2线状图案820、830中的哪个，能够判断位于消失部890的最前端侧的是第1、第2线状图案820、830中的哪个。这是因为位于手指F的最前端侧的线状图案与位于消失部890的最前端侧的线状图案是同列的图案。因此，根据本实施方式，能够以比照相机400的分辨率更高的分辨率进行触摸识别，并且能够取得触摸位置的XY坐标。

通过以上那样的第3实施方式，也能够发挥出与上述第1实施方式同样的效果。另外，在本实施方式中，检测用图像是第1线状图案820和第2线状图案830沿着核线EL的延伸方向交替地配置的结构，但作为检测用图像，并没有特别地限定。例如，也可以具有与第1、第2线状图案820、830不同的第3线状图案。

<第4实施方式＞

接着，对本发明的第4实施方式的图像识别单元进行说明。

图12是示出在本发明的第4实施方式的图像识别单元中使用的检测用图像的图。图13是示出图12所示的检测用图像的变形例的图。

以下，对本发明的第4实施方式的图像识别单元进行说明，但以与上述实施方式不同的点为中心来进行说明，对同样的事项省略其说明。

除了检测用图像不同以外，第4实施方式的图像识别单元与上述第1实施方式同样。另外，对与上述实施方式同样的结构赋予相同的标号。

作为上述第1实施方式的问题，列举了以下问题。即，在手指F沿着与屏幕900的法线方向(Z轴方向)不同的方向与屏幕900接近的情况下，距离D根据屏幕900与手指F之间的间隔距离而发生变化，能够根据距离D来进行触摸识别，但在手指F沿着屏幕900的法线方向与屏幕900接近的情况下，即使屏幕900与手指F之间的间隔距离发生变化，但由于距离D不发生变化，所以无法进行准确的触摸识别。这样的问题尤其会在照相机400的分辨率较高的屏幕900的上部出现。因此，在本实施方式中，检测用图像800是即使在手指F沿着屏幕900的法线方向与屏幕900接近的情况下也能够进行准确的触摸识别的图像。

如图12所示，本实施方式的检测用图像800具有：第1区域800A，其位于屏幕900的上部(距照相机400较近的一侧)；以及第2区域800B，其位于屏幕900的下部(距照相机400较远的一侧)。并且，在第1区域800A中沿着与核线EL垂直的方向等间距地配置有多个沿着核线EL延伸的线状图案850。另一方面，在第2区域800B中沿着核线EL的延伸方向等间距地配置有多个与核线EL交叉(在本实施方式中为垂直)的线状图案860。通过采用这样的结构，即使在第1区域800A中手指F沿着屏幕900的法线方向与屏幕900接近的情况下，也能够更可靠地进行触摸识别。

通过以上那样的第4实施方式，也能够发挥出与上述第1实施方式同样的效果。另外，作为本实施方式的检测用图像800的变形例，也可以是图13所示的检测用图像800。在图13所示的检测用图像800中，在第2区域800B中沿着核线EL的延伸方向等间距且交替地配置有多个与核线EL垂直(交叉)并且图案互相不同的线状图案861、862、863。根据这样的结构，与上述第3实施方式同样，在屏幕900的下部也能够高精度地进行触摸识别。

<第5实施方式＞

接着，对本发明的第5实施方式的图像识别单元进行说明。

图14是示出本发明的第5实施方式的图像识别单元的结构的侧视图。

以下，对本发明的第5实施方式的图像识别单元进行说明，但以与上述实施方式不同的点为中心来进行说明，对同样的事项省略其说明。

除了拍摄元件和检测用图像显示装置的配置不同以外，第5实施方式的图像识别单元与上述第1实施方式同样。另外，对与上述实施方式同样的结构赋予相同的标号。

如图14所示，在本实施方式中，照相机400被配置于第3象限S3。另外，投影仪300例如被设置于地面，配置成从比较低的位置朝向斜上侧射出光。并且，第1虚拟面f1和第2虚拟面f2都倾斜成屏幕900侧比投影仪300侧靠上方，不从投影仪300射出具有与屏幕900的法线一致的光轴的光。通过使投影仪300和照相机400为这样的配置，当在投影仪300与屏幕900之间存在手指F时，能够利用照相机400来更可靠地拍摄消失部890。

另外，本实施方式是将上述第1实施方式的结构上下反转而得的结构，只要将第1实施方式的说明上下反转便是本实施方式的说明。因此，省略本实施方式的详细说明。

通过以上那样的第5实施方式，也能够发挥出与上述第1实施方式同样的效果。

<第6实施方式＞

接着，对本发明的第6实施方式的图像识别单元进行说明。

图15是示出本发明的第6实施方式的图像识别单元的结构的侧视图。

以下，对本发明的第6实施方式的图像识别单元进行说明，但以与上述实施方式不同的点为中心来进行说明，对同样的事项省略其说明。

除了检测用图像显示装置的配置不同以外，第6实施方式的图像识别单元与上述第1实施方式同样。另外，对与上述实施方式同样的结构赋予相同标号。

如图15所示，在本实施方式中，从投影仪300射出具有与屏幕900的法线一致的光轴的光，第1虚拟面f1倾斜成屏幕900侧比投影仪300侧靠上方，第2虚拟面f2倾斜成屏幕900侧比投影仪300侧靠下方。

通过以上那样的第6实施方式，也能够发挥出与上述第1实施方式同样的效果。

以上，根据图示的实施方式对本发明的图像识别装置、图像识别方法以及图像识别单元进行了说明，但本发明并不限定于此。例如，在本发明的图像识别装置中，各部分的结构可以置换成具有同样功能的任意的结构，另外，也可以增加其他任意结构。

另外，在上述实施方式中，Y轴沿着铅直方向配置，但Y轴也可以不沿着铅直方向。即，在上述实施方式中，Y轴可以绕X轴旋转规定的角度，Y轴也可以绕Z轴旋转规定的角度。

标号说明

100：图像识别单元；200：图像显示单元；300：投影仪；400：照相机；500：图像识别装置；510：图像处理部；700：投影仪；800：检测用图像；800A：第1区域；800B：第2区域；810：线状图案；811、812：线状图案；811a、812a：消失部分；820：第1线状图案；830：第2线状图案；850、860：线状图案；861、862、863：线状图案；890：消失部；900：屏幕；C1：照相机中心；C2：投影仪中心；D：距离；EL、EL'：核线；F：手指；Lf：线段；l1、l2、l3：直线；M：标记；P1、P2：位置；P₈₁₁、P₈₁₂：中点；Pe：核点；Pm：顶点；S1：第1象限；S2：第2象限；S3：第3象限；f1：第1虚拟面；f2：第2虚拟面；x：坐标；Σ：核平面；π1：图像平面；π2：虚拟图像平面。