利用三维模拟电子设备的虚拟触摸的远程操作装置及方法

摘要

在远距离时，利用通过使用者移动（动作）的虚拟触摸，不管有没有电子设备驱动操作显示器，都能够适用并控制所有利用遥控器驱动操作的电子设备的远程操作装置及方法；构成包含了利用通过摄影得到的影像，计算出使用者身体及电子设备三维坐标数据的三维坐标计算部，利用上述三维坐标计算部中计算出的电子设备的三维坐标数据；及识别电子设备空间位置信息及设备制品的信息，与使用者与电子设备之间的一直线上对应的方向信息为基础为了使用者与电子设备之间的虚拟触摸而生成虚拟接点领域的电子设备检测部；及利用上述三维坐标计算部中计算出的使用者身体的三维坐标数据，计算出为了驱动操作电子设备的虚拟触摸位置及位置变化，以计算出的虚拟触摸位置变化为基础，生成能够执行事先设定好、用来操作电子设备的指令码的使用者检测部；及若输入在上述使用者检测部中生成的指令码，被转换为驱动操作所属电子设备的控制指令信号后，向所属电子设备送出操作指令信号的电子设备驱动控制部，及储存了上述电子设备的制造者，包含模型名称的设备制品信息，不同设备制品所适用于的驱动操作的协议信息，不同电子设备的操作方法信息的电子设备信息数据库（DB）。

说明书

技术领域

本发明是关于使用者远程操作电子设备的装置及方法的，特别是通过 电子设备的扫描计算好坐标后，并不使用遥控器等远程控制三维模拟电子 设备的工具，而是在远距离时，利用通过使用者手指尖移动（动作）的虚 拟触摸，能够控制电子设备驱动操作的远程操作装置及方法。

背景技术

最近，智能手机等具备触屏的电子设备正在被广泛应用。这种触屏技 术与现存的、通过鼠标进行操作的电脑等电子设备相比，显示器上不需要 显示“指示器”。使用者没有必要为了控制电子设备而把指示器（电脑的 光标）移到所对应的位置（比如，程序图标）上，只需把手指移动到图标 上点击就可执行操作。这种触屏技术使得现有电子设备控制手段所必要的 “指示器”移动步骤变得不必要，从而能够快速地操作电子设备。

但是，尽管触屏技术具有上述便利性，但是由于使用者必须亲自触摸 显示器，因此，此技术具有不能远程操作的本质缺陷。所以，即使是采用 了触屏的电子设备为了实现远程操作也不得不依靠传统式遥控器等的装 置。

最近，作为远程电子设备的控制装置，例如触屏技术等，能够准确地 在支点生成指示器的装置，正如在公开专利[文献1]中公开的一样。即利 用两台摄像机把显示器全面拍下后，从拍摄好的图像中在使用者眼睛和手 指的延长直线与显示器相遇点上生成指示器，但是为了控制电子设备而必 须提前预备生成‘指示器’（指示器控制部放置），然后为了具体执行操作， 需通过比较使用者的姿势与已经储存好的模式才能执行这一点十分的不 方便。

[文献1]公开专利2010-01296292010.12.9

另外，在从上述拍摄好的图像中与使用者眼睛和手指的延长直线相遇 的显示器相遇的点上生成指示器，远程操作电子设备的方法中，具有必须 在由大画面（即使在远距离时，也能根据使用者来确认操作图标的大小） 的显示器装置构成的电子设备中才能使用的问题。同时，由于只能在电子 设备的正前方才能操作，因此使用者操作时只能在电子设备的前方移动， 非常不方便。

另外，现存的家电设备和摄相机控制部放是为了能够通过互通信息来 操作家电设备运行构成的，因此电子设备具有任何时候都只能被限定于固 定位置才能够远程操作的问题，因此，能够远程操作的电子设备的种类只 能被限定于不具有移动性的电子设备。

发明内容

（技术上的问题）

因此，本发明是为了解决上述问题而提出的，本发明的目的是为了提 供：在远距离时，利用通过使用者移动（动作）的虚拟触摸，不管有没有 电子设备驱动操作显示器，都能够适用并控制所有利用遥控器驱动操作的 电子设备的远程操作装置及方法。

本发明的另一目的是为了提供：与电子设备的移动、使用者与电子设 备之间的位置及方向无关，位于家中任何位置的设备都能利用通过使用者 手指尖移动的虚拟触摸，进行远程控制的远程操作装置及方法。

本发明的另一目的是为了提供：远程操作装置的构成与成为远程调整 对象的电子设备分别分离构成，即使在电子设备移动时，通过轻松计算出 电子设备变化后的三维空间坐标，适用于各种能够自由移动的电子设备的 远程操作装置及方法。

（课题的解决手段）

为了达成上述目标，根据本发明的利用三维模拟电子设备虚拟触摸的 远程操作装置的特点是构成包含了：利用通过摄影得到的影像，计算出使 用者身体及电子设备三维坐标数据的三维坐标计算部，利用上述三维坐标 计算部中计算出的电子设备的三维坐标数据；及识别电子设备空间位置信 息及设备制品的信息，与使用者与电子设备之间的一直线上对应的方向信 息为基础为了使用者与电子设备之间的虚拟触摸而生成虚拟接点领域的 电子设备检测部；及利用上述三维坐标计算部中计算出的使用者身体的三 维坐标数据，计算出为了驱动操作电子设备的虚拟触摸位置及位置变化， 以计算出的虚拟触摸位置变化为基础，生成能够执行事先设定好、用来操 作电子设备的指令码的使用者检测部；及若输入在上述使用者检测部中生 成的指令码，被转换为驱动操作所属电子设备的控制指令信号后，向所属 电子设备送出操作指令信号的电子设备驱动控制部，及储存了上述电子设 备的制造者，包含模型名称的设备制品信息，不同设备制品所适用于的驱 动操作的协议信息，不同电子设备的操作方法信息的电子设备信息数据库 （DB）。

上述三维坐标计算部最好是以包含了：由配置于不同位置、两个以上 图像传感器构成、从各自不同角度拍摄使用者身体及电子设备的影像获得 部，及从上述影像获得部中收到、以各自不同角度拍摄的影像为基础、利 用光学三角测量法计算出使用者身体及电子设备三维坐标数据的空间坐 标计算部为特征的。

上述三维坐标计算部最好是以包含了：由光源和散光器构成、把散斑 图图投影在使用者身体上的照明组件，及由图像传感器和凸镜构成、用来 捕捉通过上述照明组件投影在上述使用者身体及电子设备上的散斑图图 的影像获得部，及以从上述影像获得部捕捉到的散斑图图为基础，利用时 间迟延测定法计算使用者身体及电子设备的三维坐标数据的空间坐标计 算部为特征的。

上述电子设备检测部最好是以包含了：以三维坐标计算部中计算出的 电子设备的三维空间坐标为基础，按照电子设备形态施行三维模拟的三维 模拟部，及以上述三维模拟部中三维模拟电子设备形态为基础，上述电子 设备信息与事先在DB中储存好的电子设备信息作比较，检测出所属电子 设备，按照检测出的电子设备的驱动操作设定控制信号的电子设备设定 部，及使与使用者和电子设备之间的直线相对应的方向信息相互配合，以 相互配合后的方向信息为基础，在使用者和电子设备之间生成虚拟触摸的 虚拟二维接点领域的触摸位置配合部为特征的。

上述使用者检测部最好是以包含了：以上述三维坐标计算部中计算出 的使用者身体的三维空间坐标为基础计算出第1空间坐标及第2空间坐 标，计算出连接上述计算好的第1空间坐标和第2空间坐标的直线与上述 虚拟的接点领域相交的接点坐标数据的触摸位置计算部，及判断上述触摸 位置计算部中计算出的接点坐标数据是否变化，若判断有变化的话，将生 成执行事先设定好的电子设备操作指令码的虚拟触摸处理部为特征的。

上述第1空间坐标最好是以使用者手指中任意一个指尖，使用者手指 所指的指示器尾端中任意一个三维坐标，上述第2空间坐标是上述使用者 任意一只眼睛的中心点的三维坐标为特征的。

上述虚拟触摸处理部最好是从计算出初期接点坐标数据的时间开始 判断超过设定时间的接点坐标是否有变化，当超过设定时间、上述接点坐 标数据发生变化时，可判断为接点坐标数据发生变化为特征的。

上述虚拟触摸处理部最好是从计算出初期接点坐标从计算出的时间 起，当超过设定时间，初期接点坐标数据没有变化时，判断有没有发生超 过第1空间坐标和第2空间坐标之间设定距离的距离变化，若发生超过设 定距离的距离变化时，可判断为有变化，将生成执行事先设定好的电子设 备操作指令码的虚拟触摸处理部为特征的。

上述电子设备驱动控制部最好是以包含了红外线（IR）信号，无线 （WiFi），蓝牙（Bluetooth）等短距离无线通信方式传递操作指令信号为 特征的。

为了达成上述目标，根据本发明的利用三维模拟电子设备虚拟装置的 远程操作方法的特征是包含了：（A）利用通过摄影得到的影像，计算出使 用者身体及电子设备三维坐标数据的阶段；（B）上述计算好的三维坐标数 据中，利用电子设备的三维坐标数据，把电子设备扫描后按照电子设备形 态实施三维模拟的阶段；（C）以上述三维模拟电子设备形态为基础，电子 设备信息与事先在DB中储存好的电子设备信息作比较，检测出所属电子 设备，按照检测出的电子设备的驱动操作设定控制信号的阶段；（D）以上 述计算出的使用者和电子设备的三维坐标数据为基础，与使用者和电子设 备之间的直线相对应的方向信息相互配合，以相互配合后的方向信息为基 本，在使用者和电子设备之间生成虚拟触摸的虚拟二维接点领域的阶段； （E）上述计算出的三维坐标数据中，利用按照使用者身体的三维坐标数 据，计算出具有使用者手指中任意一个指尖的三维坐标的第1空间坐标和 具有使用者任意一只眼睛中心点的三维坐标的第2空间坐标，然后计算出 连接上述第1空间坐标和第2空间坐标的直线与上述生成的虚拟的接点领 域相交的接点坐标数据的阶段；（F）判断与上述形成的虚拟二维接点相交 的接点坐标数据是否有变化，若有变化，为了与上述接点坐标数据的变化 相对应，将生成事先设定好的执行电子设备操作指令码的输出阶段；（G） 上述生成的指令码所属的电子设备，被转换为驱动操作所属电子设备的控 制指令信号后，向所属电子设备送出操作指令信号的阶段完成的。

上述A阶段最好是以包含了：通过配置于相互不同位置、由两个以上 图像传感器构成影像获得部，从各自不同角度拍摄使用者身体及电子设备 的阶段；及从上述影像获得部中收到、以各自不同角度拍摄的影像为基础、 利用光学三角测量法计算出使用者身体及电子设备三维坐标数据的阶段 为特征的。

上述A阶段最好是以包含了：通过照明组件把散斑图图投影在使用者 身体上的阶段；及通过上述照明组件来捕捉上述使用者身体及电子设备上 的散斑图图的阶段；及以上述散斑图图为基础，利用时间迟延测定法计算 使用者身体及电子设备的三维坐标数据的阶段为特征的。

上述F阶段最好是从计算出初期接点坐标数据的时间开始判断超过设 定时间的接点坐标是否有变化，当超过设定时间、上述接点坐标数据发生 变化时，可判断为接点坐标数据发生变化为特点的。

上述F阶段最好是从计算出初期接点坐标从计算出的时间起，当超过 设定时间，初期接点坐标数据没有变化时，判断有没有发生超过超过第1 空间坐标和第2空间坐标之间设定距离的距离变化，若发生超过设定距离 的距离变化时，可判断为有变化，将生成执行事先设定好的电子设备操作 指令码的虚拟触摸处理部为特征的。

上述F阶段最好是以包含了：在上述生成的二维接点领域中，按照电 子设备信息DB中事先储存好的操作方法信息，为了虚拟触摸操作的设定 触摸领域的阶段；及计算上述第1空间坐标和第2空间坐标连接的直线与 虚拟的接点领域相交的接点坐标数据的阶段；及根据使用者在上述虚拟的 接点领域的事先设定好的触摸领域中上、下、左、右、前、后中至少一 个以上的虚拟触摸装置进行操作，执行电子设备的操作要求后，若判断出 根据第1空间坐标的变化计算出接点坐标数据变化的话，与上述接点坐标 数据变化相对应的，将生成执行事先设定好的电子设备操作的指示码的阶 段为特征的。

上述接点领域最好是与电子设备前面、侧面、后面的方向无关，位于 电子设备与使用者之间、在电子设备的任意方向通过使用者的虚拟触摸操 作完成驱动操作为特征的。

（发明效果）

如上上述，根据本发明的利用三维模拟电子设备虚拟触摸的远程操作 装置及方法具有以下效果。

第一，并不是使用通过显示器装置的指示器，以虚拟触摸标示的操作 图标的方法完成的，是以虚拟触摸三维模拟电子设备主机的方式来操作电 子设备，因此，可迅速对电子设备进行操作。因此，具有可适用与所有不 包含显示器装置的电子设备的效果。

第二，到目前为止利用虚拟触摸的研究的现况为，开发仅局限于活用 显示器装置的应用技术。由此，本发明不但可以活用于不使用显示器装置 的虚拟触摸装置中，还可以提供能够准确操作电子设备运行的、新的触摸 识别方法。

第三，由于远程操作装置的构成与远程调整对象的电子设备是分别分 离构成的，电子设备即使在移动时，电子设备变化的三维空间坐标的计算 也是自由的，因此可适用于各种自由移动的电子设备。

第四，不仅仅是电子设备，窗帘、照明、汽车门锁等通过开关、要求 简单操作的设备都可通过三维模拟提供虚拟触摸，执行与虚拟触摸相对应 的操作，就可适用于多种应用技术。

附图说明

图1图示的是根据本发明实施例的利用三维模拟电子设备虚拟触摸的 远程操作装置整体系统的展示图。

图2图示的是根据本发明第1实施例的利用三维模拟电子设备虚拟触 摸的远程操作装置的结构图。

图3图示的是根据本发明第2实施例的利用三维模拟电子设备虚拟触 摸的远程操作装置的结构图。

图4图示的是用来解释根据本发明第2实施例的利用三维模拟电子设 备虚拟触摸的远程操作装置的流程图。

图5图示的是用来解释图4中计算使用者身体及电子设备的三维坐标 数据过程的第2实施例的流程图。

图6图示的是用来解释图4中计算使用者身体及电子设备的三维坐标 数据过程的第2实施例的流程图。

图7图示的是根据本发明的利用三维模拟电子设备虚拟触摸的远程操 作装置方法的具体实施例的展示图。

具体实施方式

更为清楚地了解本发明的其他目的、特性及优点，可以通过详细地讲 解附加了图片的参考实施例。

关于本发明的利用三维模拟电子设备虚拟触摸的远程操作装置的理 想实施例，将参考附加图片进行一下的解释说明。但是，本发明并不仅限 于以下所揭示的实施例，而是能够表现出多种相互不同的形态，只要本实 施例能够完整地展示本发明，则具有一般常识的读者将能够完整地理解发 明的范围而提供的。并且本说明书中记载的实施例与图面中图示的构成不 过是本发明的最理想化的一种实施例，并不能代表本发明所有的技术性思 想，因此在此申请阶段中可有能够代替它们的多种相同物和变形例。

图1图示的是根据本发明的利用三维模拟电子设备虚拟触摸的远程操 作装置的整体系统的展示图。

如图1所示，远程操作装置（100）是当使用者在远距离时，通过手 等的动作利用虚拟触摸要求电子设备（200）的驱动操作时，通过使用者 的动作计算出使用者身体的三维坐标数据并确认三维领域，同时识别使用 者要求驱动操作的电子设备（200）的位置信息。同时，生成与使用者的 动作相应的电子设备的驱动操作指令信号并向上述的电子设备（200）传 送，由此来操作所示电子设备（200）的驱动。

同样地，利用电子设备的位置信息完成远程操作，与显示器装置的有 无无关，利用现存的遥控器可适用于驱动操作的所有电子设备。

那么，以下将对远程操作装置（100）的构成进行更为详细的讲解。

第1实施例

图2中图示的是根据本发明第1实施例的利用三维模拟电子设备虚拟 触摸的远程操作装置的构成图。

如图2所示，远程操作装置（100）由获得部（110）、空间坐标计算 部（120）、电子设备检测部（130）、使用者检测部（140）。电子设备驱动 控制部（160）及电子设备信息数据库（DB)(150)构成。

上述影像获得部（110），作为一种摄像机组件，可包含两个以上的把 检测到的影像转换为电子图像信号的、类似CCD或是CMOS的图像遥感 器（112，,114）。

上述空间坐标计算部（120）是利用从影像获得部（110）中收到的影 像，计算出上述使用者身体及电子设备的三维坐标数据，根据本发明，构 成影像获得部（110）的图像传感器（112,1140）从各自不同的角度拍摄使 用者身体及电子设备，然后空间坐标计算部（120）利用手动的光学三角 法计算出使用者身体及电子设备的三维坐标数据。

一般来说，光学式三维坐标计算方法可根据传感方法分为能动方式和 手动方式。能动方式是事先定义好的模式或声波等投射在物体上后，通过 控制其能量或是焦点等的传感参数来测定变化量，作为计算物体三维坐标 数据的方法，代表方式是利用构造光或是激光。与此相比，手动方式是人 为的，在不向物体中投射能量的状态下，利用拍摄的影像的明暗 （intensity），视差（parallax）等的方式。

在手动方式中，光学三角测量法可适用于与拍摄的影像相对应的特定 点并获得三维信息。应用三角法计算出三维坐标的各种关联方法，经常被 采用的有摄像机自标定（camara self calibration）法，Harris的角点检测法， SIFT法，RANSAC法，Tsai法等。特别是，作为计算出三维坐标数据的 方法，也可使用立体摄像机法。立体摄像机法是指人通过两只眼睛看事物， 得到变位的两眼立体时的构造相统一，从两个不同点中观测物体表面的同 一点，根据这一点的预想角中寻求距离的方法。上述提及到的各种三维坐 标计算法，只要是本法明所属技术领域的从业者很容易就明白并能够具体 体现，因此省略不提。另一方面，利用二维图像计算出三维坐标数据的方 法及其关联专利文献有国内公开专利第10-0021803号，第 10-2004-0004135号，第10-2007-0066382号，第10-2007-0117877号等大 量存在。

上述电子设备检测部（130）由三维模拟部（132），电子设备设定部 （134）和触摸位置配合部（136）构成，利用上述（120）计算出电子设 备的三维坐标数据后，识别电子设备（200）的空间位置信息及设备制品 信息，然后与使用者和电子设备间的直线相对应的方向信息为基础，为了 使用者与电子设备的虚拟触摸而生成虚拟的接点领域。

这时，上述三维模拟部（132）以三维坐标计算部（120）中计算出的 电子设备的三维空间坐标为基础，按照电子设备形态施行三维模拟的三维 模拟部，同时，上述电子设备设定部（134）在上述三维模拟部（132）中 以三维模拟的电子设备形态为基础，上述电子设备信息与事先在DB（150） 中储存好的电子设备信息作比较，检测出所属电子设备，按照检测出的电 子设备的驱动操作设定控制信号。同时，上述触摸位置配合部（136）使 使用者和电子设备之间的直线相对应的方向信息相互配合，以相互配合后 的方向信息为基础，在使用者和电子设备之间生成虚拟触摸的虚拟二维接 点领域。这时，生成的虚拟二维接点领域最好是以电子设备的三维坐标为 基板，在比起使用者更靠近电子设备的地方生成。

上述使用者检测部（140）由触摸装置计算部（142）及虚拟触摸处理 部（144）构成，利用上述由空间坐标计算部（120）计算出的使用者身体 的三维坐标数据计算出为了驱动操作电子设备（200）的虚拟触摸位置及 位置变化，以计算出的虚拟触摸位置变化为基础，生成能够执行事先设定 好、用来操作电子设备的指令码。

这时，上述触摸位置计算部（142）以上述三维坐标计算部（120）中 计算出的使用者身体的三维空间坐标为基础，计算出第1空间坐标及第2 空间坐标，利用计算好的第1空间坐标（手指）和第2空间坐标（眼）， 起到计算出连接上述计算出的第1空间坐标和第2空间坐标的直线与上述 虚拟的接点领域相交的接点坐标数据的作用。

一般来说，人的身体中手指是唯一较为灵活、能够进行精密操作的部 分。特别是，使用大拇指或食指中的某一个，或是两根手指一起使用时， 可完成细致地指示。因此，本发明中作为第1空间坐标使用大拇指及/或是 食指指尖是非常有效的。另外，按照这个思路，代替上述第1空间坐标作 用的手指指尖，可以用由手指握住的底部是尖的指示器（例如，笔尖）。

另外，本发明只利用使用者一只眼睛的中心点。例如，若在使用者双 眼前伸出食指看的话，将看到两个食指。这是由于使用者双眼看到的食指 形象是不一样才会发生此类现象（由双眼的角度差引起）。但是，若只用 其中一只眼去看食指的话就能够清楚地看到食指。另外即使硬撑着不闭上 另一只眼，但是意识上只用一边的眼去看的话，也能看到清楚的食指。这 与射击、射箭等有需要瞄准的、要求高度准确性的运动项目中，大部分一 侧眼睛闭上瞄准的原理是一样的。

在本发明中，将采用仅用一只眼(第2空间坐标）去看手指指尖（第1 空间坐标），可准确掌握手指指尖形态的原理。同样的，使用者只有正确 地看见第1空间坐标才能指出与第1空间坐标相一致的、在上述触摸位置 配合部（136）中生成的虚拟接触领域。。

在本发明中，一名使用者使用手指中某一个时，第1空间坐标就是使 用者某一手指的指尖，上述使用者用手握住的指示器尖端中的某一是三维 坐标，第2空间坐标是使用者某一只眼睛中心点的三维坐标。另外，一名 使用者使用手指中两个以上手指时，上述第1空间坐标是根据上述使用者 伸出的一个以上的手指指尖的三维坐标，上述第2空间坐标可由上述使用 者的某一只眼睛中心点的三维坐标形成。另外，两名以上使用者使用时， 第1空间坐标根据是两名以上使用者分别伸出的一个以上的手指指尖的三 维坐标，第2空间坐标可有使用者们某一只眼睛中线点的三维坐标形成。

上述虚拟触摸处理部（144）从计算出初期接点坐标数据的时间开始 判断超过设定时间的接点坐标是否有变化，当超过设定时间、上述接点坐 标数据发生变化时，为了与上述接点坐标数据的变化相对应，将生成事先 设定好的执行电子设备操作指令码的输出。另外，关于上述虚拟触摸处理 部（144），一名使用者的两根手指或是两个人以上的使用者，都可以用相 同的方式处理。

另外，虚拟触摸处理部（144）从计算出初期接点坐标从计算出的时 间起，当超过设定时间，初期接点坐标数据没有变化时，判断有没有发生 超过第1空间坐标和第2空间坐标之间设定距离的距离变化，若发生超过 设定距离的距离变化时，将生成为了执行与上述接点坐标数据相对应操作 的指示码。另外，关于上述虚拟触摸处理部（144），一名使用者的两根手 指或是两个人以上的使用者，都可以用相同的方式处理。

另一方面，若判断出上述接点坐标数据的变动在设定领域范围内的 话，上述接点坐标数据的变动可忽略不计。即，当使用者用指尖或是指示 器的尖端指点电子设备时，身体在特性上，身体或是手指不可避免会有一 些轻微的动作或是颤抖，因此使用者要一动不动地维持接点坐标是非常困 难的。由此上述接点坐标数据值在事先定好的设定领域范围中存在时，上 述接点坐标数据的变动时可以忽略不计的。

作为根据本发明的远程调整对象的电子设备，如照明、音响、空调、 电风扇、百叶窗、窗户、窗帘、门、暖气、煤气、微波炉、收音机、摄像 机、监控等构成房间工作网，各种电子设备都可通过本发明成为远程调整 的对象。

由于根据本发明的远程操作装置（100）与远程调整对象的电子设备 是分别分离构成的，电子设备即使在移动时，电子设备变化的三维空间坐 标的计算也是自由的，因此可适用于各种自由移动的电子设备。

上述电子设备驱动控制部（160）,若输入在上述使用者检测部(140)中 生成的指令码,被转换为驱动操作所属电子设备的控制指令信号后，向所属 电子设备传送操作指令信号。这时传送的操作指令码最好是通过现存遥控 器的红外线（IR）信号传送，但并不限定于此。现在使用的无线（WiFi）， 蓝牙（Bluetooth）等短距离无线通信方式也是完全能适用的。

上述电子设备信息数据库（DB）（150）储存了家庭所具备的电子设 备的制造者、型号名等设备制品信息，不同设备制品驱动操作所适用的协 议信息，及不同电子设备的操作方法信息。这时，操作方法信息指的是电 子设备的电源、照明度、音量、温度调节等为了能够通过虚拟触摸来操作 的使用者手指的动作及触摸位置等的信息。参考来说，上述电子设备信息 （DB）（150）中储存的信息电子设备在购买后，可根据使用者随时更新， 更新的方法为链接家电制品的主页，下载所属电子设备的信息，或通过电 子设备内部事先构成的传收信息器等下载所属电子设备的信息后也可以 进行更新。这是在本发明技术思想范围内能够有多种实施例。

第2实施例

图3图示的是根据本发明第2实施例的利用三维模拟电子设备虚拟触 摸的远程操作装置的结构图。

如图3所示的远程操作装置（100）由三维坐标计算部（170），电子 设备检测部（130），使用者检测部（140），电子设备驱动控制部（160） 及电子设备信息数据库（DB)(150)构成。

上述三维坐标计算装置（170）由照明组件（172），影像获得部（174）， 空间坐标计算部（176）构成，在使用者及电子设备上投影编码模式影像， 通过处理被结构光所投射的影像而计算出使用者身体及电子设备三维坐 标数据的。

这时，上述照明组件（172）包含了光源（172a）和散光器（172b）， 向使用者身上投射散斑图。同时，上述影像获得部（174）由图像传感器(174a) 和凸镜（174b）构成，捕捉通过上述照明组件（172）投影在上述使用者 身体及电子设备上的散斑图。这时，上述图像传感器（174a）一般来说可 使用CCD或是CMOS基础的图像传感器。另外，上述空间坐标计算部 （176）主要担任把上述影像获得部（174）所获得的影像处理后，计算上 述使用者身体及电子设备的三维坐标数据的职责。

上述电子设备检测部（130）由三维模拟部（132），电子设备设定部 （134）及触摸位置配合部（136）构成，利用上述三维坐标计算部（176） 中计算出的电子设备的三维坐标数据，识别电子设备空间位置信息及设备 制品的信息，与使用者与电子设备之间的一直线上对应的方向信息为基 础，为了使用者与电子设备之间的虚拟触摸而生成虚拟接点领域。作为参 考，关于上述电子设备检测部（130）构成的说明，与第1实施例中说明 的内容是一致的，由于前文已详细解释过，因此将省略相关说明。

上述使用者检测部（140）是由触摸位置计算部（142）及虚拟触摸处 理部（144）构成的，利用上述由空间坐标计算部（176）计算出的使用者 身体的三维坐标数据计算出为了驱动操作电子设备（200）的虚拟触摸位 置及位置变化，以计算出的虚拟触摸位置变化为基础，生成能够执行事先 设定好、用来操作电子设备的指令码。作为参考，关于上述电子设备检测 部（140）构成的说明，与第1实施例中说明的内容是一致的，由于前文 已详细解释过，因此将省略相关说明。

上述电子设备驱动控制部（160）,若输入在上述使用者检测部(140)中 生成的指令码,被转换为驱动操作所属电子设备的控制指令信号后，向所属 电子设备传送操作指令信号。这时传送的操作指令码最好是通过现存遥控 器的红外线（IR）信号传送，但并不限定于此。现在使用的无线（WiFi）， 蓝牙（Bluetooth）等短距离无线通信方式也是完全能适用的。

上述电子设备信息数据库（DB）（150）储存了家庭所具备的电子设 备的制造者、型号名等设备制品信息，不同设备制品驱动操作所适用的协 议信息，及不同电子设备的操作方法信息。这时，操作方法信息指的是电 子设备的电源、照明度、音量、温度调节等为了能够通过虚拟触摸来操作 的使用者手指的动作及触摸位置等的信息。参考来说，上述电子设备信息 （DB）（150）中储存的信息电子设备在购买后，可根据使用者随时更新， 更新的方法为链接家电制品的主页，下载所属电子设备的信息，或通过电 子设备内部事先构成的传收信息器等下载所属电子设备的信息后也可以 进行更新。这是在本发明技术思想范围内能够有多种实施例。

与此构成相同的、根据本发明的利用三维模拟电子设备虚拟触摸的远 程操作装置的操作课参考附加的图面，详细的解释将如下。图1至图3相 同的参照符号代表执行相同职能的部件。

图4图示的是用来解释根据本发明实施例的利用三维模拟电子设备虚 拟触摸的远程操作装置操作方法的流程图。

参考图4来解释远程操作方法，首先，把通过摄像机拍摄的使用者身 体及电子设备的三维坐标数据计算（S100)出来（S100)。

上述计算好的三维坐标数据中，利用电子设备的三维坐标数据，把电 子设备扫描后按照电子设备形态实施三维模拟（S300)。

然后，以三维模拟电子设备形态为基础，在上述电子设备设定部（134） 中，与事先在电子设备信息DB中储存好的电子设备信息作比较，检测出 所属电子设备，按照检测出的电子设备的驱动操作设定控制信号（S400)。

然后，上述触摸位置配合部（136）以上述计算出的使用者和电子设 备的三维坐标数据为基础，与使用者和电子设备之间的直线相对应的方向 信息相互配合，以相互配合后的方向信息为基本，在使用者和电子设备之 间生成虚拟触摸的虚拟二维接点领域（S500)。这时，生成的虚拟二维接 点领域最好是以电子设备的三维坐标为基板，在比起使用者更靠近电子设 备的地方生成。

另一方面，上述计算出的三维坐标数据中，利用按照使用者身体的三 维坐标数据，计算出具有使用者手指中任意一个指尖的三维坐标的第1空 间坐标和具有使用者任意一只眼睛中心点的三维坐标的第2空间坐标，然 后计算出连接上述第1空间坐标和第2空间坐标的直线与上述生成的虚拟 的接点领域相交的接点坐标数据（S600)。

一般来说，人的身体中手指是唯一较为灵活、能够进行精密操作的部 分。特别是，使用大拇指或食指中的某一个，或是两根手指一起使用时， 可完成细致地指示。因此，本发明中作为第1空间坐标使用大拇指及/或是 食指指尖是非常有效的。另外，按照这个思路，代替上述第1空间坐标作 用的手指指尖，可以用由手指握住的底部是尖的指示器（例如，笔尖）。

另外，本发明只利用使用者一只眼睛的中心点。例如，若在使用者双 眼前伸出食指看的话，将看到两个食指。这是由于使用者双眼看到的食指 形象是不一样才会发生此类现象（由双眼的角度差引起）。但是，若只用 其中一只眼去看食指的话就能够清楚地看到食指。另外即使硬撑着不闭上 另一只眼，但是意识上只用一边的眼去看的话，也能看到清楚的食指。这 与射击、射箭等有需要瞄准的、要求高度准确性的运动项目中，大部分一 侧眼睛闭上瞄准的原理是一样的。

在本发明中，将采用仅用一只眼(第2空间坐标）去看手指指尖（第1 空间坐标），可准确掌握手指指尖形态的原理。同样的，使用者只有正确 地看见第1空间坐标才能指出与第1空间坐标相一致的、在上述触摸位置 配合部（136）中生成的虚拟接触领域。而且，一名使用者使用手指中两 个以上手指时，上述第1空间坐标是根据上述使用者伸出的一个以上的手 指指尖的三维坐标，上述第2空间坐标可由上述使用者的某一只眼睛中心 点的三维坐标形成。另外，两名以上使用者使用时，第1空间坐标根据是 两名以上使用者分别伸出的一个以上的手指指尖的三维坐标，第2空间坐 标可有使用者们某一只眼睛中线点的三维坐标形成。

上述虚拟触摸处理部（144）从计算出初期接点坐标数据的时间开始 判断超过设定时间的接点坐标是否有变化，当超过设定时间、上述接点坐 标数据发生变化时，为了与上述接点坐标数据的变化相对应，将生成事先 设定好的执行电子设备操作指令码的输出（S700）。

这时，判断接点坐标数据的变动与否是从计算出初期接点坐标数据的 时间开始判断超过设定时间的接点坐标是否有变化。而且，当超过设定时 间、上述接点坐标数据发生变化时，可判断为接点坐标数据发生变化。上 述虚拟触摸处理部从计算出初期接点坐标从计算出的时间起，当超过设定 时间，初期接点坐标数据没有变化时，判断有没有发生超过第1空间坐标 和第2空间坐标之间设定距离的距离变化，若发生超过设定距离的距离变 化时，可判断为有变化。然后，在接点坐标数据有变动的情况下，将生成 与变动接点坐标数据向对应的、执行事先生成的指令码。

然后，上述生成的指令码被转换为驱动操作所属电子设备的控制指令 信号后，向所属电子设备传送操作指令信号（S800）。这时传送的操作指 令码最好是通过现存遥控器的红外线（IR）信号传送，但并不限定于此。 现在使用的无线（WiFi），蓝牙（Bluetooth）等短距离无线通信方式也是 完全能适用的。

图5图示的是为了解释图4中第1实施例当中计算出使用者身体及电 子设备三维坐标数据过程的流程图。

参考图5进行解释的话，首先，通过在摄像机组件的影像获得部（110） 中构成的两个图像传感器（112）（114）、获得从各自不同角度拍摄使用者 身体及电子设备的影像（S111）。

然后，空间坐标计算部（120），对上述以各自不同角度拍摄的使用者 身体及电子设备的影像，利用光学三角测量法计算出使用者身体及电子设 备三维坐标数据（S112）。

然后，把计算出来的坐标数据分别组合，再计算按照出使用者身体及 电子设备的三维影像信息的三维坐标数据（S113）。

与此相同的三角法所适用的、作为计算出三维坐标相关联的各种方 法，有摄像机自标定（camara self calibration）法，Harris的角点检测法， SIFT法，RANSAC法，Tsai法等。特别是，作为计算出三维坐标数据的 方法，也可使用立体摄像机法。立体摄像机法是指人通过两只眼睛看事物， 得到变位的两眼立体时的构造相统一，从两个不同点中观测物体表面的同 一点，根据这一点的预想角中寻求距离的方法。

图6图示的是为了解释图4中第2实施例当中计算出使用者身体及电 子设备三维坐标数据过程的流程图。

参考图5进行解释的话，首先照明组件（172）向使用者身体及电子 设备投射散斑图（S121）。

那么，影像获得部（174）捕捉通过上述照明组件（172）投影在上述 使用者身体及电子设备上的散斑图（S122）。

然后，空间坐标计算部（176）利用时间迟延测定法测定出上述散斑 图影像，再利用测定好的深度值计算出使用者身体及电子设备的坐标数据 （S123)。

然后，把计算出来的坐标数据分别组合，再计算按照出使用者身体及 电子设备的三维影像信息的三维坐标数据（S124）。

上述使用时间迟延测定法计算三维坐标的方法是发信机发生的超音 波通过物体反射后把到达收信机的时间差（Time of Flight）按超音波进行 的速度分开后换算成距离后获得3D的信息。使用时间迟延测定法（Time of  Flight）是以三维坐标的计算为基准多样的存在，因为本发明对于技术性 领域的从业者是能够容易的实现所以此部分将省略说明。

图7图示的是利用根据本发明的三维模拟电子设备虚拟触摸的远程操 作装置及方法的具体实事例的图面。这时是以风扇为例来体现电子设备的 操作。

如图7所示，触摸位置配合部（136）在电风扇和使用者之间生成2 次元接点领域后，生成的2次元接点领域是根据电子设备信息DB（150） 储存的操作方法为了虚拟触摸操作而设置了触摸领域。图7关于电风扇操 作设定了上下触摸领域。

通过触摸位置计算部（142），利用第1空间坐标（手指）和第2空间 坐标（眼），计算出连接上述第1空间坐标和第2空间的直线与虚拟的2 次元接点领域相交的接点坐标数据，然后根据上述第1空间坐标的变化来 判断计算好的接点坐标数据的变动与否。

由此，使用者在2次元接点领域的上部领域中，当左右操作虚拟触摸 时，就当做让电风扇旋转操作的要求处理，当上下操作虚拟触摸时，就当 做让电风扇停止操作的要求处理。另外，使用者在2次元接点领域的下部 领域中，当左右操作虚拟触摸时是为了调节电风扇的风量，向左变动的情 况是减少风量，向右变动的情况是加大风量的操作。上下操作虚拟触摸的 情况是使电风扇的电源的开与关（ON/OFF）操作。

这时，2次元接点领域是与电子设备的正面，侧面，后面方向无关， 由于是位于电子设备和使用者之间，因此。使用者通过虚拟触摸操作电子 设备对任意方向都能够驱动操作。

与上述说明的方法相同，通过使用者虚拟触摸，在不同的电子设备的 2次元接点领域中，可用来调节电源的开与关，也可以对照明度/音量/温度 等进行调节，也可以操作百叶窗，窗户，窗帘，门等的移动。

上面所解释说明的本发明的技术性思想通过理想实施例被具体叙述， 但需要注意的是上述实施例是为了说明而并不是为了限制。另外，具有本 发明技术性领域一般性知识的人就能够理解在本发明的技术思想范围内 的大量实施例。因此本发明的正常技术保护范围就必须根据附加的专利权 利要求书的技术性思想来制定。

商业化利用可能

根据本发明的三维模拟电子设备的虚拟触摸的远程操作装置及方法 是能够适应于所有不包括显示器装置的电子设备，即使在远距离中也可准 确地操作电子设备，可轻松地适用于各种电子设备，可以说是具有产业利 用性。