一种基于颜色、计算机视觉和网格划分的人机交互方法

摘要

本发明提供一种基于颜色、计算机视觉和网格划分的人机交互方法，是指在具有图像解析能力的电子设备中，将交互界面用网格划分，指定触发设备响应的颜色，并解析通过摄像头获取的摄像范围内的环境图片，按照一定的算法计算出和指定颜色匹配的像素点的统计量，根据统计量的结果来确定是否触发设备响应，完成用户自定义事件。本发明的优点在于改进现有的人机交互方式，基于体感完成人机交互。

说明书

技术领域

本发明涉及人机交互的技术领域，具体涉及一种基于颜色、计算机视觉和网格划分的人 机交互方法。

背景技术

近些年来，人们的生活水准不断提高，特别是对于计算机等电子行业，在要求可靠性和 过硬的质量的前提下，开始注重产品的易用性，往往具有优秀设计的人机交互方法的电子产 品，更容易获得市场的认可，苹果就是一个最典型的例子。

计算机等电子行业的飞速发展，带动了人机交互技术的革新，新型的人机交互技术层出 不穷，世界各大电子厂商，都在致力于研究更好的人机交互技术，从而让自己的产品为用户 提供更好更高效的服务，来获取用户的青睐，在竞争激励的电子市场中占据一席之地。

本发明是一种基于颜色、计算机视觉和网格划分的人机交互方法，通过摄像头获取摄像 范围内的环境，转换成图片，并将图片的像素按照一定的算法处理，根据处理的结果触发用 户自定义的事件，来完成人机交互。

本发明提供一种基于颜色、计算机视觉和网格划分的人机交互方法，是指在具有图像解 析能力的电子设备中，将交互界面用网格划分，指定触发设备响应的颜色，并解析通过摄像 头获取的摄像范围内的环境图片，按照一定的算法计算出和指定颜色匹配的像素点的统计 量，根据统计量的结果来确定是否触发设备响应，完成用户自定义事件。

发明内容

本发明要解决的技术问题为：本发明提供了一套新型的人机交互方法，能够让用户不接 触电子设备的前提下，通过肢体控制颜色道具来完成和电子设备的交互。

本发明解决上述技术问题采用的技术方案为：一种基于颜色、计算机视觉和网格划分的 人机交互方法，该方法在具有图像解析能力的电子设备中，将交互界面用网格划分，指定触 发设备响应的颜色，并解析通过摄像头获取的摄像范围内的环境图片，按照一定的算法计算 出和指定颜色匹配的像素点的统计量，根据统计量的结果来确定是否触发设备响应，完成用 户自定义事件；该具有图像解析能力的电子设备包括颜色设定模块，网格划分模块，摄像头 抓取环境模块，图片解析模块和网格事件触发模块；该具有图像解析能力的电子设备为计算 机、手机或平板电脑，该方法所需外部设备还包括：外部环境中的颜色道具和摄像头，该颜 色道具为带颜色球和/或布条；其中：

颜色设定模块，用于在具有图像解析能力的电子设备的程序中设定触发网格事件的颜色 值和标准的像素点统计量，所述设定至少包含程序内部设定和读取环境设定；其中程序内部 设定，是指在电子设备程序的设计过程中，在该程序内部指定触发网格事件的颜色值和像素 点统计量；读取环境设定，是指在电子设备程序的运行过程中，解析摄像头获取的包含颜色 道具的外部环境图片，根据解析的像素点的颜色值、统计量来设定触发网格事件的颜色值和 像素点统计量；其中颜色值指颜色的RGB值；像素点统计量是指像素点个数求和，像素点 RGB值求和、求平均值、求方差、求高阶矩和/或求谱分析统计量；网格事件是指在网格划 分模块划分的网格区域中的像素点统计量满足颜色设定模块设定好的标准的像素点统计量 的要求时，触发事件，事件的内容可以由用户自定义，类似于鼠标点击事件，该模块为其它 模块提供标准数据支持；

网格划分模块，用于按照用户的需求将具有图像解析能力的电子设备的交互界面划分成 任意块网格，每个网格的类型是三角形、四边形这样的任意多边形，或者是圆形，椭圆形， 星形这样的任意封闭的几何图形，并记录网格划分算法，其中网格划分算法是指划分成设计 者需要的网格所采用的数学方法，即将交互界面T按照fun（T.s,T.locarr,funtype）数学方 法分割成n块，记录为Tx={T1,T2…Tn}，T.s=T1.S+T2.S+…+Tn.s，其中T.s是交互界面T的面积， T.locarr是T中定义的各个坐标点，funtype是划分后每个网格的类型（如四边形），fun（） 函数由用户自定义。该模块为其它模块提供网格划分方法支持；

摄像头抓取环境模块，用于利用摄像头设备，实时获取摄像头摄像范围内的包含颜色道 具的外部环境，并将获取的字节流转换成以帧为单位的图片，将转换结果提交给图片解析模 块使用；

图片解析模块，用于将摄像头抓取环境模块提供的图片按照网格划分模块中提供的网格 划分算法进行网格区域划分，并按照匹配算法计算图片被划分后的每个网格区域的像素点统 计量，并记录下该统计量，提交给网格事件触发模块，其中匹配算法是指对于一个像素点， 其RGB值的三个颜色分量分别为RX,GY,BZ，颜色指定模块提供的指定颜色的RGB值的三个颜 色分量分别为C‐RX,C‐GY,C‐BZ,如果满足一定的函数关系式f(C‐RX,C‐GY,C‐ZB)=g(RX,GY,BZ),则认 为该像素点的颜色值与指定颜色的颜色值匹配，即该像素点是计算像素点统计量的一个元 素，其中函数关系式f（）和g（）由用户自定义或者预先设定；

网格事件触发模块，是指将来自图片解析模块的统计量与颜色设定模块提供的标准的像 素点统计量进行比较，比较方法由用户自定义或者预先设定，如果比较结果满足要求，则触 发网格事件，反之，则不做任何处理。

进一步的，所述颜色设定模块的实现过程如下：

（A1）、设定触发网格事件的颜色值，其RGB的三个颜色分量记为C-RX,C-GY,C-BZ， 颜色值可以设置多个，设置方法至少包含程序内部设定和读取环境设定两种方法；

（A2）、程序内部设定是指在电子设备程序的设计过程中，在该程序内部指定触发网格 事件的颜色值和像素点统计量；

（A3）、读取环境设定是指在电子设备程序的运行过程中，解析摄像头获取的包含颜色 道具的外部环境图片，根据解析的像素点的颜色值、统计量来设定触发网格事件的颜色值和 像素点统计量；

（A4）、设定触发网格事件的标准的像素点统计量，记为S，该统计量可以是像素点个 数和，像素点RGB值求和、求平均值、求方差、求高阶矩和/或求谱分析；

（A5）、为其它模块提供标准数据支持。

进一步的，所述网格划分模块的实现过程如下：

（B1）、按照用户的需求，将具有图像解析能力的电子设备的交互界面划分成任意块网 格，每个网格是三角形或四边形，或者是圆形，椭圆形或星形，并记录网格划分方法；

（B2）、为其它模块提供网格划分方法支持。

进一步的，所述摄像头抓取环境模块的实现过程如下：

（C1）、摄像头实时获取摄像范围内的包含颜色道具的外部环境字节流数据，并将字节 流转换成图片；

（C2）、将图片提交给图片解析模块使用。

进一步的，所述图片解析模块的实现过程如下：

（D1）、获取来自摄像头抓取环境模块提交的图片；

（D2）、根据网格划分模块中设定的网格划分方法将图片按照与电子设备的交互界面相 对应的网格进行划分，划分的网格数记为N；

（D3）、依次对N个网格区域里的图片的每个像素点和颜色设定模块设定的颜色进行匹 配运算，记网格区域里的图片的一个像素点的RGB的三个颜色分量为RX,GY,BZ，运算函 数分别为f（），g（）；

（D4）、如果满足f(C-RX,C-GY,C-BZ)=g(RX,GY,BZ)函数关系式，则表明该像素点的颜 色值和颜色指定模块指定的颜色值匹配成功，该像素点是计算像素点统计量的一个元素；如 果不满足，则不作任何处理，其中C-RX,C-GY,C-BZ是颜色设定模块提供的指定颜色的RGB 的三个颜色分量；

（D5）、待一个网格区域里的图片的所有像素点都完成匹配运算后，对所有满足是计算 像素点统计量的元素的像素点进行统计量计算，该统计量和颜色设定模块的统计量一一对 应，并记录统计量；

（D6）、循环完成步骤（D2）到步骤（D5）的过程，直到N个网格区域的图片的统计 量全部计算完成并记录；

（D7）、将记录的N个网格的统计量结果提交给网格事件触发模块使用。

进一步的，所述网格事件触发模块的实现过程如下：

（E1）、获取来自图片解析模块的统计量集合，记为Snx={S₁,S₂,S₃….S_n}；

（E2）、对Snx中的每一个统计量与颜色设定模块提供的标准的像素点统计量进行比较， 比较方法可以是大小比较，可以由用户自定义；

（E3）、如果比较结果满足用户定义的要求，则触发网格事件；反之，不做任何处理。

本发明与现有技术相比的优点在于：

（1）、本发明改进了现有的人机交互方法，将传统的依靠鼠标和键盘交互的人机交互方 法改进为基于体感交互的人机交互方法。

（2）、本发明是基于体感的人机交互方法，和现有的体感交互方法相比，对电子设备的 硬件要求低，不需要其它专用的体感检测设备（如kinect），只要电子设备具备摄像头和图片 解析能力即可，适用性高。

（3）、本发明是基于体感的人机交互方法，在完成交互的过程中，能够对人体的健康起 到保护作用。

附图说明

图1为本发明的系统框架图；

图2为本发明颜色指定模块流程图；

图3为本发明网格划分模块流程图；

图4为本发明摄像头抓取环境模块流程图；

图5为本发明图片解析模块流程图；

图6为本发明网格事件触发模块流程图。

具体实施方式

下面结合附图及具体实施例进一步说明本发明。

如图1所示，本发明一种基于颜色、计算机视觉和网格划分的人机交互方法，由颜色设 定模块，网格划分模块，摄像头抓取环境模块，图片解析模块，网格事件触发模块组成。其 所需外部设备包括：外部环境中的颜色道具（带颜色球、布条等），具有图像解析能力的电 子设备（计算机、手机、平板电脑等），摄像头。整个过程实现如下：

（一）颜色设定模块，是指在具有图像解析能力的电子设备的程序中设定触发网格事件 的颜色值和标准的像素点统计量，设定方法至少包含程序内部设定和读取环境设定。其中程 序内部设定，是指可以在电子设备的程序的设计过程中，在该程序内部指定触发网格事件的 颜色值和像素点统计量；读取环境设定，是指解析摄像头获取的包含颜色道具的外部环境图 片，根据解析的像素点的颜色值、统计量来设定触发网格事件的颜色值和像素点统计量。其 中颜色值指颜色的RGB值；像素点统计量是指像素点个数求和，像素点RGB值求和、求平 均值、求方差、求高阶矩、求谱分析等统计量；网格事件是指在网格划分模块划分的网格区 域中的像素点统计量满足颜色设定模块设定好的标准的像素点统计量的要求时，触发事件， 事件的内容可以由用户自定义，类似于鼠标点击事件。该模块为其它模块提供标准数据支持。

（二）网格划分模块，是指按照用户的需求将具有图像解析能力的电子设备的交互界面 划分成任意块网格，每个网格可以是三角形、四边形等任意多边形，也可以是圆形，椭圆形， 星形等任意封闭的几何图形，并记录网格划分算法。其中网格划分算法是指划分成用户需要 的网格所采用的数学方法，即将交互界面T按照fun（T.s,T.locarr,funtype）数学方法分割 成n块，记录为Tx={T1,T2…Tn}，T.s=T1.S+T2.S+…+Tn.s，其中T.s是交互界面T的面积，T.locarr 是T中定义的各个坐标点，funtype是划分后每个网格的类型，fun（）函数由用户自定义。 该模块为其它模块提供网格划分方法支持。

（三）摄像头抓取环境模块，是指利用摄像头设备，实时获取摄像头摄像范围内的包含 颜色道具的外部环境，并将获取的字节流转换成以帧为单位的图片，将转换结果提交给图片 解析模块使用。

（四）图片解析模块，是指将摄像头抓取环境模块提供的图片按照网格划分模块中提供 的网格划分算法进行网格区域划分，并按照匹配算法计算图片被划分后的每个网格区域的像 素点统计量，并记录下该统计量，提交给网格事件触发模块。其中匹配算法是指对于一个像 素点，其RGB值的三个颜色分量分别为RX,GY,BZ，颜色指定模块提供的指定颜色的RGB值的 三个颜色分量分别为C‐RX,C‐GY,C‐BZ,如果满足一定的函数关系式f(C‐RX,C‐GY,C‐ZB)= g(RX,GY,BZ),则认为该像素点的颜色值与指定颜色的颜色值匹配，即该像素点是计算像素点统 计量的一个元素。其中函数关系式f（）和g（）可以由用户自定义。

（五）网格事件触发模块，是指将来自图片解析模块的统计量与颜色设定模块提供的标 准的像素点统计量进行比较，比较方法可以是大小比较等等，可以由用户自定义。如果比较 结果满足要求，则触发网格事件，反之，则不做任何处理。

上述各模块的实现过程如下：

1、颜色设定模块的实现过程如下：

（1）设定触发网格事件的颜色值，其RGB的三个颜色分量记为C-RX,C-GY,C-BZ，颜 色值可以设置多个，设置方法至少包含程序内部设定和读取环境设定两种方法；

（2）程序内部设定就是直接在程序中设定触发网格事件的颜色和像素点统计量，进入 步骤（6）；

（3）读取环境设定，首先用摄像头抓取环境模块获取带颜色道具的环境的字节流，再 将字节流转换成图片。进入步骤（4）；

（4）解析图片的包含颜色道具的区域的每个像素点，记录像素点统计量和其对应的RGB 值，进入步骤（5）；

（5）选取像素点统计量满足一定要求（用户可自定义）的RGB值的颜色为指定颜色，该 像素点统计量为设定的像素点统计量，进入步骤（6）；

（6）为其它模块提供数据支持。

2、网格划分模块的实现过程如下：

（1）记录具有图像解析能力的电子设备的交互界面为T，按照用户的定义的网格划分 方法fun（T.s,T.locarr,funtype）进行划分，划分成n块网格，记录为Tx={T1,T2…Tn}， T.s=T1.S+T2.S+…+Tn.s，其中T和Tn中每个元素包含三个以上的属性，分别为面积s，定 义的坐标点数组locarr，网格类型funtype。（如通过fun方法将矩形交互界面T划分成九宫 格，则T.s为矩形交互界面的面积，T.locarr为包含矩形交互界面四个角的坐标的数组集合， T.locarr={左上角坐标，右上角坐标，左下角坐标，右下角坐标…}，funtype为矩形， 经过fun（）函数处理，将T划分成九个矩形网格，记录为Tx={T1,T2…T9}，网格划分完 成。进入步骤（2）；

（2）为其它模块提供网格划分方法fun（）。

3、摄像头抓取环境模块的实现过程如下：

（1）实时获取摄像头摄像范围内的包含颜色道具的外部环境字节流数据，进入步骤（2）；

（2）将字节流转换成图片，并将图片提交给图片解析模块使用，进入步骤（1）。

4、图片解析模块的实现过程如下：

（1）获取来自摄像头抓取环境模块提交的图片，进入步骤（2）；

（2）获取网格划分模块中设定的网格划分方法fun（），运用该方法将图片P按照与电 子设备的交互界面相对应的网格进行划分，即执行fun（P.s,P.locarr,funtype），将图片P划 分成n块，划分完成后的图片集合为Pset={P1,P2…Pn}，P=P1+P2+…+Pn，进入步骤（3）；

（3）依次对Pset集合中每张图片中的每个像素点和颜色设定模块设定的颜色进行匹配 运算，记Pste集合中图片的像素点的RGB的三个颜色分量为RX,GY,BZ，运算函数分别为f （），g（），进入步骤（4）；

（4）如果满足f(C-RX,C-GY,C-BZ)=g(RX,GY,BZ)函数关系式，则表明该像素点的颜色 值和颜色指定模块指定的颜色值匹配成功，该像素点是计算像素点统计量的一个元素；如果 不满足，则不作任何处理，其中C-RX,C-GY,C-BZ是颜色设定模块提供的指定颜色的RGB 的三个颜色分量，进入步骤（5）；

（5）待Pset集合中的某一张图片Px的所有像素点都完成匹配运算后，对所有满足是计 算像素点统计量的元素的像素点进行统计量计算，该统计量和颜色设定模块的统计量一一对 应，并记录图片Px对应的统计量，记为Sx，进入步骤（6）；

（6）判断是否对Pset集合中所有图片完成像素点统计量的计算，如果是，进入步骤（7）； 反之，进入步骤（3）；

（7）将记录的Pset集合中的n张图片的像素点统计量的集合Snx={S₁,S₂,S₃….S_n}提交 给网格事件触发模块使用。

5、网格事件触发模块的实现过程如下：

（1）获取来自图片解析模块的统计量集合，记为Snx={S₁,S₂,S₃….S_n}，进入步骤（2）；

（2）依次对Snx中的每一个统计量与颜色设定模块提供的标准的像素点统计量进行比 较，比较方法可以是大小比较等，可以由用户自定义，进入步骤（3）；

（3）如果比较结果满足用户定义的比较方法的要求，则触发网格事件；反之，不做任 何处理，进入步骤（4）；

（4）判断是否对Snx中所有像素点统计量完成与颜色设定模块提供的标准的像素点统 计量的比较，如果是则本次事件完成；反之则进入步骤（2）。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说， 在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发 明的保护范围。