一种基于投影的用户交互图标的交互控制方法及系统

摘要

本发明公开了一种基于投影的用户交互图标的交互控制方法及其系统，在所述方法中，投影模块投影显示包含用户交互图标的交互图像；交互操作体执行交互操作；图像采集模块连续采集获取所述交互图像的信息；中央处理单元提取交互图像信息中的特征信息并进行识别，确定被操作控制的用户交互图标并输出与用户交互图标相对应的交互指令给投影模块；投影模块根据中央处理单元所输出的交互指令改变投影内容。本发明利用计算机视觉方法直接识别投影显示空间中的用户交互图标有无被交互操作体触摸或遮挡，与基于结构光或者手势识别的方法相比，本发明在强光或者弱光或者完全黑暗等投影环境下，均可以较为准确地对用户交互图标实行交互操作控制。

说明书

技术领域

本发明涉及投影交互领域，尤其涉及一种基于投影的用户交互图标的交互控制方法及系统。

背景技术

21世纪以来，手机、计算机等电子设备的硬件性能和普及程度不断提高，触摸屏开始流行。触摸操作使人们脱离了键盘和鼠标的束缚，直接在屏幕上进行操作控制，更加人性化适用化。然而随着不同种类和规格的屏幕以及APP的出现，触摸操作的不便和局限性也渐渐显露出来：小尺寸触摸屏只不过是换了一种形式的鼠标和键盘，未能真正让用户摆脱硬件的束缚；相反地，挂在墙上的触摸大屏幕，操作时必须走近屏幕，使得操作控制不方便且不舒适。另外，个别应用场景中，用户不被允许或者不方便直接接触操作设备，例如正在手术的医生或者正在做饭的厨师等等。

互动投影是一种近年来比较流行的多媒体展示平台，采用计算机视觉技术和投影显示技术，用户可以直接使用脚或手与投影区域上的虚拟场景进行交互，来营造一种动感的交互体验。互动投影系统通过图像采集设备对目标影像进行采集拍摄，然后由影像数据处理系统处理，来识别、判断目标执行交互操作作用点的方法，具有自然、简洁、直接的特点，在虚拟现实、人机交互、视觉监控等领域均有着广泛的应用前景。

发明内容

本发明主要解决的技术问题是提供一种基于投影的用户交互图标的交互控制方法及系统，利用计算机视觉方法直接识别投影显示空间中交互操作体是否操作用户交互图标，从而能够容易实施本方法，且实施成本低、限制因素少，在强光或者弱光等投影环境下，均可以较为准确地对用户交互图标实行交互操作控制。

为解决上述技术问题，本发明采用的一个技术方案是：一种基于投影的用户交互图标的交互控制方法，包括以下步骤：(S1)向投影模块输入包含用户交互图标的交互图像，所述投影模块将所述交互图像投影显示在投影显示界面；(S2)交互操作体在投影显示界面上执行交互操作；(S3)图像采集模块连续采集获取投影显示界面上的交互图像信息，并将所述交互图像信息传输给中央处理单元；(S4)中央处理单元提取交互图像信息中的特征信息，将所提取的特征信息输入预先存储的训练好的分类器进行识别，确定被操作控制的用户交互图标并输出与用户交互图标相对应的交互指令；所述分类器存储于中央处理单元；(S5)投影模块根据中央处理单元所输出的交互指令改变投影内容，并且返回所述向投影模块输入交互图像的步骤；和/或由用户交互图标控制的电子设备根据交互指令执行对应的动作。

根据优选实施例，在所述交互控制方法中，连续获取交互图像序列，当图像数目小于预设阈值时，定位用户交互图标在交互图像中的位置并提取图标区域的灰度特征，存储所述位置以及灰度特征；当图像数目等于预设阈值时，对所存储的各帧交互图像的位置以及灰度特征赋予权值并分别累加求和，作为参考背景信息；当图像数目大于预设阈值时，根据上述参考背景信息，提取交互图像中交互图标区域的由灰度变化衍生的特征，以及颜色、形状特征。

另外，根据优选实施例，所述中央处理单元提取交互图像信息中的特征信息，具体步骤为：基于交互图像中用户交互图标的亮度、几何形状信息定位其在交互图像中的区域位置；每一个用户交互图标的区域位置能够由一个矩形框描述，记为rect_i(x_i，y_i，w_i，h_i，)；其次，提取每一个用户交互图标区域的特征，包括两类特征：第一类特征，基于背景减除法计算由像素灰度值发生变化所衍生出的特征，记为F1_i(f1_i1，f1_i2，...，f1_im)；第二类特征，基于交互操作体的颜色、纹理及形状轮廓特征，记为F2_i(f2_i1，f2_i2，...，f2_in)；每一个用户交互图标区域都由第一类特征(F1)、第二类特征(F2)组成的特征描述子表示，记为FT_i(ft_i1，ft_i2，...，ft_i(m+n))。

而且，根据优选实施例，所述中央处理单元提取和识别交互图像信息中的特征信息，还可以为：在强光环境下，先利用运动目标检测或跟踪算法来检测与识别交互操作体在投影显示空间的位置，再与每一个用户交互图标在交互图像中的位置进行比较，来获取操作控制的用户交互图标编号；在弱光环境下，不用考虑第二类特征(F2)，而直接利用针对第一类特征(F1)训练得到的分类器识别第一类特征(F1)，以得到交互操作体所操作的用户交互图标编号。

根据优选实施例，所述对分类器的训练包括：在不同的光照环境下，投影模块将包含用户交互图标的交互图像投影在不同的投影显示界面；图像采集模块实时采集交互图像，提取交互图像中的特征信息，并给特征信息添加标签，利用机器学习算法对带标签的特征数据进行训练，寻找最优的模型参数，完成分类器的构建。

根据优选实施例，所述不同的投影显示界面是不同颜色背景或者不同纹理背景或者不同平整度背景；所述机器学习算法可以为神经网络或者支持向量机；一种所述用户交互图标对应一种交互指令；所述交互指令由中央处理单元输入到投影模块和/或直接输入到其他与中央处理单元相连接的设备。

另外，根据优选实施例，所述交互操作体执行交互操作时直接触摸投影交互图像中的用户交互图标区域，或者对交互图像中的用户交互图标区域进行遮挡；所述交互操作体是用户的手或者脚或者由用户控制的物体；所述交互图像的用户交互图标的信息包括其颜色亮度和/或几何形状；所述用户交互图标是用户界面的应用图标或者应用画面中的操作图标。

为解决上述技术问题，本发明采用的另一个技术方案是：一种基于投影的用户交互图标的交互控制系统，包括：中央处理单元、投影模块和图像采集模块，其中，所述中央处理单元分别与投影模块和图像采集模块连接；所述中央处理单元，用于：向投影模块输入包含用户交互图标的交互图像，使所述投影模块将所述交互图像投影显示在投影显示界面；当位于所述投影模块的投影画面与图像采集模块之间的交互操作体在投影显示界面上执行交互操作时，使图像采集模块连续采集获取投影显示界面上的交互图像信息，并将所述交互图像信息传输给中央处理单元，以提取交互图像信息中的特征信息，将所提取的特征信息输入预先存储的训练好的分类器进行识别，确定被操作控制的用户交互图标并输出与用户交互图标相对应的交互指令给投影模块或者其他与中央处理单元相连接的设备；使投影模块根据中央处理单元所输出的交互指令改变投影内容，并且再向所述投影模块输入交互图像；和/或使与中央处理单元相连接的设备根据交互指令执行相应的动作。

另外，根据优选实施例，所述交互控制系统还包括：音频输出装置和存储装置，所述音频输出装置和存储装置分别与中央处理单元连接，所述存储装置用于存储预设声频库；所述中央处理单元还用于从存储装置的预设声频库中，提取与所述用户交互图标相对应的音频文件，并且在调整所述投影模块的投影内容的过程中，向所述音频输出装置输出获取到的音频文件,以使所述音频输出装置根据所述获取到的音频文件输出交互音频。

根据优选实施例，所述图像采集模块为摄像头；所述交互图像中用户交互图标的特征信息包括其颜色亮度和/或几何形状；所述用户交互图标是用户界面的应用图标或者应用画面操作图标。

与现有技术相比，本发明具有如下有益效果：利用计算机视觉方法直接识别投影显示空间中交互操作体是否操作用户交互图标，因此本方法易于实施，且实施成本低，避免了常见的基于结构光或者手势识别的交互方法或系统中的相机标定所涉及的坐标转换等复杂计算过程，也避免了肤色分割、定位等环节；与基于结构光或者手势识别的方法相比，本发明在强光或者弱光或者完全黑暗等投影环境下，均可以较为准确地对用户交互图标实行交互操作控制。

附图说明

图1是根据本发明实施方式的基于投影的用户交互图标的交互控制系统的结构示意图；

图2是根据本发明实施方式的基于投影的用户交互图标的交互控制方法的流程图；

图3是根据本发明实施方式的基于投影的用户交互图标的交互控制方法中提取交互图像特征信息的一例流程图；

图4是根据本发明实施方式的基于投影的用户交互图标的交互控制方法中提取交互图像特征信息的另一例流程图；

图5a是根据本发明实施方式的基于投影的用户交互图标的交互控制方法中用户交互图标的一例示意图；

图5b是根据本发明实施方式的基于投影的用户交互图标的交互控制方法中用户交互图标的另一例示意图；

图5c是根据本发明实施方式的基于投影的用户交互图标的交互控制方法中用户交互图标的又一例示意图；

图5d是根据本发明实施方式的基于投影的用户交互图标的交互控制方

法中交互过程的交互图像的示意图。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细说明，但应当理解本发明的保护范围并不受具体实施方式的限制。

请参阅图1，图1是根据本发明实施方式的基于投影的用户交互图标的交互控制系统的结构示意图，由图可知，基于投影的用户交互图标的交互控制系统10，包括：中央处理单元11、投影模块12和图像采集模块13，其中，所述中央处理单元11分别与投影模块12和图像采集模块13连接；所述中央处理单元11，用于：向投影模块12输入包含用户交互图标的交互图像，使所述投影模块12将所述交互图像投影显示在投影显示界面上；当位于所述投影模块12的投影画面14与图像采集模块13之间的交互操作体执行交互操作时，使图像采集模块13连续采集获取投影显示界面上的交互图像信息，并将所述交互图像信息传输给中央处理单元11，以提取交互图像信息中的特征信息，并将所提取的特征信息输入预先存储的训练好的分类器进行识别，确定被操作控制的用户交互图标并输出与用户交互图标相对应的交互指令，使投影模块12根据中央处理单元11所输出的交互指令改变投影内容，并且再向所述投影模块12输入交互图像。

其中，一种用户交互图标对应一种交互指令；所述交互指令可以由中央处理单元11输入到投影模块12，使投影模块12根据交互指令改变目前的投影内容；也可以直接输入到与中央处理单元11无线连接的外部智能电子设备20，这样本发明的所述基于投影的用户交互图标的交互控制系统10就可以充当遥控器的功能控制外部智能电子设备20进行与交互指令相关的操作，此处交互控制系统10与智能电子设备20之间建立无线连接，距离并不限定，所述无线连接可以是蓝牙或者WiFi方式进行连接。

此外，所述交互控制系统10还可以包括：音频输出装置和存储装置，所述音频输出装置和存储装置分别与中央处理单元11连接，所述存储装置用于存储预设声频库。所述中央处理单元11还用于从存储装置的预设声频库中，提取与所述用户交互图标相对应的音频文件，并且在调整所述投影模块12的投影内容的过程中，向所述音频输出装置输出获取到的音频文件,以使所述音频输出装置根据所述获取到的音频文件输出交互音频。

另外，所述图像采集模块13为摄像头；所述交互图像中用户交互图标的特征信息包括其颜色亮度和/或几何形状；所述用户交互图标可以是用户界面的应用图标或者应用画面中的操作图标。

本发明又提供了一种基于投影的用户交互图标的交互控制方法，请参阅图2，其包括：

步骤(S1)：向投影模块12输入包含用户交互图标的交互图像，所述投影模块12将所述交互图像投影显示在投影显示界面；

步骤(S2)：位于所述投影模块12的投影画面14与图像采集模块13之间的交互操作体在投影显示界面上执行交互操作；

步骤(S3)：图像采集模块13连续采集获取投影显示界面上的交互图像信息，并将所述交互图像信息传输给中央处理单元11；

步骤(S4)：中央处理单元11提取交互图像信息中的特征信息，将所提取的特征信息输入预先存储的训练好的分类器进行识别，确定被操作控制的用户交互图标并输出与用户交互图标相对应的交互指令给投影模块12；以及

步骤(S5)：投影模块12根据中央处理单元11所输出的交互指令改变投影内容，并且返回所述向投影模块12输入交互图像的步骤。

在本实施方式中所述图像采集模块13可为摄像头，其取景范围覆盖投影模块12的投影画面14，由于交互操作体位于图像采集模块13与投影画面14之间，并且交互操作体位于图像采集模块13的前方，因此，图像采集模块13采集到的图像包含交互操作体画面和投影画面14。当然，交互操作体画面与投影画面14可以部分或者全部重叠，也可以不重叠。

另外，一种用户交互图标对应一种交互指令；所述交互指令可以由中央处理单元11输入到投影模块12，使投影模块12根据交互指令改变目前的投影内容；也可以直接输入到与中央处理单元11无线连接的外部智能电子设备20，使外部智能电子设备20进行与用户交互图标对应的操作。当然，中央处理单元11也可以与外部智能电子设备20有线连接。

图3是根据本发明实施方式的基于投影的用户交互图标的交互控制方法中提取交互图像特征信息的一例流程图；请参阅图3，在所述交互控制方法中：连续获取交互图像序列，当图像数目小于预设阈值时，定位用户交互图标在交互图像中的投影区域并提取所述区域的灰度特征，存储所述投影区域以及灰度特征；当图像数目等于预设阈值时，对所存储的各图像帧的投影区域以及灰度特征赋予权值并分别累加求和，作为参考背景信息；当图像数目大于预设阈值时，根据上述参考背景信息，获取交互图像中交互图标区域的由灰度变化衍生的特征，并提取交互图像中交互图标区域的颜色、形状特征。最后，将所提取的特征信息输入预先存储的训练好的分类器进行识别，确定被操作控制的用户交互图标并输出与用户交互图标相对应的交互指令。其中，所述分类器存储于中央处理单元11中。

本发明优选在步骤(S4)中所述中央处理单元11提取交互图像信息中的特征信息，具体步骤为：基于交互图像中用户交互图标的信息，例如亮度、几何形状等信息，定位其在交互图像中的区域位置；每一个用户交互图标的区域位置可由一个矩形框描述，记为rect_i(x_i，y_i，w_i，h_i，)；其次，提取每一个用户交互图标区域的特征，包括两类特征：第一类特征，基于背景减除法计算由像素灰度值发生变化所衍生出的特征，记为F1_i(f1_i1，f1_i2，...，f1_im)；第二类特征，基于交互操作体的纹理及形状轮廓、肤色特征，记为F2_i(f2_i1，f2_i2，...，f2_in)；每一个用户交互图标区域都由第一类特征(F1)、第二类特征(F2)组成的特征描述子表示，记为FT_i(ft_i1，ft_i2，...，ft_i(m+n))。

图4是根据本发明实施方式的基于投影的用户交互图标的交互控制方法中提取交互图像特征信息的另一例流程图；请参阅图4，与图3的例子不同的是，在强光投影环境下，利用运动目标检测或者跟踪算法来检测与识别交互操作体在投影显示空间的位置，与每一个用户交互图标的区域位置进行比较，来获取操作控制的用户交互图标编号；在弱光投影环境下，不用考虑第二类特征(F2)，而直接利用针对第一类特征(F1)训练得到的分类器识别第一类特征(F1)，以得到交互操作体期望操作的用户交互图标编号。

此外，所述对分类器的训练优选包括：在不同的光照环境下，投影模块12将包含用户交互图标的交互图像投影在不同的投影显示界面，由不同的交互操作体在投影显示界面执行交互操作，图像采集模块13实时采集交互图像，提取交互图像中的特征信息，并给特征信息添加标签，利用机器学习算法对带标签的特征数据进行训练，寻找最优的模型参数，完成分类器的构建。

在此，所述利用机器学习算法训练生成的分类器能够进行自适用特征融合：在强光投影环境下，投影显示画面对比度低，第一类特征F1不明显，但图像采集模块13可以清楚地采集交互操作体的几何形状信息，即第二类特征F2明显，这种情况下分类器对用户交互图标是否被交互操作体操作的识别更依赖于第二类特征F2；相反，在弱光投影环境下，图像采集模块13几乎采集摄不到交互操作体的几何形状信息，即第二类特征F2不明显，但所采集的交互图像对比度高，第一类特征F1明显，这种情况下分类器对用户交互图标是否被交互操作体操作的识别更依赖于第一类特征F1。

另外，所述不同的投影显示界面可以是不同颜色背景或者不同纹理背景或者不同平整度背景；所述机器学习算法可以为(深度)神经网络或者支持向量机。

另外，所述交互操作体执行交互操作时可以是直接触摸投影的交互图像上的用户交互图标区域，或者是交互操作体在投影模块12与投影画面14之间运动对交互图像中的用户交互图标区域进行遮挡；所述交互操作体可以是用户的手或者脚或者由用户控制的物体。

并且，所述交互图像中用户交互图标的特征信息包括其颜色亮度和/或几何形状；所述用户交互图标可以是用户界面的应用图标或者应用画面中的操作图标。

值得注意的是，本发明中所述的用户交互图标具有多种形式，只要可通过接触或遮挡图标来控制相关操作的用户交互图标均属于本发明的保护范围；请参阅图5a—5c，均为根据本发明实施方式的基于投影的用户交互图标的交互控制方法中用户交互图标的一例示意图；图5a为常规用户界面，每一个图标对应一种操作，所述图标可以对应一种应用APP或者对应某个设备；例如，可控制用户界面的图标打开游戏界面，也可以点击用户界面的图标去控制与其连接的设备。图5b表示的是游戏页面可交互图标，可控制某个图标进入相应的游戏关卡。图5c表示的是视频播放页面的可交互图标，可控制交互图标暂停/播放视频，或者视频的播放进程等等。

图5d是根据本发明实施方式的基于投影的用户交互图标的交互控制方法中交互过程的交互图像的示意图；如图5d所示，在交互操作体交互控制的区域，图像采集模块13采集的交互图像中被操作的用户交互图标区域的灰度信息相对图5a所示未发生交互操作时产生了变化，因此可提取由灰度变化衍生的特征。值得注意的是，交互操作体并不限于图示的手，也可以为脚或由交互操作体控制的物体。

通过上述构成，由于本发明利用计算机视觉方法直接识别投影显示空间中用户交互图标是否被交互操作体操作，所以本方法易于实施，且实施成本低，避免了常见的基于结构光或者手势识别的交互方法或系统中的相机标定所涉及的坐标转换等复杂计算过程，也避免了肤色分割、定位等环节；与基于结构光或者手势识别的方法相比，本发明在强光或者弱光或者完全黑暗等投影环境下，均可以较为准确地对用户交互图标实行交互操作控制。

以上结合本发明的优选实施方式对本发明进行了详细说明，但本发明并不局限于此。对本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，都应该视为包括在本发明的保护范围内。