基于'面部表情+手'的混合手势交互技术

摘要

为克服单一输入形式存在的交互缺点,融合手部移动和面部表情两种输入方式的交互特性,将手部移动和面部表情动作相结合,提出了基于"面部表情+手"的混合手势交互技术.混合手势交互技术将7种面部表情和手部移动组合起来,通过手部移动和面部表情识别操控计算机执行一系列目标选择任务.设计的实验中,手部移动用于操控鼠标光标移动,面部表情识别替代鼠标的点击操作用于选中目标按钮.根据设计的多种目标选择任务,详细分析混合手势交互技术的识别错误率和平均识别时间.结果表明,"面部表情+手"的混合手势交互技术的识别准确率可达93.81％,平均识别时间可达2921 ms,完全满足日常的人机交互需求.