为家用电器提供控制用户界面的方法和系统

摘要

本申请公开了一种在第一家用电器上提供控制用户界面的方法和系统。该方法包括：在第一家用电器的阈值范围内检测用户的存在，并对用户的一个或多个实时图像执行图像处理以确定用户的面部图像的一个或多个特征；确定至少一个第一参数，该第一参数被配置为触发第一家用电器的当前控制用户界面配置中的第一变动；当在第一家用电器的阈值范围内继续检测到第一用户的存在的情况下，激活与第一家用电器的第一参数相对应的第一控制用户界面配置。

说明书

相关申请的交叉引用

本申请要求于2018年10月09日提交的美国专利申请第16/155,684号的优先权，其全部内容通过引用合并到本文中。

技术领域

本发明涉及电器控制领域，特别涉及一种用于为家用电器提供用户界面的方法和系统。

背景技术

家用电器为家庭用户提供各种专用功能。每台电器具有其自己的控制用户界面，该用户界面可通过各种输入方式操作，并且每台电器通过各种输出方式向用户提供反馈。与家用电器交互时，家用电器的用户界面设计对于影响使用效率和用户体验至关重要。

在一个家庭中，不同的用户可能具有不同的能力和需求，并且会受益于根据其特殊的辅助需求而定制的辅助增强特征。通常，用户可以使用家用电器的设置用户界面来打开和关闭家用电器的特定辅助增强特征。例如，视力受损的用户可以打开语音特征，先通过按下一个或两个按钮，在听到功能被逐个大声读出来后，再选择其中的一个功能来操作电器的控制面板。

在一些情况下，电器的某些功能对家庭中的某些成员来说是不安全的，可以使用家用电器的设置用户界面来打开这些功能的访问限制。例如，可以使用密码系统来防止未被给予密码的用户访问电器的某些功能。

发明内容

如在背景技术中所讨论的，提供辅助增强和/或功能限制的常规方法要求通过用户在设置用户界面中的有意动作来打开或关闭辅助功能。这种做法既不方便也很麻烦。例如，要打开辅助增强特征，用户必须在没有所需辅助增强的帮助下摸索设置用户界面，这很耗时，有时对于残疾用户来说几乎是不可能的。此外，一旦启用了辅助增强，它将保持打开状态，直到再次使用设置用户界面将其明确关闭为止。由于辅助增强通常是针对特定的缺陷或残疾类型定制的，因此其他没有这种缺陷或残疾的用户会发现辅助增强特别烦人，而且难以使用。手动关闭辅助增强也会耗费时间，而且对于那些没有相同缺陷或残疾的用户来说会很恼人。对于有不同缺陷或不同辅助增强需求的用户来说几乎不可能通过电器的设置用户界面来关闭先前已开启的辅助增强。

在多成员家庭或公共电器共享场所(例如，公共洗衣店)中，不同的人具有不同的能力、操作偏好和辅助增强需求，人们将受益于一种自动调整提供给电器的辅助增强的方法，这种方法是动态的、易于使用的和多功能的。在本公开中，当检测到用户在电器附近范围内时，从用户的面部图像中获取各种特征。例如，在不需要用户通过电器的当前用户界面直接干预的情况下，基于从当前采集的用户面部图像中提取和推断的参数，自动调整电器的用户界面配置，包括打开或关闭哪种辅助增强、图形用户界面的外观、设备接受的用户输入的主要方式、设备向用户提供的反馈的主要方式等。在某些情况下，面部特征是用户外貌的一部分，并不会每天发生剧烈变化。在某些情况下，用户可以通过简单的动作，在不直接通过电器的当前用户界面配置与电器交互的情况下，修改电器的图像处理系统检测到的面部特征，以方便、直观、快速地动态修改电器的用户界面配置。如本文所公开的，通过分析用户的面部特征，包括用户的年龄、身份、面部配饰的存在与否、某些面部特征是否被遮挡(例如，手或手指遮挡面部的眼睛、耳朵、鼻子、嘴区域等)，可以动态地确定用户的意图和对辅助增强的需求。这允许电器为具有不同需求的多个用户自动地和无缝地在所需的用户界面配置之间切换，而不会给用户带来过重的负担。这也使得那些档案还未被电器存储的用户可以在电器上快速激活所需的用户界面配置。

如背景技术部分所述，有时，不同家庭成员需要不同的功能和/或访问限制。常规地，儿童锁或密码系统需要父母来使锁或密码生效，而密码很容易被泄露或遗忘，从而使锁失去作用，或将本应可以使用功能的人锁在外面。

如本申请所公开的，通过分析用户的面部特征，包括用户的年龄和/或身份、附近另一用户的存在和身份，可以快速激活或停用不同的访问限制。例如，一个有暴饮暴食倾向的大孩子在没有成年人在场的情况下不允许打开冰箱，但在有成年人在场的情况下允许打开冰箱。根据本申请公开的方法，通过对儿童的面部图像分析来确定儿童的存在和身份，此外，根据对图像中的其他面孔的面部分析来检测成人的存在。如果儿童在成人在场的情况下试图打开冰箱，则准许儿童打开冰箱，如果儿童在成人不在场的情况下试图打开冰箱，则拒绝儿童打开冰箱。

本申请所公开的实施例利用计算机视觉和本地智能决策，至少解决了提供家用电器的控制用户界面的传统方式的一些不足。

如本申请所公开的，在一些实施例中，一种在第一家用电器上提供控制用户界面的方法包括：在具有一个或多个处理器和存储器的计算系统上：通过与所述第一家用电器并置的一个或多个摄像头在所述第一家用电器的第一阈值范围内检测第一用户的存在；响应于在第一家用电器的第一阈值范围内检测到第一用户的存在，对由一个或多个摄像头采集的第一用户的一个或多个图像进行图像处理，以确定一个或多个图像中第一用户的面部图像的一个或多个特征；根据在由一个或多个摄像头所采集的一个或多个图像中所确定的第一用户的面部图像的一个或多个特征，确定至少一个第一参数，所述第一参数被配置为触发第一家用电器的当前控制用户界面配置的第一变动；以及在第一家用电器的第一阈值范围内继续检测到第一用户的存在的情况下，激活第一家用电器的与所述第一参数对应的第一控制用户界面配置。

在一些实施例中，第一家用电器包括一个或多个摄像头、电器功能单元、一个或多个处理器和存储指令的存储器，该指令在由一个或多个处理器执行时，使得处理器执行本文所述的任何方法。根据一些实施例，一个电子设备包括一个或多个处理器，以及存储一个或多个程序的存储器；所述一个或多个程序被配置为由所述一个或多个处理器执行，并且所述一个或多个程序包括用于执行或导致执行本文描述的任何方法的操作的指令。根据一些实施例，计算机可读存储介质在其中存储了指令，当由电子设备执行时，所述指令使得所述设备执行或导致执行本文所述的任何方法的操作。根据一些实施例，电子设备包括：用于采集图像的装置、用于执行家用电器操作的装置、以及用于执行或导致执行本文描述的任何方法的操作的装置。

根据下文的描述，本申请的各种优点将变得明显。

附图说明

通过结合附图对优选实施例的详细描述，在下文中将更清楚地理解所公开技术的上述特征和优点以及其附加特征和优点。

为了更清楚地描述本公开技术的实施例中或现有技术中的技术方案，以下简要介绍了描述实施例或现有技术所需的附图。显然，以下描述中的附图仅示出了本公开技术的一些实施例，并且本领域普通技术人员在不付出创造性劳动的情况下仍然可以从这些附图衍生出其他附图。

图1是根据一些实施例的一个或多个家用电器的操作环境的框图；

图2是根据一些实施例的示例性家用电器的框图；

图3示出了根据一些实施例从面部图像的图像分析得出的各种面部特征；

图4是根据一些实施例的提供家用电器的用户界面的方法的流程图；

图5是根据一些实施例的计算系统的框图。

在附图的多个视图中，相同的附图标记表示对应的部件。

具体实施方式

现在将详细解释实施例，其各种示例在附图中举例说明。在下面的详细描述中，为了提供对本文提出的主题的透彻理解，列出了许多具体细节。但是对于本领域技术人员显而易见的是，可以在没有这些特定细节的情况下实践本主题。在其他情况下被众所周知的方法、程序、组件和电路没有被详细描述，以避免不必要地模糊了实施例的各个方面。

以下参照本申请实施例中的附图，清楚且完整地描述了本申请实施例中的技术方案。显然，所描述的实施例仅是本申请的实施例的一部分而不是全部。本领域普通技术人员基于本申请的实施例未经创造性努力而获得的所有其他实施例都应落入本申请的保护范围内。

图1示出了根据一些实施例的一个或多个家用电器的操作环境100的框图。

操作环境100可选地根据客户端-服务器模型来实现。操作环境100包括智能家庭环境122(例如，在图1中示出了智能家庭环境的智能厨房)和经由云网络110与智能家庭环境122通信连接的服务器系统108。在一些实施例中，智能家庭环境122包括一个或多个智能家用电器124。智能家用电器124的示例包括冰箱124(c)、微波炉124(b)、智能炉子124(d)、智能存储柜124(e)、智能空调124(a)、智能娱乐中心等。在一些实施例中，客户端环境100还包括用户设备104(例如，智能手机、平板电脑、个人计算机或中央通信集线器)。

作为示例，智能家庭环境包括第一家用电器，例如，位于厨房的靠近天花板的墙上的智能空调124(a)。该智能家庭环境还包括第二家用电器，例如冰箱124(c)，该第二家用电器位于另外两个智能家用电器之间，例如智能烤箱124(d)和智能微波炉124(b)，所有这三个家用电器都靠着厨房的与空调124(a)相对的墙壁放置。

在一些实施例中，一个或多个电器124中的各电器包括输入/输出用户界面。输入/输出用户界面可选地包括一个或多个能够呈现媒体内容的输出设备，该输出设备包括有一个或多个扬声器和/或一个或多个可视显示器。输入/输出用户界面还可选地包括一个或多个输入设备，该输入设备包括便于用户输入的用户界面部件，诸如小键盘、语音命令输入单元或麦克风、触摸屏显示器、触敏输入板、手势采集相机或其他输入按钮或控件。

在一些实施例中，一个或多个电器124中的各电器进一步包括感测各电器的环境信息的传感器。传感器包括但不限于一个或多个光传感器、摄像头(也称为图像传感器)、湿度传感器、温度传感器、运动传感器、重量传感器、光谱仪、红外传感器和其它传感器。在一些实施例中，与各种电器相关联的传感器用于提供用户存在信息(例如，用户在房间中的位置，以及用户当前正在与哪个(哪些)电器交互，等等)。在一些实施例中，传感器还提供关于室内环境的信息，例如温度、一天中的时间、照明、噪声水平、房间的活动水平。除了存在于电器前面的用户的面部特征之外，这些环境信息还可以进一步用于为电器选择合适的用户界面配置。

在一些实施例中，厨房区域中的一个或多个设备和/或电器包括相应的摄像头和相应的运动传感器，以检测用户的存在并采集用户的面部图像。用户可以在智能厨房环境中移动，并且位于用户附近的多个设备124可以采集用户的面部图像，并且通过它们自身到服务器的通信信道独立地将图像传输到服务器系统108。

在一些实施例中，服务器系统108包括一个或多个处理模块114、数据库和模型116、到客户端的I/O接口112以及到外部服务的I/O接口118。面向客户端的I/O接口112利于服务器系统108的面向客户端的输入和输出处理。例如，根据特定电器提交的图像，服务器可选地为该电器提供图像处理服务。数据库和模型116包括每个用户和/或用户的家庭的各种用户数据，诸如单个用户的账户数据(例如，图像、年龄、性别、特征等)，以及用户界面配置偏好和限制等。一个或多个处理模块114利用数据库和模型116来监视用户的存在和用户面部特征的动态变化，以确定用户将要与之交互的电器的合适的用户界面配置。

在一些实施例中，服务器系统108还通过网络110与外部服务120(例如，导航服务、消息传递服务、信息服务、日历服务、家用电器控制服务、社交网络服务等)通信，以完成任务或获取信息。到外部服务的I/O接口118有助于这种通信。

在一些实施例中，服务器系统108可以在至少一个数据处理设备和/或计算机的分布式网络上实现。在一些实施例中，服务器系统108还使用第三方服务提供商(例如，第三方云服务提供商)的各种虚拟设备和/或服务来提供服务器系统108的底层计算资源和/或基础设施资源。

通信网络110的示例包括局域网(LAN)和广域网(WAN)，例如因特网。通信网络110可以使用任何已知的网络协议来实现，该网络协议包括各种有线或无线协议，诸如以太网、通用串行总线(USB)、火线、全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、Wi-Fi、互联网语音协议(VoIP)、Wi-MAX或任何其他合适的通信协议。

在一些实施例中，本文公开的图像处理功能和用户界面配置调整功能由服务器108远程提供，或由智能电器本地提供，和/或通过服务器和电器之间的协作共同提供，如本文所述。

如图2所示，示例性智能电器124(例如，智能空调124(a)、智能冰箱124(c)、智能烤箱124(d)或智能微波炉124(b))包括一个或多个存在传感器(例如一个或多个运动检测器101以及一个或多个机载摄像头102)、电器控制单元107和电器操作单元106。在一些实施例中，电器124还包括网络通信单元105，其经由一个或多个网络110(例如，局域网(LAN)、广域网(WAN)和/或因特网)与远程服务器108通信。在一些实施例中，电器控制单元107还包括存在检测单元113，用于控制一个或多个运动检测器101和一个或多个摄像头102以检测用户在电器124附近的存在，并在检测到满足预设标准的用户存在时采集用户的图像。在一些实施例中，电器控制单元107还包括用于控制电器操作单元106的电器功能控制单元117。在一些实施例中，电器控制单元107还包括用户界面配置调整单元119，用于基于从用户面部图像的图像分析推导出的参数来提供电器124的用户界面配置的实时和即时调整。在一些实施例中，电器控制单元107还包括协调单元，该协调单元协调彼此关联或物理上彼此接近的电器的存在检测、图像采集、用户界面配置(例如，包括调整辅助增强特征和功能限制)功能，使得多个电器的检测结果、图像采集、分析和结论可以共享和协调，以减少功率使用、提高分析精度、减少响应时间，以及在大约同一时间与同一房间中的多个电器交互时改善总体用户体验。

在一些实施例中，电器控制单元107还包括图像处理单元115，该图像处理单元115包括用于分析来自一个或多个摄像头102的图像的多个机器学习模型，并且提供从对图像执行的图像分析推导出的参数，诸如年龄、性别、身份、面部配饰的存在和/或不存在、用户的手是否存在和/或不存在遮挡用户面部的各个部分(例如，整个手或手指挡住面部图像的眼睛区域、鼻子区域、耳朵区域和/或嘴巴区域)。在一些实施例中，图像处理单元115可选地包括：在电器124本地的一些组件，以及在服务器108远程的一些组件。在一些实施例中，图像处理单元115完全位于服务器108上。

在一些实施例中，电器124包括用于在检测到用户的存在之后将摄像头移动并聚焦到用户的面部上的机构。例如，该电器包括用于摄像头的安装托架，该安装托架由一个或多个马达和致动器控制，并且可以改变摄像头相对于被检测用户的定向(例如，摄像头的倾斜和偏航)。

在一些实施例中，单个摄像头设置在电器的前侧(例如，靠近电器的外壳正面的上边缘或下边缘的中心)。在一些实施例中，摄像头安装在具有一个或多个致动器的平台上，致动器被控制(例如，经由用户操作的遥控器控制，或由电器控制单元104自动控制)以改变摄像头相对于参考点(例如，电器正面的固定点)的定向和/或位置(例如，通过改变摄像头正面的平面的倾斜度和偏航角，或摄像头的固定位置)，以向电器124提供立体成像能力。在一些实施例中，两个摄像头被放置在电器的两个相对角处(例如，靠近电器的外壳正面的两个上角，靠近沿着外壳正面的对角线的两个相对角处，等等)，以向电器提供立体成像能力。在一些实施例中，并排放置的两个电器的摄像头用于向电器提供立体图像能力。

在一些实施例中，包括在空调上的摄像头102包括用于不同波长和/或强度的图像传感器，例如红外传感器、可见光传感器、夜视传感器和/或运动传感器等。在一些实施例中，摄像头连续运行并产生连续的图像帧流。在一些实施例中，当在由一些摄像头(例如可见光摄像头等)采集的图像中检测到一个或多个预定义事件时，激活其他摄像头(例如红外摄像头或弱光摄像头)来采集图像。例如，在一些实施例中，当周围环境为低光(例如，夜晚)时，只有当红外摄像头检测到预定义的运动事件(例如，产生热量的物体(例如，人)超过预定义的阈值量的运动(例如，间隔小于x分钟的间歇性运动)超过预定义的阈值量的时间(例如，超过5分钟))时，才激活夜视摄像头以采集图像。在一些实施例中，除了要求用户的出现之外，电器还要求检测用户的运动(例如，用户朝向电器的接近)，以便触发图像处理。例如，如果用户仅仅是进入厨房并坐在柜台前吃饭，则厨房电器的图像采集和用户界面重配置功能不需要响应于仅仅检测到用户在厨房电器附近的存在而被激活。

在一些实施例中，电器124包括用户界面123，用户界面包括各种模式的输入设备(例如，键盘、触摸屏、麦克风、杠杆、旋钮、按钮、用于采集运动手势的摄像头、触觉接口等)和各种模式的输出设备(例如，显示器、扬声器、触觉输出发生器、警报器、灯、指示器等)。在一些实施例中，用户界面123由用户界面配置调整单元119控制，以接收用户输入(例如，选择、激活、命令等)并将输出(例如，信息、内容、对输入的反馈、警报、警告等)传递给用户。

在一些实施例中，电器操作单元107包括用于执行电器的本机功能的各种硬件机构和部件(例如，对于空调，部件包括压缩机、制冷剂、蒸发器、冷凝器、膨胀阀、风扇、空气过滤器、一个或多个传感器(例如，恒温器、湿度传感器、空气流量传感器、阀压力传感器、定时器等))。

在一些实施例中，电器控制单元107包括一个或多个处理器和存储器。存储器存储指令，当由一个或多个处理器执行时，该指令使处理器执行本文所述的功能，以对电器的本机功能提供控制，检测电器附近用户的存在和意图，基于在电器附近采集的用户面部图像确定用户的面部特征，控制用户界面123的用户界面配置，在同一附近的多个电器之间协调上述功能。

在一些实施例中，电器控制单元107包括存在检测单元113。存在检测单元113接收来自运动检测器101的输入，并且基于运动检测器101的输出来确定由运动检测器检测到的用户的距离以及用户的移动是朝向还是远离电器。例如，如果运动检测器101继续检测运动，并且该运动在运动检测器的检测范围内持续了至少一个阈值时间(例如20秒)，则存在检测单元113激活摄像头(102)以开始采集电器124附近的图像。在一些实施例中，用户触发摄像头的阈值距离与运动检测器101的运动检测范围相同。在一些实施例中，两个放置在电器124上不同位置的运动检测器，或者两个或多个电器共用且分别位于两个或多个电器上的运动检测器，用于确定在运动检测器的检测范围内检测到的用户的距离和行进方向。在一些实施例中，一旦检测到用户的存在，并且开始由摄像头102进行图像采集，则电器控制单元107将采集的图像或采集的图像的部分发送到图像处理单元115以用于面部检测和/或面部特征分析。

在一些实施例中，图像处理单元115具有电器处的本地组件和驻留在远程服务器上的远程组件。在一些实施例中，在电器124的相对有限的机载处理能力下，本地执行的图像处理可能是相对初级的。例如，图像可仅用于面部检测。在一些实施例中，图像被二值化，并且使用各种现有的边缘检测技术从二值化的图像中识别用户的轮廓。在一些实施例中，图像处理单元的本地组件提取所采集的图像的一部分，并对图像进行归一化，使得仅保留用户头部的图像并将其发送到驻留在远程服务器上的远程组件。在一些实施例中，服务器包括用于提取和表征面部图像的特征的多个深度学习模型。深度学习模型中的每一个被训练成识别与用于修改电器的用户界面配置的相应参数对应的特征。在一些实施例中，不同的机器学习模型用于处理图像以识别不同的特征，并且使用组合的特征以确定如何修改电器的用户界面配置。

例如，使用不同的机器学习模型处理面部图像以识别面部的不同部分和/或面部配饰的存在。例如，第一模型用于识别面部的眼睛部分，第二模型用于识别面部的鼻部，第三模型用于识别面部的嘴部，第四模型用于识别面部的耳部，第六模型用于识别第一手姿势(例如，张开的手，手背朝外)，第七模型用于识别第二手姿势(例如，拳头，手背朝外)，第八模型用于识别第三手姿势(例如，紧握的手，食指伸出)。一旦识别出面部的这些部分，就可以确定面部的不同部分与手的位置(如果检测到的话)的相对位置，从而生成面部特征参数。在一些实施例中，训练附加模型以基于面部图像推断使用者的年龄和身份。

在一些实施例中，可以首先在服务器上执行模型的训练，并且在一段时间之后将所训练的模型发送到电器124，使得图像处理单元115针对新采集的图像在本地执行图像分析。这样可以减少服务器负载，提高对用户的隐私保护。

在一些实施例中，基于图像分析的结果，用户界面配置单元119确定是否需要修改当前用户界面配置以适应用户的需求。例如，用户界面配置单元119可选地打开或关闭电器的一个或多个辅助增强特征，改变电器的用户界面布局，限制对电器的一个或多个功能的访问，或者基于由图像处理单元115生成的参数来允许对电器的一个或多个功能的访问。

在一些实施例中，电器控制单元107包括协调单元121。协调单元121被配置为基于来自分布在多个电器中的多个运动检测器的输入来协调运动检测。例如，智能空调的运动检测器输出、智能烤箱的运动检测器输出和智能冰箱的运动检测器输出等在多个电器之间共享，使得当多个电器中的一个电器检测到运动时，多个电器中的每个电器上的协调单元121通知其本地存在检测单元113，并且该存在检测单元可以根据运动是否足够接近自身来决定是否触发本地摄像头的图像采集(例如，不同运动检测器的布局在多个电器之间共享)。在一些实施例中，通过使用不同电器上的多个运动检测器，运动检测可以足够早地执行，从而减少图像采集和用户界面重新配置中的延迟，以改善用户体验。在一些实施例中，协调单元121被配置为协调来自分布在多个电器中的多个摄像头的图像采集。利用多个电器在不同角度采集到的图像，提高了采集到脸部正面的机会，这有利于身份确定和年龄确定。在一些实施例中，图像采集时的时间值被编码在图像中，从而根据一段时间内(例如，当用户在厨房内移动时)位于房间内不同位置的多个电器所采集的图像，确定用户的移动以及用户看向哪个方向。

上述示例仅是为了说明的目的而提供。参照图4中所示的流程图，下文将阐述电器124的功能的更多细节。

图3示出了根据一些实施例从面部图像的图像分析得出的各种面部特征。

如图3所示，输入到图像分析单元115的图像包括在电器附近检测到的用户的面部图像。图像分析单元115利用各种图像处理模型来确定图像中存在的面部特征。在一些实施例中，年龄是由图像处理单元115利用的图像处理模型之一输出的参数，并且从输入图像中识别的用户的年龄组(例如，老人、成人、儿童、幼儿、婴儿)的结果用于基于年龄组和可用的用户界面配置之间的预配置对应关系来调整电器的用户界面配置。在一些实施例中，用户身份是由图像处理单元115所利用的图像处理模型之一输出的参数，并且所得到的身份(例如，鲍勃(Bob)、简(Jane)、玛丽(Mary)、蒂姆(Tim)和伊娃(Eva))用于基于用户身份和可用用户界面配置之间的预配置对应关系来调整电器的用户界面配置。在一些实施例中，使用专门针对各个面部特征训练的不同图像处理模型从输入图像中识别各个面部特征。例如，使用为识别每个这些面部特征而训练的不同图像处理模型从图像中单独识别眼睛、鼻子、耳朵、嘴、手、面部配饰。在一些实施例中，还使用用于识别面部特征的相应模型来确定面部特征的状态。例如，眼睛的状态是由图像处理单元115所利用的图像处理模型之一输出的参数，并且由此产生的眼睛状态(例如，完全睁开、完全闭上、左眼睁开、右眼睁开)被用于基于眼睛状态和用户界面配置之间的预先配置的对应关系来调整电器的用户界面配置。例如，闭眼状态对应于用户请求为视力受损的用户提供辅助增强(例如，放大字体、激活语音播报、激活语音输入接口等)。左眼睁开状态对应于用户要求提供一组有限的视觉增强(例如，开启语音播报，但不改变用户界面外观)。右眼睁开状态对应于用户要求提供另一组有限的视觉增强(例如，关闭语音播报，改变用户界面外观)。

在一些实施例中，手在面部特征上的位置和手部姿势也是利用识别面部特征的各模型来确定的。例如，当在面部特征上检测到一个手指时，对应于该面部特征的相应辅助增强将被打开。例如，当在嘴上发现单个手指时，会激活语音用户界面。当在嘴上发现整只手时，语音用户界面被禁用。当在眼睛上发现单个手指时，将显示图形用户界面并禁用语音输入。当在眼睛上发现整只手时，图形用户界面被禁用，且语音用户界面作为主要输入模式被激活。当在耳朵上发现单个手指时，音频输出界面作为主要反馈模式被激活。当在耳朵上发现整只手时，音频输出界面被禁用。

图3所示的参数和面部特征只是说明性的，相应的用户界面配置变动也是说明性的。在不同的实施例中，还可以有其他的面部特征、参数和相应的用户界面配置变动。

图4是根据一些实施例的在第一家用电器处提供控制用户界面的方法400的流程图。在一些实施例中，该方法400由具有一个或多个处理器和存储器的计算系统(例如，电器124或服务器108)执行(例如，该计算系统是第一家用电器的控制单元或与第一家用电器可通信地耦接的服务器(例如，由第一家用电器的制造商或第三方服务提供商提供的远程服务器，或智能家居环境的服务器))。

计算系统通过与第一家用电器并置的一个或多个摄像头(例如，一个或多个摄像头可选地包括第一家用电器的一个或多个内置摄像头、位于第一家用电器附近(例如，位于同一房间内，或位于房间的同一侧，或彼此相邻)的第二家用电器的一个或多个内置摄像头、放置在第一家用电器附近的一个或多个外部摄像头)在第一家用电器的第一阈值范围内(例如，臂长、三英尺、一英尺，或在同一房间内等)检测(402)第一用户的存在。

响应于在第一家用电器的第一阈值范围内检测到第一用户的存在，计算系统对由一个或多个摄像头所采集的第一用户的一个或多个图像执行(404)图像处理(例如，在检测到第一用户的存在时和/或在检测到第一用户的存在后立即执行图像处理)，以确定一个或多个图像(例如，由一个或多个摄像头当时采集的图像)中第一用户的面部图像的一个或多个特征。一个或多个图像可选的是单独采集的图像，或连续采集的视频的图像帧。在一些实施例中，图像是最初采集的图像的一部分，其中包括用户的面部部分。在一些实施例中，对一个或多个图像的图像处理包括对视频的图像处理，以确定图像的面部部分中的运动(例如，表情)。

根据由一个或多个摄像头拍摄的一个或多个图像中确定的第一用户的面部图像的一个或多个特征(例如，由特征提取神经网络(例如，卷积神经网络)和区域生成网络)提取的特征)，计算系统确定(406)至少一个第一参数(例如年龄、性别、身份、故意遮挡的面部特征(例如手遮住嘴、手遮住耳朵、手遮住前额等))，该第一参数被配置为触发第一家用电器的当前控制用户界面配置的第一变动。

计算系统在第一家用电器的第一阈值范围内继续检测到第一用户的存在的情况下，激活(408)第一家用电器的与第一参数对应的第一控制用户界面配置(例如，第一控制用户界面配置具有修改的输入模式、修改的用户界面布局、不同的允许功能集、不同的反馈模式、不同的辅助增强和/或与紧接在检测到第一用户的存在之前使用的当前控制用户界面配置不同的访问限制)。在一些实施例中，计算系统响应于检测到第一用户不再在第一家用电器的第一阈值范围内并且已经在第一阈值范围外保持了至少一个阈值时间量，将第一家用电器的用户界面配置恢复到默认用户界面配置。在一些实施例中，计算系统在第一用户离开第一家用电器附近后，保持用户界面配置，直到计算系统检测到第一家用电器附近存在具有用于触发不同用户界面配置的特征的另一用户。

在一些实施例中，计算系统是第一家用电器的控制单元，并且被物理地内置在第一家用电器中。例如，第一家用电器能够在不与远程服务器进行网络连接的情况下进行用户界面配置的调整。在一些实施例中，计算系统是智能家居或智能厨房环境的中央控制装置，该智能家居或智能厨房环境包括多个智能电器，这些智能电器均与计算系统通信连接。

在一些实施例中，一个或多个摄像头被物理地内置到第一家用电器中。例如，第一家用电器包括一个或多个摄像头，当在第一家用电器的第一阈值范围内(例如，在距离第一家用电器一个臂长距离(例如，50-100厘米)内，或与第一家用电器在同一房间内等)检测到用户的存在时，这些摄像头采集用户的图像。

在一些实施例中，第一家用电器包括第一运动检测器和第一摄像头。计算系统使用第一家用电器的第一运动检测器检测第一用户在第一阈值范围内的存在；以及计算系统响应于使用第一运动检测器检测到第一用户在第一阈值范围内的存在，激活第一家用电器的第一摄像头的图像采集功能，以采集第一用户的一个或多个图像中的至少一个图像。例如，智能烤箱具有内置运动检测器，该运动检测器不断检测智能烤箱的阈值范围内的运动。当运动检测器检测到运动时(例如，当用户向智能烤箱走去并到达智能烤箱1米范围内时，运动检测器被触发)，智能烤箱的内置摄像头被激活，以采集智能烤箱前面的环境的视频或静态图像。如果用户出现在智能烤箱前方，则在摄像头采集的第一图像或视频图像序列中采集用户的图像。利用运动检测器触发图像采集，可以使用户保持更多的隐私，并降低因使用摄像头而产生的功耗。

在一些实施例中，第一家用电器与第二家用电器并置在第一阈值范围内，第一家用电器和第二家用电器通过局域网相互连接，第二家用电器包括第二运动检测器和第二摄像头。计算系统利用第二家用电器的第二运动检测器检测第一用户在第一阈值范围内的存在；以及计算系统响应于利用第二运动检测器检测到第一用户在第一阈值范围内的存在，激活第二家用电器的第二摄像头的图像采集功能，以采集第一用户的一个或多个图像中的至少一个图像。例如，在厨房中，智能烤箱和智能冰箱彼此相邻。烤箱和冰箱连接到同一房屋的局域网，并可选地具有智能家居或智能厨房环境的中央控制单元。智能冰箱内置有运动检测器，该运动检测器不断检测智能冰箱的第一阈值范围内的运动，包括智能烤箱周围的空间。当智能冰箱的运动检测器检测到运动时(例如，当用户向智能冰箱走去，或走过智能冰箱，或走进厨房时，运动检测器被触发)，智能冰箱的内置摄像头被激活，以采集智能冰箱附近环境的视频或静态图像。如果用户出现在智能冰箱附近，则在智能冰箱的摄像头所采集的第一图像或视频图像序列中采集用户的图像。

在一些实施例中，第一家用电器包括第一摄像头。计算系统响应于使用第二家用电器的第二运动检测器检测到第一用户在第一阈值范围内的存在，激活第一家用电器的第一摄像头的图像采集功能，以采集第一用户的一个或多个图像中的至少一个图像。继续以智能烤箱和智能冰箱为例，除了触发冰箱的摄像头以采集用户的图像之外，智能冰箱的运动检测器还被配置为当智能冰箱的运动检测器检测到用户的存在时，触发烤箱的摄像头。例如，当用户进入厨房，或走过智能冰箱时，智能烤箱和智能冰箱的摄像头都被智能冰箱的运动检测器激活。当用户还在冰箱和烤箱附近时，智能烤箱和智能冰箱所采集的图像可以用来分析用户的面部图像，以确定智能冰箱和智能烤箱的控制用户界面配置。

在一些实施例中，第一家用电器与第二家用电器并置在第一阈值范围内，第一家用电器和第二家用电器通过局域网相互连接，第二家用电器包括第二摄像头。计算系统响应于使用第一家用电器的第一运动检测器检测到第一用户在第一阈值范围内的存在，激活第二家用电器的第二摄像头的图像采集功能，以采集第一用户的一个或多个图像中的至少一个图像。例如，在厨房中，智能烤箱和智能冰箱彼此相邻。烤箱和冰箱连接到同一房屋的局域网，并可选地具有智能家居或智能厨房环境的中央控制单元。智能烤箱内置有运动检测器，该运动检测器不断检测智能烤箱第一阈值范围内的运动，包括智能冰箱周围的空间。当智能烤箱的运动检测器检测到运动时(例如，当用户向智能烤箱走去，或走过智能烤箱，或走进厨房时，运动检测器被触发)，智能烤箱的内置摄像头和智能冰箱的内置摄像头均被激活，以采集自身附近环境的视频或静态图像。来自这两种电器的图像被用于检测用户面部图像中的特征，并且结果被用于控制对智能烤箱和智能冰箱的用户界面配置所做的改变。在一些实施例中，通过用户身体上的可穿戴设备(例如腕带)来检测用户在智能电器附近的存在，该可穿戴设备可以被智能电器的运动检测器检测到。

在一些实施例中，对由一个或多个摄像头采集的第一用户的一个或多个图像执行图像处理以确定一个或多个图像中第一用户的面部图像的一个或多个特征，包括：基于第一用户的面部图像确定第一用户的年龄特征(例如，基于在由摄像头采集的多个图像中找到的多个面部图像)。在一些实施例中，年龄识别由深度学习模型来执行，该深度学习模型在不同年龄段的人的面部图像上进行训练，并将面部图像分为两个或更多个具有不同的辅助增强需求和/或访问限制需求的年龄类别(例如老年人、成年人、青少年、小学生、幼儿、婴儿)。在一些实施例中，用于训练深度学习模型的训练图像不包括第一用户的图像。例如，家用电器可选为公共场所中的洗衣机或自动售货机，第一用户可以是访问该公共场所的公众。在一些实施例中，年龄识别由深度学习模型来执行，该深度学习模型在一个家庭的一个或多个家庭成员的面部图像上进行训练，并将面部图像分为两个或更多个具有不同的辅助增强需求和/或访问限制需求的年龄类别(例如老年人、成年人、青少年、小学生、幼儿、婴儿)。对于一个家庭来说，爷爷奶奶由于视力不好，手眼协调能力差，体力较弱和/或对复杂的新功能理解能力较差，可能需要对各种家用电器的控制用户界面进行辅助增强。青少年可能需要第一种类型的访问控制，以限制对各种家用电器的危险或不负责任的使用。小学生在使用某些家用电器时可能需要加强指导。幼儿可能需要被限制仅能使用家用设备的一小部分安全功能，并对这些允许功能进行辅助增强。即使纯粹为了娱乐目的而将用户界面提供给了婴儿，也要防止婴儿触发任何动作(例如，婴儿可能喜欢玩控制面板、听到蜂鸣声和看到控制面板上的彩色文字亮起)。

在一些实施例中，对由一个或多个摄像头采集的第一用户的一个或多个图像进行图像处理，以确定一个或多个图像中第一用户的面部图像的一个或多个特征，包括：根据第一用户的一个或多个面部图像确定第一用户的身份特征。在一些实施例中，身份识别由深度学习模型执行，该深度学习模型在家庭中一个或多个家庭成员的面部图像上进行训练，并将面部图像与家庭中具有不同辅助增强需求和/或访问限制需求的个体人员(例如奶奶、爷爷、母亲、父亲、大儿子、二儿子、小女儿等)进行关联。举个例子，在家庭中，奶奶由于视力不好，手眼协调能力差，体力较弱和/或对复杂的新功能理解能力较差，可能需要对各种家用电器的控制用户界面进行辅助增强。爷爷由于痴呆导致的认知功能和判断力下降，可能需要限制使用某些电器的各种功能。大儿子可能需要第一类型的访问控制，以限制冒险或不负责任地使用各种家用电器。次子可能需要在使用某些家用电器时加强指导。小女儿可能需要限制仅能使用家用电器的一小部分安全功能，并对这些允许的功能进行辅助增强。根据不一定是基于人员年龄的特征，对不同类型的电器所应用的辅助增强和访问限制可能会有所不同。例如，次子可能需要限制打开冰箱，因为他在无人监管的情况下有吃得过多的倾向，这种限制不是基于年龄，而是基于孩子的身份。在另一个示例中，小女儿可能需要对空调的增强的辅助(例如，她太矮了，无法接触到通常放在台面上的空调遥控器)，当他/她站在空调前时，需要自动激活基于动作手势或基于语音的控制界面。这种增强的辅助并不是因为他/她的年龄或认知不成熟，而是由于她独有的其他特征。

在一些实施例中，对由一个或多个摄像头采集的第一用户的一个或多个图像进行图像处理，以确定一个或多个图像中第一用户的面部图像的一个或多个特征，包括：根据第一用户的一个或多个面部图像，确定面部图像的预定义部分是否被预定义对象遮挡。例如，在一些实施例中，第一用户可能希望动态地激活某些辅助增强或访问限制，即使用户的年龄和/或身份与第一家用电器的其他辅助增强和/或访问限制相关联。例如，家庭中的成年父母通常被提供有使用语音命令作为主要输入手段的第一用户界面配置，并且触摸输入通常被关闭，直到用户明确打开第一家用电器的显示。在一个示例场景中，如果用户喉咙痛不想说话，或者用户不想吵醒熟睡的家人，用户可以走到第一电器前，在第一电器的摄像头前捂住自己的嘴。当计算系统检测到第一用户的面部图像中用户的嘴部前面有一只手时，计算系统改变现有的用户界面配置，禁用语音输入界面，并显示具有触摸输入检测功能的图形用户界面。这种基于面部图像分析的用户界面配置的改变(如优选输入模式、显示配置的改变(如布局、字体、颜色等)、优选反馈模式、限制功能等)，对用户来说更加快捷、方便、直观。

在一些实施例中，在一个示例中，第一用户的视力很差，并且通常与具有视觉辅助增强的用户界面配置相关联(例如，大字体、降低的用户界面复杂性、更大的按钮、更高的对比度、语音播报等)。这些增强的辅助特征通常对第一用户有用，并且当计算系统确定第一用户存在于第一家用电器附近，并且没有戴上她的眼镜时，这些辅助增强被打开。当用户没有戴上眼镜时，有辅助增强是有用的，但如果用户戴上眼镜并且不需要增强功能，则辅助增强将是烦人的和分散注意力的。因此，在一些实施例中，当计算系统基于图像分析检测到第一用户在眼睛上戴着眼镜时，计算系统改变与第一用户相关联的通常的用户界面配置，以移除视觉辅助增强特征，并显示具有常规布局(例如，常规字体大小和对比度，并且可选地在用户界面中包含更多选项)和反馈机制(语音播报被关闭)的图形用户界面。这种基于面部图像分析的用户界面配置的改变(如优选输入模式、显示配置的改变(如布局、字体、颜色等)、优选反馈模式、限制功能等)，对用户来说更加快捷、方便、直观。

在另一个示例中，家庭中的成年父母戴着隐形眼镜，并且通常被提供给没有视觉辅助增强的第一用户界面配置。如果用户碰巧有一天没有戴隐形眼镜或眼镜，计算系统将无法从用户的未遮挡的面部图像中分辨出差异。当用户的图像被第一家用电器的摄像头采集到时，用户可以选择遮住眼睛。当计算系统检测到在第一用户的面部图像中用户的面部的眼睛部分前面有一只手时，计算系统改变现有的用户界面配置，以启用语音输入界面和/或显示具有增强的视觉辅助特征(例如，更大的字体、更高的对比度、更少的选项和更大的按钮、启用语音播报等)的图形用户界面。这种基于面部图像分析的用户界面配置的改变(如优选输入模式、显示配置的改变(如布局、字体、颜色等)、优选反馈模式、限制功能等)，对用户来说更加快捷、方便、直观。

在另一个示例中，当与第一家用电器互动时，家庭的成年父母通常更喜欢基于音频的反馈。如果用户不希望吵醒熟睡的家庭成员或打扰家庭中的其他人，则用户可以选择在第一家用电器的摄像头采集到她的图像时捂住她的耳朵。当计算系统检测到第一用户的面部图像中用户的耳朵部分有一只手时，计算系统改变现有的用户界面配置以禁用第一家用电器的音频反馈，并使用第一家用电器的替代反馈机制(例如，在第一家用电器上显示反馈或提供触觉反馈)。这种基于面部图像分析的用户界面配置的改变(如优选输入模式、显示配置的改变(如布局、字体、颜色等)、优选反馈模式、限制功能等)，对用户来说更加快捷、方便、直观。

在另一个示例中，家庭中的成年父母通常更喜欢操作具有触摸输入用户界面的第一家用电器。如果用户的手恰好被污染(例如，被用户不希望弄到第一家用电器上的油脂或其他物质污染)，用户可以选择动态地激活其他输入模式。例如，用户可以站在第一家用电器的摄像头前，并将其双手交叉在胸前或脸前。如果计算系统检测到在第一用户的面部图像中用户的脸前有两只手，则计算系统激活第一家用电器的基于语音或基于运动手势的输入系统，从而用户可以使用语音命令或用户执行的运动手势(例如，在不接触任何输入表面的情况下移动用户的手)来控制第一家用电器。

在一些实施例中，对第一家用电器的用户界面配置进行的即时更改或定制(例如，优选输入模式、显示配置更改(例如，布局、字体、颜色等)、优选反馈模式、限制功能)对于安装在公共场所的电器来说是有用的，因为在公共场所，具有不同类型的输入偏好、残疾、辅助需求和反馈偏好的人可能会使用同一电器。通过对用户面部图像的分析，采集用户的偏好，让用户在面部上提供手部位置输入，大大提高了电器的灵活性，并在不需要昂贵的硬件改造的情况下提高了用户体验。

在一些实施例中，激活第一家用电器的与第一参数对应的第一控制用户界面配置包括：将第一家用电器的主输入模式从第一主输入模式更改为不同于第一主输入模式的第二主输入模式。

在一些实施例中，激活第一家用电器的与第一参数对应的第一控制用户界面配置包括：将第一家用电器的图形用户界面布局从第一图形用户界面布局更改为不同于第一图形用户界面布局的第二图形用户界面布局。

在一些实施例中，激活第一家用电器的与第一参数对应的第一控制用户界面配置包括：将第一家用电器上可用的一组许可功能从第一组许可功能更改为不同于第一组许可功能的第二组许可功能。

在一些实施例中，激活第一家用电器的与第一参数对应的第一控制用户界面配置包括：将第一家用电器的主反馈模式从第一反馈模式更改为不同于第一反馈模式的第二反馈模式。

在一些实施例中，激活第一家用电器的与第一参数对应的第一控制用户界面配置包括：更改在检测到第一用户存在之前使用的当前控制用户界面配置的一组激活的辅助增强特征。

在一些实施例中，第一参数包括用户的年龄段和用户的身份中的一个或多个。

根据权利要求1的方法，其中，第一参数包括手或物体遮挡第一用户脸部的眼睛部分、第一用户脸部的耳朵部分、第一用户脸部的嘴巴部分或用户脸部的鼻子部分中的一个(例如，由两只手或用户的食指)。

在一些实施例中，在对由一个或多个摄像头采集的第一用户的一个或多个图像执行图像处理时，计算系统检测到一个或多个图像包括与第一用户不同的第二用户的面部图像；计算系统确定一个或多个图像中第二用户的面部图像的一个或多个特征；并且根据从由一个或多个摄像头采集的一个或多个图像中确定的第二用户的面部图像的一个或多个特征，计算系统确定至少一个第二参数，该第二参数被配置为触发与第一家用电器的当前控制用户界面配置中的第一变动不同的第二变动。激活第一家用电器的与第一参数对应的第一控制用户界面配置是根据满足以下条件中的至少一个条件而执行的：对第一当前控制用户界面配置的第一变动和第二变动是相互兼容的变动，或者第一用户具有比第二用户更高的优先级设置(例如，第一用户是成年人，第二用户是儿童，或者第一用户是护理人员，第二用户是被第一用户帮助的老年患者)。

应该理解，图4中描述的操作中的特定顺序仅仅是示例性的，并非旨在表明所描述的顺序是唯一可以执行这些操作的顺序。本领域的普通技术人员会想到各种方式来重新排列本文描述的操作。此外，应当注意的是，本文描述的其他方法和/或过程的细节也以类似的方式适用于上述方法300。

图5示出了示例性电器124的框图。电器124包括一个或多个处理单元(CPU)502、一个或多个网络接口504、存储器506、以及一个或多个用于将这些组件互连的通信总线508(有时称为芯片组)。电器124还包括用户界面510。用户界面510包括一个或多个输出设备512，以实现媒体内容的呈现，该输出设备包括一个或多个扬声器和/或一个或多个视觉显示器。用户界面510还包括一个或多个输入设备514，输入设备包括方便用户输入的用户界面组件，例如键盘、鼠标、语音命令输入单元或麦克风、触摸屏显示器、触摸感应输入垫、手势采集摄像头或其他输入按钮或控件。在一些实施例中，电器124还包括传感器，其感测电器124的操作环境信息。传感器包括但不限于一个或多个麦克风、一个或多个摄像头、环境光传感器、一个或多个加速度计、一个或多个陀螺仪、GPS定位系统、蓝牙或BLE系统、温度传感器、湿度传感器、一个或多个运动传感器、一个或多个生物传感器(例如，皮肤电阻传感器、脉搏血氧计等)以及其他传感器。此外，电器124包括电器操作单元106。存储器506包括高速随机存取存储器，例如DRAM、SRAM、DDR RAM或其他随机存取固态存储设备；并且，可选地，包括非易失性存储器，例如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个或多个闪存设备或一个或多个其他非易失性固态存储设备。存储器506可选地包括距离一个或多个处理单元502远程放置的一个或多个存储设备。存储器506或存储器506内的非易失性存储器包括非暂时性计算机可读存储介质。在一些实施例中，存储器506或存储器506的非暂时性计算机可读存储介质存储以下程序、模块和数据结构，或其子集或超集。

操作系统516，包括用于处理各种基本系统服务的程序以及用于执行与硬件相关的任务的程序。

网络通信模块518，用于将电器124连接到通过一个或多个网络接口504(有线或无线)连接到一个或多个网络的其他计算设备(例如，服务器系统108)或移动控制设备(例如，智能手机或平板电脑)。

演示模块520，用于实现信息的演示。

输入处理模块522，用于检测来自一个或多个输入设备514之一的一个或多个用户输入或交互，并解释检测到的输入或交互。

电器控制单元107，用于控制电器124，包括但不限于存在检测单元113、电器功能控制单元117、图像处理单元115、用户界面配置单元119、协调单元121以及用于执行本文所述其他功能的其他模块。

上述标识的每个元素都可以存储在一个或多个前面提到的存储器设备中，并与用于执行上述功能的一组指令相对应。上述标识的模块或程序(即，指令集)不需要作为单独的软件程序、程序、模块或数据结构来实现，因此，这些模块的各种子集可以在各种实施例中组合或以其他方式重新排列。在一些实施例中，存储器506可选地存储上面标识的模块和数据结构的子集。此外，存储器506可选地存储未在上文描述的附加模块和数据结构。

虽然上文描述了特定的实施例，但应理解这并不是要将本申请限制在这些特定的实施例中。相反，本申请包括在所附权利要求书的概念和范围内的替代方案、修改和等效方案。为了彻底理解本文提出的主题，阐述了许多具体细节，但是对于本领域技术人员而言显而易见的是，可以在没有这些特定细节的情况下实践本主题。在其他情况下被众所周知的方法、程序、组件和电路没有被详细描述，以避免不必要地混淆实施例的各个方面。