用于跟踪食物摄入和其它行为并提供相关反馈的方法和设备

摘要

本申请提供了感测佩戴者活动的方法。感测装置监测和跟踪食物摄入事件和细节。适当编程的处理器控制所述感测装置的各方面以捕获数据、存储数据、分析数据并且提供与食物摄入相关的合适反馈。更一般地说，方法可包含与食物摄入、进食习惯、进食模式和/或食物摄入事件、进食习惯或进食模式的触发事项相关的检测、识别、分析、量化、跟踪、处理和/或影响。反馈的目标可在于影响食物摄入、进食习惯或进食模式和/或这些方面的触发事项。所述感测装置还能够用于跟踪和提供食物相关行为之外的反馈，且更一般地说，跟踪行为事件、检测行为事件触发事项和行为事件模式以及提供合适的反馈。

说明书

本申请是申请日为2017年1月30日、国际申请号为PCT/US2017/015682、中国申请号为“201780013019.1”、发明名称为“用于跟踪食物摄入和其它行为并提供相关反馈的方法和设备”的申请的分案申请。

技术领域

本发明大体上涉及与健康技术相关的电子装置，且更具体地说，涉及用于使用传感器跟踪个人食物摄入的方法和设备、用于分析食物摄入过程的处理器以及用于提供反馈到个人的电子电路。所述方法和设备可不仅仅涉及食物摄入。

本申请要求2016年1月28日申请的标题为“用于食物摄入跟踪和反馈的方法和设备(Method and Apparatus for Food Intake Tracking and Feedback)”的第62/288,408号美国临时专利申请的优先权，且作为所述临时专利申请的非临时案。上述申请的整个公开内容出于所有目的以引用的方式并入本文中，就如全文阐述于本文档中一样。

背景技术

饮食相关的健康问题已成为最突出的全球公共健康问题之一。在过去几十年中，急剧涌现肥胖和其它饮食相关健康问题。根据疾病控制中心(CDC)的报告，2011到2012年，20岁以及以上的所有美国成年人中的69％超重，且超过三分之一的美国成年人肥胖。肥胖可导致许多健康问题，如心血管疾病、2型糖尿病、高血压、癌症、呼吸道问题、胆囊疾病以及生殖方面的并发症。尽管可能存在多个导致或促成肥胖的因素，但一个关键因素是个人行为，因为个人行为与食物摄入相关。

多年来，已作出若干尝试来跟踪食物和营养摄入。个人跟踪其食物摄入的一个常见方式是坚持写日记。这种方法存在若干问题。首先，人输入的信息准确度往往有限。其次，坚持写日记繁琐且耗时，从而使许多用户在较短时间段后放弃。第三，不存在实时反馈机制。第四，它们并未提供对进食速度等重要的进食行为方面的任何洞察。

近来，通常安装在平板电脑、移动电话、笔记本电脑或计算机上或从中存取的软件可用于促进对个人食物摄入的记录和跟踪。此类软件应用程序通常利用含有大量食物品目的营养和卡路里信息的数据库。令人遗憾的是，用以促进食物日志记录的装置和软件时常用着较繁琐，且需要大量人为干预，例如手动数据输入或查找。此外，它们主要专注于食物摄入内容和份量跟踪，且并不提供对咬食次数或进食速度等其它进食行为方面的洞察。它们还无法提供关于进食习惯或行为的实时反馈。

存在试图减小手动数据输入或数据查找负担的装置和方法，且其提供获得关于食物消耗的日志数据的另一途径。举例来说，已提出具有内置传感器的餐具和器皿来更加自动地跟踪食物摄入。举例来说，具有集成传感器和电路的盘子可以自动量化和跟踪放置在盘上的食物内容。类似地，饮用容器中的集成传感器可以识别、量化和跟踪杯中液体的内容。在另一实例中，进食器皿包含传感器，所述传感器计数使用所述进食器皿的个人的咬食次数。这些方法可能不具备自动识别和量化消耗的食物内容的能力，且可能还仅适用于一组有限的用餐情境和进餐场合，且并不大适合恰当地涵盖一般人在一天中可能遇到的广泛范围的不同用餐情境和进餐场合。

对于无缝且全面的食物摄入跟踪来说，能够应对广泛多种用餐情境和场合是较重要的。基于进食器皿的方法可能不能够恰当地跟踪饮品、点心或小食的摄入，且此类方法还可能干扰个人的正常社会行为。举例来说，社会上可能不大接受用户自带进食器皿到餐馆或朋友家中就餐。

已描述基于对具有成像能力的便携式装置所获取的食物图像的分析而量化和跟踪食物摄入的装置和方法，例如在具有相机的移动电话或平板电脑上运行的应用程序。一些装置可能使用光谱学来基于食物品目分子组成识别食物品目。此类装置可使用众包(crowd sourcing)和/或计算机视觉技术，有时用其它图像处理技术补充，以识别食物品目、估计其营养含量和/或估计其份量大小。然而，发现这些装置和方法中的许多在某些社会场合并不易用和可用。

尽管当今光谱学技术已充分微型化以包含在便携式装置中，但基于光谱学的装置确实有数个显著问题。首先，此类装置需要大量人为干预且无法以不显眼的方式轻易使用。为了产生准确的谱图测量，个人进食需要将光谱仪保持接近或接触其需要识别的每个食物品目几秒钟。由于此类便携式光谱仪产生的光仅可穿透食物深达几厘米，需要多次测量并不具有均匀组成的食物品目，且因此对于三明治、分层蛋糕、什锦沙拉等，便携式光谱仪不能很好地起作用。此类人为干预妨碍了进餐体验，且在许多进餐场合可能不可接受。

需要改进的用于食物摄入监测和分析的方法和设备。

发明内容

一种感测装置监测和跟踪食物摄入事件和细节。适当编程的处理器控制所述感测装置的各方面以捕获数据、存储数据、分析数据以及提供与食物摄入相关的合适反馈。更一般地说，方法可包含与食物摄入、进食习惯、进食模式和/或食物摄入事件、进食习惯或进食模式的触发事项相关的检测、识别、分析、量化、跟踪、处理和/或影响。反馈的目标可在于影响食物摄入、进食习惯或进食模式和/或这些方面的触发事项。所述感测装置还能够用于跟踪和提供食物相关行为之外的反馈，且更一般地说，跟踪行为事件、检测行为事件触发事项和行为事件模式以及提供合适的反馈。

以下详细描述连同附图一起将提供对本发明的性质和优势的更好理解。

附图说明

根据本公开的各种实施例将参考图式进行描述，图中：

图1是根据至少一个实施例的环境的说明性实例。

图2是其中可实施各种实施例的框图的说明性实例。

图3是根据至少一个实施例的环境的说明性实例。

图4是根据至少一个实施例的包含通过互联网与至少一个额外装置通信的环境的说明性实例。

图5是根据至少一个实施例的其中食物摄入监测和跟踪装置与基站或接入点直接通信的环境的说明性实例。

图6是根据至少一个实施例的监测和跟踪装置的高级框图的说明性实例。

图7是根据至少一个实施例的监测和跟踪装置的框图的说明性实例。

图8示出根据本公开的至少一个实施例的机器分类系统的实例。

图9示出根据本公开的至少一个实施例的机器分类训练子系统的实例。

图10示出根据本公开的至少一个实施例的机器分类检测器子系统的实例。

图11示出使用非时间数据以及其它数据的机器分类训练子系统的实例。

图12示出使用非时间数据以及其它数据的机器分类检测器子系统的实例。

图13示出根据本公开的至少一个实施例的用于无监督分类系统的训练子系统的实例。

图14示出根据本公开的至少一个实施例的用于无监督分类系统的检测器子系统的实例。

图15示出分类器系集系统的实例。

图16示出包含交叉相关分析子系统的机器分类系统的实例。

具体实施方式

在以下描述中，将描述各种实施例。出于解释的目的，阐述特定配置和细节以便提供对实施例的透彻理解。然而，所属领域的技术人员也应清楚，可在无所述特定细节的情况下实践实施例。此外，可能省略或简化众所周知的特征以便不混淆所描述的实施例。

本文提供装置的各种实例，出于各种目的，例如提供饮食信息和反馈，个人将使用所述装置来监测、跟踪、分析和提供关于食物摄入、摄入过程和定时以及个人进食、饮用饮品和其它消耗的其它相关方面的反馈。与食物摄入过程相关的数据可包含：进食过程的定时、进食速度、自上次食物摄入事件以来的时间、吃的什么、所吃食物成分的估计值等。尽管本文所描述的大量实例涉及食物摄入事件，但本文所描述的方法和装置还适用于其它行为事件，例如刷牙、抽烟、咬指甲等。可从具有传感器和电子件的一些固定装置、个人易于移动和四处携带的具有传感器和电子件的一些移动装置获得数据，和/或从个人附着于其本身或衣物或作为个人衣物的部分的具有传感器和电子件的可佩戴装置获得数据。总的来说，此类装置在本文中称为感测装置。本文中，具有此类装置且其消耗受到监测的个人被称为用户，但应理解，所述装置可在个人消耗、个人监测和个人评估反馈不必全都是同一个人的情况中不变地使用。本文中，所消耗的称为食物摄入，但应清楚，这些装置可用于更一般化地跟踪消耗和消耗模式。如本文所描述的行为跟踪/反馈系统可包括一个或多个可佩戴装置，且还可包括未佩戴的一个或多个额外装置。这些额外装置可由佩戴者携带或保持在附近，使得所述额外装置可与可佩戴装置通信。行为跟踪/反馈系统还可包括远程元件，例如远程云计算元件和/或用于用户信息的远程存储装置。

可佩戴装置可佩戴在佩戴者(即，其行为被监测的个人)身上的不同位置处，且所述可佩戴装置可被编程或配置以顾及那些不同以及佩戴者与佩戴者的不同。举例来说，惯用右手的人可将装置佩戴在其右手腕上，而惯用左手的人可将装置佩戴在其左手腕上。用户还可能具有不同的定向偏好。举例来说，一些用户可能希望在某一侧上控制按钮，而其他用户可能偏好在相对侧上控制按钮。在一个实施例中，用户可手动输入腕部偏好和/或装置定向。

在另一实施例中，可通过要求用户执行一个或多个预定义姿势且监测来自可佩戴装置的对应于用户执行所述预定义姿势或姿势集的传感器数据来确定腕部偏好和/或装置定向。举例来说，可能要求用户将其手朝向其口移动。加速度计传感器读数跨越一个或多个轴线的改变可接着用于确定腕部和装置定向。在又一实例中，行为跟踪/反馈系统可在用户佩戴所述装置达某一持续时间时处理来自可佩戴装置的传感器读数。任选地，行为跟踪/反馈系统可进一步将传感器读数与关于佩戴者的其它数据或元数据组合以推断腕部和装置定向。举例来说，行为跟踪/反馈系统可监测用户一天且记录跨越一个或多个轴线的加速度计传感器读数。

由于下臂的移动受到肘部和上臂的约束，因此基于腕部和装置定向，一些加速度计读数将比其它读数更频繁。加速度计的信息可接着用于确定腕部和/或装置定向。举例来说，加速度计读数的平均值、最小值、最大值和/或标准偏差可用以确定腕部和/或装置定向。

在一些实施例中，感测装置可在无需用户交互的情况下感测食物摄入事件的开始/结束、进食速度、饮用速度、咬食次数、啜饮次数、流体摄入估计和/或份量大小估计。较少人为干预、无人为干预或仅有对于其它操作来说不明显的干预的操作将允许装置在不同用餐情境和不同社会情形下调节自如。感测可包含在食物消耗之前捕获其细节，以及已知的伴随进食的用户动作，例如上臂的反复转动或其它手到口运动。传感器可包含加速度计、陀螺仪、相机和其它传感器。

使用所述装置可为个人提供较低使用冲突来检测、量化、跟踪和提供与个人食物摄入内容以及个人食物摄入行为相关的反馈。此类方法有可能防止、治疗以及在某些情况下甚至治愈饮食相关疾病。此类装置可改善功效、准确性和顺应性，且减小使用负担且提高社会认可度。所述装置可在无人为干预或极小人为干预的情况下自主操作，且不以侵入性或其它显著负面方式干扰个人正常活动或社会交互或侵犯个人隐私。所述装置能够以不显眼且社会可接受方式应对广泛范围的用餐情境和进餐场合，且能够估计和跟踪食物摄入内容和量以及进食行为的其它方面。所述装置可向个人提供关于其进食行为、习惯和模式的实时和非实时反馈。

一般已知且理解，某些进食行为可与生理、心理或环境条件有关，如饥饿、紧张、睡眠、嗜瘾、疾病、物理位置、社会压力和锻炼，由其触发或以其它方式受其影响。这些特性可形成由装置执行或针对装置执行的处理的输入。

所述装置可适用于关心自身饮食的个人。举例来说，患有1型糖尿病的人通常进行胰岛素治疗，其中基于其食物摄入和其它因素，他们施予适当胰岛素剂量。尽管1型糖尿病的病因可能与个人进食行为无直接关系，但患有1型糖尿病的人需要仔细跟踪其食物摄入以便管理其胰岛素治疗。此类患者还将得益于更易于使用和更不显眼的食物摄入跟踪方法。在感测装置的一些实施例中，感测装置是反馈驱动的自动化胰岛素递送治疗系统的部分。此类系统可包含对患者葡萄糖水平的连续监测、精确胰岛素递送系统以及对具有更快吸收速率的胰岛素的使用，其将进一步得益于可从自动化和无缝食物摄入跟踪(例如对碳水化合物和糖摄入的跟踪)提取的信息。所述装置还可适用于健康程序等等。

食物摄入事件一般与个人借以将可食性物质吃、喝或以其它方式摄入体内的情况、情形或动作相关。可食性物质可包含但不限于固体食物、液体、汤、饮品、点心、药剂、维生素、药物、草本补充品、小食、预制食物、生食、粗粉、开胃菜、主菜、甜品、糖果、早餐、运动或能量饮料。可食性物质包含但不限于可能含有毒素、过敏原、病毒、细菌或可能对个人有害或对群体或群体子集有害的其它组分的物质。本文中为便于阅读，食物用作可食性物质的实例，但应理解，除非另有指示，否则可使用其它可食性物质来替代食物。

进食习惯和模式一般涉及人们如何消耗食物。进食习惯和模式可包含但不限于：进食或饮用速度、每一口的量、吞咽之前的咀嚼量、咀嚼速度、食物摄入事件频率、食物摄入事件期间消耗的食物量、食物摄入事件期间身体的位置、食物摄入事件期间身体或特定身体部位的可能的移动、食物摄入事件期间的思维或身体状态以及用于呈现、处理或消耗食物的器皿或其它装置。进食或饮用速度可反映在连续咬食或啜饮之间的时间中。

触发事项一般涉及食物摄入事件背后、消耗的量背后以及其如何消耗的背后的原因。食物摄入事件和进食习惯或模式的触发事项可包含但不限于饥饿、紧张、社会压力、疲劳、嗜瘾、不适、医疗需要、物理位置、社会情境或情形、气味、记忆或身体活动。触发事项可与其所触发的食物摄入事件同时发生。或者，触发事项可发生在食物摄入事件窗(eventwindow)外部，且可发生在食物摄入事件之前或之后可或可不与食物摄入事件时间直接相关的时间。

在感测装置或系统的一些实施例中，不是所有呈现在本公开中的特征和功能都予以实施。举例来说，一些实施例可能仅着重检测和/或处理以及跟踪食物摄入，并不意图引导用户修改其食物摄入或并不跟踪、处理或引导进食习惯或模式。

在本文中的许多实例中，设定背景是：电子装置单独或在其与可能佩戴或可能不佩戴的附近支持装置通信时提供给用户，用户佩戴所述电子装置，所述支持装置例如用以执行所佩戴电子装置卸载的操作的智能电话。在此类实例中，存在佩戴电子装置的个人，且此人在实例中被称为“佩戴者”，且系统包括所佩戴装置且可包含未被佩戴且在附近的其它组件，以及远程的、优选能够与所佩戴装置通信的组件。因此，佩戴者佩戴电子装置，电子装置包含传感器，传感器感测与佩戴者相关的环境。所述感测可关于环境特性、身体特性、移动和其它感测到的信号，如本文其它处所描述。

在许多实例中，电子装置的功能可通过硬件电路或通过由电子装置中的处理器执行的程序指令或组合来实施。在指示处理器做某事的情况下，可指处理器因执行从指令存储器读取的指令而做此事，其中所述指令用以执行此事。尽管可能涉及其它人，但此处常见实例是，电子装置的佩戴者使用所述电子装置监测其自身动作，例如姿势、包括一系列姿势的行为事件、活动、活动或行为事件的开始、活动或行为事件的停止等。在描述处理器执行特定过程的情况下，可指以分布式处理方式独立于所佩戴电子装置来完成所述过程的部分。因此，描述由电子装置的处理器执行的过程不必限于所佩戴电子装置内的处理器，而可能是与所佩戴电子装置通信的支持装置中的处理器。

图1示出根据本发明的实施例的膳食跟踪和反馈系统的高级功能图。用于膳食跟踪和反馈的系统可部分地包含以下中的一个或多个：食物摄入事件检测子系统101、一个或多个传感器102、跟踪和处理子系统103、反馈子系统106、一个或多个数据存储单元104和可执行非实时分析的学习子系统。在一些实施例中，图1所示的元件在电子硬件中实施，而在其它实施例中，一些元件在软件中实施且由处理器执行。一些功能可共享硬件和处理器/存储器资源，且一些功能可为分布式。功能可完全在传感器装置中实施，或功能可跨越传感器装置、传感器装置与之通信的处理系统(例如智能电话)和/或远离所述传感器装置处理一些功能的服务器系统进行实施。举例来说，可佩戴传感器装置可产生测量值且将其传达到移动装置，所述移动装置接着通过互联网将测量值上传到服务器，所述服务器进一步处理数据。数据或其它信息可以合适格式存储，以记录的形式或在某级处理之后分布在多个位置上或集中存储。数据可临时或永久地存储。

图1中所示系统的第一组件是食物摄入事件检测子系统101。此子系统的作用是识别食物摄入事件的开始和/或结束，且将食物摄入事件的开始和/或结束的实际、可能或将至的发生传达到系统中的其它组件。

总的来说，装置检测食物摄入事件什么时候开始或食物摄入事件可能什么时候开始，但只要装置适当地确定此类开始/可能开始，装置就会运行得足以实现其目的。为了清晰起见，所述检测被称为食物摄入事件的“认为的开始”，且在各种过程、操作和元件将要结合食物摄入事件的开始执行一些动作或行为时，即使有时所述认为的开始实际上并不是食物摄入事件的开始，那些各种过程、操作和元件将认为的开始当作开始也将是可接受的。

在一个实施例中，食物摄入事件的认为的开始的发生的检测和/或信号传送与食物摄入事件的认为的开始同时。在另一实施例中，这有时可能发生在食物摄入事件的认为的开始之后。在又一实施例中，这有时可能发生在食物摄入事件的认为的开始之前。通常所要的是，信号传送接近食物摄入事件的认为的开始。在本公开的一些实施例中，可能有益的是，食物摄入事件的认为的开始的检测和/或信号传送发生在所述食物摄入事件开始之前。举例来说，这可在消息或信号将在食物摄入事件开始之前作为帮助引导用户食物摄入决定或进食习惯的指导机制发送到用户、保健提供者或看护者的情况下有用。

在本公开的优选实施例中，食物摄入事件检测子系统101对食物摄入事件开始和/或结束的检测自主发生且无需任何特殊用户干预。为实现这一点，食物摄入事件检测子系统可使用来自一个或多个传感器102的输入107。传感器可包含但不限于加速度计、陀螺仪、磁力计、磁性角速率和重力(MARG)传感器、图像传感器、相机、光学传感器、近程传感器、压力传感器、气味传感器、气体传感器、葡萄糖传感器、全球定位系统(GPS)和麦克风。

自主检测的方法可包含但不限于基于监测身体或身体特定部位的移动或位置、监测手臂移动、位置或姿势、监测手部移动、位置或姿势、监测手指移动、位置或姿势、监测吞咽模式、监测口唇移动、监测唾液、监测面颊或颌的移动、监测咬食或磨牙、监测来自嘴巴、喉咙和消化系统的信号而进行的检测。检测的方法可包含对个人和/或其周围环境的视觉、音频或任何其它类型的传感监测。监测的信号可由膳食跟踪和反馈系统产生。或者，所述信号可由单独的系统产生但可由膳食跟踪和反馈系统通过接口接入。机器学习和其它数据分析技术可应用于从监测到的输入信号中检测食物摄入事件的开始或可能开始。

在一个实例中，食物摄入检测系统101可监测加速度计和/或陀螺仪传感器的输出以检测可能的咬食姿势或可能的啜饮姿势。此类姿势可通过姿势处理器确定，所述处理器使用机器学习来从传感器读数提取姿势。姿势处理器可以是所佩戴装置的或系统的另一部分中的处理器的部分。

如在本文其它处描述的姿势检测机器学习技术可用于检测咬食姿势或啜饮姿势，但其它技术也是可能的。食物摄入检测系统101可进一步为检测到的咬食姿势或啜饮姿势指派置信级。所述置信级对应于检测到的姿势确实是咬食或是啜饮姿势的可能性。食物摄入检测系统可在无任何额外输入的情况下基于姿势的检测和其置信级来确定食物摄入事件的开始已发生。举例来说，食物摄入事件检测系统101可在咬食或啜饮姿势的置信级超出预配置阈值时决定食物摄入事件的开始已发生。

或者，当检测到可能的咬食或啜饮姿势时，食物摄入事件检测系统101可使用额外输入来确定食物摄入事件的开始或可能开始已发生。在一个实例中，食物摄入事件检测系统101可监测时间上接近的其它姿势以确定食物摄入事件的开始是否已发生。举例来说，在检测到可能的咬食姿势后，食物摄入事件检测系统101可等待检测到第一姿势的检测之后某一时间窗内的和/或具有某一置信级的另一咬食姿势，之后确定食物摄入事件的开始已发生。

在此类检测后，食物摄入检测系统101可将一个或多个电路或组件置于较高性能模式以进一步改进姿势检测的准确性。在另一实例中，食物摄入事件检测系统101可考虑当日时间或用户的位置以确定食物摄入事件的开始或可能开始是否已发生。食物摄入事件检测系统可使用机器学习或其它数据分析技术来改进其检测能力的准确性和可靠性。举例来说，在较早时间从所述用户和/或从其他用户获得的训练数据可用于训练分类器。可通过在已检测到可能的咬食或啜饮姿势时请求用户确认来获得训练数据。标记的数据记录可接着形成且存储在姿势处理器可读的存储器中，所述姿势处理器包含与姿势相关的特征以及其它背景特征，例如当日时间或位置。可接着针对标记的数据集来训练分类器，所述数据集由多个标记的数据记录集的标记的数据记录构成，且经过训练的分类器模型可接着用在食物摄入事件检测系统中以更准确地检测食物摄入事件的开始。

在另一实施例中，食物摄入检测子系统可使用触发事项来自主预测食物摄入事件的可能开始。基于触发事项自主检测食物摄入事件的可能开始的方法可包含但不限于：监测个人睡眠模式、监测个人紧张程度、监测个人活动水平、监测个人位置、监测个人周围的人们、监测个人生命体征、监测个人水合程度、监测个人疲劳程度。在一些情况下，食物摄入检测子系统可在较长时间段里监测一个或多个特定触发信号或触发事件，且结合非实时分析和学习子系统105，应用机器学习或其它数据分析技术以预测可能发生的食物摄入事件的开始。

举例来说，在无任何额外信息的情况下，可能极难预测用户将何时吃早餐。然而，如果系统记录了数天用户醒来的时间和星期几，系统就可使用此历史模式来确定用户可能吃早餐的时间。那些记录可通过系统确定，可能有来自用户的对其准确性的反馈，或那些记录可通过用户和借助系统用户接口的输入来确定。用户接口可以是所佩戴装置自身或例如智能电话应用程序。因此，系统可处理历史数据中的相关性以基于当前星期几和用户何时醒来而预测用户最可能吃早餐的时间或时间窗。其它触发信号或触发事件还可由非实时分析和学习子系统105用来预测用户将吃早餐的时间。

在另一实例中，非实时分析和学习系统105可在某一时间段里记录用户的紧张程度。紧张程度可例如通过监测和分析用户心率或与用户心率相关的某些参数来确定。紧张程度还可通过分析用户的声音来确定。紧张程度还可通过分析用户消息或电子通信内容来确定。也可能有确定紧张程度的其它方法。非实时分析和学习系统105另外可在相同的时间段里记录食物摄入事件的发生和食物摄入事件的某些特性，例如进食速度、消耗的食物量、食物摄入事件之间的时间间隔等。有可能接着可通过分析紧张程度、食物摄入事件的发生和食物摄入事件特性的历史数据以及通过查看紧张程度、食物摄入事件的发生和食物摄入事件特性的历史数据中的相关性，基于当前紧张程度来预测用户将在未来某一时间窗中开始食物摄入事件的机率，或预测用户将在未来什么时间窗中最可能开始食物摄入事件。有可能还可预测所述食物摄入事件的特性，如进食速度或消耗量。

在特定实施例中，非实时分析和学习子系统可使用来自不同用户的历史数据或来自其它用户与来自佩戴者的数据的组合，且使用所述不同用户中的一个或多个与佩戴者之间的类似性，例如年龄、性别、医学病况等，来预测佩戴者的食物摄入事件的可能开始。

在另外的实例中，非实时分析和学习子系统105可使用类似于本文所描述的方法的方法预测用户何时最可能复发暴食症或最可能开始随意吃零食。

各种传感器可用于此类监测。监测的信号可由膳食跟踪和反馈系统产生。或者，所述信号可由单独的系统产生但可由膳食跟踪和反馈系统接入以作为触发信号处理和/或使用。机器学习和其它数据分析技术还可应用来预测可能的摄入事件的一些其它特性，例如很可能会被消耗的食物类型和/或量、个人将很可能有的进食速度、个人将从消耗食物获得的满足程度等。

作为姿势识别的部分执行的机器学习过程可使用外部数据来进一步细化其决策。这可通过非实时分析和学习子系统过程来完成。数据分析过程可例如考虑由基于姿势感测的食物摄入检测系统和基于姿势感测的跟踪和处理系统所检测到的食物摄入事件，由此形成第二层机器学习。举例来说，在一段时间内，记录食物摄入事件和与那些食物摄入事件相关的特性，例如进食速度、食物消耗量、食物内容等，同时还跟踪与食物摄入事件无直接或明显关系的其它参数。举例来说，这可以是位置信息、个人醒来的当日时间、紧张程度、个人睡眠行为的某些模式、包含时间、事件位置和参与者列表的日历事件细节、包含时间、时长、电话号码等的电话拨打信息、例如时间、时长、发送方等的电子邮件元数据。数据分析过程接着识别模式和相关性。举例来说，其可确定白天日历事件的数目与夜晚食物摄入事件的特性之间的相关性。这可归因于用户在回到家中时更有可能开始吃零食，或在当天日历事件的数目超出某一阈值时，晚餐更丰盛和/或更繁多。通过子系统105，开始有可能根据与食物摄入无明显关系的其它信号和事件来预测食物摄入事件和特性。

对更长时间段中的一个或多个传感器输入和/或一个或多个图像的处理和分析——任选地使用机器学习或其它数据分析技术——还可用以估计食物摄入事件的时长，或可用于预测食物摄入事件可能或即将结束。

在另一实施例中，一些用户输入108可能必要或合乎需要以恰当地或更准确地检测食物摄入事件的开始和/或结束。除了外部输入和从传感器102接收的输入，还可提供此类用户输入。或者，可使用一个或多个用户输入替代任何传感器输入。用户输入可包含但不限于启用装置、按压按钮、触碰或移动装置或装置的特定部分、拍照、发布语音命令、在屏幕上进行选择或使用硬件和/或软件输入信息，所述硬件和/或软件可包含但不限于键盘、触摸屏或语音识别技术。如果需要一个或多个用户输入，重要的是以最小化对个人正常活动或社会交互的负面影响的方式构想和实施用户交互。

食物摄入事件检测子系统可组合多个方法以自主检测预测食物摄入事件实际的、很可能的或即将发生的开始和/或结束。

系统的另一组件是跟踪和处理子系统103。在本公开的优选实施例中，此子系统与食物摄入事件检测子系统101介接109，且在其从食物摄入事件检测子系统收到已检测到事件实际的、可能的或即将发生的开始的信号时被启用，且在其从食物摄入事件检测子系统收到已检测到事件实际的、可能的或即将发生的结束的信号时或某一时间之后被停用。在检测到食物摄入事件开始后，装置可触发食物摄入跟踪系统的其它传感器或组件的启用，且还可在检测到食物摄入事件结束后触发所述其它传感器或组件的停用。

在本公开的另一实施例中，跟踪和处理子系统可不依赖于来自食物摄入检测子系统的任何信号而启用和/或停用。还有可能不依赖于来自食物摄入检测子系统的任何信号跟踪和/或处理某些参数，而其它参数的跟踪和/或处理可能仅在从食物摄入事件检测子系统接收到信号后开始。

跟踪和处理子系统通常涉及通过接口110从一个或多个传感器102收集数据且处理所述数据以提取相关信息。

传感器输入可与发送到食物摄入事件检测子系统的输入相同或类似。或者，可收集不同和/或额外传感器输入。传感器可包含但不限于加速度计、陀螺仪、磁力计、图像传感器、相机、光学传感器、近程传感器、压力传感器、气味传感器、气体传感器、全球定位系统(GPS)电路、麦克风、皮肤电反应传感器、温度计、环境光传感器、UV传感器、肌电(“EMG”)电位检测电极、生物阻抗传感器、光谱仪、葡萄糖传感器、触摸屏或电容式传感器。传感器数据的实例包含运动数据、温度、心率、脉搏、皮肤电反应、血液或人体化学性质、音频或视频录制以及取决于传感器类型的其它传感器数据。传感器输入可以无线方式或通过电线以模拟或数字形式通过门控和/或时钟线路介接或直接提供而传达到处理器。

跟踪和处理子系统所用的处理方法可包含但不限于数据操控、代数计算、地理标记、统计计算、机器学习、计算机视觉、话音识别、模式识别、压缩和过滤。

收集到的数据可任选地临时或永久地存储在数据存储单元104中。跟踪和处理子系统103可使用其到数据存储单元104的接口114将数据或其它信息放置在数据存储单元104中且从数据存储单元104检索数据或其它信息。

在本公开的优选实施例中，数据的收集、处理和跟踪自主发生且无需任何特殊用户干预。跟踪的参数可包含但不限于以下项：位置、周围环境温度、环境光、环境声音、生物计量信息、活动水平、食物图像捕获、食物名称和描述、份量大小、流体摄入、卡路里和营养信息、满口计数、咬食计数、啜饮计数、相连咬食或啜饮之间的持续时间以及食物摄入事件的时长。对于每一次咬食或啜饮，跟踪的参数还可包含用户的手、臂和/或器皿靠近用户嘴巴的持续时间、所咬或所饮内容物在吞咽之前存在于用户口中的持续时间。所述方法可基于可用的传感器数据是什么而发生变化。

在本公开的其它实施例中，需要或可能想要一些用户干预111来实现例如较大准确性或输入额外细节。用户干预111可包含但不限于：启用装置或装置的特定功能、使装置保持在适当位置、拍照、添加语音标注、录制视频、作出校正或调整、提供反馈、进行数据输入、对食物或食物样本进行测量。测量可包含但不限于例如获得食物品目的一个或多个谱图的非破坏性技术，或可能需要取自食物的样本的化学方法。

跟踪和处理子系统103对传感器数据和用户输入的处理通常实时或近实时发生。可能存在一些延迟例如以节约电力或遵从某些硬件限制而运作，但在一些实施例中，所述处理在食物摄入事件期间发生，或在食物摄入事件外部的跟踪情况下，所述处理在已接收到传感器或用户输入的时间前后发生。

在某些实施方案中或在某些情况下，可能不存在实时或近实时接入所需的处理单元来执行一些或全部处理。举例来说，这可归因于功耗或连接约束。也可能有其它动机或原因。在这种情况下，输入和/或部分处理的数据可本地存储，直到稍后处理单元的接入可用为止。

在本公开的一个特定实施例中，可将跟踪个人手臂、手或腕部的移动的传感器信号发送到跟踪和处理子系统。跟踪和处理子系统可处理和分析此类信号以识别一口食物或一口液体已被所述个人消耗或很可能已被消耗。跟踪和处理子系统另外可处理和分析此类信号以识别和/或量化进食行为的其它方面，例如咬食或啜饮之间的时间间隔、手到口的移动速度等。跟踪和处理子系统另外可处理和分析此类信号以识别进食方法的某些方面，例如个人是用餐叉还是用汤勺进食、是从玻璃杯还是易拉罐饮用、或是在未使用任何器皿的情况下消耗食物。

在特定实例中，可能是佩戴者咬食时在将进食器皿或手送到嘴部时在一个方向上转动其腕部，但在啜饮液体时在另一方向上转动。对于饮用姿势与进食姿势来说，佩戴者在其移动其腕部到嘴部或远离嘴部时腕部的转动量以及腕部保持在较高转动角的时长也可不同。其它度量可用于区分进食姿势与饮用姿势，或用于区分进食方法的不同。还可使用多个度量的组合。可用于区分进食姿势与饮用姿势或区分进食方法的不同的其它度量实例包含但不限于：从姿势开始或近似开始直到手到达嘴的时间或近似时间的横转角度的改变；从手靠近嘴的时间或近似时间直到姿势的结束或近似结束的横转角度的改变；在手靠近嘴时的时间段里，或手靠近嘴时的前后时间段里，或并不在手靠近嘴时的前后但包含手最靠近嘴的时间的时间段里，跨越一个或多个轴线的加速度计或陀螺仪读数的方差；在手靠近嘴时的时间段里，或手最靠近嘴时的前后时间段里，或并不在手最靠近嘴时的前后但包含手最靠近嘴的时间的时间段里，加速度计读数的量值的方差；在手靠近嘴时的时间段里，或手最靠近嘴时的前后时间段里，或并不在手最靠近嘴时的前后但包含手最靠近嘴的时间的时间段里，加速度计读数的量值的最大值。加速度计读数的量值可定义为每个正交方向上的加速度的平方根(例如，感测x、y以及z方向上的加速度并计算SQRT(a

手相对于嘴的位置可例如通过监测俯仰度或所佩戴装置以及始于此处的佩戴者手臂的俯仰度来确定。对应于俯仰度峰值的时间可用作手离嘴最近的时刻。俯仰度开始上升的时间可例如用作姿势的开始时间。俯仰度停止下降的时间可例如用作姿势的结束时间。

最靠近嘴位置、移动的开始和移动的结束的其它定义也是可能的。举例来说，可改为使用横转改变方向的时间来确定手臂或手最靠近嘴的时间。可改为使用横转在某一方向上或在某一速度停止改变的时间来确定朝向嘴的移动的开始时间。

跟踪和处理子系统另外可处理和分析此类信号以确定合适或优选的时间来启用其它传感器。在一个特定实例中，跟踪和处理子系统可处理和分析此类信号以确定合适或优选时间来启用一个或多个相机以获取食物的一个或多个静态或移动图像。通过利用跟踪手臂、手、手指或腕部移动和/或相机的定向和位置以启用相机和/或使图像捕获过程自动化的传感器，图像捕获和图像分析系统的复杂性、约束(capabilities)和功耗可极大地减小，且在某些情况下可实现更好的准确性。这还显著减少任何侵犯隐私问题，因为现在有可能更精确地控制图像捕获的定时且使其与聚焦于食物的相机一致。

举例来说，处理器可分析来自加速度计、陀螺仪、磁力计等的运动传感器输入以识别启用相机和捕获图片的最优时间，且可能基于处理器确定相机的视区何时包含待拍照的食物而在所述最优时间触发相机。在一个实例中，处理器确定进食事件的开始且发信号给佩戴者以捕获正食用的食物的图像，且还确定进食事件的结束且同样发信号给佩戴者以捕获剩余的食物或盘子等的图像。可处理此类图像以确定消耗量和/或确认处理器已确定的消耗量。在一些实施例中，图像处理可用作反馈的部分以训练处理器使用的机器学习。

在一些实施例中，系统可使用跟踪佩戴者手臂或手的移动的传感器，且仅在系统根据移动感测确定手臂或手靠近嘴时才启用相机。在另一实例中，系统可在朝向嘴的移动的开始与手臂或手最靠近嘴的时间之间的某时启用相机。在又一实例中，系统可在手臂或手最靠近嘴的时间与远离嘴的移动的结束之间的某时启用相机。

如上文所提及，手相对于嘴的位置可通过监测俯仰度以及指示朝向嘴移动的开始时间的上升俯仰度和指示结束时间的下降俯仰度来确定。最靠近嘴位置、移动的开始和移动的结束的其它定义也是可能的。

手相对于嘴的位置可例如通过监测俯仰度或所佩戴装置以及始于此处的佩戴者手臂的俯仰度来确定。对应于俯仰度峰值的时间可用作手离嘴最近的时刻。俯仰度开始上升的时间可例如用作姿势的开始时间。俯仰度停止下降的时间可例如用作姿势的结束时间。

对跟踪用户手臂、手或腕部移动的传感器信号的处理和分析可与所提出的食物进入嘴巴时的食物图像捕获等其它方法组合以内建冗余且改进膳食跟踪和反馈系统的稳健性。举例来说，通过处理分析用户手臂、手或腕部移动，与咬食计数和咬食模式有关的信息仍将得以保留，即使相机被遮蔽或干预也如此。

传感器输入中的一个或多个可以是从一个或多个相机模块获得的静态或流媒体图像。此类图像可能需要一些程度的处理和分析。除了其它方法，处理和分析方法可包含以下方法中的一个或多个：压缩、删除、调整大小、过滤、图像编辑和用以识别特定食物或菜肴等对象或份量大小等特征的计算机视觉技术。

除测量咬食计数和啜饮计数之外，处理器可分析步调和时长等细节以确定吃一口和喝一口的量。测量佩戴者的手、器皿或流体容器靠近其嘴的时间可用于得出“近嘴”时长，这继而用作输入以产生吃一口或喝一口的估计量。啜饮时腕部的转动量可适用于水合作用跟踪。

测量在姿势开始和结束内的一个或多个时间段中的腕部转动量也可用于估计吃一口或喝一口的量。举例来说，系统可测量腕部从姿势开始之后的某一时间到手臂或手最靠近嘴的时间的转动量。对应于俯仰度峰值的时间可用作手离嘴最近的时刻。俯仰度开始上升的时间可例如用作朝向嘴的移动的开始时间。俯仰度停止下降的时间可例如用作远离嘴移动的结束时间。最靠近嘴位置、移动的开始和移动的结束的其它定义也是可能的。举例来说，可改为将横转改变方向的时间用作手臂或手最靠近嘴的时间。横转在某一方向上或在某一速度停止改变的时间可用作朝向嘴的移动的开始时间。可出于一个或多个目的而通过跟踪和处理子系统分析和/或比较一个或多个静态或流媒体图像，所述目的包含但不限于识别食物品目、识别食物内容、识别或推导营养信息、估计份量大小和推断某些进食行为和进食模式。

作为一个实例，计算机视觉技术，任选地与其它图像操控技术组合，可用于识别食物种类、具体食物品目和/或估计份量大小。或者，可使用土耳其机器人(Mechanical Turk)处理方法或其它众包方法手动分析图像。一旦已识别食物种类和/或具体食物品目，此信息就可用于从一个或多个食物/营养数据库检索营养信息。

作为另一实例，可从分析和比较在食物摄入事件过程期间的不同时间捕获到的多个图像来推断关于用户进食或饮用速度的信息。作为又一实例，图像，任选地与其它传感器输入组合，可用于区分桌餐(sit-down meal)与小食或点心。作为又一实例，对在食物摄入事件开始时获取的一个图像和在食物摄入事件结束时获取的另一图像的分析可提供关于实际消耗的食物量的信息。

在一般情况下，处理器接收传感器数据，所述传感器数据，很可能连同传感器数据感测所涉及的个人有关的先前记录的数据和/或元数据一起，由所述处理器分析。处理器执行例如本文所描述的那些计算以得出一系列感测到的姿势。感测到的姿势可以是本文其它处所描述的姿势中的一个，以及关于感测到的姿势的相关数据，例如感测到的姿势的发生时间。处理器分析所述系列感测到的姿势以确定行为事件的开始，例如进食事件的开始。

对进食事件开始的确定可基于一系列感测到的姿势，但还可基于对单个事件(可能具有并不基于姿势的背景)的检测。举例来说，如果系统检测到具有相当高置信级的咬食姿势，那么处理器可将此个别姿势的此次检测认作进食事件的开始。处理器还可分析所述系列感测到的姿势以确定行为事件的结束。对进食事件结束的确定还可基于所检测事件的不存在。举例来说，如果在给定时间段里未检测到咬食姿势，那么处理器可认为进食事件结束。

知晓行为事件的开始和结束允许处理器更准确地确定姿势，因为所述姿势是在背景中获取，和/或处理器可启动额外传感器或将一个或多个传感器或其它组件置于较高性能状态，例如在本文其它处所描述的实例中那样。知晓行为事件的开始和结束还允许功率节省，因为在一些情况下，有可能可以将所佩戴装置置于某些行为事件之外的较低功率模式。另外，将个别姿势聚合为事件——可能与关于在过去来自相同用户或来自其它用户的类似行为事件的先前记录的数据组合——允许处理器得出关于行为事件的有意义特性。举例来说，可以此方式确定早餐、午餐、晚餐期间的进食速度。作为另一实例，如果处理器具有针对当前行为的状态且所述当前行为是刷牙，那么可能看着是进食或饮用姿势的姿势将不会被解释为进食或饮用姿势，且因此不会将刷牙时的啜饮解释为液体消耗。行为事件可以是一般事件(进食、行走、刷牙等)或更具体(用勺进食、用玻璃杯饮用、用易拉罐饮用等)。

尽管有可能解码间接姿势，例如检测到指向姿势且接着确定感测到的个人所指的对象，但受关注的是自身直接是所检测事件的部分的姿势。一些姿势是附带姿势，例如与操作装置相关联的姿势，在此情况下，可排除对附带姿势的考虑。

在特定实例中，系统使用某一组传感器来确定具有某一置信级的进食事件的开始，且如果所述置信级高于阈值，系统就启用额外传感器。因此，加速度计传感器可用于确定具有高置信级进食事件的开始，但将陀螺仪置于低功率模式以节约电池寿命。加速度计可独自检测指示可能的咬食或啜饮的姿势(例如手臂向上或手部移动，或手或手臂大体上在嘴的方向上移动)或大体上指示进食事件开始的姿势。在检测到大体上指示进食事件的可能开始的第一姿势后，可接着启动额外传感器(例如陀螺仪等)。如果检测到后续咬食或啜饮姿势，处理器就确定进食事件的开始已发生且具有较高置信级。

知晓行为事件的开始/结束允许处理器在行为事件期间将一个或多个传感器或其它组件置于较高性能状态。举例来说，当已确定行为事件的开始时，处理器可增大用于检测姿势的加速度计和/或陀螺仪传感器的取样率。作为另一实例，当已确定行为事件开始时，处理器可增大将传感器数据发送到电子装置19以供进一步处理的更新速率以减小时延。

再次参考图1，除跟踪和处理子系统之外，图1的系统还可包含非实时分析和学习子系统105。非实时分析和学习子系统可对用较长时间收集的较大数据集执行分析，所述较大数据集例如跨越多个食物摄入事件的历史数据和/或来自较大群体的数据。非实时分析和学习子系统所用的方法可包含但不限于数据操控、代数计算、地理标记、统计计算、机器学习和数据分析、计算机视觉、话音识别、模式识别、压缩和过滤。

非实时分析和学习子系统105所用的方法可尤其包含对较长时间段中收集的较大数据集的数据分析。举例来说，可在较长时间段且跨越多个食物摄入事件捕获一个或多个数据输入以训练机器学习模型。此类数据输入在下文称为训练数据集。通常合乎需要的是，下文称为训练时段的其中收集训练数据集的时间段充分长以使得收集到的数据表示个人的典型食物摄入。

训练数据集可尤其包含以下食物摄入相关信息中的一项或多项：每次食物摄入事件的咬食次数、总咬食计数、食物摄入事件时长、食物摄入速度或连续计数之间的时间、食物摄入内容的分类，例如辨别固体食物与液体，或辨别桌餐与点心或小食。此信息可从一个或多个传感器输入得出。

训练数据集另外可包含在训练时段内的每个食物摄入事件期间消耗的每个或大多数品目的图像。图像可使用计算机视觉和/或其它方法处理以识别食物种类、具体食物品目和估计份量大小。接着，此信息可继而用于量化卡路里数和/或食物品目的主要养分含量，例如碳水化合物、脂肪、蛋白质等的量。

在食物未被全部消耗的情况下，可能需要在食物摄入事件开始时给食物品目拍张照片且在食物摄入事件结束时拍张照片以得出实际消耗的食物份量。包含但不限于手动用户输入的其它方法可用于将份量大小信息添加到训练数据集中的数据。

训练数据集另外可包含元数据，所述元数据并不直接量化食物摄入和/或进食行为和模式，但可间接提供信息、可与食物摄入事件和/或进食行为相关和/或可以是食物摄入事件的发生的触发事项或可影响进食习惯、模式和行为。此类元数据可尤其包含以下中的一个或多个：性别、年龄、体重、社会经济状态、例如日期、当日时间、星期几的关于食物摄入事件的定时信息、关于食物摄入事件位置的信息、生命体征信息、水合程度信息以及其它生理、心理或环境条件，例如饥饿、紧张、睡眠、疲劳程度、嗜瘾、疾病、社会压力和锻炼。

一个或多个训练数据集可用于训练一个或多个机器学习模型，所述机器学习模型可接着由膳食跟踪和反馈系统的一个或多个组件用来预测食物摄入事件以及进食模式和行为的某些方面。

在一个实例中，可训练模型以基于对可影响食物摄入事件的发生的一个或多个元数据的跟踪来预测食物摄入事件的发生。还可预测与可能的食物摄入事件相关的其它特性，例如很可能会被消耗的食物类型和/或量、个人将很可能有的进食速度、食物摄入事件的时长和/或个人将从消耗食物获得的满足程度等。元数据可尤其包含以下中的一个或多个：性别、年龄、体重、社会经济状态、例如日期、当日时间、星期几的关于食物摄入事件的定时信息、关于食物摄入事件位置的信息、生命体征信息、水合程度信息以及其它生理、心理或环境条件，例如饥饿、紧张、睡眠、疲劳程度、嗜瘾、疾病、社会压力和锻炼。

在另一实例中，可应用机器学习和数据分析以得出可用在训练时段之外的度量，从而即使仅有限或没有食物摄入传感器输入或图像可用也能估计卡路里或其它主要养分摄入。元数据可用于基于额外背景信息进一步调适此类度量的值。元数据可尤其包含以下中的一个或多个：性别、年龄、体重、社会经济状态、例如日期、当日时间、星期几的关于食物摄入事件的定时信息、关于食物摄入事件位置的信息、关于食物属类的信息、生命体征信息、水合程度信息、日历事件信息、电话拨打日志、电子邮件日志以及其它生理、心理或环境条件，例如饥饿、紧张、睡眠、疲劳程度、嗜瘾、疾病、社会压力和锻炼。

此类度量的一个实例可以是“每口卡路里”。通过将咬食计数与从图像处理和分析获得的卡路里信息组合，可从一个或多个训练数据集建立“每口卡路里”度量。此度量可接着用在训练时段之外以仅基于咬食计数来估计卡路里摄入，即使没有图像或仅有限图像可用时也如此。

另一度量可以是“典型每口大小”。通过将咬食计数与从图像处理和分析获得的份量大小信息组合，可从一个或多个训练数据集建立“典型每口大小”度量。此度量可接着用在训练时段之外以仅基于咬食计数来估计份量大小，即使没有图像或仅有限图像可用时也如此。其还可用以基于咬食计数和典型每口大小来识别报告的食物摄入与测量的食物摄入之间的不一致。不一致可指示用户并未报告其消耗的所有食物品目。或替代地，其可指示用户并未消耗其报告的所有食物。

可通过处理器读取加速度计和陀螺仪传感器、或更通常地通过读取感测佩戴者身体部位移动的运动传感器来确定咬食动作。接着，通过计数咬食次数，可推断咬食的总次数。另外，咬食的时间序列可由处理器用以推导进食模式。

非实时分析和学习子系统105还可用于跟踪、分析和帮助视觉化较大历史数据集、跟踪针对特定既定或配置目标的进程以及帮助建立此类目标。此外，其可用于识别和跟踪记录、性情(streaks)且将行为表现与朋友或更大的、任选匿名的群体的行为表现进行比较。

此外，在某些实施例中，除了其它数据操控和处理技术，非实时分析和学习子系统105可应用机器学习和数据分析技术以预测产生某些健康问题、疾病和其它医学病况的危急性或可能性。在此情况下，训练通常需要在较长时间段里且在较大群体中捕获的历史食物摄入和/或进食行为数据。此外合乎需要的是，训练数据集包含额外元数据，例如年龄、体重、性别地理信息、社会经济状态、生命体征、医疗记录信息、日历信息、电话拨打日志、电子邮件日志和/或其它信息。预测可继而用于帮助引导健康结果和/或防止或延迟某些疾病的发病，例如糖尿病。

非实时和学习子系统105还可用于学习和提取关于其它方面的更多信息，包含但不限于以下中的一个或多个：用户膳食和食物偏好、用户进餐偏好、用户餐馆偏好和用户食物消耗。此类信息可由食物摄入跟踪和反馈系统用以向用户作出特定建议。本文中所描述的食物摄入跟踪和反馈系统还可介接到例如餐馆预订系统、在线食物或用餐订购系统等其它系统或与之集成，从而促进、简化或自动化食物或用餐订购或预订的过程。

非实时和学习子系统105还可用于监测较长时间段中的食物摄入且检测任何不寻常地长的无食物摄入活动的事件。此类事件可尤其指示用户停止使用装置、故意或无意篡改装置、装置的功用缺陷或用户跌倒或死亡或失去意识等医疗情形。对不寻常地长的无食物摄入活动事件的检测可用于发送通知或警示到用户、其看护者中的一个或多个、监测系统、应急响应系统，或发送到可能直接或间接有兴趣接收此类事件的发生的通知的第三方。

图1所示系统的另一组件是反馈子系统106。反馈子系统106提供一个或多个反馈信号到用户或到此类反馈信息可能相关的任何其他个人。反馈子系统106可提供与特定食物摄入事件相关的实时或近实时反馈。实时或近实时反馈大体上是指在食物摄入事件时间前后给出的反馈。这可包含在食物摄入事件期间给出的反馈、在食物摄入事件开始之前给出的反馈以及在食物摄入事件结束之后某时给出的反馈。替代地或另外，反馈子系统可提供反馈到与特定食物摄入事件并无直接关系的用户。

反馈子系统所用的反馈方法可包含但不限于：触觉反馈，由此使用将力、振动和/或运动施加于用户的触觉接口；音频反馈，其中可使用扬声器或任何其它音频接口；或视觉反馈，由此可使用显示器、一个或多个LED和/或投射光模式。反馈子系统可仅使用多于一个反馈方法中的一个或组合。

反馈子系统可在硬件、软件或硬件与软件的组合中实施。反馈子系统可实施于与食物摄入事件检测子系统101和/或跟踪和处理子系统103相同的装置上。或者，反馈子系统可实施于与食物摄入事件检测子系统101和/或所述跟踪和处理子系统103分开的装置中。反馈子系统还可跨越多个装置分布，其中的一些可任选地容纳图1中所示的一些其它子系统中的部分。

在一个实施例中，反馈子系统可提供反馈到用户以用信号表示实际、可能或即将发生的食物摄入事件的开始。反馈子系统还可在食物摄入事件期间提供反馈到用户以提醒用户食物摄入事件在发生的实情，从而改善当下感知和/或促进正念进食(mindfuleating)。反馈子系统还可提供对建议份量大小和/或食物内容的指导或提供进食的替代建议。替代建议可以是默认建议，或其可为用户在不同时间编程或配置的自定义建议。

反馈信号可包含但不限于可佩戴装置上的周期性触觉反馈信号、声音告警、显示器消息或推送到其移动电话显示器的一个或多个通知。

在收到指示食物摄入事件开始的信号后或随后某时，用户可确认确实发生食物摄入事件。确认可用于例如触发事件的记录或可使系统提示用户额外信息。

在本公开的另一个实施例中，反馈子系统仅在达到所跟踪的参数中的一个或多个的某一阈值时才发起食物摄入事件期间的反馈。举例来说，如果连续咬食或啜饮之间的时间被跟踪，给用户的反馈可在所述时间(可能是多次咬食或啜饮的平均值)短于固定或编程值的情况下发起以促进用户减缓速度。类似地，可在固定或编程咬食或啜饮计数被超过的情况下发起反馈。

在食物摄入事件期间提供反馈的反馈子系统中，反馈子系统所提供的反馈通常与此特定食物摄入事件的细节相关。然而，包含但不限于关于先前食物摄入事件的信息、生物计量信息、心理健康信息、活动或健康水平信息和环境信息的其它信息也可通过反馈子系统提供。

在本公开的又一实施例中，反馈子系统可发送特定食物摄入事件外部的一个或多个反馈信号。在此类实施例的一个实例中，可跟踪环境温度和/或可影响水合作用要求或以其它方式直接或间接测量水合程度的其它参数。此类跟踪可连续地或周期性地发生，或以其它方式独立于特定食物摄入事件。如果一个或多个此类参数超出固定或编程阈值，就可发送反馈信号以例如促使个人采取措施来改进水合作用。反馈子系统可估计其输入且确定发送反馈的优选时间并非在食物摄入事件期间，而是在食物摄入事件结束之后。反馈子系统的一些输入可来自食物摄入事件，但一些可能来自并不直接作为食物摄入事件结果而测量的其它监测。

例如在前一段落所描述的实施例中，发送反馈信号的决策可与任何食物摄入跟踪无关。或者，此类决策可与跨越一个或多个食物摄入事件的食物摄入跟踪有关。举例来说，在本公开的一个实施例中，可修改上文所描述的系统以便还直接或间接跟踪个人的流体摄入。对于不同环境温度范围，所述实施例可具有预编程流体摄入需求阈值。如果对于测得的环境温度，可能在某一时间段中跟踪和累积的个人的流体摄入并不满足所述环境温度的阈值，那么所述系统可发布反馈信号以建议所述个人增大其流体摄入水平。

类似地，除了其它参数，与食物摄入相关的反馈信号或建议可与活动水平、睡眠水平、社会情境或情形、健康或疾病诊断以及健康或疾病监测的跟踪有关。

在本公开的又一实施例中，反馈子系统可在其已检测到食物摄入事件已开始或即将或很可能发生时发起反馈信号。在此类实施例中，反馈可例如用作提示以提醒用户记录无法自动跟踪的食物摄入事件或食物摄入事件的某些方面，或影响或引导个人食物摄入行为和/或消耗的食物量或内容。

反馈子系统提供的信息可包含但不限于：有关进食模式或习惯的信息；有关特定可食物质的信息，例如食物品目或菜肴的名称、描述、养分含量、评论、评级和/或图像；有关食物摄入的触发事项的信息；有关进食模式或习惯的触发事项的信息；生物计量或环境信息；或可与个人的一般食物摄入行为、健康状态和/或健康直接或间接相关的其它信息。

反馈子系统可包含已消耗或可能消耗的食物品目或菜肴的图像的显示。此外，反馈子系统可包含关于所述食物品目或菜肴的额外信息，例如它们的健康程度的指示、养分含量、基本信息或制备细节、评级、个性化反馈或其它个性化信息。

在本公开的某些实施例中，反馈子系统提供的信息可包含非实时信息。反馈子系统可例如包含基于历史数据的处理和分析和/或在较大用户群体中积累的数据的处理和分析的反馈。反馈子系统可进一步提供与任何特定参数的跟踪无关的反馈。举例来说，反馈子系统可提供通用食物、营养或健康信息或指导。

在本公开的某些实施例中，用户可与反馈子系统交互且提供输入116。举例来说，用户可抑制或定制某些或所有反馈信号。

非实时反馈可尤其包含：历史数据、倾向概述、个人记录、性情、对目标的行为表现或与朋友或其他人或人群相比的行为表现、告警倾向通知、来自朋友、社交网络和社交媒体、看护者、营养师、医生等的反馈、指导意见和指导。

数据或其它信息可存储在数据存储单元104中。其可以原始格式存储。或者，所述数据或其它信息可在已进行一些程度的处理之后进行存储。数据可临时或永久地存储。数据或其它信息可出于广泛多种原因而存储，包含但不限于：在等待处理器或其它系统资源变得可用时的临时存储；待与其它数据组合的临时存储，所述其它数据可能直到稍后时间才可用；待以原始或已处理格式通过反馈子系统反馈给用户的存储；用于稍后磋商或检视的存储；用于膳食和/或健康指导目的的分析的存储；用于跨越较大群体或对较大数据集进行统计分析的存储；用以对较大数据集执行模式识别方法或机器学习技术的存储。

存储的数据和信息或其部分可被系统的用户使用。还有可能的是，存储的数据和信息或其部分可与第三方共享或可由第三方存取。第三方可包含但不限于朋友、家庭成员、看护者、保健提供者、营养师、健康教练、其他用户、开发和/或出售用于膳食跟踪和指导的系统的公司、开发和/或出售用于膳食跟踪和指导的系统的组件或子系统的公司以及保险公司。在某些情形中，可能需要在数据可供第三方使用之前使数据匿名。

图2示出根据本公开的一个实施例的安置在用于膳食跟踪和指导的电子系统中的组件中的一些。所述电子系统包含第一电子装置218、第二电子装置219以及中央处理和存储单元220。典型系统可具有校准功能以允许传感器和处理器校准。

图2中所示的系统的变化也是可能的且包含在本公开的范围中。举例来说，在一个变化形式中，电子装置218和电子装置219可组合成单个电子装置。在另一变化形式中，电子装置218的功能可跨越多个装置分布。在一些变化形式中，作为电子装置218的部分的图2中所示的功能的一部分可改为包含在电子装置219中。在一些其它变化形式中，作为电子装置219的部分的图2中所示的功能的一部分可改为包含在电子装置218和/或中央处理和存储单元220。在又一变化形式中，中央处理和存储单元可能不存在，且所有处理和存储可能在电子装置218和/或电子装置219上本地完成。其它变化形式也是可能的。

图2的电子系统的实例在图3中示出。举例来说，电子装置218可以是戴在腕部、手臂或手指上的可佩戴装置321。电子装置218还可实施为可附着于人体或可内嵌于衣物中的可佩戴小片。电子装置218还可以是可例如附着于其它可佩戴装置、珠宝或衣物的模块或附加装置。电子装置219可例如是移动装置322，例如移动电话、平板电脑或智能手表。也可能有电子装置219以及电子装置218的其它实施例。中央处理和存储单元220通常包括一个或多个计算机系统或服务器和一个或多个存储系统。中央处理和存储单元220可例如是可使用互联网连接325通过互联网接入的远程数据中心324。中央处理和存储单元220时常在多个用户当中共享和/或由其存取。

可佩戴装置321可通过无线网络与移动装置322通信。用于可佩戴装置321与移动装置322之间通过无线网络的通信的无线协议可包含但不限于蓝牙、蓝牙智能(也称为低功耗蓝牙)、蓝牙Mesh、紫蜂、Wi-Fi、Wi-Fi Direct、NFC、蜂窝(Cellular)和线程(Thread)。还可使用专用或无线协议、标准化无线协议的修改版或其它标准化无线协议。在本公开的另一实施例中，可佩戴装置321和移动装置322可通过有线网络通信。

移动装置322可以无线方式与通过互联网连接325连接到互联网的基站或接入点(“AP”)323通信。通过互联网连接325，移动装置322可将数据和信息从可佩戴装置321传送到驻存在例如远程数据中心的远程位置处的一个或多个中央处理和存储单元220。通过互联网连接325，移动装置322还可将数据和信息从驻存在远程位置处的一个或多个中央处理和存储单元220传送到可佩戴装置321。其它实例也是可能的。在一些实施例中，中央处理和存储单元220可能不在远程位置处，而是可能驻存在与可佩戴装置321和/或移动装置322相同的位置或与之接近。用于移动装置322与基站或接入点323之间的通信的无线协议可与所述移动装置与所述可佩戴装置之间的无线协议相同。还可使用专用或无线协议、标准化无线协议的修改版或其它标准化无线协议。

图2的电子系统还可发送数据、信息、通知和/或指令到连接到互联网的额外装置，和/或从连接到互联网的额外装置接收数据、信息、通知和/或指令。此类装置可例如为一个或多个看护者、医生办公室成员、教练、家庭成员、朋友、用户在社交媒体上有联系的人们或用户已授权共享信息的其它人们的平板电脑、移动电话、笔记本电脑或计算机。此类系统的一个实例在图4中示出。在图4中所示的实例中，电子装置441无线地连接到通过互联网连接442连接到互联网的基站或接入点440。电子装置441的实例可包含但不限于平板电脑、移动电话、笔记本电脑、计算机或智能手表。通过互联网连接442，电子装置441可从一个或多个中央处理和存储单元接收数据、指令、通知或其它信息，所述中央处理和存储单元可本地驻存或驻存在例如远程数据中心的远程位置处。通信能力可包含互联网连接442或其它通信信道。电子装置441还可发送信息、指令或通知到一个或多个计算机服务器或存储单元439。中央处理和存储单元439可通过互联网438和基站或接入点(“AP”)437将此信息、指令或通知转发到移动装置436。

其它实例也是可能的。在一些实施例中，中央处理和存储单元439可能不在远程位置处，而是可能驻存在与可佩戴装置435和/或移动装置436相同的位置或与之接近。图4示出无线地连接到基站或接入点的电子装置441。也可能有电子装置441与通过互联网连接442连接到互联网的路由器之间的有线连接。

图5示出本公开的另一实施例。在图5中，可佩戴装置543可在不必通过移动装置545的情况下通过基站或接入点544和互联网直接与中央处理和存储系统546交换数据或其它信息。移动装置545可通过中央处理和存储系统546或通过本地无线或有线网络与可佩戴装置543交换数据或其它信息。中央处理和存储系统546可与一个或多个额外电子装置550交换信息。

图6示出根据一个实施例的安置在电子装置218中的组件中的一些。电子装置218通常部分地包含一个或多个传感器单元627、处理单元628、存储器629、时钟或晶体630、无线电电路634和电源管理单元(“PMU”)631。电子装置218还可包含一个或多个相机模块626、一个或多个刺激单元633和一个或多个用户接口632。尽管未示出，但像电容器、电阻器、电感器等其它组件也可包含在所述电子装置218中。电源管理单元631可尤其包含以下中的一个或多个：电池、充电电路、调节器、禁用到一个或多个组件的电力的硬件、电源插头。

在许多实施例中，电子装置218是具有简单和有限用户接口的大小受限、功率敏感型电池供电装置。在功率受到限制的情况下，电子装置218可被编程以节省行为事件之外的功率。举例来说，电子装置218中的处理器可被编程以确定例如进食事件的行为事件的开始，且接着使额外传感器上电、将某些传感器置于较高性能模式和/或执行额外计算，直到处理器确定行为事件的结束为止，在结束时，处理器可关断额外传感器、将某些传感器重新置于较低性能模式且省略所述额外计算。

举例来说，处理器可被编程以禁用除加速度计外的所有运动检测相关电路。处理器可接着监测加速度计传感器数据，且如果那些数据指示例如咬食或啜饮姿势的实际或显要食物摄入活动，则处理器可启用额外电路，例如数据记录机构。处理器可使用加速度计传感器数据监测佩戴者手臂的俯仰度。

举例来说，处理器可测量佩戴者手臂的俯仰度，直到俯仰度超出某一阈值为止，可能是指示手或手臂朝向佩戴者嘴巴移动的一个值。一旦检测到此值，处理器就可改变状态(例如通过将专门用于此状态的存储器位置从“非作用”或“事件外”改变到“动作中”或“事件中”)，且启用额外电路或启用特定电路或组件的较高性能模式。在另一实施例中，可使用如根据一个或多个加速度计轴线确定的其它加速度计传感器数据特性，例如第一加速度积分(速度)或第二加速度积分(行进的距离)，或与所述第一和/或第二加速度积分相关或从中得出的特性。机器学习过程可用于检测特定移动且将所述移动转化到姿势。

食物摄入事件的结束可由处理器通过考虑自最后一次咬食或啜饮移动起的某一时间是否到期或何时其它数据(关于佩戴者的元数据、运动检测传感器数据和/或佩戴者的历史数据，或这些数据的组合)而检测到。基于那些数据，处理器确定不大可能有食物摄入事件且接着将电子装置的状态改到非作用监测状态，可能是较低功率模式。

较低功率模式可通过处理器减小加速度计和/或陀螺仪的取样率、对陀螺仪断电、减小传感器数据从电子装置(例如电子装置218)传送到支持装置(例如电子装置219)的更新速率、在将数据从感测电子装置传送到支持电子装置之前压缩数据来实施。

在本公开的一些实施例中，图5中示作独立组件的组件中的一些可进行组合。举例来说，处理单元、存储器、无线电电路和PMU功能可完全或部分地组合在单个无线微控制器单元(“MCU”)中。其它组合也是可能的。类似地，在图5中示作单个组件的组件可实施为多个组件。举例来说，处理功能可跨越多个处理器分布。同样地，数据存储功能可跨越多个存储器组件分布。分布式实施方案的其它实例也是可能的。

在本公开的另一实施例中，无线电电路可能不存在，且替代地，不同的接口(例如USB接口和缆线)可用于传送数据或信息到电子装置218和/或传送来自所述电子装置的数据或信息。

刺激单元633可将反馈提供到电子装置的用户。刺激单元633可包含但不限于将力、振动或运动施加于用户的触觉接口、提供声音到用户的扬声器或头戴式耳机接口以及向用户提供视觉反馈的显示器。

在某些实施例中，对来自内嵌于电子装置218中的信号的处理和分析可检测电子装置何时已被停用、篡改、从身体移除或未被使用。这可用于节约电力，或用于发送通知到用户、朋友或可能直接或间接有兴趣在电子装置218未被恰当使用的情况下被告知的其他人。

在优选实施例中，电子装置218佩戴在腕部、手臂或手指上，且具有产生检测食物摄入事件的开始和/或结束所必要的数据的一个或多个传感器。电子装置218还可集成在可附着于个人手臂或腕部的小片中。电子装置218还可为可附着于佩戴在腕部、手臂或手指上的另一装置的模块或附加装置。用于检测食物摄入事件开始和/或结束的传感器可包含本文所描述的传感器中的一个或多个以及其它传感器。

原始传感器输出可在本地存储在存储器629中，且在处理单元628上进行本地处理以检测是否已发生食物摄入事件的开始或结束。或者，一个或多个传感器输出可以原始或已处理格式发送到电子装置219和/或中央处理和存储单元220以用于进一步处理并且检测是否已发生食物摄入事件的开始或结束。不论食物摄入检测的处理在何处发生，呈原始或已处理格式的传感器输出可存储在电子装置218内部、电子装置219内部和/或中央处理和存储单元220内部。

产生检测食物摄入事件的开始和/或结束所必要的数据的传感器或多个传感器可在电子装置218内部。或者，负责检测食物摄入事件开始的传感器中的一个或多个可在电子装置218外部，但能够直接通过与电子装置218的直接无线或有线通信或间接通过另一装置将相关信息中继到电子装置218。还可能电子装置218和外部传感器或多个外部传感器能够将信息中继到电子装置219，但不能够彼此直接中继信息。

在通过例如移动电话或另一便携式或固定装置等另一装置间接通信的情况下，此类第三装置能够从一个或外部传感器单元接收数据或信息、任选地处理此类数据或信息且将原始或已处理数据或信息转发到电子装置218。往来电子装置218的通信可以是有线或无线的，或是两者的组合。

可在电子装置218外部的传感器的实例可以是内嵌于戴在颈部的项链或挂件中的一个或多个传感器、内嵌于附着在身上不同位置的小片中的一个或多个传感器、内嵌于戴在另一手臂或腕部上或另一只手的手指上的辅助第二可佩戴装置中的一个或多个传感器或集成于牙齿中的一个或多个传感器。在一些实施例中，电子装置戴在一只手或手臂上但检测另一只手或手臂的移动。在一些实施例中，电子装置戴在每只手上。

还可使用从非实时分析和学习子系统105获得的信息，任选地结合来自一个或多个传感器627的信息，以预测或促进检测可能的、即将发生的或实际的食物摄入事件的开始/结束。

通常合乎需要的是，食物摄入事件的开始和/或结束的检测和/或预测在无需用户干预的情况下自主地发生。举例来说，如果自主地预测或检测到食物摄入事件实际的、可能的或即将发生的开始，那么此信息可用作对仅在食物摄入事件期间需要的特定组件或线路进行启用或上电的触发事项。这可帮助节约电力以及延长电子装置218的电池寿命。对食物摄入事件实际的、可能的或即将发生的开始的预测或检测还可用于向用户发布提示或提醒。举例来说，可发送提示到用户以提醒他/她采取进一步措施，包含但不限于记录食物摄入事件或给食物拍照。在检测到食物摄入事件开始后，一个或多个提示可能在食物摄入事件期间传播以提醒用户食物摄入事件在发生，从而改善当下感知和/或促进正念进食。可例如使用一个或多个刺激单元633通过离散触觉反馈发送提示或提醒。使用一个或多个用户接口632的其它方法，例如一个或多个LED、显示消息或音频信号，也是可能的。或者，移动装置219可用于将提示、提醒或例如份量大小建议或进食的替代建议等其它信息传达给用户。

如果自主地预测或检测到食物摄入事件实际的、可能的或即将发生的结束，那么此信息可用作对仅在食物摄入事件期间需要的电子装置218的一个或多个电路或组件进行断电或至少将其置于较低功率模式的触发事项。这可帮助节约电力以及延长电子装置218的电池寿命。对食物摄入事件实际的、可能的或即将发生的结束的检测还可用于通过一个或多个刺激单元633、通过一个或多个用户接口632和/或通过移动装置219修改或暂停提供给用户的反馈。

在本公开的一些实施例中，对食物摄入事件实际的、可能的或即将发生的开始和/或结束的检测或预测可能不完全自主。举例来说，可能需要用户作出特定的手臂、腕部、手或手指姿势以将食物摄入事件实际的、可能的或即将发生的开始和/或结束用信号发送给电子装置218。所述手臂、腕部、手或手指姿势接着由电子装置218内部的一个或多个传感器检测。通常合乎需要的是，可以微小且不连续的方式进行指示食物摄入事件的开始和/或结束所需的手臂、腕部、手或手指姿势或多个姿势。还可以使用其它方法。举例来说，可要求用户推按电子装置218上的按钮以指示食物摄入事件的开始和/或结束。还可使用利用内置于电子装置18中的麦克风的语音激活命令。其它方法也是可能的。

在特定实施例中，电子装置218戴在腕部、手臂或手指上，且具有产生促进进食行为、模式和习惯的测量和分析的数据的一个或多个传感器。用于测量和分析某些进食行为和模式的传感器可包含本文所描述的传感器中的一个或多个。

可用于量化和跟踪进食行为和进食模式的相关度量可包含但不限于：连续咬食或啜饮之间的时间；盘子与用户的嘴之间的距离；手臂朝向和/或远离用户的嘴移动的速度；以及在单个食物摄入事件期间的咬食或啜饮次数，这从对应于咬食或啜饮的手臂移动、特定的咀嚼行为和特性、咬一口与吞咽之间的时间、吞咽之前的咀嚼量的总计数得出。

原始传感器输出可本地存储在存储器29中且在处理单元28上进行本地处理。或者，一个或多个传感器输出可以原始或已处理格式发送到电子装置19和/或中央处理和存储单元20以供进一步处理和分析。不论进食行为和模式的处理和分析在何处发生，呈原始或已处理格式的传感器输出可存储在电子装置18内部、电子装置19内部和/或中央处理和存储单元20内部。

在一些实施例中，促进进食行为、模式和习惯的测量和分析的数据的产生、收集和/或处理可以是连续的、周期性的或以其它方式独立于食物摄入事件的开始和/或结束。或者，促进进食行为和模式的测量和分析的数据的产生、收集和/或处理可仅在食物摄入事件期间发生或以其它方式与特定的食物摄入事件有关。还可能连续地、周期性地或以其它方式独立于食物摄入事件的开始和/或结束而产生、收集和/或处理一些传感器数据，而其它传感器数据在食物摄入事件期间获取或以其它方式与食物摄入事件有关。

产生测量分析进食行为和进食模式所必要的数据的传感器或多个传感器可在电子装置18的内部。或者，产生测量和分析进食行为和进食模式所必要的数据的一个或多个可以在电子装置18外部，但能够直接通过与电子装置18的直接无线或有线通信或间接通过另一装置将相关信息中继到电子装置18。

在通过例如移动电话或另一便携式或固定装置等另一装置间接通信的情况下，此类第三装置能够从外部传感器单元接收数据或信息、任选地处理此类数据或信息且将原始或已处理数据或信息转发到跟踪装置。往来电子装置18的通信可以是有线或无线的，或是两者的组合。

可在电子装置18外部的传感器的实例可以是内嵌于戴在颈部的项链或挂件中的一个或多个传感器、内嵌于附着在身上不同位置的小片中的一个或多个传感器、内嵌于戴在另一手臂或腕部上或另一只手的手指上的辅助第二可佩戴装置中的一个或多个传感器或集成于牙齿中的一个或多个传感器。

尽管现有技术中已提出使用相机捕获食物的图像，但这通常依赖用户利用其移动电话或平板电脑拍照。令人遗憾的是，使用移动电话或平板电脑的图像捕获会强加使用的显著冲突、可能在某些进餐情形中具有社会不可接受性或可能干扰进餐体验的真实性。时常不合需要或不当的是，用户需要拿出其移动电话、解锁屏幕、打开移动应用程序且使用内置于移动电话中的相机拍照。

如果需要用户干预，一般合乎需要的是，可以微小且不连续的方式且在尽可能少的冲突的情况下进行用户干预。为了最小化使用冲突，时常合乎需要的是，图像捕获可从电子装置18直接发起。

尽管本文提供的实例使用食物和用餐情境的图像捕获作为实例，但在阅读本公开后应清楚，本文所描述的方法和设备可应用于除食物和用餐情境外的目标和场景的图像捕获。举例来说，无取景器相机可应用于食物事件捕获域之外。

在一些实施例中，电子装置18戴在腕部、手臂或手指上且包含一个或多个相机模块26。一个或多个相机模块26可根据本公开的一个实施例用于静态图像的捕获，且根据本公开的另一实施例用于一个或多个视频流的捕获。在本公开的又一实施例中，静态和流媒体图像的组合也是可能的。

一个或多个相机模块还可包含在佩戴在身体上的不同位置的装置中，例如戴在颈部的项链或挂件，或附着于用户的衣物或与之集成的装置，其中相机或相机模块优选向前对准以使得其视场可涵盖被消耗的食物。

在一些实施例中，相机模块和/或相机模块进行的图像捕获的启用可能需要一些程度的用户干预。用户干预可尤其包含：按压按钮；向内置于电子装置18或移动装置19中的麦克风发布语音命令；使用集成于电子装置18或移动装置19中的显示器作出选择；发布特定手臂、腕部、手或手指姿势；引导相机以使得关注对象在相机视野内；移除可能在相机与关注对象之间的瞄准线中的障碍物；和/或调整关注对象的位置以使得其处于相机的视野内。其它用户干预方法或多个用户干预方法的组合也是可能的。

在本公开的一个实施例中，相机模块内置于可佩戴装置等电子装置中，所述电子装置可能没有取景器，或可能没有可向用户给出关于相机视野内的区域的反馈的显示器。在此情况下，电子装置可包含光源，其将某一模式的可见光投射到表面上或对象上以向用户指示处于相机视野内的区域。一个或多个发光二极管(LED)可用作光源。包含但不限于激光、卤素灯或白炽灯光源的其它光源也是可能的。所述模式的可见光可尤其供用户用于调整相机的位置、调整关注对象的位置和/或移除阻挡关注对象与相机之间的瞄准线的任何对象。

光源还可用于将其它信息传达给用户。举例来说，电子装置可使用来自一个或多个近程传感器的输入，处理那些输入以确定相机是否处于与关注对象的适当距离范围内，且使用一个或多个光源向用户传达相机处于适当距离范围内、用户需要增大相机与关注对象之间的距离或用户需要减小相机与关注对象之间的距离。

光源还可结合环境光传感器用于向用户传达：环境光对于优等质量的图像捕获来说是不充足还是过于强烈。

光源还可用于传达包含但不限于低电池电量情形或功能缺陷的信息。

光源还可用于传达膳食指导信息。举例来说，光源可尤其指示自前一食物摄入事件起经过的时间是不足还是过长，或可向用户传达他/她特定的膳食目标完成得如何。

使用一个或多个光源传达特定消息的发信号机制可包含但不限于以下中的一个或多个：特定光强度或光强度模式、特定光色或光色模式、特定空间或时间光模式。多个机制还可组合以用信号发送一个特定消息。

在本公开的另一实施例中，相机模块可内置于例如可佩戴装置的电子装置18中，所述装置没有取景器或没有可向用户给出关于相机视野内的区域的反馈的显示器。替代或除了使用光源，可将由相机模块捕获的一个或多个图像，可能与来自内嵌于电子装置18中的其它传感器的输入组合，发送到电子装置18内部的处理单元、电子装置19内部的处理单元和/或中央处理和存储单元20以用于分析以及确定是否

关注对象是否处于相机的适当视野内和/或适当焦点范围内。分析的结果可使用电子装置18中可用的反馈机制中的一个传达到用户，所述反馈机制包含但不限于触觉反馈、使用一个或多个LED或显示器的视觉反馈和/或音频反馈。

在本公开的一些其它实施例中，电子装置18可在无任何用户干预的情况下捕获一个或多个图像。电子装置18可连续地、周期性地或以其它方式独立于任何食物摄入事件而捕获静态或流媒体图像。或者，电子装置18可在食物摄入事件时间前后或期间仅启用其相机模块中的一个或多个。举例来说，电子装置可在已检测到食物摄入事件的开始之后且在已检测到食物摄入事件的结束之前仅启用其相机模块中的一个或多个且捕获一个或多个图像。其可使用其相机模块中的一个或多个捕获全部食物品目或菜肴的更多图像中的一个，或一个或多个食物品目或菜肴的一部分的图像。

在一些实施例中，一个相机可用于捕获盘子、桌子或其它固定表面上的食物品目的一个或多个图像，且第二相机可用于捕获用户握持的食物品目(例如小食或饮品)的一个或多个图像。在不需要用户干预且单个相机的位置、可视区域或焦点范围不适合捕获所有可能的用餐情境的情况下，多于一个相机的使用可能合乎需要。

在一个实例实施例中，相机的位置、定向和视角使得有可能在无任何用户干预的情况下进行图像或视频捕获。在此类实施例中，可佩戴装置可使用各种技术来确定图像或视频流捕获的适当定时，使得其可捕获到在消耗的食物或食物的一部分。其还可选择为此目的而捕获多个图像或视频流。用以确定适当定时的技术可包含但不限于以下：近程感测、加速度或运动(或其不存在)的感测、位置信息。此类传感器信息可单独使用或与模式识别或数据分析技术结合(或两者的组合)以预测图像或视频捕获的最佳定时。技术可包含但不限于基于机器学习的模型训练。

所捕获的静态和/或流媒体图像通常需要一些程度的处理。处理可包含但不限于压缩、删除、调整大小、过滤、图像编辑和计算机视觉技术以识别对象，例如特定食物或菜肴，或例如份量大小等特征。不论相机模块或多个相机模块是否在电子装置18内部，可用于处理来自相机模块或多个相机模块的静态或流媒体图像的处理单元包含但不限于：电子装置18内部的处理单元、电子装置19内部的处理单元和/或中央处理和存储单元20，所述中央处理和存储单元可驻存在与使用电子装置之处的相同位置，或者可驻存在远程位置处(例如在云服务器中)，在此情况下可通过互联网接入所述中央处理和存储单元。图像处理还可分布在以上提及的处理单元的组合当中。

本地处理的实例可包含但不限于：选择多个图像中的一个或多个静态图像或一个或多个视频流、压缩图像或视频流、对一个或多个图像或视频流应用计算机视觉算法。

本地处理可包含压缩。在压缩的情况下，压缩图像可作为时间关键事务的部分被发送，而其未压缩版本可保存以供稍后发送。

可出于一个或多个目的而分析和/或比较一个或多个静态或流媒体图像，所述目的包含但不限于检测食物摄入事件的开始和/或结束、识别食物品目、识别食物内容、识别或推导营养信息、估计份量大小和推断某些进食行为和进食模式。

作为一个实例，计算机视觉技术，任选地与其它图像操控技术组合，可用于识别食物种类、具体食物品目和/或估计份量大小。或者，可使用土耳其机器人处理方法或其它众包方法手动分析图像。一旦已识别食物种类和/或具体食物品目，此信息就可用于从一个或多个食物/营养数据库检索营养信息。

作为另一实例，可从分析和比较在食物摄入事件过程期间的不同时间捕获到的多个图像来推断关于用户进食或饮用速度的信息。作为又一实例，图像，任选地与其它传感器信息组合，可用于区分桌餐与小食或点心。作为又一实例，对在食物摄入事件开始时获取的一个图像和在食物摄入事件结束时获取的另一图像的分析可提供关于实际消耗的食物量的信息。

在本公开的优选实施例中，电子装置18戴在腕部、手臂或手指上，且具有允许产生反馈到电子装置的用户或佩戴者的一个或多个刺激单元和/或用户接口。在本公开的不同实施例中，电子装置18可实施为可附着于人体或可内嵌于衣物中的可佩戴小片。

反馈通常包含关于食物或食物摄入的反馈。反馈方法可包含但不限于触觉反馈、使用LED或显示器的视觉反馈或音频反馈。在一个此类实施例中，电子装置18可具有触觉接口，所述触觉接口在检测到食物摄入事件的开始和/或结束时振动一次或多次。在另一实施例中，电子装置18可具有触觉接口，所述触觉接口在跟踪和处理子系统识别出装置佩戴者正消耗食物且呈现进食过快、过慢或过多等超出某些编程阈值的进食行为时振动一次或多次。或者，触觉接口可在食物摄入事件期间在与任何特定进食行为无关的情况下振动一次或多次，以例如提醒佩戴者食物摄入事件在发生的实情和/或改善当下感知和促进正念进食。其它反馈方法也是可能的，且不同度量或基准可用于触发此类反馈方法的启用。

在本公开的不同实施例中，通过与电子装置18分开的装置将反馈提供给用户。用以提供反馈给用户所需的一个或多个刺激单元和/或用户接口可在电子装置18外部。举例来说，一个或多个刺激单元和/或用户接口可在电子装置19内部，且电子装置19内部的所述刺激单元和/或用户接口中的一个或多个可用于提供反馈来替代或补充电子装置18所提供的反馈。实例可包含但不限于电子装置19的显示器上示出的消息或内嵌于电子装置19内部的音频子系统所发布的声音告警。

或者，可通过与电子装置18和电子装置19两者分开但能够至少直接或间接地从那些装置中的至少一个接收数据的装置提供反馈。

除了或替代在食物摄入事件时间前后或期间提供的反馈，图2或图3的系统还可提供可横跨多个食物摄入事件或可与特定食物摄入事件或食物摄入事件集无关的反馈。此类反馈的实例可包含但不限于食物内容和营养信息、历史数据概述、较长时间段中的一个或多个所跟踪参数的概述、一个或多个所跟踪参数的进展、个性化膳食指导和建议、对比具有类似概况的同龄人或其他用户而对一个或多个所跟踪参数进行的基准测试。

在本公开的一个特定实施例中，电子装置218是戴在用户的惯用手的腕部或手臂上的呈手环或腕带形态的可佩戴装置。电子装置219是移动电话，且中央处理和存储单元220是位于远程位置的一个或多个计算服务器和数据存储装置。

根据本发明的各方面的可佩戴手环或腕带的一个可能实施方案在图7中示出。可佩戴装置770可任选地使用模块化设计实施，其中个别模块包含组件和总体功能的一个或多个子集。用户可选择基于个人偏好和需求添加特定模块。

可佩戴装置770可包含处理器、程序代码存储器和存储在其中的程序代码(软件)和/或内部电子装置219以任选地允许用户定制可佩戴装置770的功能子集。

可佩戴装置770依赖电池769和电源管理单元(“PMU”)760以适当电源电压电平将电力递送到所有电子电路和组件。电源管理单元760还可包含电池再充电电路。电源管理单元760还可包含开关等硬件，其允许供给特定电子件电路和组件的电力在不使用时被切断。

当不存在正进行的行为事件时，可佩戴装置770中的大多数电路和组件断开以节约电力。可仅使检测或帮助预测行为事件开始所需的的电路和组件保持启动。举例来说，如果不检测运动，那么除了加速度计外的所有传感器电路可断开，且加速度计可置于低功率运动唤醒模式，或置于另一较低功率模式，此模式消耗比其高性能作用中模式低的功率。处理单元也可置于低功率模式以节约电力。当检测运动或某一运动模式时，加速度计和/或处理单元可切换为较高功率模式，且还可启动额外传感器，例如陀螺仪和/或近程传感器。当检测到可能的事件开始时，可初始化用于存储事件特异性参数的存储器变量，例如姿势类型、姿势时长等。

在另一实例中，在检测到运动后，加速度计切换为较高功率模式，但其它传感器在来自加速度计的数据指示行为事件的开始很可能已发生之前保持断开。在那个时刻，可启动陀螺仪和近程传感器等额外传感器。

在另一实例中，当不存在正在进行的行为事件时，启动加速度计和陀螺仪两者，但将加速度计或陀螺仪中的至少一个置于相比于其常规功率模式较低的功率模式。举例来说，可减小取样率以节约电力。类似地，将数据从电子装置218传送到电子装置219所需的电路可置于较低功率模式。举例来说，可完全停用无线电电路764。类似地，将数据从电子装置218传送到电子装置219所需的电路可置于较低功率模式。举例来说，其可完全停用，直到确定可能的或很可能的行为事件开始为止。或者，其可保持启动但处于低功率状态以维持电子装置218与电子装置219之间的连接，但不传送传感器数据。

在又一实例中，在基于某些元数据确定不大可能发生食物摄入事件等特定行为事件的情况下，包含加速度计在内的所有运动检测相关电路可断开。这可例如合乎需要以进一步节约电力。用于作出此确定的元数据可尤其包含以下中的一个或多个：当日时间、位置、环境光级、近程感测，以及可佩戴装置770已从腕部或手去除的检测、可佩戴装置770正在充电的检测。元数据可在可佩戴装置770内部产生和收集。或者，元数据可在移动电话内部或另一装置内部收集，所述另一装置在可佩戴装置770外部且在移动电话外部，且可直接或间接与移动电话和/或可佩戴装置770交换信息。还可能在可佩戴装置770内部产生和收集元数据中的一些，而其它元数据在可佩戴装置770外部的装置中产生和收集。在元数据中的一些或全部在可佩戴装置770外部产生和收集的情况下，可佩戴装置770可周期性地或不时地使其无线电电路764上电以从移动电话或其它外部装置检索元数据相关信息。

在本发明的又一实施例中，在某些元数据指示很可能发生例如食物摄入事件等特定行为事件的情况下，传感器中的一些或全部可接通或置于较高功率模式。用于作出此确定的元数据可尤其包含以下中的一个或多个：当日时间、位置、环境光级和近程感测。元数据中的一些或全部可在移动电话内部或另一装置内部收集，所述另一装置在可佩戴装置770外部且在移动电话外部，且可直接或间接与移动电话和/或可佩戴装置770交换信息。在元数据中的一些或全部在可佩戴装置770外部产生和收集的情况下，可佩戴装置770可周期性地或不时地使其无线电电路764上电以从移动电话或其它外部装置检索元数据相关信息。

食物摄入事件等行为事件的开始的检测可通过可佩戴装置770上的或可佩戴装置770连接的移动电话上的可用用户接口中的一个用信号发送到用户。作为一个实例，可佩戴装置770内部的触觉接口761可用于此目的。也可能有其它发信号的方法。

食物摄入事件等行为事件的开始的检测可触发传感器中的一些或全部，使其置于或保持在高功率模式或作用中模式以针对食物摄入事件的部分或全部跟踪用户进食行为的某些方面。一个或多个传感器可在已检测到实际的或可能的行为事件结束(认为的行为事件结束)时或之后某时掉电或置于较低功率模式。或者，还可能在固定或可编程时间段之后使一个或多个传感器掉电或置于较低功率模式。

用于跟踪用户进食行为等用户行为的某些方面的传感器数据可本地存储在可佩戴装置770的存储器766内部，且使用可佩戴装置770内部的处理单元767进行本地处理。传感器数据还可使用无线电电路764传送到移动电话或远程计算服务器以供进一步处理和分析。还可能在可佩戴装置770内部本地完成一些处理和分析，且在移动电话上或在远程计算服务器上完成其它处理和分析。

对食物摄入事件的开始等行为事件的开始的检测可触发例如相机模块751等额外传感器和电路的上电和/或启用。额外传感器和电路的上电和/或启用可与食物摄入事件的开始的检测同时发生或在稍后某时发生。特定传感器和电路可仅在需要时在食物摄入事件期间的特定时间接通，且另外可断开以节约电力。

还可能的是，相机模块仅在例如推动和按住按钮759等明确的用户干预后才上电或启用。松开按钮可再次关断相机模块以节约电力。

当相机模块751上电时，还可启动投射光源752以向用户提供关于相机视野内的区域的视觉反馈。或者，可仅在已启用相机模块之后某时才启用投射光源752。在某些情况下，在启用投射光源752之前可能需要满足额外条件。此类条件可尤其包含：确定投射光源752很可能在关注对象的方向上对准，或确定可佩戴装置752并未过度移动。

在一个特定实施方案中，部分按压可佩戴装置770上的按钮759可使相机模块751和投射光源752上电。进一步按压按钮759可触发相机模块751获取一个或多个静态图像或一个或多个流媒体图像。在某些情况下，进一步按压按钮759可在图像捕获之前或与之同时触发投射光源752的停用、亮度修改、色彩修改或模式修改。松开按钮759可触发投射光源752和/或相机模块751的停用和/或掉电。

图像可标记有额外信息或元数据，例如相机焦点信息、来自近程传感器756的近程信息、来自环境光传感器757的环境光级信息、定时信息等。可在食物摄入数据的处理和分析期间使用此类额外信息或元数据。

各种光模式是可能的，且可以各种方式形成。举例来说，其可包含镜子或机构来反射投射光源752，使得投射光源752产生一个或多个光线，大概示出特定区域的中心或边界，所述区域例如十字形、L形、圆形、矩形、框定视场或以其它方式向用户给出关于视场的视觉反馈的多个点或线。

一个或多个发光二极管(LED)可用作投射光源752。所述模式的可见光可尤其供用户用于调整相机的位置、调整关注对象的位置和/或移除阻挡关注对象与相机之间的瞄准线的任何对象。

投射光源752还可用于向用户传达其它信息。举例来说，电子装置可以使用来自一个或多个近程传感器的输入，处理那些输入以确定相机是否处于与关注对象的适当距离范围内，且使用一个或多个光源向用户传达相机处于适当距离范围内、用户需要增大相机与关注对象之间的距离或用户需要减小相机与关注对象之间的距离。

光源还可结合环境光传感器用于向用户传达：环境光对于优等质量的图像捕获来说是不充足还是过于强烈。

光源还可用于传达包含但不限于低电池电量情形或功能缺陷的信息。

光源还可用于传达膳食指导信息。举例来说，光源可尤其指示自前一食物摄入事件起经过的时间是不足还是过长，或可向用户传达他/她特定的膳食目标完成得如何。

使用一个或多个投射光源传达特定消息的发信号机制可包含但不限于以下中的一个或多个：特定光强度或光强度模式、特定光色或光色模式、特定空间或时间光模式。多个机制还可组合以用信号发送一个特定消息。

麦克风758可由用户用以将特定或自定义标记或消息添加到食物摄入事件和/或图像。音频片段可通过语音识别引擎处理。

在某些实施例中，除跟踪与食物摄入和/或进食行为直接相关的至少一个参数之外，可能与其它传感器组合的加速度计还可用于跟踪不与食物摄入直接相关的一个或多个参数。此类参数可尤其包含活动、睡眠或紧张。

在不同的实施例中，电子装置218可能没有任何内置任何图像捕获能力。电子装置218可以是可佩戴装置，例如戴在手臂或腕部上的手环或腕带，或戴在手指上的指环。电子装置219可以是移动电话，且中央处理和存储单元220可以是位于远程位置的一个或多个计算服务器和数据存储装置。

在此类实施例中，食物摄入跟踪和反馈系统可能不使用图像提取关于食物摄入和/或进食行为的信息。或者，食物摄入跟踪和反馈系统可利用其它装置内部可用的图像捕获能力，所述其它装置例如电子装置219或者电子装置218外部的电子装置。

在检测或预测到食物摄入事件的开始后，电子装置218可发送信号到电子装置219，或发送到以其它方式容纳图像捕获能力的电子装置，以指示食物摄入事件实际的、可能的或即将发生的开始已发生。这可触发电子装置219或以其它方式容纳图像捕获能力的电子装置进入某一模式，此模式将允许用户以至少比所述装置的默认模式或备用模式少一个的用户步骤捕获图像。

举例来说，如果图像捕获能力容纳于电子装置219内且电子装置219是移动电话、平板电脑或类似的移动装置，那么电子装置218可发送一个或多个信号到安装在电子装置219上的软件以指示食物摄入事件实际的、可能的或即将发生的开始。在接收到此类信号或多个信号后，电子装置219上的软件可尤其采取以下举措中的一个或多个：解锁电子装置219的屏幕；打开与食物摄入和反馈子系统相关的移动应用程序；启用电子装置219的相机模式；推送通知到电子装置219的显示器以帮助用户进行图像捕获；发送消息到电子装置218以警示、提醒和/或帮助用户进行图像捕获。

在通过电子装置219或以其它方式容纳图像捕获能力的电子装置进行图像捕获之后，电子装置219或以其它方式容纳图像捕获能力的电子装置可向用户给出视觉反馈。视觉反馈的实例可包含示出建议的份量大小的图案、形状或覆盖图，或以一种或多种色彩着色和/或具有一个或多个亮度级来指示食物的健康程度的图案、形状或覆盖图。其它实例也是可能的。

本公开中呈现的食物摄入跟踪和反馈系统的一个或多个组件可介接到胰岛素疗法系统或与之集成。在一个特定实例中，在检测到食物摄入事件的开始后，反馈可发送到佩戴者以提醒他或她进行葡萄糖水平测量和/或施予适当胰岛素剂量。在食物摄入事件的过程中可发送一个或多个额外提醒。

本公开中所描述的食物摄入跟踪和反馈系统或其组件还可由诊断患有I型或II型糖尿病的患者使用。举例来说，本公开中所描述的组件可用于自动检测个人何时开始进食或饮用。食物摄入事件开始的检测可用于在食物摄入事件开始或接近开始时发送消息到佩戴者以提醒他或她的进行葡萄糖水平测量和/或施予适当胰岛素剂量。消息传递可以是自动和独立的。或者，所述系统可与健康系统或保健维护和提醒系统集成。在被告知已检测到食物摄入事件的开始后，健康系统或保健维护和提醒系统可发送消息到佩戴者。健康系统或保健维护和提醒系统可接收关于食物摄入事件的额外信息，例如咬食或啜饮次数、消耗的食物的估计量、用餐时长、进食速度等。健康系统或保健维护和提醒系统可基于所述额外信息而在食物摄入事件期间或之后发送额外消息到佩戴者。

在另一实例中，关于食物摄入内容的特定信息可用作输入，可能与一个或多个其它输入组合以计算待施予的适当胰岛素剂量。关于食物摄入内容的信息可尤其包含以下中的一个或多个：碳水化合物量、糖量、脂肪量、份量大小和分子食物类别，例如固体或液体。实时、近实时以及历史信息相关的食物摄入以及进食模式和行为可包含为用于计算胰岛素剂量的输入或参数。

可用作用于计算胰岛素剂量的算法的输入或参数的其它输入可尤其包含以下中的一个或多个：年龄、性别、体重、历史和实时血糖含量、历史和实时活动、睡眠和紧张程度、生命体征信息或指示个体生理或情绪健康的其它信息。

胰岛素剂量的计算可通过用户完全手动地完成，通过闭环胰岛素疗法系统完全自主地完成，或半自主地完成，其中所述计算中的一些或全部由胰岛素疗法系统完成，但仍需要一些用户干预。用户干预可尤其包含启用胰岛素疗法计算单元、确认剂量、在用户检测或识别到异常的情况下干预或暂停胰岛素递送。

在一个特定实施例中，在检测到食物摄入事件实际的、可能的或即将发生的开始后，除了或替代发送通知到用户，本文所描述的食物摄入跟踪和反馈系统还可发送一个或多个通知到用户的一个或多个看护者。

用户可在食物摄入事件开始后(任选地由来自系统或他的一个看护者的通知或信号提示)获取食物或餐食的一个或多个图像给一个或多个看护者。看护者可分析图像且将关于食物内容的信息发送回到用户。信息可尤其包含例如碳水化合物、糖或油脂等某些主要养分含量的估计、卡路里值的估计、对份量大小的建议。

在用户接受胰岛素疗法的情况下，血糖含量读数等额外信息也可发送到看护者，由看护者提供回到用户的信息还可包含对要施予的胰岛素剂量的建议和应何时施予此胰岛素剂量的定时。在某些实施方案中，看护者可能不是人而是人工智能系统。

在本文所描述的各种系统中，准确确定姿势信息可能较重要。举例来说，区别说话关联的姿势与指示进食事件时段开始的姿势将是有用的。一些姿势可能易于检测，例如行走时摆动手臂的姿势，且因此测量速度和步数，但其它姿势可能较难测量，例如确定用户何时吃一口食物、喝一口饮品、咬其指甲等。后者可适用于评定预兆行为。举例来说，设想健康维护和提醒系统检测到咬指甲姿势之后五到十分钟接着发生与紧张进食相关联的姿势的模式。用户可对其健康维护和提醒系统进行编程以在咬指甲之后两分钟给其发信号，使得用户开始察觉且与其原本不被注意的行为更合拍。为了实现这一点，姿势检测应准确和可靠。在比如可佩戴手环中的加速度计的移动与紧张进食之间不存在简单相关性的情况下，这可能是个问题。其部分原因是：健康维护和提醒系统的关注姿势不大容易从简单的传感器读数中得出。

能够确定用户是在吃一口食物还是喝一口饮品以及能够区分咬食与啜饮可用于提供适当体重管理指导。举例来说，体重管理监测和提醒系统可根据姿势监测用户的食物摄入事件。体重管理监测提醒系统可另外根据姿势监测用户的流体摄入事件。研究表明，在用餐开始或接近开始时饮用足够的水且另外在整个用餐期间充分饮水会减少食物消耗且帮助减轻体重。用户、用户的指导者、用户的保健提供者或体重管理监测和提醒系统的提供商可对系统编程，使得其在用户未饮水的情况下开始进食时或在其检测到用户在整个用餐其间未充分饮水的情况下发送提醒。所述系统还可监测用户一整天的流体摄入，且被编程以在流体摄入量不符合当日特定时间的预配置量的情况下发送提醒。为了实现这一点，姿势检测应可靠和准确。在有必要区别具有许多类似性的姿势(例如区别进食姿势与饮用姿势)的情况下，这可能是个问题。

在本文所描述的各种实施例中，处理系统(包括程序代码、逻辑、硬件和/或软件等)接收由电子装置或其它元件基于用户活动而产生的传感器数据。传感器数据可表示特定时间的读数快照或可表示一段时间里的读数。传感器可为加速度计、陀螺仪、磁力计、温度计、照度计等等。根据传感器数据，处理系统使用存储的规则和内部数据(例如关于使用何种传感器以及过去使用历史的信息)来识别行为事件，其中行为事件是一系列姿势，且所述姿势根据具有开始时间、传感器读数和结束时间的传感器数据以及外部数据的逻辑布置而确定。所述行为事件可以是高层级事件，例如进餐等。

姿势边界(即，其开始和结束时间)的确定可使用本文所描述的方法进行确定。开始时间、传感器读数和结束时间的数据在本文中一起称为姿势包络。姿势包络还可包含锚点时间，其为限定与此姿势包络相关联的单个时间的数据元素。锚点时间可以是开始时间与结束时间之间的中间点，但可能根据一些基准基于姿势包络的传感器数据。锚点时间可能在开始时间到结束时间的时间跨度外部。每个姿势多个锚点时间也是可能的。

作为处理系统的部分(但还可以是单独的计算机系统且可能通过某种网络分隔开)的机器分类器根据姿势包络确定可能是什么类别的姿势产生此姿势包络的传感器数据以及姿势的细节。举例来说，机器分类器可输出：传感器数据指示或表明戴着包含传感器的手环的个人正在行走、吃东西或指着某事物。

利用此系统，如果可以准确辨别姿势，则健康维护和提醒系统(或使用姿势信息的其它系统)可对所作姿势作出准确响应。在下述实例中，存在连接到机器分类系统的一组传感器或至少来自一组传感器的输入，所述机器分类系统根据传感器读数、考虑了规则和从训练所述机器分类系统得出的存储数据而输出姿势数据。训练子系统可用于训练机器分类系统且由此形成从训练得出的存储数据。这些组件中的每个可使用不同硬件或共享的硬件，且可本地化和/或是远程的。总的来说，当检测到姿势时，系统可分析此姿势、确定很可能实际的、可能的或即将发生的活动且向用户提供关于那些活动的反馈。举例来说，作为反馈信号的振动指示用户先前设置系统以在用户已饮用达大于45分钟的半连续期时警示用户，或指示用户已达到其在一个时期中应完成的行走量目标。

图8是典型机器分类系统的说明性实例。图8的机器分类系统包含训练子系统801和检测器子系统802。在本公开的一些实施例中，机器分类系统可包含额外子系统或图8中所示的子系统的修改版本。训练子系统801使用训练数据输入803和标记804来训练所训练的分类器模型805。标记804可先由人手动指派或可先以自动或半自动方式产生。经过训练的分类器模型805接着用在检测器子系统802中以产生对应于新的未标记数据输入的分类输出806。

存储的传感器数据包含时间分量。原始传感器读数标记有其读取时间。原始传感器数据可从加速度计、陀螺仪、磁力计、温度计、气压计、湿度传感器、ECG传感器等等获取，且时间数据可来自其它源。时间源的其它实例可以是音频、语音或视频录像。

分别在图9和图10中示出根据本公开的至少一个实施例的训练子系统801和检测器子系统802的说明性实例。时间训练数据907和标记912被馈送到图8的分类器训练子系统。

如在本文实例中所解释，处理原始传感器数据以识别大特征事件(macrosignature event)。大特征事件可界定包括一段时间中的传感器数据的姿势。检测器子系统或其它系统可产生姿势包络数据集，其包括开始时间、结束时间、一个或多个锚点时间、元数据和传感器数据，所述传感器数据发生在所述姿势的从开始时间到结束时间的时间包络内。

举例来说，就姿势识别问题而论，姿势包络检测器可识别原始时间数据中指示可能姿势的特定时间片段。姿势包络检测器还产生指定姿势内的相关时间或时间片段的时间包络。时间包络中包含的信息可尤其包含姿势的开始时间、姿势的结束时间、姿势内指定相关姿势子片段的时间、姿势内指定相关姿势锚点时间(点)和可能其它元数据的时间，以及来自姿势的时间包络内的原始传感器数据。

作为其它元数据的实例，设想历史模式表明佩戴者在特定电话号码的电话呼叫之后会有一个进食时期。电子装置可将此状态发信号给佩戴者以清醒意识到此模式，这可在佩戴者如此决定的情况下帮助改变行为。

时间训练数据907被馈送到姿势包络检测器908。姿势包络检测器908处理时间训练数据907且从时间训练数据907中识别姿势909和对应的姿势时间包络的可能时刻。时间训练数据907可包括运动传感器数据，且姿势包络检测器908可处理运动传感器数据且基于俯仰角的改变而识别姿势909。在一个实施例中，姿势包络检测器908可基于检测到俯仰角上升到高于指定值而检测到姿势的开始，且基于俯仰角下降到低于指定值而检测到事件的结束。其它开始和结束基准也是可能的。可由姿势包络检测器908检测且由姿势时间包络指定的锚点实例可以是姿势片段内俯仰角达到最大值时的时间。其它锚点实例也是可能的。

姿势包络检测器908可添加额外基准以进一步将所述片段鉴定为有效姿势。举例来说，可针对片段内的峰值俯仰角或平均俯仰角指定阈值。在另一实例中，可针对整个片段时长或针对整个片段内的子片段的时长指定最小和/或最大限值。其它基准也是可能的。可使用迟滞来减小对噪声抖动的灵敏性。

在本公开的其它实施例中，姿势包络检测器908可监测从提供时间训练数据907的输入得出的其它度量，且使用那些度量来检测姿势。其它度量的实例包含但不限于横转角度、侧转、运动传感器数据的一阶或高阶导数或一阶或高阶积分。时间数据可以是或可包含除运动传感器数据外的数据。在本公开的一些实施例中，姿势包络检测器908可监测和使用多个度量来检测姿势或指定姿势时间包络。

姿势909连同姿势时间包络信息一起与时间训练数据907组合后被馈送到特征产生器模块910。特征产生器模块910使用来自时间训练数据907、姿势时间包络的信息或来自时间训练数据907和姿势时间包络的信息的组合计算一个或多个姿势特征。在本公开的一些实施例中，特征产生器模块910根据某一时间片段内或整个时间片段中的时间训练数据907计算一个或多个姿势特征，所述时间片段处于所述姿势时间包络中。还可能的是，特征产生器模块910根据某一时间片段内或整个时间片段中的时间训练数据907计算一个或多个姿势特征，所述时间片段不处于或仅部分处于所述姿势时间包络中但仍与所述姿势时间包络相关。实例可以是根据紧接在姿势时间包络开始前的时段中或紧接在姿势时间包络结束后的时段中的时间训练数据907计算的姿势特征。

在一些实施例中，特征产生器模块910可在不使用时间训练数据907的情况下直接基于姿势时间包络信息产生一个或多个特征。此类特征的实例可包含但不限于姿势时间包络的总时长、自上一个姿势起流逝的时间、下一姿势发生前的时间或整个姿势时间包络或事件时间包络内的特定子片段的时长。

在一个实施例中，时间训练数据907可以是运动传感器数据，且特征可包含对姿势时间包络内部或前后的一个或多个子片段内或整个子片段中计算的俯仰、横转和/或侧转角度的读取。特征还可包含在姿势时间包络内部或前后的一个或多个子片段内或整个子片段中计算的各种运动传感器数据输入的最小值、最大值、均值、方差、一阶或高阶导数、一阶或高阶积分。特征还可包含在姿势时间包络内部或前后的一个或多个子片段内或整个子片段中计算的沿着特定传感器轴线或在特定方向上行进的距离。其它特征也是可能的。

时间训练数据907可以是或可包含除运动传感器数据外的数据，例如来自本文所描述的传感器中的一个或多个的传感器信号。可基于姿势时间包络指定的时间点或时间片段选择子片段，特征产生器模块910在所述子片段内或在整个子片段中计算特征。还可基于来自多个姿势包络的时间点或时间片段选择子片段，所述多个姿势包络例如邻近姿势或可能并不邻近但也极为接近的姿势。

一些实施例可并行地或以其它方式使用多个姿势包络检测器。并行姿势包络检测器可对传感器数据的不同子集进行操作、可使用不同阈值或基准来鉴定姿势等。举例来说，在基于运动传感器数据输入的姿势识别情况下，一个姿势包络检测器可使用俯仰角，而第二并行姿势包络检测器可使用横转角。姿势包络检测器中的一个可以是主要姿势包络检测器，而一个或多个额外姿势包络检测器可充当辅助姿势包络检测器。特征产生逻辑可处理由主要姿势包络检测器产生的姿势，但可隐现使用来自从一个或多个辅助并行包络检测器获得的附近姿势(在时间上)的姿势时间包络的信息得出的特征。

训练数据可包括多个姿势包络数据集，其各自具有在测试环境中手动地或以某一其它方式提供的表示姿势的相关联标记(例如选自姿势标记列表)。此训练数据结合相关联标记可用于训练机器分类器，使得其可稍后处理未知姿势的姿势包络且确定最适当地匹配所述姿势包络的姿势标记。取决于所用的分类方法，可清除训练集，但另外可清除原始数据(非监督分类)或从中得出的一组特征，而另外可清除原始数据(监督分类)。

不论分类方法如何，针对每个标记限定适当数据边界对于分类器的性能来说较重要。限定适当数据边界可能在时间问题方面(即，由此数据输入中的至少一个具有与其相关联的时间维度)存在难度。这在时间维度是可变的或是动态的情况下以及与可变时间包络的特定片段有关或与整个可变时间包络有关的特征显著促进分类器性能的情况下尤其如此。

此类时间问题的一个实例是姿势识别，例如从原始运动传感器数据检测进食或饮用姿势。咬食或啜饮的时长可因人而异，且可取决于消耗的食物的用餐情境或细节。其它姿势识别问题的实例是与吸烟、牙齿卫生、咬指甲、掏鼻子、拽头发、手语等相关的手姿势的识别。在一些变化形式中，系统用在生产环境中以提高生产率。

特征产生逻辑还可产生从组合来自多个姿势包络检测器输出的输出而得出的特征。实例包含但不限于从主要姿势到来自并行的辅助姿势包络检测器的最接近的姿势流逝的时间。

特征产生器模块910的输出是具有对应的时间包络和特征的一组姿势911。在姿势911可馈送到分类器训练模块915之前，来自训练数据集的标记912需要映射到其对应的姿势。此映射操作由标记映射器模块913执行。

在一些实施例中，与标记912相关联的时间戳始终处于其对应姿势的时间包络内。在这种情况下，标记映射器模块913的逻辑可以是查找法，其中每个标记的时间戳与每个姿势时间包络的开始和结束时间相比较，且每个标记映射到其中标记的时间戳大于相应姿势时间包络的开始时间且小于相应姿势时间包络的结束时间的姿势。不存在对应标记的姿势可标记为“没有迹象”，指示其不对应于任何受关注标记。

然而，在本公开的其它实施例中，标记912的时间戳可能不会始终处于某一姿势时间包络内。这可归因于在标记过程期间遵循的步骤细节、与标记过程相关联的定时不确定性、实际原始数据输入的不可预测或变化性或姿势包络检测器逻辑的伪差。在此类情况下，可修改标记映射器以调整姿势包络的边界。

表征为特征和标记的姿势914可接着馈送到分类器训练模块915以产生可由检测器子系统使用的经过训练的统计模型。分类器训练模块915可使用统计模型，例如决策树模型、K最近邻算法模型、支持向量机模型、神经网络模型、逻辑回归模型或适于机器分类的其它模型。在其它变化形式中，如在图9中使用的数据的表结构和数据格式可变化，且可不同于图9中所示。

图10示出检测器子系统的说明性实例。如此处所示，未标记时间数据1017馈送到图10的检测器子系统。检测器子系统包含姿势包络检测器逻辑1018和特征产生器逻辑1020。功能上，检测器子系统所用的姿势包络检测器逻辑1018类似于其对应的训练子系统所用的姿势包络检测器逻辑。同样地，检测器子系统的特征产生器逻辑1020在功能上类似于其对应的训练子系统的特征产生器模块910。在一些实施例中，姿势包络检测器逻辑1018可监测和使用多个度量来检测姿势或指定姿势时间包络。

然而，姿势包络检测器逻辑1018和特征产生器逻辑1020的实施可在训练子系统和其对应的检测器子系统中有所不同。举例来说，检测器子系统可实施在功率更受约束的硬件上，在此情况下，姿势包络检测器逻辑1018，相比于其用在对应训练子系统中的对应部分，可能需要进行优化以供较低功率操作。与训练系统相比，检测器子系统还可能具有更严格的时延要求。在这种情况下，用在检测器子系统中的姿势包络检测器逻辑1018，与其用在对应训练子系统中的对应部分相比，可能需要针对较低时延进行设计和实施。

特征产生器逻辑1020的输出馈送到特征产生器逻辑1020，其基于来自其对应的训练子系统的经过训练的分类器模块对姿势进行分类。分类输出可包含一个或多个标记。任选地，检测器1022还可给每个标记指派置信级。

在另一实施例中，进入分类系统的输入可包含时间和非时间数据的组合。图11是根据本公开的至少一个实施例的训练子系统的说明性实例，其中至少一些数据输入是时间性的，且至少一些数据输入是非时间性的。其它实施方案也是可能的。

非时间训练数据1129不需要通过姿势包络检测器1125和特征产生器逻辑1127进行处理。非时间训练数据1129可连同标记1131一起直接馈送到标记映射器逻辑1132中。在一些实施例中，非时间训练数据可通过单独的特征产生器模块、非时间特征产生器模块1130处理以提取特定的非时间受关注特征，所述特征接着馈送到标记映射器逻辑1132中。标记映射器逻辑1132可使用与本文已描述的将标记映射到姿势的方法类似的方法将标记1131连同附于标记的非时间特征1136一起指派到姿势。

图12是根据本公开的至少一个实施例的分类检测器子系统的说明性实例，其中至少一些数据输入是时间性的，且至少一些数据输入是非时间性的。

在本公开的又一实施例中，深度学习算法可用于机器分类。使用深度学习算法的分类有时称为非监督分类。通过非监督分类，深度学习统计算法基于直接处理数据来执行分类任务，由此消除对特征产生步骤的需要。

图13示出根据本公开的至少一个实施例的分类器训练子系统的说明性实例，其中分类器训练模块基于用于非监督分类的深度学习统计算法。

姿势包络检测器1349根据时间训练数据1348计算具有对应的姿势时间包络的姿势1350。数据分段器1351基于姿势时间包络中的信息将适当数据段或多个数据段指派到每个姿势。举例来说，数据分段器1351可查看姿势时间包络中的开始和结束时间信息，且指派对应于整个姿势时长的一个或多个数据段。这仅是一个实例。可基于姿势时间包络限定的不同片段或子片段来选择数据段。还可基于在姿势时间包络外部但与所述姿势时间包络直接或间接相关的时间片段来选择数据段。实例可以是选择对应于紧接在姿势时间包络开始前的一段时间的数据段，或选择对应于紧接在姿势时间包络结束后的一段时间的数据段。在姿势时间包络外部但与所述姿势时间包络直接或间接相关的时间片段的其它实例也是可能的。

包含数据段、姿势时间包络信息和标记的姿势馈送到分类器训练模块1356。在本公开的一些实施例中，仅姿势时间包络信息的子集可馈送到分类器训练模块1356。在本公开的一些实施例中，可在姿势时间包络信息应用于分类器训练模块1356之前对其进行处理。一个实例可以是使姿势时间包络的时间基准与数据段的开始对准，而非与原始时间训练数据流的时基(time base)对准。其它实例也是可能的。通过添加进一步表征数据段的时间包络信息，可改进分类器训练模块的性能。

举例来说，在基于运动传感器数据输入进行进食姿势的姿势识别的情况下，将俯仰角、横转或侧转达到最大值或最小值的时间等额外锚点时间信息馈送到分类器训练模块中可改进所训练的分类器1357的性能，因为所训练的分类器1357可分析训练数据且寻找尤其是在所述锚点时间前后的特征和相关性。可馈送到分类器训练模块的时间包络信息的其它实例也是可能的。

图14示出根据本公开的至少一个实施例的可结合图13的分类训练子系统使用的分类检测器子系统的说明性实例。

在一些实施例中，可使用基于姿势包络检测的多个并行分类系统。图15中示出具有多个并行分类器的系统的实例。并行分类系统的数目可变化。每个分类系统1510、1512、1514具有其自身的训练和检测器子系统且对训练数据1502和标记1504输入的不同子集执行姿势包络检测以检测姿势，或可使用不同阈值或基准以鉴定姿势。因此，每个个别姿势包络检测器将产生各自具有不同姿势时间包络的姿势的独立集合。每个分类系统的特征产生器逻辑产生姿势的特征，所述姿势由其对应的姿势包络检测器逻辑产生。对于每个分类系统，所述特征可以不同。每个并行分类器所用的分类器模型可相同或不同，或一些可相同而其它的可不同。由于用于每个分类器模型的训练的姿势时间包络和特征不同，并行分类系统将产生不同分类输出1516、1518、1520。

每个分类系统的分类输出1516、1518、1520可馈送到分类器组合器子系统1522。分类器组合器子系统1522可对个别分类系统1510、1512、1514的分类输出1516、1518、1520进行组合且加权以产生单个总分类结果，组合分类输出1524。所述加权可以是静态或是动态的。举例来说，就姿势识别而论，某些分类器可能更擅长正确地预测一组人的姿势，而其它分类器可能更擅长正确地预测另一组人的姿势。分类器组合器子系统1522可针对不同用户或不同背景条件使用不同权值以改进整个分类器系集的性能。所训练的系统可接着用于处理未标记数据1506。

时间问题的其它实例包含但不限于自主驾驶、驾驶者警报系统(其在检测到危险交通状况时警示驾驶者)、驾驶者机警性检测、话音识别、视频分类(安保摄像头监控等)和天气模式识别。

忽略数据输入的时间性质以及与数据输入的时间包络有关的任何特征可能会限制分类器的性能，且在可靠检测取决于本质上与可变时间包络的片段或与整个可变时间包络有关的特征的情况下使分类器不适合分类任务。如果无法可靠地确定适当时间段，或在时间段因姿势而异、因人而异等情况下，可能会破坏性能和可用性。

如本文所描述，改进的方法利用可变时间包络调整时间问题，使得与整个可变时间包络或其片段相关的信息可被提取且包含在用于训练分类器的特征集中。所提出的改进方法改善性能且减小所需的训练数据量，因为特征可相对于可变时间包络的时间界限而限定，由此减小对时间和用户变化的灵敏性。

除寻找姿势的时间包络之外，系统还可寻找事件时间包络。在此类方法中，系统可确定姿势和姿势包络，但接着针对额外姿势进行同样的动作，且接着限定事件包络，例如进食事件的开始和结束。

图16示出包含交叉相关分析子系统的机器分类系统的实例。分类输出1602可馈送到交叉相关分析子系统1604。交叉相关分析子系统1604可基于一个或多个背景线索作出调整以提高准确性。在姿势识别的实例中，背景线索的实例可以是在时间上与其它预测姿势的接近度。举例来说，进食姿势往往在时间上集中在一起作为餐食或点心等进食活动的部分。作为一个实例，交叉相关分析子系统1604可基于置信级和与附近预测的接近程度而增大所预测姿势是进食姿势的置信级。

在另一实施例中，交叉相关分析子系统1604可将来自分类输出1602的个别预测姿势1614作为输入且可将个别预测姿势群集为预测活动1608。举例来说，交叉相关分析子系统1604可将多个咬食姿势映射到点心或餐食等进食活动。同样地，交叉相关分析子系统1604可将多个啜饮姿势映射到饮用活动。基于姿势群集的活动预测的其它实例也是可能的。交叉相关分析子系统1604可基于预测活动的时间间隔和序列而修改预测姿势的置信级。举例来说，交叉相关分析子系统1604在紧接在“刷牙”活动之后或在此期间检测到姿势的情况下可减小预测姿势是进食姿势的置信级。在另一实例中，交叉相关分析子系统1604在刷牙活动期间或紧接在其后检测到姿势的情况下可减小预测姿势是饮用姿势的置信级。在此情况下，交叉相关分析子系统1604可决定增大姿势是漱口姿势的置信级。

交叉相关分析子系统1604可基于历史信息1612或位置、日期和时间、其它生物计量输入、日历或电话拨打活动信息等其它非姿势元数据1610信息来调整预测姿势的分类输出。举例来说，交叉相关分析子系统1604可在GPS坐标指示个人在餐馆处的情况下增大预测姿势是进食姿势或预测活动是进食活动的置信级。在另一实例中，交叉相关分析子系统1604在预测姿势或预测活动发生在当日某时、而过去的行为对此指示用户通常在此时进食的情况下可增大预测姿势是进食姿势或预测活动是进食活动的置信级。在本公开的又一实例中，在预测姿势或预测活动在日历事件或电话拨打通话之前或之后的情况下，如果过去的行为指示用户通常在类似日历事件(例如与相同参加者一起、在某一位置、进行某些会议日程等)或电话拨打通话(例如来自特定电话号码)之前或之后进食，那么交叉相关分析子系统1604可增大预测姿势是进食姿势或预测活动是进食活动的置信级。尽管以上实例参考进食，但对于所属领域的技术人员显而易见的是，这还可应用于除进食外的姿势。在一般情况下，具有交叉相关分析子系统的机器分类器使用背景线索、历史信息和根据时间上的接近度感测的洞察来提高准确性，其中特定背景线索、历史信息和根据时间上的接近度感测的洞察以及如何加以应用由本文公开或提出的方法确定。

在本公开的一些实施例中，分类输出1602可包含额外特征或姿势时间包络信息。交叉相关分析子系统1604可处理此类额外特征或姿势时间包络信息以确定或提取姿势或活动的额外特性。举例来说，在本公开的一个实施例中，交叉相关分析子系统1604从姿势时间包络得出饮用姿势的估计时长，且此信息可由交叉相关分析子系统1604或由机器分类器系统外部的一个或多个系统用来估计与所述饮用姿势相关联的流体摄入。

在另一实施例中，交叉相关分析子系统1604可从姿势时间包络得出进食姿势的估计时长，且此信息可由交叉相关分析子系统1604或由机器分类器系统外部的一个或多个系统用来估计与进食姿势相关联的一口量。交叉相关分析子系统1604可将预测的饮用姿势与其它传感器数据组合以更准确地预测某人是否在消耗含有酒精的饮品且估计消耗的酒精量。其它传感器数据的实例可包含但不限于测量手的振动、心率、语音分析、皮肤温度、测量血液、呼吸化学性质或人体化学性质。

检测器子系统1600可预测特定的进食或饮用方法，且交叉相关分析子系统1604可将从检测器子系统1600获得的关于进食或饮用方法细节的信息与额外元数据组合以估计食物内容、健康度或卡路里摄入。进食/饮用方法的实例可包含但不限于用餐叉进食、用餐刀进食、用勺子进食、用手指进食、从玻璃杯饮用、从杯盅饮用、从吸管饮用等。元数据的实例可包含但不限于当日时间、位置、环境或社会因素。

连接性用语，例如“A、B、和C中的至少一个”或“A、B和C中的至少一个”形式的短语，除非另有特定说明或另外明显与上下文相矛盾，否则结合如所用的上下文一般理解为品目、术语等可以是A或B或C；或A和B和C的集合的任何非空子集。例如，在具有三个成员的集合的说明性实例中，连接短语“A、B、和C中的至少一个”和“A、B和C中的至少一个”是指以下集合中的任一个：{A}、{B}、{C}、{A，B}、{A，C}、{B，C}、{A，B，C}。因此，此类连接性用于一般并非旨在暗示某些实施例要求至少一个A、至少一个B和至少一个C均要存在。

除非在此另有说明或另外明显与上下文相矛盾，否则本文中所描述的方法的操作可以任何合适的次序执行。本文所描述的方法(或变化形式和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，且可实施为由硬件或其组合在一个或多个处理器上共同执行的代码(例如可执行指令、一个或多个计算机程序或一个或多个应用程序)。所述代码可存储在计算机可读存储媒体上，例如呈计算机程序形式，所述计算机程序包括可由一个或多个处理器执行的多个指令。所述计算机可读存储媒体可以是非暂时性的。

除非另外要求，否则本文提供的任何和所有实例或示例性语言(如，“例如”)的使用仅在于更好地阐明本发明的实施例，且不对本发明的范围施加限制。本说明书中的任何语言都不应理解为指示任何未请求保护的要素对于实践本发明是必需的。

在阅读本公开之后，所属领域的技术人员可设想其它实施例。在其它实施例中，可有利地进行上文公开的发明的组合或子组合。出于说明的目的而示出组件的实例配置，且应理解，本发明的替代实施例中涵盖组合、添加、重新布置等等。因此，虽然本发明已相对于示例性实施例进行了描述，但所属领域的技术人员应认识到，许多修改是可能的。

举例来说，本文所描述的方法可使用硬件组件、软件组件和/或其任何组合来实施。因此，应在说明性意义上而非限制性意义上看待说明书和附图。然而，明显可在不脱离如权利要求书中阐述的本发明的广泛精神和范围的情况下对本发明进行各种修改和改变，且本发明旨在涵盖随附权利要求书的范围内的所有修改和等同方案。

本文中所引用的所有参考文献，包含公开案、专利申请和专利，特此以引用的方式并入本文中，其引用程度就如同每一参考文献单独地并且专门以引用的方式并入并在本文中整体阐述一般。