对操作员表现的自动评估

摘要

本发明的实施方案涉及评估体力活动的表现。评估引擎可收集包括与活动的表现相关联的信息的表现内容。所述评估引擎可采用分类器对所述表现内容进行分类以确定所述表现内容的特征的发生，并且对评估内容进行分类以确定与所述表现中包括的特征相关联的评分。所述评估引擎可基于历史表现内容、评估内容或评分来提供与所述表现相关联的相关性值。所述评估引擎可基于所述相关性值、所述表现内容、所述评估内容和所述评分来提供包括对所述表现的本地化评估的报告。在一些情况下，所述表现内容可包括所述表现的视频。

说明书

技术领域

本公开整体涉及对活动的表现的评估，并且更具体地但非排他性地涉及部署人工智能以评估和标准化与活动的表现相关联的评估内容。

背景技术

评估个体或个体的团队或群组的表现在许多医疗保健相关专业人士等中是有益的或需要的。例如，训练个体或群组进入一些医疗保健领域需要这些个体或群组经历与较长周期的该领域相关的活动，并且需要教师、培训人员、导师或已掌握该活动的其他个体(专家)来评估这些个体或群组。即使在较长的培训周期之后，某些医疗保健专业人士需要对个体或群组执行与该领域相关的某些活动的能力进行持续评估。在这些医疗保健专业人士中的一些中，专家观察和评估其他人的表现的可用性有限。此外，与评估其他人的表现的医疗保健专家相关联的成本可能过于昂贵。最后，即使克服了可用性和成本问题，专家同行审查(其通常是公开审查)也可能产生偏颇并且不准确的结果。

另外，这些医疗保健活动通常涉及高价值的努力，因此看似小的失败率可造成巨大的财力和人力损失。虽然人工教学、培训和指导可以大大改善这些领域的结果，但误差原因仍然可能无法被人工检测到。此外，即使人工能够检测潜在误差原因，但实际问题诸如优先考虑改进领域、说服从业者需要改进以及确定改进方法也带来了额外挑战。出于这些和其他考虑，提供了以下公开内容。

附图说明

图1是可实现本发明的实施方案的环境的系统图；

图2示出了可包括在诸如图1所示的系统中的客户端计算机的实施方案；

图3示出了可包括在系统诸如图1所示的系统中的网络计算机的实施方案；

图4示出了受权利要求书保护的实施方案的一个示例性实施方案；

图5示出了根据各种实施方案中的至少一个实施方案的句子拆分的一个示例性实施方案；

图6示出了由ATSC 110在一个实施方案中执行的评论分类的各种实施方案中的一个或多个实施方案；

图7示出了由ATSC 110在一个实施方案中执行的视频分类的各种实施方案中的一个或多个实施方案；

图8示出了根据各种实施方案中的至少一个实施方案的能够在“应用程序”或web浏览器中查看的简档页面；

图9示出了基于从评论提取的情绪极性的汇总来提供由审查员接收的反馈的过程的概览流程图；

图10示出了用于应用机器学习系统来分析活动视频的过程的概览流程图；

图11示出了用于将识别的步骤与正在执行的活动的预期步骤的时间线相关联的过程的概览流程图；

图12示出了根据各种实施方案中的一个或多个实施方案的用于对操作员表现的自动评估的系统的逻辑架构；

图13示出了根据各种实施方案中的一个或多个实施方案的用于对操作员表现的自动评估的系统的逻辑架构；

图14示出了根据各种实施方案中的一个或多个实施方案的用于提供与所执行的手术相关联的专家审查信息的用户界面的逻辑或功能表示；

图15示出了根据各种实施方案中的一个或多个实施方案的用于提供与所执行的手术相关联的专家审查信息的用户界面的逻辑或功能表示；并且

图16示出了根据各种实施方案中的一个或多个实施方案的用于表示所评估的手术的一个或多个部分或步骤的评估评分的数据模型的逻辑或功能表示。

具体实施方式

下文参考附图更完整地描述了各种实施方案，附图形成本发明的一部分，并且以例示的方式示出了可实践本发明的具体实施方案。然而，实施方案可具体表现为多种不同形式，并且不应将其理解为受限于本文所列出的实施方案；相反，提供这些实施方案是为了使本公开周密且完整的，并且将向本领域的技术人员完全传达这些实施方案的范围。除了别的以外，各种实施方案可以是方法、系统、介质或装置。因此，各种实施方案可以是完全硬件实施方案、完全软件实施方案或组合软件和硬件方面的实施方案。因此，以下具体实施方式不应为限制性的。

在整个说明书和权利要求书中，除非上下文另有明确规定，否则以下术语采用本文明确相关的含义。术语“本文”是指与本申请相关联的说明书、权利要求书和附图。如本文所用，短语“在一个实施方案中”不一定是指相同的实施方案，尽管它可以是相同的实施方案。此外，如本文所用，短语“在另一个实施方案中”不一定是指不同的实施方案，尽管它可以是不同的实施方案。因此，如下所述，在不脱离本发明的范围或精神的前提下，可以容易地组合本发明的各种实施方案。

此外，如本文所用，除非上下文另有明确规定，否则术语“或”是包含性的“或”运算符，并且等同于术语”和/或“。除非上下文另有明确规定，否则术语“基于”不是排他性的，并且允许基于未描述的附加因素。此外，在整个说明书中，“一个”、“一种”和“所述”的含义包括复数指代。“在......中”的含义包括“在......中”和“在......上”。

如本文所用，术语“受试者”可指任何人或多个人，以及一个或多个机器人、机器，或者任何其他自主或半自主设备、装置等，其中各种实施方案涉及对受试者的活动表现的评估。此外，如本文所用，术语“受试者活动”或“活动”可指任何活动，包括但不限于体力活动、脑力活动、机器和/或机器人活动，以及其他类型的活动，诸如书写、说话、制造活动、运动表现等。体力活动可由受试者执行或控制，其中各种实施方案涉及评估受试者对受试者活动的表现。本文所述的许多实施方案是指由人执行的活动，但实施方案不受此约束。因此，在其他实施方案中，活动由机器、机器人等执行。这些活动的表现还可通过本文所公开的各种实施方案来评估。

如本文所用，术语“表现内容”可指记录受试者对受试者活动的表现的任何数据。例如，内容可包括但不限于图像数据，包括静态图像数据和/或视频图像数据、音频数据、文本数据等。因此，内容可以是图像内容、视频内容、音频内容、文本内容等。

如本文所用，术语“专家审查员”可指通过专业化教育、经验和/或培训获得关于受试者活动的专业知识水平的个体。专家审查员可以有资格评估记录受试者活动的内容，并提供对受试者活动的需要专家级别判断的方面或领域的评估。专家审查员可以是受试者的同行，或者与受试者相比在受试者活动方面具有更高水平的经验和专业知识。专家审查员可以对受试者实名或者可以完全匿名。

如本文所用，术语“大众审查员”可为不具有或具有极少关于受试者活动的专业化教育、经验和/或培训的外行人员。大众审查员可以有资格评估记录受试者活动的内容，并提供对受试者活动的不需要专家级别判断的方面或领域的评估。大众审查员可由本文所述的实施方案训练以开发或增加他们在评估各种受试者表现中的经验。

如本文所用，术语“技术方面”或“技术领域”可指受试者活动的方面或领域，这些方面或领域可由大众审查员和/或专家审查员审查和评估。如本文所用，术语“非技术方面”或“非技术领域”可指受试者活动的需要专家级别判断来审查和评估的方面或领域。因此，专家审查员有资格审查和评估受试者活动的表现的非技术方面或领域。相比之下，大众审查员可能没有固有的资格审查和评估受试者活动的表现的非技术方面或领域。然而，实施方案不受此约束，并且大众审查员可有资格评估领域的非技术方面，诸如但不限于医患交互、医生对病人的态度等。如本文所用，术语“评估内容”是指对由审查员创建的对活动或子活动(例如，步骤)的评估。评估内容可在一个或多个审查员观察活动时实时创建，或者基于所记录的表现内容进行事后创建。评估内容可以是非结构化数据，诸如文本、语音口述等。评估内容可以包括一些结构化数据或半结构数据，例如基于表格的调查响应。另外，在一些实施方案中，评估内容可以是由被布置为测量或评估活动或子活动的一个或多个设备生成的机器。在一些情况下，评估内容可与时间点相关联，诸如从活动开始经过的时间量，使得评估内容的部分可稍后与在该时间点发生的活动或子活动相关联。

简而言之，实施方案涉及评估体力活动的表现。在各种实施方案中的一个或多个实施方案中，可采用一个或多个评估引擎来完成下文更详细描述的各种动作。

在所述各种实施方案中的一个或多个实施方案中，评估引擎可收集包括与一个或多个活动的一个或多个表现相关联的信息的表现内容。在一些实施方案中，收集所述表现内容可包括接收由一个或多个受试者执行的活动的视频流，以及基于所述视频流中包括的所述一个或多个表现来生成所述评估内容。

在所述各种实施方案中的一个或多个实施方案中，所述评估引擎可采用一个或多个分类器来对所述表现内容进行分类以确定所述表现内容的一个或多个特征的一次或多次发生，并且对评估内容进行分类以确定与所述一个或多个表现中包括的一个或多个特征相关联的一个或多个评分，使得所述评估内容包括与所述一个或多个活动的所述一个或多个表现的一个或多个特征相关联的信息。

在所述各种实施方案中的一个或多个实施方案中，提供与所述一个或多个表现相关联的一个或多个相关性值可包括：接收时间线，所述时间线限定包括所述一个或多个活动的一个或多个步骤；基于所述一个或多个步骤的发生来将所述一个或多个表现与所述时间线相关联；以及基于所述一个或多个表现与所述时间线的所述相关性来修改所述一个或多个分类器。

在所述各种实施方案中的一个或多个实施方案中，对所述评估内容进行分类可包括：对由不同源提供的非结构化内容进行分类；以及基于对所述非结构化内容的所述分类来进一步确定所述一个或多个评分。

在所述各种实施方案中的一个或多个实施方案中，所述评估引擎可基于历史表现内容、所述评估内容和所述评分来提供与所述一个或多个表现相关联的一个或多个相关性值。

在所述各种实施方案中的一个或多个实施方案中，所述评估引擎可基于所述相关性值、所述表现内容、所述评估内容和所述评分来提供包括对所述一个或多个表现的本地化评估的报告。

在所述各种实施方案中的一个或多个实施方案中，所述评估引擎可向可正在执行所述一个或多个活动的一个或多个受试者提供实时反馈。因此，可从所述一个或多个受试者收集与所述实时反馈相关联的一个或多个响应。

在所述各种实施方案中的一个或多个实施方案中，所述评估引擎可被布置为基于所述一个或多个相关性值来更新所述一个或多个分类器。

在所述各种实施方案中的一个或多个实施方案中，所述评估引擎可被布置为基于超过限定值的所述一个或多个评分来提取所述表现内容与所述评估内容相关联的一部分。因此，所述评估引擎可被布置为向分类处理引擎提供所述表现内容的所提取部分及其评估内容以用作训练数据。

图1示出了可实现本发明的实施方案的环境100的系统图。在不脱离本发明的实质或范围的情况下，可能并非所有的部件都需要实施各种实施方案，并且可对这些部件的布置和类型做出改变。如图所示，图1的系统100可包括评估工具服务器计算机(ATSC)110、元数据存储装置120、审查计算机102至107、记录计算机112至118、评估工具客户端计算机122和网络108。在各种实施方案中的至少一个实施方案中，上述计算装置中的一个或多个计算装置可使用一个或多个云网络中的一个或多个云实例来实现。因此，这些创新和实施方案不应理解为限于单个环境，还设想了其他配置和架构。

记录计算机112至118或评估工具客户端计算机122的各种实施方案被配置为与至少ATSC 110进行通信。在各种实施方案中，可使一个或多个记录计算机112至118或评估工具客户端计算机122能够捕获记录人力活动的内容。该内容可以是图像内容，包括但不限于视频内容。在至少一个实施方案中，该内容包括音频内容。在至少一些实施方案中，一个或多个记录计算机112至118可包括或包括在各种行业专用系统或专有系统中。例如，记录计算机112至118中的一个记录计算机以及存储装置可包括在外科机器人中，诸如但不限于来自Intuitive Surgical

在各种实施方案中的至少一个实施方案中，可使记录计算机112至118或评估工具客户端计算机122能够经由图像传感器、相机、麦克风等捕获记录人力活动的内容。可使记录计算机112至118或评估工具客户端计算机122能够与相机进行通信(例如，经由蓝牙或其他无线技术，或经由USB缆线或其他有线技术)。在一些实施方案中，记录计算机112至118中的至少一些记录计算机可通过有线和/或无线网络(包括网络108)操作，以与其他计算装置(包括审查计算机102至107和/或ATSC 110中的任一者)进行通信。

一般来讲，记录计算机112至118或评估工具客户端计算机122可包括能够通过网络进行通信以发送和/或接收信息、执行各种在线和/或离线活动等的计算装置。应当认识到，本文所述的实施方案不受所采用的记录计算机的数量或类型的约束，并且可采用比图1所示更多或更少的记录计算机和/或记录计算机的类型。至少一个记录计算机112至118可以是客户端计算机。

可作为记录计算机112至118或评估工具客户端计算机122操作的装置可包括通常使用有线和/或无线通信介质连接到网络或其他计算装置的各种计算装置。记录计算机112至118可包括移动装置、便携式计算机和/或非便携式计算机。非便携式计算机的示例可包括但不限于台式计算机、个人计算机、多处理器系统、基于微处理器或可编程电子装置、网络PC等，或组合前述装置中的一个或多个装置的功能的集成装置。便携式计算机的示例可包括但不限于膝上型计算机112。膝上型计算机112经由通用串行总线(USB)缆线或能够传输数据的一些其他(有线或无线)总线通信地耦接到相机。移动计算机的示例包括但不限于智能电话114、平板电脑、蜂窝电话、显示寻呼机、个人数字助理(PDA)、手持式计算机、可穿戴计算装置等，或组合前述装置中的一个或多个装置的功能的集成装置。记录计算机可包括联网计算机，诸如联网相机116。记录计算机还可包括或连接到用于执行正被捕获的手术的手术器械，例如手术器械118、

记录计算机112至118或评估工具客户端计算机122可访问和/或采用各种计算应用程序，以使用户能够执行各种在线和/或离线活动。此类活动可包括但不限于生成文档、收集/监测数据、捕获/操纵图像/视频、管理介质、管理财务信息、玩游戏、管理个人信息、浏览互联网等。在一些实施方案中，可使记录计算机112至118或评估工具客户端计算机122能够通过浏览器或其他基于web的应用程序连接到网络。

记录计算机112至118或评估工具客户端计算机122还可被配置为提供识别记录计算机的信息。此类识别信息可包括但不限于记录计算机的类型、能力、构型、名称等。在至少一个实施方案中，记录计算机可通过多种机制(诸如互联网协议(IP)地址、电话号码、移动识别号码(MIN)、介质访问控制(MAC)地址、电子序列号(ESN)或其他装置标识符)中的任一种机制来唯一地识别自身。

下文结合图2的客户端计算机200更详细地描述了审查计算机102至107的各种实施方案。简而言之，在一些实施方案中，审查计算机102至107中的至少一个审查计算机可被配置为与ATSC 110进行通信。在各种实施方案中，可使一个或多个审查计算机102至107能够访问、交互和/或查看(诸如通过web浏览器)来自ATSC 110的实况或记录的流内容。在各种实施方案中的至少一个实施方案中，可使审查计算机的用户能够评估由ATSC 110提供的内容。可使用户能够向ATSC 110提供书面或口头的评论。

一般来讲，记录计算机102至107可包括能够通过网络进行通信以发送和/或接收信息、执行各种在线和/或离线活动等的计算装置。应当认识到，本文所述的实施方案不受所采用的审查计算机的数量或类型的约束，并且可采用比图1所示更多或更少的审查计算机和/或审查计算机的类型。至少一个审查计算机102至107可以是客户端计算机。

可作为审查计算机102至107操作的装置可包括通常使用有线和/或无线通信介质连接到网络或其他计算装置的各种计算装置。审查计算机102至107可包括移动装置、便携式计算机和/或非便携式计算机。非便携式计算机的示例可包括但不限于台式计算机102、个人计算机、多处理器系统、基于微处理器或可编程电子装置、网络PC等，或组合前述装置中的一个或多个装置的功能的集成装置。便携式计算机的示例可包括但不限于膝上型计算机104。移动计算机的示例包括但不限于智能电话106、平板电脑107、蜂窝电话、显示寻呼机、个人数字助理(PDA)、手持式计算机、可穿戴计算装置等，或组合前述装置中的一个或多个装置的功能的集成装置。因此，记录计算机102至107可包括具有许多种不同的能力和特征的计算机。

审查计算机102至107可访问和/或采用各种计算应用程序，以使用户能够执行各种在线和/或离线活动。此类活动可包括但不限于生成文档、收集/监测数据、捕获/操纵图像、审查内容、管理介质、管理财务信息、玩游戏、管理个人信息、浏览互联网等。在一些实施方案中，可使审查计算机102至107能够通过浏览器或其他基于web的应用程序连接到网络。

审查计算机102至107还可被配置为提供识别审查计算机的信息。此类识别信息可包括但不限于审查计算机的类型、能力、构型、名称等。在至少一个实施方案中，审查计算机可通过多种机制(诸如互联网协议(IP)地址、电话号码、移动识别号码(MIN)、介质访问控制(MAC)地址、电子序列号(ESN)或其他装置标识符)中的任一种机制来唯一地识别自身。

下文结合图3的网络计算机300更详细地描述了ATSC 110的各种实施方案。简而言之，在一些实施方案中，ATSC 110可用于接收由记录计算机112至118或评估工具客户端计算机122捕获的视频，向审查计算机102至107提供视频并请求来自这些审查计算机的评论，将该评论拆分为句子，将这些句子分类为肯定、中立或否定，汇总该分类结果，并将该分类结果存储在元数据存储装置120上。在一些实施方案中，评估工具客户端计算机，此类评估工具客户端计算机122可被布置为收集或捕获可稍后或实时提供给ATSC 110的手术数据。除此之外或另选地，ATSC 110可用于对记录的视频进行分类以识别活动过程中的相关事件。例如，在外科领域中，可识别事件诸如出血、烧灼、烟雾、缝合、身体部位等。ATSC 110还可执行更高级别的分析。继续外科手术的示例，ATSC可检测录制视频的相机是在身体上还是身体之外、缝合是否已经很好地接近组织(既不太紧也不太松)、烧灼是否足以保持外科手术视野不含过量血液，以及其他外科手术。

然后，ATSC 110的各种实施方案可处理分类信息、使分类信息可用并作用于该分类信息。例如，ATSC 110可处理汇总分类信息(包括从元数据存储装置120检索到的分类信息)，以识别趋势、模式、异常或与其他数据的相关性或关系(例如，哪些数据元素最大程度地影响外科医生表现和/或患者结果)。ATSC可通过例如网站使该信息可用，从而允许访问从审查计算机102至107接收的评论的相关部分，通过视频的直接分类实现的见解，或与其他数据元素的比较，包括与其他介质或外科医生表现有关的那些数据元素。此外，ATSC可与调度系统集成以帮助分配未来任务。继续该外科手术示例，如果要安排一组即将进行的外科手术，则ATSC 110可提供关于不同外科医生的效率和有效性的数据，使得能够更最佳地将外科医生分配给他们能够有效地完成的任务。

网络108可包括用于与远程装置通信的几乎任何有线和/或无线技术，诸如但不限于USB缆线、蓝牙、Wi-Fi等。在一些实施方案中，网络108可以是被配置为将网络计算机与其他计算装置耦接的网络，包括审查计算机102至107、记录计算机112至118或评估工具客户端计算机122、评估工具服务器计算机110、评估工具客户端计算机122、元数据存储装置120等。在各种实施方案中，在装置之间传送的信息可包括各种类型的信息，包括但不限于处理器可读指令、远程请求、服务器响应、程序模块、应用程序、原始数据、控制数据、系统信息(例如，日志文件)、视频数据、语音数据、图像数据、文本数据、结构化/非结构化数据等。在一些实施方案中，可使用一种或多种技术和/或网络协议在装置之间传送该信息。

在一些实施方案中，此类网络可包括各种有线网络、无线网络或它们的任何组合。在各种实施方案中，可使网络能够采用各种形式的通信技术、拓扑结构、计算机可读介质等来将信息从一个电子装置传送到另一个电子装置。例如，除了互联网之外，网络还可包括LAN、WAN、个人局域网(PAN)、校园局域网、城域网(MAN)、直接通信连接(诸如通过通用串行总线(USB)端口)等，或它们的任何组合。

在各种实施方案中，网络内和/或网络之间的通信链路可包括但不限于双绞线、光纤、露天激光器、同轴电缆、普通老式电话服务(POTS)、波导、声学、完整或部分专用数字线路(诸如T1、T2、T3或T4)、E载波、集成服务数字网络(ISDN)、数字用户线路(DSL)、无线链路(包括卫星链路)或本领域技术人员已知的其他链路和/或载波机制。此外，通信链路还可采用多种数字信令技术中的任一种，包括但不限于例如DS-0、DS-1、DS-2、DS-3、DS-4、OC-3、OC-12、OC-48等。在一些实施方案中，路由器(或其他中间网络装置)可充当各种网络(包括基于不同架构和/或协议的那些网络)之间的链路，以使得信息能够从一个网络传输到另一个网络。在其他实施方案中，远程计算机和/或其他相关电子装置可经由调制解调器和临时电话链路连接到网络。实质上，网络可包括任何通信技术，信息可通过所述通信技术在计算装置之间传送。

在一些实施方案中，网络可包括各种无线网络，其可被配置为耦接各种便携式网络装置、远程计算机、有线网络、其他无线网络等。无线网络可包括可进一步覆盖独立专门网络等以提供面向基础结构的连接以用于至少审查计算机102至107、记录计算机112至118或评估工具客户端计算机122等的各种子网络中的任一种子网络。此类子网络可包括网状网络、无线LAN(WLAN)网络、蜂窝网络等。在各种实施方案中的至少一个实施方案中，系统可包括多于一个无线网络。

网络可采用多个有线和/或无线通信协议和/或技术。网络可采用的各代(例如，第三代(3G)、第四代(4G)或第五代(5G))通信协议和/或技术的示例可包括但不限于全球移动通信系统(GSM)、通用分组无线服务(GPRS)、增强型数据GSM环境(EDGE)、码分多址(CDMA)、宽带码分多址(W-CDMA)、码分多址2000(CDMA2000)、高速下行链路分组接入(HSDPA)、长期演进(LTE)、通用移动电信系统(UMTS)、演进数据优化(Ev-DO)、全球微波接入互操作性(WiMax)、时分多址(TDMA)、正交频分复用(OFDM)、超宽带(UWB)、无线应用协议(WAP)、用户数据报协议(UDP)、传输控制协议/互联网协议(TCP/IP)，开放系统互连(OSI)模型协议的任何部分、会话发起的协议/实时传输协议(SIP/RTP)、短消息服务(SMS)、多媒体消息服务(MMS)、或各种其他通信协议和/或技术中的任一者。实质上，网络可包括通信技术，信息可通过该通信技术在审查计算机102至107、记录计算机112至118或评估工具客户端计算机122、ATSC 110、元数据存储装置120、未示出的其他计算装置、其他网络等之间传送。

在各种实施方案中，网络的至少一部分可被布置为节点、链路、路径、终端、网关、路由器、交换机、防火墙、负载均衡器、转发器、中继器、光电转换器等的自主系统，其可通过各种通信链路连接。这些自主系统可被配置为基于当前操作条件和/或基于规则的策略进行自组织，使得可修改网络的网络拓扑结构。

图2示出了可包括在系统诸如图1所示的系统中的客户端计算机200的实施方案。客户端计算机200可表示例如记录计算机112至118、审查计算机102至107、评估工具客户端计算机122等的至少一个实施方案。另外，客户端计算机200可以是移动装置(例如，智能电话或平板电脑)、固定/台式计算机等。

客户端计算机200可包括经由总线228与存储器204进行通信的处理器202，诸如中央处理单元(CPU)。客户端计算机200还可包括功率源230、网络接口232、处理器可读固定存储装置234、处理器可读可移除存储装置236、输入/输出接口238、相机240、视频接口242、触摸界面244、投影仪246、显示器250、小键盘252、照明器254、音频接口256、全球定位系统(GPS)接收器258、露天手势界面260、温度接口262、触觉接口264、指向装置接口266等。客户端计算机200可任选地与基站(未示出)进行通信，或直接与另一个计算机进行通信。并且在一个实施方案中，尽管未示出，但可在客户端计算机200内采用加速度计和陀螺仪以测量和/或保持客户端计算机200的取向。

另外，在一个或多个实施方案中，客户端计算机200可包括逻辑电路268。逻辑电路268可以是与处理器202形成对比或互补的嵌入式逻辑硬件装置。嵌入式逻辑硬件装置将直接执行其嵌入式逻辑(例如，专用集成电路(ASIC)、现场可编程门阵列(FPGA)等)以完成动作。

另外，在一个或多个实施方案(图中未示出)中，移动计算机可包括硬件微控制器而不是CPU。在至少一个实施方案中，微控制器将直接执行其自己的嵌入式逻辑以完成动作，并且访问其自己的内部存储器以及其自己的外部输入和输出接口(例如，硬件引脚和/或无线收发器)以完成动作，诸如片上系统(SOC)等。

功率源230可以向客户端计算机200提供功率。可使用可再充电的电池或不可再充电的电池来提供功率。功率也可由外部功率源提供，诸如AC适配器或对电池进行补充和/或再充电的供电对接底座。

网络接口232包括用于将客户端计算机200耦接到一个或多个网络的电路，并且被构造成与一种或多种通信协议和技术一起使用，该一种或多种通信协议和技术包括但不限于实现OSI模型的任何部分的协议和技术、GSM、CDMA、时分多址(TDMA)、UDP、TCP/IP、SMS、MMS、GPRS、WAP、UWB、WiMax、SIP/RTP、GPRS、EDGE、WCDMA、LTE、UMTS、OFDM、CDMA2000、EV-DO、HSDPA，或各种其他无线通信协议中的任一种。网络接口232有时被称为收发器、收发器装置或网络接口卡(NIC)。

音频接口256可被布置为产生和接收音频信号，诸如人语音的声音。例如，音频接口256可耦接到扬声器和麦克风(未示出)，以实现与其他装置的远程通信并且/或者针对某个动作生成音频确认。音频接口256中的麦克风也可(例如，使用语音识别、基于声音来检测触摸等)用于输入到客户端计算机200或控制该客户端计算机。麦克风可用于捕获记录受试者活动的表现的内容。

显示器250可以是液晶显示器(LCD)、气体等离子体、电子墨水、发光二极管(LED)、有机LED(OLED)或可与计算机一起使用的任何其他类型的光反射或透光显示器。显示器250还可包括触摸界面244，该触摸界面被布置为接收来自对象诸如触笔或来自人手的手指的输入，并且可使用电阻性、电容性、表面声波(SAW)、红外、雷达或其他技术来感测触摸和/或手势。

投影仪246可以是远程手持式投影仪或能够将图像投影在远程壁上或任何其他反射对象(例如远程屏幕)上的集成投影仪。

视频接口242可被布置为捕获视频图像，诸如静止照片、视频片段、红外视频等。例如，视频接口242可耦接到数字摄像机、网络摄像头等。视频接口242可包括透镜、图像传感器和其他电子器件。图像传感器可包括互补金属氧化物半导体(CMOS)集成电路、电荷耦合装置(CCD)或用于感测光的任何其他集成电路。

小键盘252可包括被布置为接收来自用户的输入的任何输入装置。例如，小键盘252可包括按钮数字拨号盘或键盘。小键盘252还可包括与选择和发送图像相关联的命令按钮。

照明器254可提供状态指示并且/或者提供光。照明器254可在特定时间段内或响应于事件而保持活动。例如，当照明器254活动时，其可为小键盘252上的按钮提供背光并且在移动装置通电时保持打开。另外，当执行特定动作(诸如拨号另一个移动计算机)时，照明器254可以各种图案为这些按钮提供背光。照明器254还可使得定位在移动装置的透明或半透明壳体内的光源响应于动作而照亮。

客户端计算机200还可包括用于与外部外围装置或其他计算机(诸如其他移动计算机和网络计算机)进行通信的输入/输出接口238。输入/输出接口238可以使客户端计算机200能够与一个或多个服务器(诸如图1的ATSC 110)进行通信。在一些实施方案中，输入/输出接口238可以使客户端计算机200能够与一个或多个网络计算机(诸如图1的记录计算机112至118和审查计算机102至107)连接并进行通信。客户端计算机200可以与之进行通信的其他外围装置可以包括远程扬声器和/或麦克风、耳机、显示屏眼镜等。输入/输出接口238可利用一种或多种技术，诸如通用串行总线(USB)、红外、Wi-Fi、WiMax、Bluetooth

触觉接口264可被布置为向客户端计算机200的用户提供触觉反馈。例如，触觉接口264可用于在计算机的另一个用户正在呼叫时以特定方式振动客户端计算机200。温度接口262可以用于向客户端计算机200的用户提供温度测量输入和/或温度变化输出。露天手势界面260可以感测客户端计算机200的用户的物理手势，例如，通过使用单个或立体摄像机、雷达、由用户握持或穿戴的计算机内部的陀螺仪传感器等。相机240可用于跟踪客户端计算机200的用户的物理眼睛移动。相机240可用于捕获记录受试者活动的表现的内容。

GPS收发机258可以确定客户端计算机200在地球表面上的物理坐标，该GPS收发机通常将位置输出为纬度和经度值。包括GPS收发机的移动计算机的物理坐标可以称为地理位置数据。GPS收发器258还可以采用其他地理定位机制，包括但不限于三角测量、辅助GPS(AGPS)、增强观察时间差(E-OTD)、小区标识符(CI)、服务区标识符(SAI)、增强定时超前(ETA)、基站子系统(BSS)等，以进一步确定客户端计算机200在地球表面上的物理位置。应当理解，在不同的条件下，GPS收发机258可以确定客户端计算机200的物理位置。然而，在至少一个实施方案中，客户端计算机200可以通过其他部件提供可用于确定移动计算机的物理位置的其他信息，包括例如介质访问控制(MAC)地址、IP地址等。在至少一个实施方案中，GPS收发器258用于本文所述的各种实施方案的本地化。例如，各种实施方案可经由GPS收发器258进行本地化，以基于客户端计算机200的用户的位置来定制语言、技术参数、时区、配置参数、测量单位、货币单位等。

人机接口部件可以是与客户端计算机200物理分离的外围装置，允许远程输入和/或输出到客户端计算机200。例如，如此处所述通过人机接口部件诸如显示器250或键盘252路由的信息可替代地通过网络接口232路由到远程定位的适当人机接口部件。可为远程的人机接口外围部件的示例包括但不限于音频装置、指向装置、小键盘、显示器、相机、投影仪等。这些外围部件可通过Pico网络诸如Bluetooth

客户端计算机200可以包括浏览器应用程序，该浏览器应用程序被配置为接收和发送网页、基于web的消息、图形、文本、多媒体等。移动计算机的200浏览器应用程序可采用几乎任何编程语言，包括无线应用程序协议消息(WAP)等。在至少一个实施方案中，可使浏览器应用程序采用手持式装置标记语言(HDML)、无线标记语言(WML)、WMLScript、JavaScript、标准通用标记语言(SGML)、超文本标记语言(HTML)、可扩展标记语言(XML)、HTML5等。

在各种实施方案中，浏览器应用程序可被配置为使用户能够登录帐户和/或用户界面以访问/查看内容数据。在各种实施方案中的至少一个实施方案中，浏览器可使用户能够查看由图1的ATSC服务器110生成的评估数据的报告。在一些实施方案中，浏览器/用户界面可使用户能够定制报告的视图并基于其评估数据接收针对个人改进(例如，规定性改进)的规定性建议。如本文所述，用户可定制报告的程度可取决于该特定用户的权限/限制。

在各种实施方案中，用户界面可向用户呈现用于捕获记录表现的内容的一个或多个网络界面。在一些实施方案中，用户界面可以向用户呈现用于查看内容并评估受试者活动的表现的一个或多个网络界面。

存储器204可包括RAM、ROM和/或其他类型的存储器。存储器204示出了用于存储信息诸如计算机可读指令、数据结构、程序模块或其他数据的计算机可读存储介质(装置)的示例。存储器204可以存储用于控制客户端计算机200的低级操作的系统固件208(例如，BIOS)。存储器还可以存储用于控制客户端计算机200的操作的操作系统206。应当理解，该部件可包括通用操作系统，诸如UNIX或LINUX

存储器204还可包括一个或多个数据存储装置210，该一个或多个数据存储装置可由客户端计算机200利用以存储除了别的以外的应用程序220和/或其他数据。例如，数据存储装置210可存储内容212和/或评论214。在记录计算机112至118的上下文中，内容212表示由相机(或其他输入装置)捕获的要传输到ATSC 110的内容。然而，在审查计算机102至107的上下文中，内容212表示由专家审查的内容，使得专家能够生成评论214。

数据存储装置210还可包括用于供处理器诸如处理器202执行的程序代码、数据、算法等以完成动作。在一个实施方案中，数据存储装置210中的至少一些还可存储在客户端计算机200的另一个部件(包括但不限于非暂态处理器可读可移除存储装置236、处理器可读固定存储装置234)上，或者甚至存储在移动装置的外部。可移除存储装置236可为USB驱动器、USB拇指驱动器、加密狗等。

应用程序220可包括计算机可执行指令，这些计算机可执行指令在由客户端计算机200执行时发送、接收和/或以其他方式处理指令和数据。应用程序220可包括内容客户端222。在记录计算机112至118的上下文中，内容客户端222可以捕获、管理和/或接收记录人力活动的内容。应用程序220可包括评估客户端224。在审查计算机102至107的上下文中，评估客户端224可选择、显示和请求来自用户的关于一条内容的反馈。

可包括在应用程序220中的应用程序的其他示例包括但不限于日历、搜索程序、电子邮件客户端应用程序、IM应用程序、SMS应用程序、互联网协议语音(VOIP)应用程序、联系人管理器、任务管理器、代码转换器、数据库程序、文字处理程序、安全应用程序、电子表格程序、游戏、搜索程序等。

此外，在各种实施方案中的至少一个实施方案中，应用程序220等可在基于云的计算环境中操作。在各种实施方案中的至少一个实施方案中，在此上下文中，根据由云计算环境自动管理的表现和缩放考虑，应用程序可从基于云的环境内的一个物理网络计算机流到另一个物理网络计算机。同样，在各种实施方案中的至少一个实施方案中，可被自动供应和停用虚拟机和/或虚拟服务器。

因此，在一些实施方案中，可以使客户端计算机200能够采用各种实施方案、实施方案的组合、过程或过程的部分，如本文所述。此外，在各种实施方案中，可以使客户端计算机200能够采用上文结合图1的计算机装置所述的各种实施方案。

图3示出了可包括在系统诸如图1所示的系统中的网络计算机300的实施方案。网络计算机300可表示例如评估工具服务器计算机110。网络计算机300可以是台式计算机、膝上型计算机、服务器计算机、客户端计算机等。

网络计算机300可包括处理器302(诸如CPU)、处理器可读存储介质328、网络接口单元330、输入/输出接口332、硬盘驱动器334、视频显示适配器336、GPS 338和存储器304，它们均经由总线338与彼此进行通信。在一些实施方案中，处理器302可包括一个或多个中央处理单元。

另外，在一个或多个实施方案(图中未示出)中，网络计算机可包括嵌入式逻辑硬件装置而不是CPU。嵌入式逻辑硬件装置将直接执行其嵌入式逻辑(例如，专用集成电路(ASIC)、现场可编程门阵列(FPGA)等)以完成动作。

另外，在一个或多个实施方案(图中未示出)中，网络计算机可包括硬件微控制器而不是CPU。在至少一个实施方案中，微控制器将直接执行其自己的嵌入式逻辑以完成动作，并且访问其自己的内部存储器以及其自己的外部输入和输出接口(例如，硬件引脚和/或无线收发器)以完成动作，诸如片上系统(SOC)等。

如图3所示，网络计算机300还可经由网络接口单元330与互联网、蜂窝网络或一些其他通信网络(有线或无线)进行通信，该网络接口单元被构造成与各种通信协议一起使用。网络接口单元330有时被称为收发器、收发器装置或网络接口卡(NIC)。在一些实施方案中，网络计算机300可以经由网络接口单元330与记录计算机、审查计算机或包括在ATP平台中的计算机或任何其他网络计算机进行通信。

网络计算机300还包括用于与外部装置(诸如各种传感器或图3中未示出的其他输入或输出装置)进行通信的输入/输出接口332。输入/输出接口332可利用一种或多种通信技术，诸如USB、红外、蓝牙

存储器304通常包括RAM、ROM和一个或多个永久性大容量存储装置，诸如硬盘驱动器334、磁带驱动器、光盘驱动器和/或软盘驱动器。存储器304可以存储用于控制网络计算机300(例如，BIOS)的低级操作的系统固件306。在一些实施方案中，存储器304还可存储用于控制网络计算机300的操作的操作系统。

尽管单独示出，但存储器304可包括处理器可读存储介质328。处理器可读存储介质328可被称为和/或包括计算机可读介质、计算机可读存储介质和/或处理器可读存储装置。处理器可读可移除存储介质328可包括以用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术实现的易失性、非易失性、可移除和不可移除介质。处理器可读存储介质包括RAM、ROM、EEPROM、闪存存储器或其他存储器技术、CD-ROM、数字通用光盘(DVD)或其他光盘存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储装置、或可用于存储所需信息并可由计算装置访问的任何其他介质。

存储器304还包括一个或多个数据存储装置310，该一个或多个数据存储装置可由网络计算机300利用以存储内容312、分类314、汇总分类结果316和/或其他数据。例如，数据存储装置310还可包括供处理器诸如处理器302用于执行从而完成动作的程序代码、数据、算法等。在一个实施方案中，数据存储装置310中的至少一些还可存储在网络计算机300的另一个部件(包括但不限于处理器可读存储介质328、硬盘驱动器334等)上。

内容数据312可包括记录受试者的受试者活动的表现的内容，诸如图片、视频、音频等。分类314可包括应用于内容数据312的机器学习算法的输出。除此之外或另选地，分类314可包括应用于评论214的机器学习算法的输出。汇总分类结果316可包括应用于分类结果的分析的结果。例如，在外科手术的上下文中，汇总分类结果可包括手术的特定方面何时开始、特定步骤的有效性(例如，充分烧灼是否止血)等。设想了在多个记录会话内与多个受试者相关联的分类结果，允许审查受试者之间的比较、给定受试者的进展或退化等。

应用程序320可包括可在处理器302上执行的计算机可执行指令以完成动作。在一些实施方案中，应用程序320中的一个或多个应用程序可以是可加载到大容量存储器中并在操作系统上运行的应用程序的一部分。

应用程序320可包括文本分类器322、视频分类器324、分类处理引擎326和评估引擎327。文本分类器322处理字词、句子和/或段落以识别书面评论的特征。例如，文本分类器322可以识别肯定、否定或中立评论，以及严重性和/或相关性。视频分类器324可以识别记录在视频中的活动的各种事件/属性。例如，在外科手术上下文中，视频分类器可识别出血、烧灼、缝合或其他外科手术事件或技术。在一个实施方案中，分类器是指机器学习系统，例如已经用“地面实况”训练以识别某些特征的神经网络。在外科手术的上下文中，例如，可以用描绘缝合的视频连同人类专家已经将视频识别为包括缝合的指示(即，地面实况)来训练机器学习系统。通过应用机器学习技术，这些分类器处理该输入，然后可以用于在置信水平上识别所训练的事件(例如，缝合)的存在。

在一个实施方案中，分类处理引擎326可分析分类结果，包括通过汇总所识别的特征并在受试者之间比较相同或不同活动的分类。分类处理引擎326还可以整理审查员数据并且/或者基于这些审查员数据来生成、提供和/或接收报告。

在一些实施方案中，评估引擎327可控制或执行对操作员表现的自动评估的各个部分，如下文更详细地描述。

此外，应用程序320可包括一个或多个附加应用程序。例如，应用程序320中的服务器应用程序的至少一部分可至少部分地形成图1的元数据存储装置120的数据层。

GPS收发机358可以确定网络计算机300在地球表面上的物理坐标，该GPS收发机通常将位置输出为纬度和经度值。包括GPS收发机的网络计算机的物理坐标可以称为地理位置数据。GPS收发器358还可以采用其他地理定位机制，包括但不限于三角测量、辅助GPS(AGPS)、增强观察时间差(E-OTD)、小区标识符(CI)、服务区标识符(SAI)、增强定时超前(ETA)、基站子系统(BSS)等，以进一步确定网络计算机300在地球表面上的物理位置。应当理解，在不同的条件下，GPS收发机358可以确定网络计算机300的物理位置。然而，在至少一个实施方案中，网络计算机300可以通过其他部件提供可用于确定移动计算机的物理位置的其他信息，包括例如介质访问控制(MAC)地址、IP地址等。在至少一个实施方案中，GPS收发器358用于本文所述的各种实施方案的本地化。例如，各种实施方案可经由GPS收发器258进行本地化，以基于客户端计算机200的用户的位置来定制语言、文化偏好、地理区域偏好、政治偏好、宗教偏好、假日、天气信息、灾难信息、技术参数、时区、配置参数、测量单位、货币单位等。

音频接口364可被布置为产生和接收音频信号，诸如人语音的声音。例如，音频接口354可耦接到扬声器和麦克风(未示出)，以实现与其他装置的远程通信并且/或者针对某个动作生成音频确认。音频接口364中的麦克风也可(例如，使用语音识别、基于声音来检测触摸等)用于输入到网络计算机300或控制该客户端计算机。麦克风可用于捕获记录受试者活动的表现的内容。同样，相机340可用于捕获记录受试者活动的表现的内容。可包括其他传感器360以感测位置或其他环境部件。

另外，在一个或多个实施方案中，网络计算机300可包括逻辑电路362。逻辑电路362可以是与处理器302形成对比或互补的嵌入式逻辑硬件装置。嵌入式逻辑硬件装置将直接执行其嵌入式逻辑以完成动作，例如，专用集成电路(ASIC)、现场可编程门阵列(FPGA)、张量处理单元(TPU)等。

因此，在一些实施方案中，可以使网络计算机300能够采用各种实施方案、实施方案的组合、过程或过程的部分，如本文所述。此外，在各种实施方案中，可以使网络计算机300能够采用上文结合图1的计算机装置所述的各种实施方案。

图4示出了各种实施方案中的一个或多个实施方案的一个示例性实施方案400。虽然类似地设想了其他类型的医疗保健相关活动，诸如护理、牙科、超声检查等，但为了简洁和清楚起见，图4和贯穿本文档所述的其他实施方案是指外科手术和相关活动。例如，外科医生402和助手404站在手术室中治疗手术台408上的患者406。

在各种实施方案中的一个或多个实施方案中，外科手术由一个或多个相机(诸如，记录计算机112至118)记录。例如，相机410和/或412可用于创建手术的视频。然而，可类似地设想任何类型的相机，诸如内窥镜式相机118。在各种实施方案中的一个或多个实施方案中，由相机捕获的视频被转发到ATSC 110以用于实时处理，如下所述，包括由机器学习代理对视频进行分类。该处理的结果可被传输回手术室以显示在监视器416或增强眼镜418上，这可向外科医生警示即将发生的问题。

在各种实施方案中的一个或多个实施方案中，对视频流执行的分类包括对外科器械诸如手术刀414的识别。通过识别外科器械，由分类处理引擎326执行的更高级处理可识别正在使用哪个特定器械(品牌、型号、版本)以及由谁使用、外科器械何时空闲、外科器械何时将对患者造成损伤，以及/或者使用中的外科器械何时为次优以及应当何时更换。

除此之外或另选地，审查员420生成所记录的外科手术的基于文本或音频的评论。如下所述，这些审查员可以是同事，也可以是执行受试手术的人未知的其他外科医生。除此之外或另选地，这些审查员可为助手或外行人员。审查员可实时地或基于记录对手术进行评论。在各种实施方案中的一个或多个实施方案中，这些评论被传输至ATSC 110以用于分类和进一步处理。

在各种实施方案中的一个或多个实施方案中，网络计算机422可以是运行捕获引擎或捕获代理的计算机或计算设备，该捕获引擎或捕获代理用于在表现内容被生成时本地捕获该表现内容。可根据一个或多个基于规则的策略将表现内容上传到数据存储库以用于进一步分析。

图5示出了评论分析–句子拆分中的第一步骤的一个示例性实施方案500。在各种实施方案中的一个或多个实施方案中，审查员可生成一段或多段文本。除此之外或另选地，审查员可口述文本，该口述的文本稍后可被转录为文本或经由语音到文本转换技术实时转换为文本。

在任一种情况下，受权利要求书保护的实施方案中的一个实施方案将文本拆分(分开)成句子。可基于标点符号、句子结构、语法分析等来拆分句子。例如，图5示出了被拆分为句子504的评论502。

然而，可类似地设想受权利要求书保护的实施方案中的其他实施方案。例如，可通过短语、通过线条来拆分评论，或者根本不拆分该评论。

图6示出了由ATSC 110在一个实施方案中执行的评论分类的各种实施方案600中的一个或多个实施方案。可以通过使输入(在这种情况下为句子602)通过一个或多个分类器(诸如缝合情绪分类器604、烧灼情绪分类器606和进展情绪分类器608)来执行评论分类。这些分类器仅仅是示例，并且类似地设想了任何其他类型或数量的分类器。在一个实施方案中，分类器604至608已经通过“地面实况”的多个示例进行训练，该“地面实况”识别了由培训人员识别的对于其尊敬的输入的肯定、否定和中立情绪的示例。例如，缝合或缝合技术情绪分类器604可以是通过提供有描述缝合的句子的许多示例连同肯定、否定或中立情绪的地面实况指示来训练的神经网络。根据该输入数据，神经网络在没有人为干预的情况下在内部识别模式、规则和启发以对新句子进行正确分类。

在该示例中，每个分类器检查句子602(“Jones医生很细致—缝合良好，烧灼水平一流，但是进展缓慢”)并确定句子是否包含满足分类的内容。例如，可能已经训练了缝合情绪分类器604以将“缝合良好”和“缝合一流”都识别为肯定情绪。类似地，可能已经训练烧灼情绪分类器606以将“烧灼水平一流”识别为肯定情绪。然而，可能已经训练进展情绪分类器以识别“进步不明显”，因此指定“但是进展缓慢”为否定情绪。在一个实施方案中，将数值“1”赋予肯定情绪的每个实例，将“-1”赋予否定情绪的每个实例。

可训练其他情绪分类器以将“刮擦”、“烟雾”、“出血”、“偏爱右手”、“在手术中动作非常缓慢”等识别为否定情绪。还可训练分类器以将“双手灵巧性良好”、“出色的深度知觉”、“进展迅速”、“缝合紧实”等识别为具有肯定情绪。

在一个实施方案中，不同分类器用于不同类型的评论员。例如，外科同事可使其评论由已用技术外科手术语言诸如“缝合”训练的分类器处理，而助理或外行人员则可使其评论由已用不太正式的语言诸如“缝针”训练的分类器处理。在一个实施方案中，执行学科专家所作的评论与外行人员所作的评论之间的相关性，使得可汇总来自所有类型的审查员的评论。

在应用每个分类器之后，在各种实施方案中的一个或多个实施方案中，将来自每个分类器的情绪加在一起以确定该句子的情绪。继续该示例，2个肯定情绪和1个否定情绪加在一起以给出句子602的情绪610为“1”。

在各种实施方案中的一个或多个实施方案中，多个句子使其情绪汇总以生成段落或完整评论的总体情绪。例如，将为1、-2、2和0的情绪612相加以确定整个段落/评论的情绪614为“1”。

图7示出了由ATSC 110在一个实施方案中执行的表现内容分类诸如视频分类的各种实施方案700中的一个或多个实施方案。视频分类可通过使视频剪辑(诸如视频剪辑704)通过一个或多个分类器来执行，诸如体内相机分类器708、解剖结构分类器710、器械检测分类器712、纱布、烧灼和烟雾分类器714、组织处理分类器716、静止器械分类器718和双手灵巧性分类器720。这些分类器仅仅是示例，并且类似地设想了任何其他类型或数量的分类器。每个分类器用地面实况(即，由人类专家识别以包含(或不包含)所讨论的问题的一组视频)进行训练。当视频剪辑被每个分类器处理时，分类器确定该视频剪辑包含所指示的活动被识别的指示和/或程度。

在各种实施方案中的一个或多个实施方案中，视频剪辑可在摄像机、视频捕获系统、本地捕获代理或本地网络计算机上本地高速缓存。因此，在各种实施方案中的一个或多个实施方案中，本地捕获代理可被布置为监测网络质量或连接性。在一些实施方案中，本地捕获代理可被布置为本地存储表现内容诸如视频剪辑，然后上传到数据存储库以进行处理。在各种实施方案中的一个或多个实施方案中，本地捕获代理可被布置为应用一个或多个基于规则的策略，该一个或多个基于规则的策略不同于被应用于确定何时或是否应上传表现内容的策略。另外，在一些实施方案中，基于规则的策略可包括可被编译或解释成可由捕获代理执行的机器指令的指令或配置信息。在一些实施方案中，基于规则的策略可以是依赖于一个或多个监测度量(诸如网络带宽、网络利用率、延迟、成本等)的策略。例如，在一些实施方案中，可提供规则，该规则将表现内容上传限制或约束到医院网络利用率较低的那些时间。同样，在一些实施方案中，一些表现内容可被标记为具有与其他表现内容不同的策略(例如，QOS因素)。例如，高优先级表现内容可在低优先级内容之前上传。

在一些实施方案中，捕获代理可被布置为在网络连接性丢失的情况下自动开始高速缓存。因此，在不损失表现内容的情况下，该表现可继续保持不变。因此，在一些实施方案中，在该示例中，如果网络恢复在线，则可根据所限定的策略上传高速缓存的表现内容。

另外，在一个或多个实施方案中，可至少部分地远程处理表现内容以节省实时用于处理表现内容的本地资源。在一个或多个实施方案中，不保存所有原始表现内容以节省本地和远程存储资源。例如，分类、相关性值、报告、推荐、元数据以及表现内容的对应于特定外科手术步骤的那些部分可被持久地存储，而不是存储整个表现内容。

此外，在一些实施方案中，基于GPS信号或Wi-Fi网络信号的本地化服务可用于转换日期戳、时间戳、单元、元数据等，以匹配表现内容的源或该内容的目的地。在一些实施方案中，可生成本地化到捕获表现内容的地点的信息并连同该表现内容一起发送。因此，在各种实施方案中的一个或多个实施方案中，评估引擎或其他第三方服务可利用本地化信息来提供关于表现内容的附加上下文。例如，附加上下文可包括基于语言、文化偏好、地理区域偏好、政治偏好、宗教偏好、假日、天气信息、灾难信息、技术参数、时区、配置参数、测量单位、货币单位等中的一者或多者来为用户优化表现内容的元数据。另外，在各种实施方案中的一个或多个实施方案中，用于生成分类器的机器学习可以被布置为将该附加上下文视为其分析的一部分。

在一个实施方案中，体内相机分类器708确定相机(诸如内窥镜相机118)是否在身体内。这是在执行附加处理之前的阈值确定，并且可以用作在被设计为在身体内的相机将要掉落的情况下进行警告的基础。确定相机是否在体内是重要的，因为透镜可能变为压在人的内部并且/或者被流体覆盖，从而使透镜模糊。

在一个实施方案中，解剖结构分类器710确定和/或概述一个或多个解剖结构何时可见。例如，解剖结构分类器可识别和区分静脉、动脉、神经、肌肉、骨、韧带、脂肪组织或其他重要和/或敏感的身体部分。对这些项的识别可单独使用或与其他分类器结合使用。例如，解剖结构分类器可与器械检测分类器712结合使用，以在外科医生在不安全、错误的位置或不在患者体内越限的位置处执行活动时，或者当外科医生花费过长时间来执行活动时，警告受试者有风险或即将发生的错误，然后向正在执行的外科医生提供个性化推荐，以用于实时决策支持和/或表现后决策支持，作为要应用于未来病例的规定性改进机会。

在一个实施方案中，器械检测分类器712识别和/或概述在手术期间使用的器械。如上所述，该信息可以与其他分类器一起使用以提供推荐、收集关于特定受试者或特定步骤的统计信息等。此外，来自器械检测分类器712的结果可与受试者将尝试的步骤的知识结合使用，可能与继续使用当前器械的成本估计和结果预测结合使用。在一个实施方案中，考虑这些因素并推荐对新器械的推荐。例如，受试者可被建议将血管封口器切换为单极剪刀，因为切换只需3分钟，并且通过使用不同的工具节省了时间。另外，将当前器械的尺寸以及受试者的手部尺寸和偏手性与各种因素(包括患者的尺寸)进行比较，以识别可能对活动的表现产生负面影响的潜在失配，诸如当前器械的尺寸或取向。

在一个实施方案中，纱布、烧灼和烟雾分类器714在外科活动期间识别预期的和预期之外的事件。例如，结合外科活动的知识，可使用来自纱布和烧灼分类器714的输出来确认纱布和烧灼正如预期那样被使用。此外，可使用来自烟雾分类器714的输出(包括检测到的烟雾程度)来识别烧灼何时被过度使用或花费太长时间来执行。

在一个实施方案中，组织处理分类器716指示组织何时为阳性或阴性。在一个实施方案中，对缝合进行评估，以确定拉力是否适当强、组织是否接近完好、缝合线既不太紧也不太松等。类似地，组织处理分类器716可以指示烧灼何时足以保持手术区域不含过量血液。组织处理分类器716的输出可以实时指向受试者，特别是当已经观察到阴性结果时。在另一个实施方案中，组织处理分类器716的输出可以存储在元数据120中以用于后续挖掘和分析。

在一个实施方案中，静止器械分类器718指示患者体内的器械是否已变得静止。通常，这表明错误或疏忽，包括但不限于患者体内外科工具的丢失。

在一个实施方案中，双手灵巧性分类器720评估受试者的双手灵巧性，即，其评估受试者两只手是否都能很好地使用，或者她是偏好使用这一只手还是另外一只手。来自该分类器的输出可存储在元数据120中以用于后续挖掘和分析。例如，具有更好或更差双手灵巧性的受试者可能常常在某些步骤或某些外科活动中执行得更好或更差。然后将这些数据作为在表现期间的实时决策支持和/或表现后的决策支持的个性化推荐提供给受试者，作为要应用于未来病例的规定性改进机会。

在分类器完成时，视频剪辑和分类器的结果可由实时推荐引擎722、事后分析引擎726或两者进行处理。实时推荐引擎722可利用附加患者数据724的任选输入向受试外科医生402产生实时推荐。这些推荐可显示在监视器416或增强现实眼镜418上。例如，当受试者/外科医生执行活动太慢时，当外科医生在不安全的位置执行活动时，实时推荐引擎722可提供各种推荐以改善外科活动的结果。这些推荐可包括用于执行外科手术的不同技术、用于执行外科手术步骤的不同器械、待施用于患者的药物或治疗，或者通知先前执行该手术活动的具有阳性结果的另一个外科医生当前外科医生可能需要帮助。通知可包括消息、电子邮件、电话通信和/或到外科手术的实时视频的链接中的一者或多者。事后分析引擎726以及附加患者数据724的任选输入可识别手术的积极部分和消极部分，包括要进行的改进的列表。

在一个实施方案中，附加患者数据724可包括描述患者的人口统计、患者的健康、患者的手术史、患者的疾病状态或任何其他相关信息的属性。该信息可用于增强分类器的结果，诸如基于患者的年龄、性别或病史来细化解剖结构分类器710的结果(或从不同的解剖结构分类器中进行选择)。

如上所述，在各种实施方案中的一个或多个实施方案中，通过向分类器708至720提供样本数据的语料库来训练这些分类器，从而建立地面实况。例如，体内相机分类器708可以是通过提供由人标记以包括体内相机的视频的许多示例以及由人标记以包括体外的相机的视频的示例来训练的神经网络。然而，某些分类器可以用从评论提取的数据进行训练，如上文结合图6所述。例如，如果专家针对外科活动的一部分生成的评论指示出色的组织处理，则对应的视频和地面实况可用作组织处理分类器716的输入。

图8示出了能够在“应用程序”或web浏览器中查看的简档页面800。简档页面可包括概要部分802、详细信息部分804和/或公开简档部分806。

在各种实施方案中的一个或多个实施方案中，概要部分802包含受试者的表现的一个或多个概要。该概要可包括“肯定”的技能808(即，受试者表现良好的技能)和“还需努力”的技能810(即，个体表现欠佳的技能)。在一个实施方案中，基于分类器以及应用于评论和/或视频流的任选的附加处理来将技能识别为肯定或否定的，如下文分别参考图9和图10所述。在各种实施方案中的一个或多个实施方案中，概要中的每个条目通过代表性评论(例如，“缝针快速而敏捷”和“比平常速度慢”)来识别。

在各种实施方案中的一个或多个实施方案中，受试者的强项和弱项可在整个数据集手术评估中相对于与其相似的其他类似受试者被报告或显示。例如，“您的外科手术涉及粗糙组织处理的可能性要高出25％，这预计会导致比你的同行的手术高出20％的并发症”。然后，可将这些观察结果转变为针对改进的个性化推荐，这些个性化推荐在统计上最有可能产生技能改进和期望的患者结果。

在各种实施方案中的一个或多个实施方案中，详细信息部分804可包括由受试者执行的手术812的列表，其中每个元素可被扩展以查看从评论提取的详细汇总反馈。例如，手术24已被扩展，并且两个活动被列为显著的(即，出现在评论的阈值百分比以上)–“缝合良好”814和“进展缓慢”816。这些活动中的每一个活动自身可扩展以查看包含对这些活动的描述的实际句子片段，诸如“缝针快速而敏捷”或“比平常速度慢”。

在各种实施方案中的一个或多个实施方案中，使外科医生受试者能够将评论标记为错误。在这些情况下，经训练的审查员将被分配以审查视频和所标记的评论。如果外科医生受试者被视为正确的，则移除该评论。如果评论员被认为是核心的，则添加正确的分类作为可用于后续分类器训练的地面实况。

在各种实施方案中的一个或多个实施方案中，公开简档806指示社交网络的用户在访问受试者的简档页面时可看到哪些内容。在一个实施方案中，公开简档的内容是基于评论和/或视频分类的结果由计算机生成的，如本文所述。这样，公开简档的查看者可对其中包含的数据的准确性和公正性有信心。可将社交网络专门构建以包括此类简档，或者可将内容集成到现有社交网络中。

现在将参考图9至图11描述本发明的某些方面的操作。在各种实施方案中的至少一个实施方案中，分别结合图9至图11描述的过程900、1000和1100，或这些过程的部分可由网络计算机(诸如图3的网络计算机300)实现并且/或者在该网络计算机上执行。在其他实施方案中，这些过程或这些过程的部分可由多个网络计算机(诸如图3的网络计算机300)实现并且/或者在该多个网络计算机上执行。另外，在各种实施方案中的至少一个实施方案中，这些过程或这些过程的部分可由在一个或多个云网络中操作的一个或多个云实例来实现并且/或者在一个或多个云实例上执行。然而，实施方案不限于此，并且可利用网络计算机、客户端计算机、云计算机等的各种组合。这些过程或这些过程的部分可在图1的任何计算机(包括但不限于记录计算机112至118、审查计算机102至107或ATSC 110)上实现。

图9示出了基于从评论提取的情绪极性的汇总来提供由审查员接收的反馈的过程900的概览流程图。在开始框之后，在框902处，在各种实施方案中的至少一个实施方案中，捕获记录受试者手术的内容。在各种实施方案中的一个或多个实施方案中，记录受试者活动的表现的内容经由内容捕获装置(诸如但不限于记录计算机)捕获。例如，图1的记录计算机112至118中的至少一个记录计算机可捕获记录由受试者完成的受试者活动的内容。

所捕获的内容可以是记录受试者活动的任何内容，包括但不限于静止图像、视频内容、音频内容、文本内容、生物识别特征等。例如，可捕获记录执行外科手术(包括但不限于机器人外科手术)的外科医生的视频。在其他实施方案中，可捕捉抽血师从患者抽取血液的视频或护士操作血糖仪以获得患者葡萄糖水平的视频。内容物可记录执行各种协议(诸如洗手协议、家庭透析协议、训练协议等)的受试者。如下文进一步所述，将所捕获的内容的至少一部分提供给审查员诸如同事、导师或其他学科专家。如通篇所述，审查员审查内容并提供关于受试者活动的表现的基于文本或口述的评论。每个审查员提供指示他们对受试者的受试者活动表现的独立评估的评论。

在各种实施方案中的一个或多个实施方案中，受试者、记录计算机112至118的操作员或了解活动的另一个人可实时生成注释建议。除此之外或另选地，当显著事件发生时，这些人中的一者或多者可创建具有标记的时间戳。除此之外或另选地，这些人中的一者或多者可将显著事件标记为正在发生，使审查员能够“快进”到特定事件、基于某些事件类型进行过滤等。

在框904处，评估工具与在框902处捕获的内容相关联。在一个实施方案中，评估工具从审查员请求基于文本或口述的评论。评论可以响应于开放式定性问题，或者响应于对一般性评论、反馈等的提示。

在各种实施方案中的一个或多个实施方案中，元数据诸如时间戳可由评估工具覆盖在内容上。在另一个实施方案中，从一个或多个源同时捕获的音频可与视频内容一起回放，使审查员能够理解执行活动的一个或多个人当时正在说的内容。在另一个实施方案中，可突出显示或以其他方式识别由机器学习系统从视频提取的特征，诸如解剖特征的位置、外科器械的位置等，如下文结合图10所述。

在各种实施方案中，审查员可以是审查计算机的用户，诸如但不限于图1的审查计算机102至118。在至少一个实施方案中，经由网络接口将内容提供给审查员。例如，可以将链接(诸如超链接)提供给链接到网络接口的审查员。

在框906处，接收来自审查员的评估评论。在一个实施方案中，该评估包括由审查员键入的基于文本的评估。然而，还设想了口述评估，其可被转录以用于进一步处理。

在一个实施方案中，与评论相关联的元数据也与该评论一起被接收。在一个实施方案中，相对于内容的回放进行评估的部分的时间包括在元数据中。例如，如果评论的一部分是在手术进行23分钟时生成的，则这样的指示将被包括在评论中。这样，如果在外科手术期间，在手术的6分钟、23分钟和50分钟时执行烧灼，则可建立评论和实际事件之间的相关性。例如，如果评论提到了烧灼，则可以高置信水平确定评论提到了在第23分钟发生的烧灼。

在框908处，任选地将口述的评论转换成文本。然而，在另一个实施方案中，由音频分类器处理口述评论以提取与从基于文本的评论中提取的特征类似的特征，如下所述。

在框910处，在各种实施方案中的一个或多个实施方案中，将评论拆分为段落和句子。在一个实施方案中，段落可通过制表符和换行符来识别，而句子可基于对句子结构、语法和标点符号的分析而被拆分。

在框912处，将一个或多个分类器应用于句子中的每个句子，如上文结合图6所述。

在框914处，基于在框912中识别的情绪极性的汇总来提供反馈。在一个实施方案中，反馈在上文结合图8所述的受试者的简档中示出。类似地，反馈可被汇总并汇总在“概要”和“详细信息”页面中，如上文结合图8所述。

在一个实施方案中，基于情绪极性的汇总的反馈可用于训练机器学习系统，如下文结合图10所述。例如，如由审查员关于特定步骤的肯定评价的显著百分比(例如，高于90％)所确定的出色缝合水平的示例可作为用于识别出色缝合水平的训练材料提供给机器学习系统。在其他实施方案中，可推荐特定步骤的三个最佳评分作为机器学习系统的学习机会。

在另一个实施方案中，活动的特别肯定或否定评论的部分可被识别为受试者或其他从业者的个性化的、规定性学习机会。因此，可例如经由简档页面提供优秀和不足的内容，使得报告的查看者可将优秀的示例与不足的示例进行比较和对比。

在多个实施方案中的另一个实施方案中，将反馈作为实时建议提供给外科手术受试者，出现在屏幕416或受试者402佩戴的眼镜418上。

过程900然后传递至返回框。

图10示出了用于应用机器学习系统来分析活动视频的过程1000的概览流程图。在一个实施方案中，由过程1000处理的内容类似于由过程900处理的内容。该处理可类似地实时发生，从而实现实时反馈。除此之外或另选地，该处理可应用于将活动的存档录像，在这种情况下，结果用于预测由受试者执行的未来病例的表现和患者结果，为受试者提供针对改进活动的个性化反馈和规定性建议，识别培训材料，提供能够用于为即将到来的活动安排受试者的排名等。

在开始框之后，在框1002处，将内容、注释和时间戳提供给机器学习系统以用于分析。在各种实施方案中的一个或多个实施方案中，记录受试者手术的表现的内容经由内容捕获装置(诸如但不限于记录计算机)捕获。例如，图1的记录计算机112至118中的至少一个记录计算机可捕获记录由受试者执行的受试者手术的内容。一般来讲，如上文结合图9的框902所述的那样来捕获内容。

在框1004处，将一个或多个分类器应用于内容，如上文结合图7所述。

在框1006处，任选地，结合关于患者的附加信息来分析从内容提取的特征。例如，如果已知患者患有毒力形式的癌症，则可确定在该手术期间值得冒额外的风险。因此，出于实时反馈的目的，可对指示危险步骤的特征(例如，手术刀太靠近动脉)进行降级或忽略。

在框1008处，任选地，采用调度系统以使用从内容提取的特征来为即将到来的活动分配受试者。例如，如果外科医生在手术期间表现出进展缓慢，则管理调度系统可使用该信息以避免将该外科医生分配给要求动作更快的复杂病例。类似地，如果外科医生在外科手术的一个方面表现出特定技能，则她可能被分配给需要大量该技能的后续病例。

在框1010处，任选地，分析特征以向受试者提供实时反馈。在一个实施方案中，该反馈在视频监视器416上提供，而在另一个实施方案中，该反馈经由平视显示眼镜418提供。例如，如果一个特征识别出外科器械(诸如手术刀414)的位置，另一个识别出易损解剖结构(诸如输尿管)的位置，则框1010可向受试外科医生提供关于手术刀与输尿管的接近度的警告，并且建议收回手术刀。

在框1012处，任选地，分析特征以识别特征和结果之间新的相关性。例如，源自人类的知识可不包括能够由机器学习识别的微妙或复杂的相关性。例如，在针对某些类型的外科手术执行某些外科技术时，双手灵巧性可能或多或少是重要的。类似地，偏手性、手的尺寸和其他因素可被识别为导致更好或更差的外科手术结果。

此外，在一些实施方案中，可发现附加的与结果相关见解。例如，评估或结果可映射到一天中的时间、患者的类型、手术的类型，或映射到与受试者、患者、评估等中的一个或多个相关联的其他特征。同样，在一些实施方案中，可基于由其他受试者执行、在其他机构执行、使用相同或不同器械执行等的手术的评估的比较来生成结果信息。

在框1014处，由机器学习系统提取的特征存储在元数据存储装置120中。

过程1000然后传递至返回框。

图11示出了用于将识别的外科手术步骤与正在执行的活动的预期外科手术步骤的时间线相关联的过程1100的概览流程图。在一个实施方案中，结合图10(例如，图10的框1004)来执行过程1100。

在开始框之后，在框1102处，确定手术的开始时间。在一个实施方案中，手术的开始时间为00:00，但活动的子部分的视频剪辑可在任意时间开始。

在框1104处，识别外科手术步骤。在一个实施方案中，所识别的步骤包括基本外科手术步骤，诸如切口、缝合线、烧灼等。该步骤可相对于身体部位来识别。除此之外或另选地，所识别的外科手术步骤可能更复杂，诸如特定解剖结构的切除(例如，切除阑尾)。

在框1106处，在所识别的步骤和预期为给定活动发生的步骤之间进行关联。例如，预期在活动的第5分钟左右发生的切口可与观察到在手术进行5分钟30秒之后发生的切口相关联。

在框1108处，基于所识别的步骤来修改分类器。在一个实施方案中，基于与时间线的相关性，特定分类器可被选择或强调应用于内容的相关(例如，相邻)部分。例如，如果活动的时间线示出扩张器的施加发生在预计发生在第5分钟左右的切口的15秒内，则在内容进行5分钟45秒之后(即，在实际切口形成之后15秒)选择和/或强调识别扩张器步骤并且/或者评估扩张器步骤的各方面的分类器。

过程1100然后传递至返回框。

应当理解，流程图图示的每个框以及流程图图示中的框的组合可由计算机程序指令来实现。这些程序指令可被提供给处理器以产生机器，使得在处理器上执行的指令创建用于实现在一个或多个流程图框中指定的动作的装置。计算机程序指令可由处理器执行以使得处理器完成一系列操作步骤以产生计算机实现的过程，使得在处理器上执行的指令提供用于实现一个或多个流程图框中指定的动作的步骤。计算机程序指令还可使得流程图的框中所示的操作步骤中的至少一些操作步骤被并行执行。此外，这些步骤中的一些步骤也可跨多于一个处理器执行，诸如可能出现在多处理器计算机系统中。此外，在不脱离本发明的范围或实质的前提下，流程图图示中的一个或多个框或框的组合也可与其他框或框的组合同时执行，或者甚至以与图示不同的顺序执行。

另外，在一个或多个步骤或框中，可使用嵌入式逻辑硬件(诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程阵列逻辑(PAL)、张量处理单元(TPU)等或它们的组合而不是计算机程序来实现。嵌入式逻辑硬件可直接执行嵌入式逻辑以完成该一个或多个步骤或框中的动作中的一些或全部动作。另外，在一个或多个实施方案中(图中未示出)，步骤或框中的一者或多者的动作中的一些或全部动作可由硬件微控制器而不是CPU来完成。在至少一个实施方案中，微控制器可直接执行其自己的嵌入式逻辑以完成动作，并且访问其自己的内部存储器以及其自己的外部输入和输出接口(例如，硬件引脚和/或无线收发器)以完成动作，诸如片上系统(SOC)等。

上述说明书、示例和数据提供了对本发明的组合物的制造和用途的完整描述。由于在不脱离本发明的实质和范围的前提下，可以做出本发明的许多实施方案，因此本发明由以下所附的权利要求书限定。

图12示出了根据各种实施方案中的一个或多个实施方案的用于对操作员表现的自动评估的系统1200的逻辑架构。在各种实施方案中的一个或多个实施方案中，如上所述，可使用摄像机、来自仪器的遥测技术等来捕获手术的表现。在各种实施方案中的一个或多个实施方案中，所捕获的手术信息可通过各种网络诸如网络路径1204传送到各种评估工具计算机，这些评估工具计算机可分析所捕获的手术信息并将其与结果数据1206相关联。在各种实施方案中的一个或多个实施方案中，结果数据1206可包括与患者在经历手术之后已经具有的结果相关的信息。专家审查员(例如审查员1208)可以审查表现内容，例如手术的视频展示。在多个实施方案中的一个或多个实施方案中，专家审查员可以审查在手术位置捕获然后存储以供稍后审查的所记录的视频。在一些实施方案中，可以使专家审查员能够经由流式视频等进行实时审查。因此，在一些实施方案中，专家审查员可向执行手术的操作员提供实时校正。在其他实施方案中，由专家审查员审查的视频可以包括基于评估引擎、视频分类器、机器视觉等包括或生成的一个或多个注释。

在各种实施方案中的一个或多个实施方案中，注释信息可包括基于与手术的执行者或其他执行者相关联的评估或结果信息的一个或多个重点。

此外，在各种实施方案中的一个或多个实施方案中，用户和工作人员1210表示可提供可与手术捕获数据相关联的有用的上下文信息的系统用户或表现支持人员。例如，用户或工作人员可用上下文信息诸如突出显示兴趣点、患者信息等注释表现数据。另外，在一些实施方案中，上下文信息可包括编辑手术数据以排除可能与专家审查员不相关的活动。

图13示出了根据各种实施方案中的一个或多个实施方案的用于对操作员表现的自动评估的系统1300的逻辑架构。在各种实施方案中的一个或多个实施方案中，系统1300包括一个或多个手术数据捕获装置，诸如相机1302、手术器械诸如手术器械1304、手术捕获客户端计算机1306、网络1308、一个或多个评估工具计算机诸如评估工具计算机1310等。

在各种实施方案中的一个或多个实施方案中，捕获装置诸如捕获装置1302可包括摄像机、超声扫描仪(例如，X线断层摄影反射)、音频麦克风、光学位置传感器、磁性位置传感器等，或它们的组合。在一些实施方案中，捕获装置中的一个或多个捕获装置可与手术器械1304成一整体。另选地，在一些实施方案中，捕获装置可在手术器械外部。在一些实施方案中，一个或多个捕获装置可连接到手术器械上的端口，这些手术器械向捕获装置提供数据馈送。

在各种实施方案中的一个或多个实施方案中，手术器械1304表示可为用于执行手术的正常工具组(例如，外科系统)的一部分的一个或多个器械。在一些实施方案中，手术器械1304可包括高级装置，这些高级装置包括集成视频捕获、机器视觉系统、平视显示器、增强现实显示器、一个或多个机器人臂等，或它们的组合。在一些实施方案中，如果手术数据可经由一个或多个捕获装置捕获，则可使用不太先进的器械。例如，在一些实施方案中，摄像机可被布置为捕获使用经典器械诸如独立手术刀、缝合针等执行的外科手术。

在各种实施方案中的一个或多个实施方案中，手术捕获计算机诸如手术捕获客户端计算机1306可与一个或多个手术器械或一个或多个捕获装置耦接或以其他方式集成。在一些实施方案中，如上所述，捕获客户端计算机可定位在执行手术的位置处或该位置附近以捕获手术数据。在一些实施方案中，手术捕获计算机诸如手术捕获客户端计算机1306可与手术器械或手术系统集成，而不是与该手术器械在物理上分离。

在各种实施方案中的一个或多个实施方案中，网络1308表示将手术侧的计算机或装置耦接到系统的评估侧的网络。在各种实施方案中的一个或多个实施方案中，网络1308可被认为与网络108等类似或相同。

在各种实施方案中的一个或多个实施方案中，评估工具计算机1310可被认为表示为存储、评估、分类所捕集的手术数据等提供支持的一个或多个计算机。同样，评估工具计算机1310可被视为表示可托管、实例化或执行文本分类器322、视频分类器324、分类处理引擎326和评估引擎327等中的一者或多者的一个或多个网络计算机。

本领域的普通技术人员将会知道，系统1300示出了根据各种实施方案中的一个或多个实施方案的系统的一个非限制性示例。因此，计算机、网络、装置、数据捕获装置等的其他布置可被组装以执行本文所述的创新中的一些或全部。为了简洁和清楚起见，省略了这些另选的布置。然而，所呈现的示例和描述至少足以支持受权利要求书保护的受试者。

图14示出了根据各种实施方案中的一个或多个实施方案的用于所提供的与所执行的手术相关联的专家审查信息的用户界面1400的逻辑或功能表示。在各种实施方案中的一个或多个实施方案中，用户界面1400可包括：一个或多个图形用户界面部件，诸如窗口1402；手术数据查看器1404；具有一个或多个伴随的输入控件(诸如提示1406和控件1408、提示1410和控件1412、提示1414和控件1416等)的一个或多个审查/评估提示；并且，在该示例中，控件1418可以是用于推进到下一个审查动作的按钮。

本领域的普通技术人员将会知道，用户界面1400示出了根据各种实施方案中的一个或多个实施方案的用户界面的一个非限制性示例。因此，用户界面元件的其他布置可被组装以执行本文所述的创新中的一些或全部。为了简洁和清楚起见，省略了这些另选的布置。然而，所呈现的示例和描述至少足以支持受权利要求书保护的受试者。

图15示出了根据各种实施方案中的一个或多个实施方案的用于提供与所执行的手术相关联的专家审查信息的用户界面1400的逻辑或功能表示。在该示例中，用户界面1500示出来自移动装置界面或应用程序(移动电话应用程序)的用于与评估工具进行交互的两个屏幕。在该示例中，屏幕1502示出向受试者(例如，外科医生)提供的指示评估报告可用的通知。因此，在各种实施方案中的一个或多个实施方案中，受试者可打开通知或以其他方式实例化客户端评估工具屏幕，诸如屏幕1504，使受试者能够查看评估报告或与评估报告进行交互。同样，可适当地提供其他视图或屏幕以使受试者能够阅读其评估或与其进行交互。另外，在各种实施方案中的一个或多个实施方案中，移动应用程序可被布置用于向用户、工作人员、专家审查员、非专家审查员、管理员等提供对评估系统的各种特征的访问。

本领域的普通技术人员将会知道，用户界面1500示出了根据各种实施方案中的一个或多个实施方案的用户界面的一个非限制性示例。因此，用户界面元件的其他布置可被组装以执行本文所述的创新中的一些或全部。为了简洁和清楚起见，省略了这些另选的布置。然而，所呈现的示例和描述至少足以支持受权利要求书保护的受试者。

图16示出了根据各种实施方案中的一个或多个实施方案的用于表示所评估的手术的一个或多个部分或步骤的评估评分的数据模型1600的逻辑或功能表示。在该示例中，各种评估特征诸如深度知觉、双手灵巧性、效率、力敏感性、机器人控制等与各种分箱评分值或分桶评分值相关联。不同评分的含义可根据其可相关联的特征而变化。注意，数据模型1600表示一种方式，该方式表示与评估相关联的评分数据。本领域的普通技术人员将会知道，根据各种实施方案中的一个或多个实施方案的评估系统可包括更多或更少的特征等。另外，在一些实施方案中，可存在比此处所示更多或更少的评分桶或评分箱。然而，数据模型1600至少足以使得技术人员或普通技术人员能够实践本文所述的创新。