用于将原始外科手术规程视频匿名化的方法和系统

摘要

本专利公开提供了用于将在于手术室(OR)内对患者执行的外科手术规程期间由记录装置诸如内窥镜相机记录的原始外科手术规程视频匿名化的各种实施方案。在一个方面，公开了一种用于将OR内由记录装置记录的原始外科手术规程视频匿名化的方法。此方法能够以接收对应于在该OR内执行的外科手术规程的一组原始外科手术视频开始。该方法接下来合并该组原始外科手术视频以生成对应于该外科手术规程的外科手术规程视频。接下来，该方法检测嵌入在该外科手术规程视频的一组原始视频图像中的基于图像的个人可标识信息。当检测到基于图像的个人可标识信息时，该方法自动将该外科手术规程视频中的所检测到的基于图像的个人可标识信息去标识化。

说明书

技术领域

本公开整体涉及构建外科手术规程视频分析工具，并且更具体地，涉及用于将原始外科手术规程视频匿名化以将个人可标识信息去标识化并且提供用于各种研究目的的已匿名化外科手术规程视频的系统、装置和技术。

背景技术

医学规程(诸如外科手术)的所记录视频对于医学教育和培训、评估和分析外科手术的质量和外科医生的技能以及对于改善外科手术的结果和外科医生的技能包含非常有价值且丰富的信息。存在涉及显示和捕获外科手术规程的视频图像的许多外科手术规程。例如，几乎所有微创规程(MIS)诸如内窥镜检查、腹腔镜检查和关节镜检查都涉及使用摄像机和视频图像来协助外科医生。此外，现有技术机器人辅助的外科手术需要捕获术中视频图像并在监视器上显示给外科医生。因此，对于许多上述外科手术规程，例如胃套或胆囊切除术，大量外科手术视频已经存在，并且由于来自不同医院的许多不同外科医生执行大量的外科手术病例而继续创建。

特定外科手术规程的大量(并且不断增加的)外科手术视频的存在的简单事实使得处理并分析给定规程的外科手术视频成为潜在的机器学习问题。然而，来自手术室(OR)中的记录的原始外科手术视频可包含呈基于文本的标识符形式的所有种类的患者信息，包括患者的姓名、医学记录编号、年龄、性别、人口统计学、外科手术的日期和时间等等。此外，一些外科手术规程视频还可包含在OR内部捕获的敏感且私人信息，诸如写在OR中的白板上的信息和外科工作人员的面部。因此，在原始外科手术视频可用于各种研究目的诸如用于构建机器学习工具之前，原始外科手术规程视频需要被匿名化，以便不含个人可标识信息并且符合HIPAA法规和流程。

存在可用于将文本标识符从文件移除以及用于从医学图像文件诸如患者的CT扫描、X射线等中检测敏感信息并将其从医学图像文件移除的若干自动匿名化工具。然而，用于将原始规程视频中埋藏的敏感信息匿名化的现有技术通常为基于手动的，这需要人类操作者查看各个视频来标识视频帧中的敏感信息，并且然后手动地将敏感信息匿名化(例如，通过移除或去除)。基于手动的视频匿名化过程既费力又耗时。特别地，构建机器学习工具要求首先将大量原始外科手术规程视频匿名化，这使得基于手动的视频匿名化对于机器学习目的是不切实际的。遗憾的是，不存在用于将原始外科手术视频中埋藏的敏感信息匿名化的现有自动匿名化工具。

发明内容

本专利公开提供了用于将在于手术室(OR)内对患者执行的外科手术规程期间由记录装置诸如内窥镜相机记录的原始外科手术规程视频匿名化的各种实施方案。在一个方面，公开了一种用于将OR内由记录装置记录的原始外科手术规程视频匿名化的方法。此方法能够以接收对应于在该OR内执行的外科手术规程的一组原始外科手术视频开始。该方法接下来合并该组原始外科手术视频以生成对应于该外科手术规程的外科手术规程视频。接下来，该方法检测嵌入在该外科手术规程视频的一组原始视频图像中的基于图像的个人可标识信息。当检测到基于图像的个人可标识信息时，该方法自动将该外科手术规程视频中的所检测到的基于图像的个人可标识信息去标识化。

在一些实施方案中，该方法通过分析与该组原始外科手术视频相关联的一组文件名以确定相对于该外科手术规程的正确次序来合并该组原始外科手术视频以生成该外科手术规程视频；并随后基于所确定次序将该组原始外科手术视频拼接在一起。

在一些实施方案中，该方法通过检测作为该组原始视频图像的一部分的一种或多种形式的个人可标识文本来检测嵌入在该外科手术规程视频的一个或多个视频图像中的基于图像的个人可标识信息。如果在该组原始视频图像内的一个或多个原始视频图像中检测到一种形式的个人可标识文本，则该方法然后通过将该一个或多个原始视频图像中的所检测到的文本模糊掉或以其他方式使其难以辨认来将所检测到的基于图像的个人可标识信息去标识化。

在一些实施方案中，该一种或多种形式的个人可标识文本还包括由用于记录该组原始外科手术视频的该记录装置捕获的一种形式的记录文本。

在一些实施方案中，记录文本可包括打印在该外科手术规程所使用的一个或多个外科手术工具上并且由定位在患者体内的该记录装置记录的文本。所记录还可包括在执行该外科手术规程的该OR内部显示的文本，其中该文本由该记录装置在将该记录装置从该患者体内取出时的体外(OOB)事件期间意外地记录。

在一些实施方案中，该方法通过以下方式检测打印在该一个或多个外科手术工具上的记录文本：使用基于机器学习的工具检测和识别模型来检测该一个或多个原始视频图像内的外科手术工具；以及处理该一个或多个原始视频图像的包含所检测到的外科手术工具的一部分，以检测该一个或多个原始视频图像的该部分内的任何个人可标识文本。

在一些实施方案中，该一种或多种形式的个人可标识文本还包括插入到该外科手术规程视频中以显示外科手术规程相关信息的文本框。

在一些实施方案中，该方法通过以下方式检测该外科手术规程中的该文本框：使用基于机器学习的文本框检测模型来在该一个或多个原始视频图像内的预先确定的位置处或附近检测文本框；以及处理该一个或多个原始视频图像的包含所检测到的文本框的一部分，以检测该一个或多个原始视频图像的该部分内的任何个人可标识文本。

在一些实施方案中，该方法通过扫描该组原始视频图像以检测对应于将该记录装置从患者体内取出时的OOB事件的视频片段来检测嵌入在该外科手术规程视频的该组原始视频图像中的基于图像的个人可标识信息。需注意，个人可标识信息可由该记录装置在该OOB事件期间意外地捕获。如果在该组原始视频图像内检测到OOB事件，则该方法通过自动将对应于所检测到的OOB事件的所检测到的视频片段中的每个视频图像模糊掉或以其他方式编辑掉，使得无法标识嵌入在所检测到的视频片段内的任何个人可标识信息，来将所检测到的基于图像的个人可标识信息去标识化。

在一些实施方案中，该方法通过以下方式检测该组原始视频图像中的对应于OOB事件的视频片段：使用基于机器学习的OOB事件检测模型来检测OOB事件的正在将内窥镜相机从患者体内取出时的开始阶段；使用该基于机器学习的OOB事件检测模型来检测该OOB事件的正在将该内窥镜相机插回到该患者体内时的结束阶段；以及将该组原始视频图像中的所检测到的开始阶段和所检测到的结束阶段之间的一组视频图像标记为对应于所检测到的OOB事件的该视频片段。

在一些实施方案中，在使用该基于机器学习的OOB事件检测模型来检测OOB事件之前，该方法还包括基于从实际外科手术规程视频提取的一组OOB事件的一组所标记视频片段训练该OOB事件检测模型。

在一些实施方案中，在合并该组原始外科手术视频之前，该方法还包括处理所接收的该组原始外科手术视频，以检测嵌入在与该组原始外科手术视频相关联的文件结构数据中的基于文本的个人可标识信息。如果检测到基于文本的个人可标识信息，则该方法还可包括将所检测到的基于文本的个人可标识信息从该文件结构数据移除或以其他方式去标识化。

在一些实施方案中，该文件结构数据包括：与该组原始外科手术视频相关联的文件标识符；包含该组原始外科手术视频的文件夹的文件夹标识符；与该组原始外科手术视频相关联的文件属性；以及与该组原始外科手术视频相关联的其他元数据。

在一些实施方案中，在将该外科手术规程视频中的所检测到的基于图像的个人可标识信息去标识化之后，该方法还包括以下步骤：在已去标识化外科手术规程视频内执行随机采样，以在该已去标识化外科手术规程视频内随机选择多个视频片段；以及验证所随机选择的视频片段不含任何个人可标识信息。

在一些实施方案中，在将该外科手术规程视频中的所检测到的基于图像的个人可标识信息去标识之后，该方法还包括以下步骤：将该组原始外科手术视频从外科手术视频储存库永久性地移除；以及用已去标识化外科手术规程视频替换所移除的原始外科手术视频。

在一些实施方案中，该个人可标识信息包括与接收该外科手术规程的患者相关联的患者可标识信息和与执行该外科手术规程的外科工作人员相关联的外科工作人员可标识信息两者。

附图说明

通过查看以下具体实施方式和附图将理解本公开的结构和操作，在附图中类似的附图标号是指类似的部件，并且其中：

图1示出了根据本文所述的一些实施方案的示例性原始外科手术视频匿名化系统的框图。

图2呈现了示出根据本文所述的一些实施方案的用于将原始外科手术视频匿名化以将嵌入在视频图像中的个人可标识信息去标识化的示例性过程的流程图。

图3呈现了示出根据本文所述的一些实施方案的用于从原始外科手术视频中检测体外(OOB)视频片段并将其从原始外科手术视频移除以将嵌入在相关联OOB视频图像中的个人可标识信息去标识化的示例性过程的流程图。

图4概念性地示出了可用以实现本主题技术的一些实施方案的计算机系统。

具体实施方式

下文列出的具体实施方式旨在作为本主题技术的各种配置的描述，并非旨在表示可实践本主题技术的唯一配置。附图并入本文并构成具体实施方式的一部分。具体实施方式包括特定细节，其目的在于提供对本主题技术的透彻理解。然而，本主题技术不限于本文列出的特定细节，并且可在没有这些特定细节的情况下被实践。在一些情况下，结构和部件在框图中示出，以避免模糊本主题技术的概念。

在整个说明书中，术语“匿名化”和“去标识化”可互换使用，以意指个人可标识信息的去标识化。此外，术语“将……匿名化”和“将……去标识化”可互换使用，以意指个人可标识信息的去标识化的动作。此外，术语“已匿名化”和“已去标识化”可互换使用，以意指个人可标识信息的去标识化的结果。

原始外科手术视频通常包括所有种类的个人可标识信息，包括患者可标识信息和外科工作人员可标识信息两者。患者可标识信息(或下文的“患者数据”)是可用于标识患者的任何信息，其可包括但不限于患者的姓名、出生日期(DOB)、社会安全号码(SSN)、年龄、性别、地址、医学记录编号(MRN)以及外科手术的时间。外科工作人员可标识信息(或下文的“工作人员数据”)是可用于标识给定外科工作人员的任何信息，诸如执行规程的外科医生的姓名。上述个人可标识信息可呈文本格式。例如，在记录外科手术视频之后，一些个人可标识信息可嵌入在与视频文件和包含外科手术视频文件的文件夹相关联的元数据中。需注意，可使用任何常规文本数据分析技术来将与所记录原始外科手术视频相关联的基于文本的患者可标识信息匿名化或去标识化。

在一些实施方案中，上述个人可标识信息可呈图像格式，并且嵌入在给定外科手术视频内的一些视频帧中。基于图像的个人可标识信息可包括在外科手术规程期间以各种方式记录的文本。例如，可在内窥镜式规程期间记录打印在患者体内使用的外科手术工具上的文本。此类文本可标识外科医生的姓名和被接合的工具的类型。例如，视频图像可捕获诸如对应外科手术工具上的“Dr.Hogan的剪刀”或“Dr.Hogan的缝合器”的文本。基于图像的个人可标识信息还可包括插入到所记录规程视频中的文本框，该文本框示出诸如外科医生的姓名和医院的名称的可标识信息。此外，基于图像的个人可标识信息还可包括写在白板上或显示在OR室内的监视器上的患者和/或工作人员数据。需注意，此类信息通常意外地记录于内窥镜规程的体外事件期间(下文更详细地描述)。需注意，个人可标识信息还可包括非文本信息。特别地，非文本个人可标识信息可包括患者和/或外科工作人员的面部图像。同样，此类面部图像可能在内窥镜规程的体外事件期间被意外地记录。非文本个人可标识信息还可包括嵌入在原始外科手术视频中的所记录音频轨道。

需注意，每个原始内窥镜视频可包括多个体外(OOB)事件。OOB事件通常被定义为在外科手术规程期间出于各种原因之一将内窥镜从患者体内取出同时内窥镜相机继续记录的时间段，或者在外科手术规程之前和/或之后立即将内窥镜从患者体内取出同时内窥镜相机正在记录的时间段。在外科手术规程期间，OOB事件可出于多种原因而发生。例如，OOB事件将发生在必须清洁内窥镜透镜的情况下。需注意，多个外科手术事件可致使部分或完全阻挡内窥镜视线而妨碍外科医生观察解剖结构。这些外科手术事件可包括但不限于：(a)内窥镜透镜覆盖有血液(例如，由于出血并发症)；(b)内窥镜透镜由于冷凝而起雾；以及(c)内窥镜透镜覆盖有烧灼生成的组织颗粒，这些组织颗粒粘附到透镜并最终阻挡内窥镜视线。在上述场景中的每个场景中，内窥镜相机需要从体内取出，使得可清洁内窥镜透镜来恢复可视性或升温进行冷凝去除。在清洁和/或其他必要的处理之后，内窥镜相机通常需要重新校准，包括在其可放回患者体内之前执行白平衡。需注意，这种透镜清洁类型的OOB事件可能花费几分钟来完成。此外，初始OOB时间/事件可存在于外科手术规程开始时、内窥镜相机在插入到患者体内之前打开的情况下；并且最终OOB时间/事件可存在于外科手术规程结束时、内窥镜相机在外科手术规程完成之后保持打开一定时间段内窥镜相机已从患者体内取出时的情况下。

然而，每当内窥镜相机从患者体内取出时，外科医生可能无意地将相机指向OR中的某人诸如患者或包括外科医生自己的外科工作人员，使得OR中的一个或多个人的面部图像可捕获在原始外科手术视频中。此外，在OOB事件期间，外科医生可能意外地将相机指向示出个人可标识信息诸如患者的姓名和DOB、外科工作人员的姓名、规程和医院的名称等等的OR白板。必须将在这些OOB事件期间捕获的视频图像中的文本个人可标识信息和面部图像两者匿名化/去标识化。

所公开的原始外科手术视频匿名化技术可用于以嵌入在视频帧中的文本信息的形式或以视频帧中的面部图像的形式检测每种类型的上述个人可标识信息并将其匿名化/去标识化。例如，嵌入在视频帧中的文本信息可包括插入视频帧中的文本/对话面板/框、打印在外科手术工具上的文本，以及在OOB事件期间意外捕获的OR内部的白板或监视器上的文本信息；而视频帧中的面部图像可包括OOB事件期间意外捕获的OR内部的患者和外科工作人员的面部。在使用所公开的视频匿名化技术处理给定外科手术规程视频之后，给定外科手术视频变得完全匿名化，使得无法从已匿名化视频图像来标识患者或外科工作人员的身份。

图1示出了根据本文所述的一些实施方案的示例性原始外科手术视频匿名化系统100的框图。如在图1中可见，原始外科手术视频匿名化系统100(或下文的“视频匿名化系统100”)包括文本数据去标识化模块102、文件合并模块112、图像数据去标识化模块104、验证模块106和原始数据清除模块108，它们以所示次序彼此耦接。

一般来讲，文件合并模块112被配置为将一组视频剪辑/文件拼接在一起而成为完整规程视频；文本数据去标识化模块102被配置为处理原始外科手术视频以检测嵌入在文件和文件夹标识符中的基于文本的个人可标识信息并将其去标识化；图像数据去标识化模块104被配置为处理原始外科手术视频以检测嵌入在原始视频图像中的各种类型的基于图像的个人可标识信息并将其去标识化；验证模块106被配置为确保由图像数据去标识化模块104输出的已匿名化外科手术视频确实不含任何个人可标识信息；并且原始数据清除模块108被配置为从原始外科手术视频储存库永久性地移除原始外科手术视频和相关联文件标识符，并且用已去标识化视频替换所移除原始视频。现在更详细地描述视频匿名化系统100的每个部件。

如图1所示，视频匿名化系统100的文本数据去标识化模块102耦接到外科手术视频储存库130，该外科手术视频储存库通常不是视频匿名化系统100的一部分。在一些实施方案中，外科手术视频储存库130是符合HIPAA的视频储存库。在一些实施方案中，外科手术视频储存库130可临时存储针对在OR中执行的外科手术规程记录的原始外科手术规程视频，其中外科手术规程可包括开放式外科手术规程、内窥镜式外科手术规程或机器人外科手术规程。因此，原始外科手术规程视频可包括各种类型的原始外科手术视频，包括但不限于原始开放式外科手术视频、原始内窥镜式外科手术视频和原始机器人外科手术视频。

需注意，如果将完整的外科手术规程记录到单个视频文件中，则视频的长度可为几个小时(例如，2小时-2.5小时)并且文件大小可为多个千兆字节(例如，4GB-5GB)。然而，医院IT部门通常对实际文件大小可能有多大施加一些限制，因为必须将这些所记录原始视频文件传输到不同存储装置。因此，长外科手术规程通常被分解并记录为一组较短视频片段，诸如一组每个文件500兆字节(MB)的视频文件。例如，对应于4千兆字节(GB)规程视频的完整外科手术规程将被记录为八个500MB的视频文件，而不是单个4-GB的视频。然而，该组所记录片段的原始次序或某种时间序列信息需要是已知的，以便稍后例如通过文件合并模块112重建完整的外科手术规程。

在所示的实施方案中，文本数据去标识化模块102从外科手术视频储存库130接收对应于完整外科手术规程的一组所记录视频片段/剪辑的一组原始外科手术视频文件120。文本数据去标识化模块102被配置为处理所接收的该组原始视频文件，以检测嵌入在与该组原始外科手术视频文件120相关联的文件标识符(例如，文件名)、文件夹标识符(例如，文件夹名)、文件属性以及其他元数据中的基于文本的个人可标识信息。文本数据去标识化模块102随后将所检测到的基于文本的个人可标识信息从与该组原始视频文件120相关联的对应文件标识符、文件夹标识符和其他元数据移除或以其他方式去标识化。文本数据去标识化模块102然后输出一组经部分处理的原始视频文件122。需注意，文本数据去标识化模块102可利用开源文本检测和移除工具或基于常规文本检测技术来实现。

在一些实施方案中，文件合并模块112从文本数据去标识化模块102接收对应于完整外科手术规程的该组所记录视频片段/剪辑的该组经部分处理的原始视频文件122，并且随后将该组经部分处理的原始视频文件拼接在一起以重新创建经部分处理的完整规程视频124(或“完整规程视频124”)。需注意，为了能够将该组原始视频文件122合并成单个视频文件，该组原始视频文件需要具有相同格式。还需注意，对于包括一组原始视频片段的外科手术规程，该组视频片段将具有不同文件名，并且通常存储在具有文件夹名的单个文件夹内。遗憾的是，不同记录装置通常具有不同命名约定：例如，一些可利用标识符“A、B、C、D、E”等命名视频片段，并且另一些可利用标识符“1A、1B、1C、1D”等命名视频片段。因此，文件合并模块112应被配置为分析不同命名约定，以确定与特定记录装置相关联的所接收的该组视频片段的正确次序，以便将这些片段合并回适当的全长规程视频。需注意，如果给定外科手术规程由单个视频片段构成，则实际上不会发生文件合并。

在图1所示实施方案的另选实施方案中，代替从文本数据去标识化模块102接收该组经部分处理的原始视频文件122，文件合并模块112可独立地从外科手术视频储存库130接收该组原始视频文件120，并且随后合并该组原始视频文件以重新创建经合并(即，完整规程)的原始外科手术视频。

接下来，图像数据去标识化模块104接收经部分处理的完整规程视频124。在一些实施方案中，图像数据去标识化模块104被配置为检测嵌入在完整规程视频124的原始视频图像/帧中的各种类型的基于图像的个人可标识信息，并且随后将对应视频图像/帧中的所检测到的个人可标识信息去标识化。如在图1中可见，图像数据去标识化模块104可包括一组数据匿名化子模块，诸如图像文本去标识化子模块104-1和OOB事件移除子模块104-2。更具体地，图像文本去标识化子模块104-1被配置为检测被记录或自动插入到原始视频图像中以使得它们是原始视频图像的一部分的各种个人可标识文本。例如，所记录文本可包括打印在于腹腔镜式或内窥镜式外科手术规程期间使用的外科手术工具上的文本。所记录文本还可包括在OR内部显示但在OOB事件期间由腹腔镜或内窥镜相机意外地记录的各种基于文本的信息，例如，写在OR内部的白板上的文本、打印在外科工作人员的手术服或制服上的文本、显示在OR内部的监视器上的文本或者OR内部的其他文本承载对象。个人可标识文本还可包括自动插入到所记录规程视频中的已插入文本诸如标准用户界面(UI)文本框/面板，该文本框/面板示出了诸如外科医生的姓名和医院的名称的可标识信息。

在经部分处理的完整规程视频124的一个或多个视频帧中检测到此类个人可标识文本之后，图像文本去标识化子模块104-1还可被配置为使用对应视频帧中的其他特殊效果或技术来自动将所检测到的文本模糊掉或以其他方式使其难以辨认。在一些实施方案中，对于在不被认为是外科手术视频的一部分的视频帧内的所检测到的文本框，可将整个文本框模糊掉或以其他方式编辑掉。在一些其他实施方案中，可首先识别所检测到的文本框内的文本，并且然后可将所识别文本分成敏感文本和信息文本。接下来，仅所确定敏感文本诸如外科医生的姓名将被模糊掉或以其他方式编辑掉，而所确定信息文本诸如外科手术工具类型/名称可保留在视频图像中不动。

在各种实施方案中，图像文本去标识化子模块104-1可包括一个或多个机器学习模型，这些机器学习模型被训练为检测并标识给定视频图像内的各种所记录文本和文本框，诸如打印在外科手术工具上或显示在文本框内的文本。因此，图像文本去标识化子模块104-1可使用一个或多个机器学习模型来自动标识嵌入在经部分处理的视频124的视频图像中的不同类型的个人可标识文本，并且自动地将对应视频图像中的所检测到的文本数据模糊掉/使其难以辨认或以其他方式去标识化。

例如，图像文本去标识化子模块104-1可包括外科手术工具文本检测模型，该外科手术工具文本检测模型被配置为首先利用基于机器学习的工具检测和识别模型检测视频图像内的外科手术工具。接下来，外科工具文本检测模型进一步处理所检测到的工具图像，以检测所检测到的工具图像的边界内的任何个人可标识文本。如果检测到此类文本，则图像文本去标识化子模块104-1被配置为将所检测到的文本模糊掉或以其他方式使其难以辨认。

又如，图像文本去标识化子模块104-1可包括被配置为检测视频图像内的标准UI面板或标准对话框的文本框检测模型。在一些实施方案中，此文本框检测模型可基于包含经插入的文本面板的一组视频图像来训练。为了准备训练数据，可在训练图像内的文本面板周围绘制适当大小的框，从而指示文本框内部的内容不是外科手术视频的一部分。接下来，可基于这些所生成文本框训练文本框检测模型，以教导模型在可能包含需要编辑掉的个人可标识文本的其他视频帧内查找此类标准UI面板。需注意，单个视频帧可包含应被模型检测到的多于一个此类标准UI面板/文本框。在一些实施方案中，文本框检测模型还可从训练数据中学习给定视频帧内的潜在UI面板/文本框的潜在位置，以促进以更高准确度和更快速度来检测这些标准UI面板/文本框。

在一些实施方案中，多个基于机器学习的图像文本检测模型可被构造成使得每个检测模型用于检测嵌入在视频图像中的特定类型的图像文本。例如，除了上述文本框检测模型之外，还可存在被构造为检测打印在外科手术工具上的文本的外科手术工具文本检测模型、被构造为检测从OR白板捕获的文本的白板文本检测模型，以及被构造为检测从OR监视器捕获的文本的监视器文本检测模型。在各种实施方案中，用于检测嵌入在视频图像中的文本的上述一个或多个图像文本检测模型可包括回归模型、基于深度神经网络的模型、支持向量机、决策树、朴素贝叶斯分类器、贝叶斯网络或K最近邻(KNN)模型。在一些实施方案中，这些机器学习模型中的每一者基于卷积神经网络(CNN)架构、递归神经网络(RNN)架构或另一形式的深度神经网络(DNN)架构来构建。

重新参考图1，数据去标识化模块104的OOB事件移除子模块104-2被配置为检测原始外科手术视频内的每个OOB事件，并且随后从原始外科手术视频移除已标识OOB片段。在一些实施方案中，OOB事件移除子模块104-2可包括OOB事件检测器，该OOB事件检测器被配置为扫描规程视频以查找OOB事件。例如，这种OOB事件检测器可包括图像处理单元，该图像处理单元被配置为检测何时将内窥镜从患者体内取出，即，OOB事件的开始。图像处理单元还被配置为检测何时将内窥镜插回到患者体内，即，OOB事件的结束。因此，OOB事件的所检测到的开始和结束之间的视频帧序列对应于完整规程视频内的所检测到的OOB片段。在一些实施方案中，对于每个所检测到的OOB片段，所检测到的OOB片段中的每个视频帧可被完全模糊掉或以其他方式编辑掉(例如，用黑色画面替换)，使得无法标识经编辑的视频帧内的任何个人可标识信息，诸如所有所记录文本和经插入的文本框，以及非文本个人可标识信息诸如人脸。需注意，通常仅将与每个所检测到的OOB片段相关联的视频帧模糊掉或以其他方式编辑掉，但不将实际帧从视频中删掉，从而维持所检测到的OOB事件的原始定时信息。

在各种实施方案中，OOB事件移除子模块104-2可包括基于机器学习的OOB事件检测模型，该OOB事件检测模型被训练为检测原始外科手术视频内的OOB片段。这种OOB事件检测模型可基于从实际外科手术规程视频提取的一组实际OOB事件的一组所标记视频片段来训练。OOB事件检测模型也可基于从实际规程视频或训练视频提取的一组模拟OOB事件的一组视频片段来训练。例如，如果训练OOB视频片段对应于规程视频的15秒片段，则来自15秒片段的所有视频帧可用“OOB”标识符来标记。接下来，OOB事件检测模型可基于这些所标记视频帧来训练，以教导模型在原始外科手术视频中检测并标识类似事件。

如上所述，不同OOB事件可能是由于不同原因引起的，例如，一个原因可能是由于从机器人规程到腹腔镜式规程的切换，而另一原因可能是由于透镜清洁。然而，不同OOB事件之间存在很强的相似性，因为它们通常都包括将内窥镜相机从患者体内取出时的开始阶段和将内窥镜相机放回到患者体内时的结束阶段。因此，单个经训练的OOB事件检测模型可由OOB事件移除子模块104-2用来检测完整规程视频内的由不同原因引起的各种OOB事件，并且随后将每个所检测到的OOB视频片段模糊掉、掩盖掉或以其他方式去标识化。然而，在一些实施方案中，多个基于机器学习的OOB事件检测模型可构造成使得每个OOB事件检测模型用于检测由特定触发原因/事件引起的一种类型的OOB事件。

在各种实施方案中，用于检测完整外科手术规程视频中的OOB片段的上述单个或多个OOB事件检测模型可包括回归模型、基于深度神经网络的模型、支持向量机、决策树、朴素贝叶斯分类器、贝叶斯网络或K最近邻(KNN)模型。在一些实施方案中，这些机器学习模型中的每一者基于卷积神经网络(CNN)架构、递归神经网络(RNN)架构或另一形式的深度神经网络(DNN)架构来构建。

需注意，嵌入在原始视频图像中的个人可标识信息还可包括非文本个人可标识信息。特别地，非文本个人可标识信息可包括患者和/或外科工作人员的面部图像。例如，此类面部图像可在OOB事件期间意外地记录。然而，在OOB事件期间捕获的任何面部图像可使用上述OOB事件移除子模块104-2来有效地移除。然而，在一些实施方案中，图像数据去标识化模块104还可包括面部图像移除子模块(图1中未示出)，该面部图像移除子模块被配置为检测嵌入在原始视频图像中的面部(例如，通过使用常规面部检测技术)，并且随后将每个所检测到的面部从对应视频图像模糊掉或以其他方式去标识化。在一些实施方案中，为了将原始视频图像去标识化，图像数据去标识化模块104可首先将OOB事件移除子模块104-2应用于原始外科手术视频以从原始外科手术视频移除OOB事件。接下来，图像数据去标识化模块104将本文所述的面部图像移除子模块应用于经处理的视频图像，以搜索在所检测到的OOB片段之外的视频帧中的任何面部，并且随后将任何所检测到的面部模糊掉。

虽然未明确示出，但视频匿名化系统100可包括附加模块，这些附加模块用于检测原始外科手术视频内的未结合文本数据去标识化模块102和图像数据去标识化模块104描述的其他类型的个人可标识信息并将其去标识化。例如，视频匿名化系统100还可包括音频数据去标识化模块，该音频数据去标识化模块被配置为检测包含个人可标识信息的音频数据诸如在外科手术规程期间记录的外科工作人员通信并将其去标识化。在一些实施方案中，音频数据去标识化模块被配置为完全移除嵌入在给定原始外科手术视频中的所有语音轨道。

如在图1中可见，图像数据去标识化模块104输出由验证模块106接收的经完全处理的完整规程视频126。在一些实施方案中，验证模块106被配置为确保给定的经完全处理的外科手术视频确实不含任何个人可标识信息。在一些实施方案中，验证模块106被配置为对经完全处理的外科手术视频126执行随机采样，即，通过随机选择经完全处理的外科手术视频内的多个视频片段并验证所随机选择的视频片段不含任何个人可标识信息。

在一些实施方案中，代替以完全随机性选择视频片段来验证，验证模块106可执行策略性随机采样，以从经处理的外科手术视频的具有较高概率包含个人可标识信息的部分选择一组视频片段来验证。例如，如果可从统计数据了解到，在给定外科手术规程的一个或多个特定步骤/阶段期间，外科医生通常或几乎总是出于清洁或其他原因将相机取出，则在所记录规程期间大致何时可能已经发生一个或多个OOB事件变得更加可预测。因此，代替对完整视频进行随机采样来验证图像数据去标识化模块104的匿名化结果，验证模块106可首先确定与具有高概率包含OOB事件的一个或多个特定规程步骤/阶段相关联的一个或多个时间段。验证模块106随后选择所确定高概率时间段内或周围的一组视频片段，以验证所选择视频片段不含任何个人可标识信息。

在一些实施方案中，验证模块106可与外科手术阶段分割引擎协作，该外科手术阶段分割引擎被配置为将外科手术规程视频分割成一组预定义阶段，其中每个阶段表示相关联外科手术规程的特定阶段，该特定阶段在整个外科手术规程中用于独特且可区分目的。基于外科手术视频分析的外科手术阶段分割技术的更多细节已在序列号为15/987,782且提交日期为2018年5月23日的相关专利申请中有所描述，该专利申请的内容以引用方式并入本文。

更具体地，可首先将经完全处理的规程视频126或甚至经部分处理的规程视频124发送到阶段分割引擎，该阶段分割引擎被配置为标识外科手术规程视频的不同阶段。来自阶段分割引擎的输出包括一组预定义阶段和相对于完整规程视频的相关联定时信息。结合知晓哪个(哪些)预定义阶段具有高概率包括OOB事件，验证模块106然后可“放大”经完全处理的规程视频126的每个“高OOB概率”阶段，并且策略性地从经完全处理的视频的这些高概率阶段选择一组视频片段，以用于验证所选择视频片段不含任何个人可标识信息。

在一些实施方案中，验证模块106也可重复使用上述OOB事件检测模型以标识经完全处理的规程视频126的对应于检测OOB事件的确切片段。然后直接验证(例如，由人类操作员)每个已标识OOB视频片段，以确定OOB视频片段是否不含任何个人可标识信息。

在一些实施方案中，如果验证模块106确定给定采样视频片段不完全不含个人可标识信息，则视频匿名化系统100可被配置为将图像数据去标识化模块104重新应用于经完全处理的规程视频126的包含有问题视频片段的一部分上，以试图将视频的该部分中的任何剩余个人可标识信息去标识化(在图1中由从验证模块106返回模块104的箭头示出)。另选地，手动去标识化过程可用于将被确定为包含个人可标识信息的所采样视频片段内的任何剩余个人可标识信息去标识化。在一些实施方案中，在将图像数据去标识化模块104重新应用于有问题视频片段或对有问题视频片段执行手动去标识化之后，可将验证模块106重新应用于进一步处理的外科手术视频以执行上述验证操作的另一遍次。

重新参考图1，在验证模块106已验证经完全处理的完整规程视频126的匿名化结果之后，验证模块106输出不含任何个人可标识信息的已去标识化外科手术视频128，即，视频中的任何患者或外科工作人员都是完全不可标识的。在接收已去标识化外科手术视频128时，原始数据清除模块108可被配置为将任何原始和经部分处理的视频文件以及所检测到的基于文本的个人标识符永久性地移除。例如，原始数据清除模块108可将原始外科手术视频文件120、原始外科手术视频文件122、经部分处理的完整规程视频文件124和经完全处理的完整规程视频文件126永久性地移除。

在一些实施方案中，在清除原始和经部分处理的外科手术视频之后，原始数据清除模块108还被配置为将已去标识化外科手术视频128存储回到外科手术视频储存库130中。如果外科手术视频储存库130还存储已去标识化外科手术视频128的原始外科手术视频文件120，则原始数据清除模块108可被配置为将原始外科手术视频文件120的任何副本从外科手术视频储存库130永久性地移除。在一些实施方案中，原始数据清除模块108还被配置为创建已去标识化外科手术视频的数据库。在一些实施方案中，外科手术视频储存库130中与已去标识化外科手术视频128相关联的数据库条目可存储文件名，以及在上述视频匿名化过程期间提取的已去标识化外科手术视频128的其他统计数据和属性。例如，这些统计数据和属性可包括但不限于外科手术规程的类型、完整视频/视频片段标识符、腹腔镜式规程/机器人规程标识符、有贡献于给定规程的外科医生的数量、规程期间的OOB事件的数量等等。

接下来，存储在外科手术视频储存库130中的已去标识化外科手术视频可被发布给临床专家或以其他方式提供给临床专家以用于各种研究目的。例如，可将已标识外科手术视频发布给外科手术视频数据专家，该外科手术视频数据专家可使用已去标识化外科手术视频来构建各种基于机器学习的分析工具。更具体地，已去标识化外科手术视频可用于：建立机器学习目标，以准备从给定外科手术规程的外科手术视频挖掘外科数据，如在具有序列号15/987,782且提交日期为2018年5月23日的相关专利申请中有所描述；构建基于机器学习的外科手术工具库存和工具使用跟踪工具，如在具有序列号16/129,607且提交日期为2018年9月12日的相关专利申请中有所描述；或者构建外科手术阶段分割工具，该工具也在具有序列号15/987,782且提交日期为2018年5月23日的相关专利申请中有所描述，这些相关专利申请的内容以引用方式并入本文。

图2呈现了示出根据本文所述的一些实施方案的用于将原始外科手术视频匿名化以将嵌入在视频图像中的个人可标识信息去标识化的示例性过程200的流程图。在一个或多个实施方案中，可省略、重复和/或以不同顺序执行图2中的步骤中的一个或多个步骤。因此，图2所示的步骤的具体布置不应被理解为限制本技术的范围。

过程200可通过接收对应于在OR中执行的完整外科手术规程的一组所记录视频片段/剪辑的一组原始外科手术视频开始(步骤202)。如上所述，该组原始外科手术视频对应于完整外科手术规程的一组较短视频片段/剪辑，其中原始外科手术视频中的每个原始外科手术视频可作为最大文件大小约束(例如，500MB/视频)的结果而生成。在一些实施方案中，过程200可从符合HIPAA的视频储存库接收该组原始外科手术视频。在这些实施方案中，首先将该组所记录原始外科手术视频从OR传输到符合HIPAA的储存库以用于临时存储。在其他实施方案中，过程200可通过安全网络连接直接从OR内的记录装置接收该组原始外科手术视频，而不必从符合HIPAA的视频储存库检索所存储视频。需注意，当接收该组原始外科手术视频文件时，过程200可接收该组原始视频文件以及文件夹。

接下来，过程200对该组所接收原始外科手术视频和文件夹执行基于文本的去标识化，以检测与原始外科手术视频和相关联文件夹相关联的基于文本的个人可标识信息并将其去标识化(步骤204)。如上所述，基于文本的去标识化操作分析与未嵌入在视频图像中的原始外科手术视频和文件夹(包含原始外科手术视频)相关联的那些文本数据。更具体地，基于文本的去标识化操作检测嵌入在与该组原始视频文件和文件夹相关联的文件标识符(例如，文件名)、文件夹标识符(例如，文件夹名)、文件元数据诸如文件属性，以及其他元数据中的基于文本的个人可标识信息。如上所述，基于文本的个人可标识信息可包括基于文本的患者数据和基于文本的工作人员数据两者，并且基于文本的患者数据可包括但不限于嵌入在视频文件和文件夹的基于文本的数据中的患者的姓名、DOB、年龄、性别、SSN、地址、MRN。

过程200随后将所检测到的基于文本的个人可标识信息从与该组原始视频文件和文件夹相关联的文件标识符、文件夹标识符和其他元数据移除或以其他方式去标识化。如上所述，过程200可在步骤204中使用开源文本检测和移除工具或常规文本检测技术。需注意，在步骤204结束时，将该组原始视频文件认为是经部分处理的：即，虽然基于文本的个人可标识信息已去标识化，但嵌入在视频图像中的潜在个人可标识信息尚未被去标识化。

接下来，过程200将该组经部分处理的视频拼接在一起，以重新创建对应于完整外科手术规程的完整规程视频(步骤206)。如上所述，不同的记录装置通常具有不同的命名约定。在一些实施方案中，合并该组经部分处理的视频文件涉及首先分析由该组视频文件使用的特定命名约定，以确定该组视频片段相对于完整外科手术规程的正确次序，并且随后将该组经部分处理的视频放回到完整规程视频。

接下来，过程200对经部分处理的完整规程视频执行基于图像的去标识化，以检测嵌入在对应视频图像中的基于图像的个人可标识信息去标识化(步骤208)。如上所述，基于图像的个人可标识信息可包括记录或自动插入到视频帧中以使得它们可连同视频图像一起显示的各种文本。因此，过程200可使用上述图像文本去标识化子模块204-1来自动标识完整规程视频的原始视频图像内不同类型的个人可标识文本，并且自动将嵌入在对应视频图像中的所检测到的文本数据模糊掉/使其难以辨认或以其他方式去标识化。

此外，对于在OOB事件期间捕获的个人可标识信息，过程200可使用上述OOB事件移除子模块104-2来自动检测完整规程视频内的各种OOB片段，并且随后将已标识OOB片段从完整规程视频模糊掉、掩盖掉或以其他方式去标识化。此外，过程200可使用专用面部图像移除子模块来在所检测到的OOB片段之外的视频帧中搜索未被OOB事件移除子模块104-2移除的任何面部，并且将每个所检测到的面部模糊掉。需注意，在步骤208结束时，完整规程视频被认为是经完全处理的。

接下来，过程200对经完全处理的规程视频执行验证操作，以验证经完全处理的规程视频不含任何个人可标识信息(步骤210)。如上所述，过程200可使用上述验证模块106来自动执行经完全处理的规程视频的随机采样或经完全处理的规程视频的策略性采样。

接下来，过程200确定验证操作是否成功(步骤212)。如果发现一个或多个所采样视频片段不完全不含个人可标识信息，则过程200可对每个失败视频片段执行另一自动去标识化操作或手动去标识化操作(步骤214)。在每个有问题视频片段已被适当处理之后，可重复验证操作(即，过程200返回到步骤210)。如果在步骤212处确定验证操作成功，则视频去标识化过程完成。然后，过程200将原始外科手术视频和相关文件数据从视频储存库永久性地移除，并且存储已去标识化规程视频以代替移除的原始外科手术视频(步骤216)。

需注意，虽然已经在将原始外科手术规程视频匿名化的范围中描述了所公开匿名化技术，但所公开技术还可用于将在OR内捕获的静止图像匿名化，以将嵌入在静止图像中的个人可标识信息去标识化。此外，虽然已经在将对应于长外科手术规程的一组原始外科手术规程视频匿名化的范围中描述了一些所公开匿名化技术，但所公开匿名化技术也可应用于单个外科手术规程视频，以将嵌入在单个外科手术规程视频中的个人可标识信息去标识化。

图3呈现了示出根据本文所述的一些实施方案的用于从原始外科手术视频中检测OOB视频片段并将其从原始外科手术视频移除以将嵌入在相关联OOB视频图像中的个人可标识信息去标识化的示例性过程300的流程图。在一个或多个实施方案中，可省略、重复和/或以不同次序执行图3中的步骤中的一个或多个步骤。因此，图3所示的步骤的具体布置不应理解为限制本技术的范围。

过程300可通过训练OOB事件检测模型来开始(步骤302)。在一些实施方案中，这种OOB事件检测模型可基于从实际外科手术规程视频提取的一组实际OOB事件的一组所标记视频片段来训练。例如，如果训练OOB视频片段对应于规程视频的15秒片段，则来自15秒片段的所有视频帧可用“OOB”标识符来标记。接下来，OOB事件检测模型可基于这些所标记视频帧来训练，以教导模型在原始外科手术视频中检测并标识类似事件。特别地，可训练OOB事件检测模型以检测OOB事件的开始阶段，即对应于正在将内窥镜从患者体内取出的事件的视频图像序列；以及OOB事件的结束阶段，即对应于正在将内窥镜插回到患者体内的事件的视频图像序列。也训练OOB事件检测模型以将所检测到的开始阶段与所检测到的结束阶段关联到同一OOB事件。例如，如果OOB事件的所检测到的结束阶段紧接在OOB事件的所检测到的开始阶段之后，并且两个检测之间的时间间隔低于预先确定的阈值，则两个所检测到的阶段可被认为属于同一OOB事件。

过程300接下来将经训练的OOB事件检测模型应用于原始规程视频以检测OOB事件的开始阶段(步骤304)。如果检测到OOB事件的开始阶段，则过程300随后将经训练的OOB事件检测模型应用于原始规程视频以检测OOB事件的结束阶段(步骤306)。接下来，过程300确定所检测到的开始阶段和结束阶段是否属于同一OOB事件(步骤308)，并且如果是，过程300将OOB事件的所检测到的开始阶段和结束阶段之间的所有视频帧模糊掉、掩盖掉或以其他方式去标识化(步骤310)。然而，如果过程300确定所检测到的开始阶段和结束阶段不属于同一OOB事件，则过程300可生成指示检测到异常的警报(步骤312)。

图4概念性地示出了可用以实现本主题技术的一些实施方案的计算机系统。计算机系统400可为客户端、服务器、计算机、智能电话、PDA、膝上型电脑或其中嵌入有或其上耦合有一个或多个处理器的平板电脑，或任何其他类型的计算装置。此类计算机系统包括各种类型的计算机可读介质和用于各种其他类型的计算机可读介质的接口。计算机系统400包括总线402、处理单元412、系统存储器404、只读存储器(ROM)410、永久性存储装置408、输入装置接口414、输出装置接口406和网络接口416。在一些实施方案中，计算机系统400是机器人外科系统的一部分。

总线402共同表示通信地连接计算机系统400的多个内部装置的所有系统总线、外围总线和芯片组总线。例如，总线402将处理单元412与ROM410、系统存储器404和永久性存储装置408通信地连接。

处理单元412从这些各种存储器单元检索要执行的指令和要处理的数据，以便执行本专利公开中描述的各种过程，包括结合图1至图3将原始外科手术视频匿名化以将嵌入在对应文件和文件夹标识符中以及对应视频图像中的个人可标识信息去标识化的上述过程。处理单元412可包括任何类型的处理器，包括但不限于微处理器、图形处理单元(GPU)、张量处理单元(TPU)、智能处理器单元(IPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)和专用集成电路(ASIC)。在不同具体实施中，处理单元412可为单个处理器或多核处理器。

ROM 410存储处理单元412和计算机系统的其他模块需要的静态数据和指令。在另一方面，永久性存储装置408是读写存储器装置。该装置是即使在计算机系统400关闭时也存储指令和数据的非易失性存储器单元。本主题公开内容的一些具体实施使用海量存储装置(诸如磁盘或光盘及其对应的盘驱动器)作为永久性存储装置408。

其他具体实施使用可移除存储装置(诸如软盘、闪存驱动器及其对应的盘驱动器)作为永久性存储装置408。与永久性存储装置408类似，系统存储器404是读写存储器装置。然而，与存储装置408不同的是，系统存储器404是易失性读写存储器，诸如随机存取存储器。系统存储器404存储处理器在运行时需要的指令和数据中的一些指令和数据。在一些具体实施中，本专利公开中描述的各种过程(包括结合图1至图3将原始外科手术视频匿名化以将嵌入在对应文件和文件夹标识符中以及对应视频图像中的个人可标识信息去标识化的上述过程)存储在系统存储器404、永久性存储装置408和/或ROM 410中。处理单元412从这些各种存储器单元检索要执行的指令和要处理的数据，以便执行一些具体实施的方法。

总线402还连接到输入装置414和输出装置406。输入装置414使得用户能够向计算机系统传送信息并选择用于计算机系统的命令。输入装置414可包括例如字母数字键盘和指向装置(也称为“光标控制装置”)。输出装置406使得能够例如显示由计算机系统400生成的图像。输出装置406可包括例如打印机和显示装置，诸如阴极射线管(CRT)或液晶显示器(LCD)。一些具体实施包括既用作输入装置又用作输出装置的装置，诸如触摸屏。

最后，如图4所示，总线402还通过网络接口416将计算机系统400耦合到网络(未示出)。这样，计算机可为计算机的网络(诸如局域网(“LAN”)、广域网(“WAN”)、内联网)或网络群的网络(诸如互联网)的一部分。计算机系统400的任何或所有部件都可与本主题公开内容结合使用。

结合本专利公开中所公开的实施方案描述的各种例示性逻辑块、模块、电路和算法步骤可被实现为电子硬件、计算机软件或两者的组合。为了清楚地例示硬件和软件的这种可互换性，上文已就其功能性而言一般性地描述了各种例示性部件、块、模块、电路和步骤。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整个系统的设计约束。技术人员可针对每个具体应用以不同方式实现所描述的功能性，但此类具体实施决策不应被解释为导致脱离本公开的范围。

用于实现结合本文所公开的方面描述的各种例示性逻辑、逻辑块、模块和电路的硬件可利用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、离散栅极或晶体管逻辑部件、离散硬件部件或它们的被设计成执行本文所述的功能的任何组合来实现或执行。通用处理器可为微处理器，但在另选方案中，处理器可为任何常规的处理器、控制器、微控制器或状态机。处理器也可被实现为接收器装置的组合，例如DSP和微处理器的组合、多个微处理器、与DSP内核结合的一个或多个微处理器、或任何其他此类配置。另选地，一些步骤或方法可由特定于给定功能的电路来执行。

在一个或多个示例性方面，所述功能可在硬件、软件、固件或它们的任何组合中实现。如果在软件中实现，则功能可被存储为非暂态计算机可读存储介质或非暂态处理器可读存储介质上的一个或多个指令或代码。本文所公开的方法或算法的步骤可体现在可驻留在非暂态计算机可读或处理器可读存储介质上的处理器可执行指令中。非暂态计算机可读或处理器可读存储介质可为可由计算机或处理器访问的任何存储介质。通过示例但非限制，此类非暂态计算机可读或处理器可读存储介质可包括RAM、ROM、EEPROM、闪存存储器、CD-ROM或其他光盘存储装置、磁盘存储装置或其他磁存储装置、或可用于存储为指令或数据结构的形式的期望的程序代码并且可由计算机访问的任何其他介质。如本文所用，磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字通用光盘(DVD)、软盘和蓝光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光以光学方式再现数据。上述组合也包括在非暂态计算机可读和处理器可读介质的范围内。另外，方法或算法的操作可作为代码和/或指令中的一者或任何组合或集合驻留在非暂态处理器可读存储介质和/或计算机可读存储介质上，从而可结合到计算机程序产品中。

虽然本专利文档包含许多细节，但这些细节不应被理解为对任何所公开的技术或可受权利要求书保护的内容的范围的限制，而是应理解为可能特定于具体技术的具体实施方案的特征的描述。在该专利文档中在单独实施方案的上下文中描述的某些特征也可以组合形式在单个实施方案中实现。反之，在单个实施方案的上下文中描述的各种特征也可单独地或以任何子组合形式在多个实施方案中实现。此外，虽然特征可能在上文中被描述为以某些组合起作用并且甚至最初是如此受权利要求书保护的，但来自受权利要求书保护的组合的一个或多个特征可在一些情况下从该组合中去除，并且受权利要求书保护的组合可能涉及子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但这不应被理解为要求以所示的特定顺序或按顺序执行此类操作，或者要求执行所有例示的操作才能实现期望的结果。此外，在本专利文档中描述的实施方案中的各种系统部件的分离不应被理解为在所有实施方案中要求此类分离。

仅描述了几个具体实施和示例，但可基于本专利文档中描述和例示的内容得到其他具体实施、增强和变型。