用于生成解剖器官的三维构造并将所识别的解剖结构与三维构造耦合的外科系统

摘要

本发明公开了一种在外科手术中使用的外科系统。该外科系统包括至少一个成像装置和控制电路，该控制电路被配置成能够识别该外科手术所靶向的解剖器官，基于来自该至少一个成像装置的可视化数据生成该解剖器官的至少一部分的虚拟三维(3D)构造，根据来自该至少一个成像装置的该可视化数据识别与该外科手术相关的解剖结构，将该解剖结构耦合到该虚拟3D构造，并将基于该解剖结构确定的该外科手术的布局计划叠加到该虚拟3D构造上。

说明书

背景技术

外科系统通常结合有成像系统，该成像系统可允许临床医生例如在一个或多个显示器(诸如监视器)上观看外科部位和/或其一个或多个部分。显示器可以是手术室本地的和/或远程的。成像系统可包括具有相机的观察镜，该观察镜观看外科部位并将视图传输到临床医生可观看的显示器。观察镜包括但不限于关节镜、血管镜、支气管镜、胆道镜、结肠镜、膀胱镜、十二指肠镜、肠镜、食管胃-十二指肠镜(胃镜)、内窥镜、喉镜、鼻咽-肾镜、乙状结肠镜、胸腔镜、输尿管镜和外镜。成像系统可受到它们能够识别和/或传达给临床医生的信息的限制。例如，某些成像系统可能无法在术中识别三维空间内的某些隐蔽结构、物理轮廓和/或尺寸。另外，某些成像系统可能无法在术中将某些信息传送和/或传达给临床医生。

发明内容

在一个一般方面，公开了一种用于外科手术的外科系统。该外科系统包括至少一个成像装置和控制电路，该控制电路被配置成能够识别该外科手术所靶向的解剖器官，基于来自该至少一个成像装置的可视化数据生成该解剖器官的至少一部分的虚拟三维(3D)构造，根据来自该至少一个成像装置的该可视化数据识别与该外科手术相关的解剖结构，将该解剖结构耦合到该虚拟3D构造，并将基于该解剖结构确定的该外科手术的布局计划叠加到该虚拟3D构造上。

在另一个一般方面，公开了一种用于在外科手术中与外科器械一起使用的外科系统。该外科系统包括至少一个成像装置和控制电路，该控制电路被配置成能够识别该外科手术所靶向的解剖器官，根据来自该至少一个成像装置的可视化数据识别与该外科手术相关的解剖结构，以及推荐用于通过该外科器械移除该解剖器官的一部分的手术切除路径。基于解剖结构确定手术切除路径。

在又一个一般方面，公开了一种用于在外科手术中与外科器械一起使用的外科系统。该外科系统包括至少一个成像装置和控制电路，该控制电路被配置成能够识别该外科手术所靶向的解剖器官，根据来自该至少一个成像装置的可视化数据识别与该外科手术相关的解剖结构，推荐用于通过该外科器械移除该解剖器官的一部分的手术切除路径，以及在该外科手术期间修改该手术切除路径。基于该解剖结构确定该手术切除路径。

附图说明

各种方面的新型特征在随附权利要求书中具体阐述。然而，关于组织和操作方法两者的所述方面可通过结合附图参照以下描述最好地理解，其中：

图1是根据本公开的至少一个方面的包括成像装置和外科装置的外科可视化系统的示意图，该外科可视化系统被配置成能够识别组织表面下方的关键结构。

图2是根据本公开的至少一个方面的用于外科可视化系统的控制系统的示意图。

图2A示出了根据本公开的至少一个方面的被配置成能够控制外科可视化系统的各方面的控制电路。

图2B示出了根据本公开的至少一个方面的被配置成能够控制外科可视化系统的各方面的组合逻辑电路。

图2C示出了根据本公开的至少一个方面的被配置成能够控制外科可视化系统的各方面的时序逻辑电路。

图3是根据本公开的至少一个方面的描绘在图1的外科装置、成像装置与关键结构之间进行三角测量以确定关键结构在组织表面下方的深度d

图4是根据本公开的至少一个方面的被配置成能够识别组织表面下方的关键结构的外科可视化系统的示意图，其中该外科可视化系统包括用于确定关键结构在组织表面下方的深度d

图5是根据本公开的至少一个方面的包括成像装置和外科装置的外科可视化系统的示意图，该外科可视化系统被配置成能够识别组织表面下方的关键结构。

图6是根据本公开的至少一个方面的包括三维相机的外科可视化系统的示意图，其中该外科可视化系统被配置成能够识别嵌入组织内的关键结构。

图7A和图7B是根据本公开的至少一个方面的由图6的三维相机拍摄的关键结构的视图，其中图7A是来自三维相机的左侧透镜的视图，并且图7B是来自三维相机的右侧透镜的视图。

图8是根据本公开的至少一个方面的图6的外科可视化系统的示意图，其中可确定从三维相机到关键结构的相机-关键结构距离d

图9是根据本公开的至少一个方面的利用两个相机来确定嵌入关键结构的方位的外科可视化系统的示意图。

图10A是根据本公开的至少一个方面的利用相机的外科可视化系统的示意图，该相机在多个已知方位之间轴向运动以确定嵌入关键结构的方位。

图10B是根据本公开的至少一个方面的图10A的外科可视化系统的示意图，其中相机在多个已知方位之间轴向且旋转运动以确定嵌入关键结构的方位。

图11是根据本公开的至少一个方面的用于外科可视化系统的控制系统的示意图。

图12是根据本公开的至少一个方面的用于外科可视化系统的结构化光源的示意图。

图13A是根据本公开的至少一个方面的各种生物材料的吸收系数不同波长的曲线图。

图13B是根据本公开的至少一个方面的通过光谱外科可视化系统对解剖结构进行可视化的示意图。

图13C至图13E描绘了根据本公开的至少一个方面的用于区分解剖结构与遮蔽物的例示性高光谱识别特征，其中图13C是输尿管特征与遮蔽物的图形表示，图13D是动脉特征与遮蔽物的图形表示，并且图13E是神经特征与遮蔽物的图形表示。

图14是根据本公开的至少一个方面的被配置成能够感测离关键解剖结构的距离的近红外(NIR)飞行时间测量系统的示意图，该飞行时间测量系统包括定位在公共装置上的传输器(发射器)和接收器(传感器)。

图15是根据本公开的至少一个方面的图17A的NIR飞行时间测量系统的发射波、接收波以及发射波与接收波之间的延迟的示意图。

图16示出了根据本公开的至少一个方面的被配置成能够感测离不同结构的距离的NIR飞行时间测量系统，该飞行时间测量系统包括单独装置上的传输器(发射器)和接收器(传感器)。

图17是根据本公开的至少一个方面的由计算机实现的交互式外科系统的框图。

图18是根据本公开的至少一个方面的用于在手术室中执行外科手术的外科系统。

图19示出了根据本公开的至少一个方面的由计算机实现的交互式外科系统。

图20示出了根据本公开的至少一个方面的态势感知外科系统的图。

图21示出了根据本公开的至少一个方面的描绘集线器的态势感知的时间轴。

图22是根据本公开的至少一个方面的过程的逻辑流程图，该逻辑流程图描绘了用于将可视化数据与仪器数据相关联的控制程序或逻辑配置。

图23是根据本公开的至少一个方面的外科器械的示意图。

图24是描绘根据本公开的至少一个方面的复合数据集以及闭合力(“FTC”)和击发力(“FTF”)虚拟量规的曲线图。

图25A示出了根据本公开的至少一个方面的可视化系统的屏幕的普通视图，该可视化系统显示了外科手术的外科视场中的端部执行器的实时馈送。

图25B示出了根据本公开的至少一个方面的可视化系统的屏幕的增强视图，该可视化系统显示了外科手术的外科视场中的端部执行器的实时馈送。

图26是根据本公开的至少一个方面的过程的逻辑流程图，该逻辑流程图描绘了使端部执行器部件的虚拟表示的运动与端部执行器部件的实际运动同步的控制程序或逻辑配置。

图27示出了根据本公开的至少一个方面的体壁和体壁下方的腔中的解剖结构，其中套管针穿过体壁进入腔中，并且屏幕显示套管针距解剖结构的距离、与通过套管针呈现外科器械相关的风险以及与此相关的估计操作时间。

图28示出了根据本公开的至少一个方面的暴露于来自结构化光投影仪的结构化光的胃的虚拟三维(“3D”)构造。

图29是根据本公开的至少一个方面的过程的逻辑流程图，该逻辑流程图描绘了用于将可视化数据与仪器数据相关联的控制程序或逻辑配置，其中具有虚线的框表示该过程的替代具体实施。

图30示出了根据本公开的至少一个方面的暴露于来自结构化光投影仪的结构化光的胃的虚拟3D构造。

图31是根据本公开的至少一个方面的过程的逻辑流程图，该逻辑流程图描绘了用于推荐移除解剖器官的一部分的切除路径的控制程序或逻辑配置，其中具有虚线的框表示该过程的替代具体实施。

图32A示出了根据本公开的至少一个方面的在外科手术开始时可视化系统的屏幕上的外科视场的实时视图。

图32B是根据本公开的至少一个方面的图32A的外科视场的一部分的放大视图，概述了叠加在该外科视场上的所推荐的手术切除路径。

图32C示出了根据本公开的至少一个方面，在外科手术开始后四十三分钟时图32B的外科视场的实时视图。

图32D示出了根据本公开的至少一个方面的图32C的外科视场的放大视图，概述了对所推荐的手术切除路径的修改。

图33是根据本公开的至少一个方面的过程的逻辑流程图，该逻辑流程图描绘了用于将外科器械的参数呈现到所推荐的手术切除路径上或附近的控制程序或逻辑配置，其中具有虚线的框表示该过程的替代具体实施。

图34示出了根据本公开的至少一个方面的经历袖状胃切除术的患者的胃的虚拟3D构造。

图35示出了图34的胃的完整虚拟切除。

图36A至图36C示出了根据本公开的至少一个方面的外科缝合器械的击发。

图37是根据本公开的至少一个方面的过程的逻辑流程图，该逻辑流程图描绘了用于调整外科器械的击发速度的控制程序或逻辑配置。

图38是根据本公开的至少一个方面的过程的逻辑流程图，该逻辑流程图描绘了用于沿着所推荐的手术切除路径的所推荐的钉仓布置的控制程序或逻辑配置。

图39是根据本公开的至少一个方面的过程的逻辑流程图，该逻辑流程图描绘了用于推荐器官部分的手术切除的控制程序或逻辑配置。

图40是根据本公开的至少一个方面的过程的逻辑流程图，该逻辑流程图描绘了用于估计由于移除器官的选定部分而导致的器官容量减少的控制程序或逻辑配置。

图41A示出了根据本公开的至少一个方面的暴露于结构化光的患者肺，包括在外科手术期间要被切除的部分。

图41B示出了根据本公开的至少一个方面的在切除该部分之后的图41A的患者肺。

图41C示出了根据本公开的至少一个方面的在切除肺的该部分之前和之后测量来自图41A和图41B的患者肺的肺容量峰值的曲线图。

图42示出了根据本公开的至少一个方面的在切除肺的一部分之前、之后立即和之后一分钟测量患者肺中二氧化碳分压(“PCO

图43是根据本公开的至少一个方面的过程的逻辑流程图，该逻辑流程图描绘了用于使用可视化数据和非可视化数据检测组织异常的控制程序或逻辑配置。

图44A示出了根据本公开的至少一个方面的处于第一状态的右肺，其中成像装置将光的图案发射到其表面上。

图44B示出了根据本公开的至少一个方面的处于第二状态的图44A的右肺，其中成像装置将光的图案发射到其表面上。

图44C示出了根据本公开的至少一个方面的图44A的右肺的顶部部分。

图44D示出了根据本公开的至少一个方面的图44B的右肺的顶部部分。

具体实施方式

本申请的申请人拥有以下美国专利申请，这些专利申请中的每一项全文以引用方式并入本文：

·代理人案卷号END9228USNP1/190580-1M，其名称为“METHOD OF USING IMAGINGDEVICES IN SURGERY”；

·代理人案卷号END9227USNP1/190579-1，其名称为“ADAPTIVE VISUALIZATIONBY A SURGICAL SYSTEM”；

·代理人案卷号END9226USNP1/190578-1，其名称为“SURGICAL SYSTEM CONTROLBASED ON MULTIPLE SENSED PARAMETERS”；

·代理人案卷号END9225USNP1/190577-1，其名称为“ADAPTIVE SURGICAL SYSTEMCONTROL ACCORDING TO SURGICAL SMOKE PARTICLE CHARACTERISTICS”；

·代理人案卷号END9224USNP1/190576-1，其名称为“ADAPTIVE SURGICAL SYSTEMCONTROL ACCORDING TO SURGICAL SMOKE CLOUD CHARACTERISTICS”；

·代理人案卷号END9223USNP1/190575-1，其名称为“SURGICAL SYSTEMSCORRELATING VISUALIZATION DATA AND POWERED SURGICAL INSTRUMENT DATA”；

·代理人案卷号END9221USNP1/190573-1，其名称为“SURGICAL SYSTEM FOROVERLAYING SURGICAL INSTRUMENT DATA ONTO A VIRTUAL THREE DIMENSIONALCONSTRUCT OF AN ORGAN”；

·代理人案卷号END9220USNP1/190572-1，其名称为“SURGICAL SYSTEMS FORPROPOSING AND CORROBORATING ORGAN PORTION REMOVALS”；

·代理人案卷号END9219USNP1/190571-1，其名称为“SYSTEM AND METHOD FORDETERMINING,ADJUSTING,AND MANAGING RESECTION MARGIN ABOUT A SUBJECT TISSUE”；

·代理人案卷号END9218USNP1/190570-1，其名称为“VISUALIZATION SYSTEMSUSING STRUCTURED LIGHT”；

·代理人案卷号END9217USNP1/190569-1，其名称为“DYNAMIC SURGICALVISUALIZATION SYSTEMS”；以及

·代理人案卷号END9216USNP1/190568-1，其名称为“ANALYZING SURGICALTRENDS BY A SURGICAL SYSTEM”。

本申请的申请人拥有于2019年3月15日提交的以下美国专利申请，这些专利申请中的每一项全文以引用方式并入本文：

·美国专利申请序列号16/354,417，其名称为“INPUT CONTROLS FOR ROBOTICSURGERY”；

·美国专利申请序列号16/354,420，其名称为“DUAL MODE CONTROLS FORROBOTIC SURGERY”；

·美国专利申请序列号16/354,422，其名称为“MOTION CAPTURE CONTROLS FORROBOTIC SURGERY”；

·美国专利申请序列号16/354,440，其名称为“ROBOTIC SURGICAL SYSTEMS WITHMECHANISMS FOR SCALING SURGICAL TOOL MOTION ACCORDING TO TISSUE PROXIMITY”；

·美国专利申请序列号16/354,444，其名称为“ROBOTIC SURGICAL SYSTEMS WITHMECHANISMS FOR SCALING CAMERA MAGNIFICATION ACCORDING TO PROXIMITY OFSURGICAL TOOL TO TISSUE”；

·美国专利申请序列号16/354,454，其名称“ROBOTIC SURGICAL SYSTEMS WITHSELECTIVELY LOCKABLE END EFFECTORS”；

·美国专利申请序列号16/354,461，其名称为“SELECTABLE VARIABLE RESPONSEOF SHAFT MOTION OF SURGICAL ROBOTIC SYSTEMS”；

·美国专利申请序列号16/354,470，其名称为“SEGMENTED CONTROL INPUTS FORSURGICAL ROBOTIC SYSTEMS”；

·美国专利申请序列号16/354,474，其名称为“ROBOTIC SURGICAL CONTROLSHAVING FEEDBACK CAPABILITIES”；

·美国专利申请序列号16/354,478，其名称“ROBOTIC SURGICAL CONTROLS WITHFORCE FEEDBACK”；以及

·美国专利申请序列号16/354,481，其名称为“JAW COORDINATION OF ROBOTICSURGICAL CONTROLS”。

本申请的申请人还拥有2018年9月11日提交的以下美国专利申请，这些专利申请中的每一项全文以引用方式并入本文：

·美国专利申请序列号16/128,179，其名称为“SURGICAL VISUALIZATIONPLATFORM”；

·美国专利申请序列号16/128,180，其名称为“CONTROLLING AN EMITTERASSEMBLY PULSE SEQUENCE”；

·美国专利申请序列号16/128,198，其名称为“SINGULAR EMR SOURCE EMITTERASSEMBLY”；

·美国专利申请序列号16/128,207，其名称为“COMBINATION EMITTER ANDCAMERA ASSEMBLY”；

·美国专利申请序列号16/128,176，其名称为“SURGICAL VISUALIZATION WITHPROXIMITY TRACKING FEATURES”；

·美国专利申请序列号16/128,187，其名称为“SURGICAL VISUALIZATION OFMULTIPLE TARGETS”；

·美国专利申请序列号16/128,192，其名称为“VISUALIZATION OF SURGICALDEVICES”；

·美国专利申请序列号16/128,163，其名称为“OPERATIVE COMMUNICATION OFLIGHT”；

·美国专利申请序列号16/128,197，其名称为“ROBOTIC LIGHT PROJECTIONTOOLS”；

·美国专利申请序列号16/128,164，其名称为“SURGICAL VISUALIZATIONFEEDBACK SYSTEM”；

·美国专利申请序列号16/128,193，其名称为“SURGICAL VISUALIZATION ANDMONITORING”；

·美国专利申请序列号16/128,195，其名称为“INTEGRATION OF IMAGING DATA”；

·美国专利申请序列号16/128,170，其名称为“ROBOTICALLY-ASSISTED SURGICALSUTURING SYSTEMS”；

·美国专利申请序列号16/128,183，其名称为“SAFETY LOGIC FOR SURGICALSUTURING SYSTEMS”；

·美国专利申请序列号16/128,172，其名称为“ROBOTIC SYSTEM WITH SEPARATEPHOTOACOUSTIC RECEIVER”；以及

·美国专利申请序列号16/128,185，其名称为“FORCE SENSOR THROUGHSTRUCTURED LIGHT DEFLECTION”。

本申请的申请人还拥有2018年3月29日提交的以下美国专利申请，这些专利申请中的每一项全文以引用方式并入本文：

·美国专利申请序列号15/940,627，其名称为“DRIVE ARRANGEMENTS FOR ROBOT-ASSISTED SURGICAL PLATFORMS”，现为美国专利申请公开号2019/0201111；

·美国专利申请序列号15/940,676，其名称为“AUTOMATIC TOOL ADJUSTMENTSFOR ROBOT-ASSISTED SURGICAL PLATFORMS”，现为美国专利申请公开号2019/0201142；

·美国专利申请序列号15/940,711，其名称为“SENSING ARRANGEMENTS FORROBOT-ASSISTED SURGICAL PLATFORMS”，现为美国专利申请公开号2019/0201120；以及

·美国专利申请序列号15/940,722，其名称为“CHARACTERIZATION OF TISSUEIRREGULARITIES THROUGH THE USE OF MONO-CHROMATIC LIGHT REFRACTIVITY”，现为美国专利申请公开号2019/0200905。

本专利申请的申请人拥有于2018年12月4日提交的以下美国专利申请，这些临时专利申请中的每个的公开内容全文以引用方式并入本文：

·美国专利申请序列号16/209,395，其名称为“METHOD OF HUB COMMUNICATION”，现为美国专利申请公开号2019/0201136；

·美国专利申请序列号16/209,403，其名称为“METHOD OF CLOUD BASED DATAANALYTICS FOR USE WITH THE HUB”，现为美国专利申请公开号2019/0206569；

·美国专利申请序列号16/209,407，其名称为“METHOD OF ROBOTIC HUBCOMMUNICATION,DETECTION,AND CONTROL”，现为美国专利申请公开号2019/0201137；

·美国专利申请序列号16/209,416，其名称为“METHOD OF HUB COMMUNICATION,PROCESSING,DISPLAY,AND CLOUD ANALYTICS”，现为美国专利申请公开号2019/0206562；

·美国专利申请序列号16/209,423，其名称为“METHOD OF COMPRESSING TISSUEWITHIN A STAPLING DEVICE AND SIMULTANEOUSLY DISPLAYING THE LOCATION OF THETISSUE WITHIN THE JAWS”，现为美国专利申请公开号2019/0200981；

·美国专利申请序列号16/209,427，其名称为“METHOD OF USING REINFORCEDFLEXIBLE CIRCUITS WITH MULTIPLE SENSORS TO OPTIMIZE PERFORMANCE OF RADIOFREQUENCY DEVICES”，现为美国专利申请公开号2019/0208641；

·美国专利申请序列号16/209,433，其名称为“METHOD OF SENSING PARTICULATEFROM SMOKE EVACUATED FROM A PATIENT,ADJUSTING THE PUMP SPEED BASED ON THESENSED INFORMATION,AND COMMUNICATING THE FUNCTIONAL PARAMETERS OF THE SYSTEMTO THE HUB”，现为美国专利申请公开号2019/0201594；

·美国专利申请序列号16/209,447，其名称为“METHOD FOR SMOKE EVACUATIONFOR SURGICAL HUB”，现为美国专利申请公开号2019/0201045；

·美国专利申请序列号16/209,453，其名称为“METHOD FOR CONTROLLING SMARTENERGY DEVICES”，现为美国专利申请公开号2019/0201046；

·美国专利申请序列号16/209,458，其名称为“METHOD FOR SMART ENERGYDEVICE INFRASTRUCTURE”，现为美国专利申请公开号2019/0201047；

·美国专利申请序列号16/209,465，其名称为“METHOD FOR ADAPTIVE CONTROLSCHEMES FOR SURGICAL NETWORK CONTROL AND INTERACTION”，现为美国专利申请公开号2019/0206563；

·美国专利申请序列号16/209,478，其名称为“METHOD FOR SITUATIONALAWARENESS FOR SURGICAL NETWORK OR SURGICAL NETWORK CONNECTED DEVICE CAPABLEOF ADJUSTING FUNCTION BASED ON A SENSED SITUATION OR USAGE”，现为美国专利申请公开号2019/0104919；

·美国专利申请序列号16/209,490，其名称为“METHOD FOR FACILITY DATACOLLECTION AND INTERPRETATION”，现为美国专利申请公开号2019/0206564；以及

·美国专利申请序列号16/209,491，其名称为“METHOD FOR CIRCULAR STAPLERCONTROL ALGORITHM ADJUSTMENT BASED ON SITUATIONAL AWARENESS”，现为美国专利申请公开号2019/0200998。

在详细说明外科可视化平台的各个方面之前，应当指出，例示性示例在应用或使用上不限于附图和说明书中所示出的部件的构造和布置的细节。例示性示例可在其他方面、变型和修改中实现或并入，并且可以各种方式实践或执行。此外，除非另外指明，否则本文所用的术语和表达是为了方便读者而对例示性示例进行描述而所选的，并非为了限制性的目的。而且，应当理解，以下描述的方面、方面的表达和/或示例中的一者或多者可与其他以下描述的方面、方面的表达和/或示例中的任何一者或多者组合。

本公开涉及一种外科可视化平台，该外科可视化平台利用“数字外科手术”来获得关于患者的解剖结构和/或外科手术的附加信息。该外科可视化平台被进一步配置成能够以有帮助的方式将数据和/或信息传达给一个或多个临床医生。例如，本公开的各个方面提供了患者的解剖结构和/或外科手术的改善的可视化。

“数字外科手术”可涵盖机器人系统、高级成像、高级仪器、人工智能、机器学习、用于性能跟踪和基准测试的数据分析、手术室(OR)内部和外部两者的连接性以及更多。尽管本文所述的各种外科可视化平台可与机器人外科系统结合使用，但是外科可视化平台不限于与机器人外科系统一起使用。在某些情况下，高级外科可视化可在没有机器人以及/或者具有有限的和/或任选的机器人辅助的情况下进行。类似地，数字外科可在没有机器人以及/或者具有有限的和/或任选的机器人辅助的情况下进行。

在某些情况下，结合有外科可视化平台的外科系统可实现智能解剖以便识别和避开关键结构。关键结构包括解剖结构诸如输尿管、动脉诸如肠系膜上动脉、静脉诸如门静脉、神经诸如膈神经和/或肿瘤等解剖结构。在其他情况下，关键结构可以是例如解剖场中的外来结构，诸如外科装置、外科紧固件、夹具、大头钉、探条、带和/或板。关键结构可基于不同患者和/或不同手术来确定。本文还描述了示例性关键结构。例如，智能解剖技术可提供用于解剖的改善的术中指导，并且/或者可利用关键解剖结构检测和避开技术来实现智能决策。

结合有外科可视化平台的外科系统还可实现智能吻合技术，该智能吻合技术利用改善的工作流程在最佳位置处提供更一致的吻合。也可利用本文所述的各种外科可视化平台和手术来改善癌症定位技术。例如，癌症定位技术可识别和跟踪癌症位置、取向及其边界。在某些情况下，癌症定位技术可在外科手术期间补偿工具、患者和/或患者的解剖结构的移动，以便为临床医生提供回到感兴趣的点的指导。

在本公开的某些方面，外科可视化平台可提供改善的组织表征和/或淋巴结诊断和标测。例如，组织表征技术可在不需要物理触觉的情况下表征组织类型和健康，特别是当在组织内解剖和/或放置缝合装置时。本文所述的某些组织表征技术可在没有电离辐射和/或造影剂的情况下使用。关于淋巴结诊断和标测，外科可视化平台可在术前定位、标测和理想地诊断涉及例如癌性诊断和分期的淋巴系统和/或淋巴结。

在外科手术期间，临床医生可经由“肉眼”和/或成像系统获得的信息可提供外科部位的不完整视图。例如，某些结构(诸如嵌入或掩埋在器官内的结构)可至少部分地被隐蔽或隐藏起来使其不被看见。另外，某些尺寸和/或相对距离可能难以利用现有的传感器系统探知和/或难以让“肉眼”感知。此外，某些结构可在术前(例如，在外科手术之前但在术前扫描之后)和/或术中运动。在此类情况下，临床医生可能无法在术中准确地确定关键结构的位置。

当关键结构的方位不确定时和/或当关键结构与外科工具之间的接近度未知时，临床医生的决策过程可能受到阻碍。例如，临床医生可避开某些区域，以便避免意外解剖关键结构；然而，所避开的区域可能不必要地较大和/或至少部分地错位。由于不确定性和/或过于/过度谨慎操作，临床医生可能无法进入某些期望的区域。例如，过度谨慎可能导致临床医生留下肿瘤和/或其他不期望的组织的一部分，以企图避开关键结构，即使关键结构不在该特定区域中和/或不会受到在该特定区域中工作的临床医生的负面影响。在某些情况下，可通过增加知识和/或确定性来改善外科结果，这可使得外科医生在特定解剖区域方面更加准确，并且在某些情况下，使得外科医生不那么保守/更有进取性。

在各个方面，本公开提供了用于术中识别和避开关键结构的外科可视化系统。在一个方面，本公开提供了一种外科可视化系统，该外科可视化系统实现了加强的术中决策和改善的外科结果。在各个方面，所公开的外科可视化系统提供了高级可视化能力，超出临床医生用“肉眼”所见的内容以及/或者超出成像系统可识别和/或传达给临床医生的内容。各种外科可视化系统可增强和加强临床医生在组织治疗(例如，解剖)之前能够知道的内容，并且因此可在各种情况下改善结果。

例如，可视化系统可包括被配置成能够发射多个光谱波的第一光发射器、被配置成能够发射光图案的第二光发射器以及被配置成能够检测可见光、对光谱波的分子响应(光谱成像)和/或光图案的一个或多个接收器或传感器。应该注意的是，在下面的整个公开内容中，除非特别提到可见光，否则任何提到的“光”可以包括电磁辐射(EMR)或EMR波长光谱的可见和/或不可见部分中的光子。外科可视化系统还可包括成像系统以及与接收器和成像系统信号通信的控制电路。基于来自接收器的输出，控制电路可确定外科部位处可见表面的几何表面标测图(即三维表面形貌)以及相对于外科部位的一个或多个距离。在某些情况下，控制电路可确定到至少部分隐蔽的结构的一个或多个距离。此外，成像系统可将几何表面标测图和一个或多个距离传达给临床医生。在此类情况下，提供给临床医生的外科部位的增强视图可提供外科部位的相关环境内的隐蔽结构的表示。例如，成像系统可在隐蔽和/或阻挡组织的几何表面标测图上虚拟地增强隐蔽结构，类似于在地面上绘制的线以指示表面下方的实用线。另外或另选地，成像系统可传达一个或多个外科工具与可见的阻挡组织和/或与至少部分隐蔽的结构的接近度以及/或者隐蔽结构在阻挡组织的可见表面下方的深度。例如，可视化系统可确定相对于可见组织的表面上的增强线的距离，并且将该距离传达到成像系统。

在本公开的各个方面，公开了用于术中识别和避开关键结构的外科可视化系统。此类外科可视化系统可在外科手术期间向临床医生提供有价值的信息。因此，例如，临床医生知道外科可视化系统正在跟踪例如可在解剖期间接近的关键结构(诸如输尿管、特定神经和/或关键血管)，可在整个外科手术过程中确信地保持动力。在一个方面，外科可视化系统可在足够长的时间内向临床医生提供指示，以使临床医生暂停和/或减慢外科手术并且评估与关键结构的接近度，以防止对其造成意外损坏。外科可视化系统可向临床医生提供理想的、优化的和/或可定制的信息量，以允许临床医生确信地和/或快速地运动穿过组织，同时避免对健康组织和/或关键结构造成意外损坏，并且因此最小化由外科手术引起的伤害风险。

图1是根据本公开的至少一个方面的外科可视化系统100的示意图。外科可视化系统100可在解剖场内创建关键结构101的视觉表示。外科可视化系统100可用于例如临床分析和/或医疗干预。在某些情况下，外科可视化系统100可在术中使用，以在外科手术期间向临床医生提供关于接近度数据、尺寸和/或距离的实时或近实时的信息。外科可视化系统100被配置用于在术中识别关键结构和/或有利于外科装置避开关键结构101。例如，通过识别关键结构101，临床医生可避免在外科手术期间在关键结构101和/或关键结构101的预定接近度中的区域周围操纵外科装置。例如，临床医生可避免对例如被识别为关键结构101的静脉、动脉、神经和/或血管进行解剖和/或避免在这些关键结构附近进行解剖。在各种情况下，关键结构101可基于不同患者和/或不同手术来确定。

外科可视化系统100结合距离传感器系统104结合有组织识别和几何表面标测。结合起来，外科可视化系统100的这些特征可确定关键结构101在解剖场内的方位以及/或者外科装置102与可见组织的表面105和/或与关键结构101的接近度。此外，外科可视化系统100包括成像系统，该成像系统包括例如被配置成能够提供外科部位的实时视图的成像装置120，诸如相机。在各种情况下，成像装置120是光谱相机(例如，高光谱相机、多光谱相机或选择性光谱相机)，该光谱相机被配置成能够检测反射的光谱波形并且基于对不同波长的分子响应来生成图像的光谱立方体。来自成像装置120的视图可被提供给临床医生，并且在本公开的各个方面，可基于组织识别、地形标测和距离传感器系统104用附加信息来增强这些视图。在此类情况下，外科可视化系统100包括多个子系统，即成像子系统、表面标测子系统、组织识别子系统和/或距离确定子系统。这些子系统可配合以在术中向临床医生提供高级数据合成和集成信息。

成像装置可包括相机或成像传感器，该相机或成像传感器被配置成能够检测例如可见光、光谱光波(可见光或不可见光)和结构化光图案(可见光或不可见光)。在本公开的各个方面，成像系统可包括例如成像装置，诸如内窥镜。另外或另选地，成像系统可包括例如成像装置，诸如关节镜、血管镜、支气管镜、胆道镜、结肠镜、膀胱镜、十二指肠镜、肠镜、食管胃-十二指肠镜(胃镜)、喉镜、鼻咽-肾镜、乙状结肠镜、胸腔镜、输尿管镜或外镜。在其他情况下，诸如在开放外科手术应用中，成像系统可不包括观察镜。

在本公开的各个方面，组织识别子系统可用光谱成像系统来实现。光谱成像系统可依赖于例如高光谱成像、多光谱成像或选择性光谱成像。组织的高光谱成像进一步在2016年3月1日公布的名称为“SYSTEM AND METHOD FOR GROSS ANATOMIC PATHOLOGY USINGHYPERSPECTRAL IMAGING”的美国专利号9,274,047中描述，该专利全文以引用方式并入本文。

在本公开的各个方面，表面标测子系统可用光图案系统来实现，如本文进一步所述。光图案(或结构化光)用于表面标测是已知的。已知的表面标测技术可用于本文所述的外科可视化系统中。

结构化光是将已知图案(通常为网格或水平条)投射到表面上的过程。2017年3月2日公布的名称为“SET COMPRISING A SURGICAL INSTRUMENT”的美国专利申请公布2017/0055819以及2017年9月7日公布的名称为“DEPICTION SYSTEM”的美国专利申请公布2017/0251900公开了一种外科系统，该外科系统包括光源以及用于投射光图案的投射仪。2017年3月2日公布的名称为“SET COMPRISING A SURGICAL INSTRUMENT”的美国专利申请公布2017/0055819以及2017年9月7日公布的名称为“DEPICTION SYSTEM”的美国专利申请公布2017/0251900全文以引用方式并入本文。

在本公开的各个方面，距离确定系统可结合到表面标测系统中。例如，可利用结构化光来生成可见表面的三维虚拟模型并且确定相对于可见表面的各种距离。另外或另选地，距离确定系统可依赖于飞行时间测量来确定到外科部位处所识别的组织(或其他结构)的一个或多个距离。

图2是可与外科可视化系统100一起使用的控制系统133的示意图。控制系统133包括与存储器134信号通信的控制电路132。存储器134存储可由控制电路132执行的指令，以确定和/或识别关键结构(例如，图1中的关键结构101)，确定和/或计算一个或多个距离和/或三维数字表示，并将某些信息传送给一个或多个临床医生。例如，存储器134存储表面标测逻辑部件136、成像逻辑部件138、组织识别逻辑部件140或距离确定逻辑部件141或者逻辑部件136、138、140和141的任何组合。控制系统133还包括成像系统142，该成像系统具有一个或多个相机144(如图1中的成像装置120)、一个或多个显示器146或者一个或多个控件148或者这些元件的任何组合。相机144可包括一个或多个图像传感器135，以接收来自发射各种可见光谱和不可见光谱下的光的各种光源(例如，可见光、光谱成像器、三维透镜等)的信号。显示器146可包括一个或多个屏幕或监视器，用于向一个或多个临床医生描绘真实、虚拟和/或虚拟增强的图像和/或信息。

在各个方面，相机144的心脏是图像传感器135。一般来讲，现代图像传感器135是包含高达数百万个离散光电探测器位点(称为像素)的固态电子装置。图像传感器135技术属于以下两类中的一类：电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)成像器，并且近来，短波红外(SWIR)是一种新兴的成像技术。另一种类型的图像传感器135采用混合CCD/CMOS架构(以名称“sCMOS”出售)，并且由凸块粘结到CCD成像基板的CMOS读出集成电路(ROIC)组成。CCD和CMOS图像传感器135对大约350nm至1050nm的波长敏感，但该范围通常被给出为400nm至1000nm。一般来讲，CMOS传感器比CCD传感器对IR波长更敏感。固态图像传感器135基于光电效应，并且因此不能区分颜色。因此，存在两种类型的彩色CCD相机：单芯片和三芯片。单芯片彩色CCD相机提供常见的低成本成像解决方案，并且使用马赛克(例如，拜耳)光学滤光器将入射光分成一系列颜色，并且采用内插算法来解析全色图像。然后，每种颜色指向不同的像素集。三芯片彩色CCD相机通过采用棱镜将入射光谱的每个部分引导到不同的芯片来提供更高的分辨率。更准确的颜色再现是可能的，因为物体的空间中的每个点具有单独的RGB强度值，而不是使用算法来确定颜色。三芯片相机提供极高的分辨率。

控制系统133还包括光谱光源150和结构化光源152。在某些情况下，单个源可以是脉冲式的，以发射光谱光源150范围内的光的波长和结构化光源152范围内的光的波长。另选地，单个光源可以是脉冲式的，以提供不可见光谱中的光(例如红外光谱光)和可见光谱上的光的波长。光谱光源150可以是例如高光谱光源、多光谱光源和/或选择性光谱光源。在各种情况下，组织识别逻辑部件140可经由由相机144的图像传感器135部分接收的来自光谱光源150的数据来识别关键结构。表面标测逻辑部件136可基于反射的结构化光来确定可见组织的表面轮廓。利用飞行时间测量结果，距离确定逻辑部件141可确定到可见组织和/或关键结构101的一个或多个距离。来自表面标测逻辑部件136、组织识别逻辑部件140和距离确定逻辑部件141的一个或多个输出可被提供给成像逻辑部件138，并且可被组合、共混和/或重叠以经由成像系统142的显示器146传达给临床医生。

说明书现在简要转到图2A至图2C，以描述用于控制外科可视化系统100的各个方面的控制电路132的各个方面。转到图2A，示出了根据本公开的至少一个方面的被配置成能够控制外科可视化系统100的各方面的控制电路400。控制电路400可被配置成能够实现本文所述的各种过程。控制电路400可以包括微控制器，该微控制器包括耦接到至少一个存储器电路404的一个或多个处理器402(例如，微处理器、微控制器)。存储器电路404存储机器可执行指令，这些机器可执行指令在由处理器402执行时使处理器402执行机器指令以实现本文所述的各种过程。处理器402可以是本领域中已知的多种单核或多核处理器中的任一种。存储器电路404可包括易失性存储介质和非易失性存储介质。处理器402可包括指令处理单元406和运算单元408。指令处理单元可被配置成能够从本公开的存储器电路404接收指令。

图2B示出了根据本公开的至少一个方面的被配置成能够控制外科可视化系统100的各方面的组合逻辑电路410。组合逻辑电路410可被配置成能够实现本文所述的各种过程。组合逻辑电路410可包括有限状态机，该有限状态机包括组合逻辑部件412，该组合逻辑部件被配置成能够在输入414处接收与外科器械或工具相关联的数据，通过组合逻辑部件412处理数据并提供输出416。

图2C示出了根据本公开的至少一个方面的被配置成能够控制外科可视化系统100的各方面的时序逻辑电路420。时序逻辑电路420或组合逻辑部件422可被配置成能够实现本文所述的各种过程。时序逻辑电路420可包括有限状态机。时序逻辑电路420可包括例如组合逻辑部件422、至少一个存储器电路424和时钟429。至少一个存储器电路424可存储有限状态机的当前状态。在某些情况下，时序逻辑电路420可以是同步的或异步的。组合逻辑部件422被配置成能够从输入426接收与外科装置或系统相关联的数据，通过组合逻辑部件422处理数据并提供输出428。在其他方面，电路可包括处理器(例如，图2A中的处理器402)和有限状态机的组合以实现本文的各种过程。在其他方面，有限状态机可包括组合逻辑电路(例如，组合逻辑电路410，图2B)和时序逻辑电路420的组合。

再次参见图1中的外科可视化系统100，关键结构101可以是感兴趣的解剖结构。例如，关键结构101可以是输尿管、动脉诸如肠系膜上动脉、静脉诸如门静脉、神经诸如膈神经和/或肿瘤等解剖结构。在其他情况下，关键结构101可以是例如解剖场中的外来结构，诸如外科装置、外科紧固件、夹具、大头钉、探条、带和/或板。示例性关键结构在本文和前述同时提交的美国专利申请(包括例如于2018年9月11日提交的名称为“VISUALIZATION OFSURGICAL DEVICES”的美国专利申请号16/128,192)中进一步描述，这些专利申请全文以引用方式并入本文。

在一个方面，关键结构101可嵌入组织103中。换句话说，关键结构101可定位在组织103的表面105下方。在此类情况下，组织103隐蔽关键结构101使其不被临床医生看见。从成像装置120的视角来看，关键结构101也被组织103遮蔽。组织103可以是例如脂肪、结缔组织、粘连和/或器官。在其他情况下，关键结构101可被部分地遮蔽使其不被看见。

图1还描绘了外科装置102。外科装置102包括端部执行器，该端部执行器具有从外科装置102的轴的远侧端部延伸的相对钳口。外科装置102可以是任何合适的外科装置，诸如例如解剖器、缝合器、抓紧器、施夹器和/或能量装置(包括单极探针、双极探针、消融探针和/或超声端部执行器)。另外或另选地，外科装置102可包括例如另一个成像或诊断模态，诸如超声装置。在本公开的一个方面，外科可视化系统100可被配置成能够实现识别一个或多个关键结构101以及外科装置102与关键结构101的接近度。

外科可视化系统100的成像装置120被配置成能够检测各种波长的光，诸如例如可见光、光谱光波(可见光或不可见光)和结构化光图案(可见光或不可见光)。成像装置120可包括用于检测不同信号的多个透镜、传感器和/或接收器。例如，成像装置120可以是高光谱、多光谱或选择性光谱相机，如本文进一步所述。成像装置120还可包括波形传感器122(诸如光谱图像传感器、检测器和/或三维相机透镜)。例如，成像装置120可包括一起使用以同时记录两个二维图像的右侧透镜和左侧透镜，并且因此生成外科部位的三维图像，渲染外科部位的三维图像，并且/或者确定外科部位处的一个或多个距离。另外或另选地，成像装置120可被配置成能够接收指示可见组织的形貌以及隐藏关键结构的识别和方位的图像，如本文进一步所述。例如，成像装置120的视场可与组织的表面105上的光(结构化光)的图案重叠，如图1所示。

在一个方面，外科可视化系统100可结合到机器人系统110中。例如，机器人系统110可包括第一机器人臂112和第二机器人臂114。机器人臂112、114包括刚性结构构件116和接头118，这些接头可包括伺服马达控件。第一机器人臂112被配置成能够操纵外科装置102，并且第二机器人臂114被配置成能够操纵成像装置120。机器人控制单元可被配置成能够向机器人臂112、114发出控制运动，这些控制运动可影响例如外科装置102和成像装置120。

外科可视化系统100还包括发射器106，该发射器被配置成能够发射光的图案，诸如条纹、网格线和/或点，以使得能够确定表面105的形貌或地形。例如，投射光阵列130可用于表面105上的三维扫描和配准。投射光阵列130可从位于例如外科装置102和/或机器人臂112、114中的一者和/或成像装置120上的发射器106发射。在一个方面，投射光阵列130用于确定由组织103的表面105和/或表面105在术中的运动限定的形状。成像装置120被配置成能够检测从表面105反射的投射光阵列130，以确定表面105的形貌以及相对于表面105的各种距离。

在一个方面，成像装置120还可包括光学波形发射器123，该光学波形发射器被配置成能够发射可穿透组织103的表面105并到达关键结构101的电磁辐射124(NIR光子)。成像装置120及其上的光学波形发射器123可能够由机器人臂114定位。成像装置120上的对应波形传感器122(例如，图像传感器、光谱仪或振动传感器)被配置成能够检测由波形传感器122接收的电磁辐射的影响。由光学波形发射器123发射的电磁辐射124的波长可被配置成能够使得能够识别解剖结构和/或物理结构(诸如关键结构101)的类型。关键结构101的识别可通过例如光谱分析、光声学和/或超声来实现。在一个方面，电磁辐射124的波长可以是可变的。波形传感器122和光学波形发射器123可包括例如多光谱成像系统和/或选择性光谱成像系统。在其他情况下，波形传感器122和光学波形发射器123可包括例如光声学成像系统。在其他情况下，光学波形发射器123可定位在与成像装置120分开的外科装置上。

外科可视化系统100还可包括距离传感器系统104，该距离传感器系统被配置成能够确定外科部位处的一个或多个距离。在一个方面，飞行时间距离传感器系统104可以是包括发射器(诸如发射器106)以及可定位在外科装置102上的接收器108的飞行时间距离传感器系统。在其他情况下，飞行时间发射器可与结构化光发射器分开。在一个一般方面，飞行时间距离传感器系统104的发射器106部分可包括非常微小的激光源，并且飞行时间距离传感器系统104的接收器108部分可包括匹配传感器。飞行时间距离传感器系统104可检测“飞行时间”或由发射器106发射的激光反弹回到接收器108的传感器部分所花费的时间。在发射器106中使用非常窄的光源使得距离传感器系统104能够确定到距离传感器系统104正前方的组织103的表面105的距离。仍然参见图1，d

在各种情况下，飞行时间距离传感器系统104的接收器108可安装在单独的外科装置上而不是外科装置102上。例如，接收器108可安装在插管或套管针上，外科装置102延伸穿过该插管或套管针以到达外科部位。在其他情况下，飞行时间距离传感器系统104的接收器108可安装在单独的机器人控制的臂(例如，机器人臂114)上，安装在由另一个机器人操作的可运动臂上和/或安装到手术室(OR)工作台或固定装置。在某些情况下，成像装置120包括飞行时间接收器108，以使用外科装置102上的发射器106与成像装置120之间的线来确定从发射器106到组织103的表面105的距离。例如，可基于飞行时间距离传感器系统104的发射器106(在外科装置102上)和接收器108(在成像装置120上)的已知方位来对距离d

在某些情况下，飞行时间距离传感器系统104的发射器106的方位可由第一机器人臂112控制，并且飞行时间距离传感器系统104的接收器108的方位可由第二机器人臂114控制。在其他情况下，外科可视化系统100可与机器人系统分开使用。在此类情况下，距离传感器系统104可独立于机器人系统。

在某些情况下，机器人臂112、114中的一者或多者可与外科手术中使用的主机器人系统分开。机器人臂112、114中的至少一者可在没有伺服马达控件的情况下定位并与特定坐标系配准。例如，用于机器人臂110的闭环控制系统和/或多个传感器可控制和/或配准机器人臂112、114相对于特定坐标系的方位。类似地，外科装置102和成像装置120的方位可相对于特定坐标系配准。

仍然参见图1，d

另外或另选地，来自光学波形发射器123的飞行时间可被配置成能够确定从光学波形发射器123到组织103的表面105的距离。例如，第一波形(或波形范围)可用于确定相机-关键结构距离d

另外或另选地，在某些情况下，距离d

现在参见图4中的外科可视化系统160，其中外科装置162包括光学波形发射器123以及被配置成能够检测反射的波形的波形传感器122。光学波形发射器123可被配置成能够发射波形，以用于确定与公共装置(诸如外科装置162)的距离d

d

如本文所公开，关于可见组织、嵌入的关键结构和外科装置的各种信息可通过利用组合方法来确定，该组合方法结合被配置成能够检测光谱波长和结构化光阵列的图像传感器结合有一个或多个飞行时间距离传感器、光谱成像和/或结构化光阵列。此外，图像传感器可被配置成能够接收可见光，并且因此将外科部位的图像提供给成像系统。采用逻辑或算法来识别从飞行时间传感器接收的信息、光谱波长、结构化光和可见光，并且渲染表面组织和下面的解剖结构的三维图像。在各种情况下，成像装置120可包括多个图像传感器。

相机-关键结构距离d

在其他方面，外科可视化系统100可采用两个单独的波形接收器(即，相机/图像传感器)来确定d

在另一方面，现在参见图10A和图10B，外科可视化系统可采用抖动或移动相机440来确定距离d

图5描绘了外科可视化系统500，其在许多方面类似于外科可视化系统100。在各种情况下，外科可视化系统500可以是外科可视化系统100的另一个范例。类似于外科可视化系统100，外科可视化系统500包括外科装置502和成像装置520。成像装置520包括光谱光发射器523，该光谱光发射器被配置成能够发射多个波长的光谱光，以获得例如隐藏结构的光谱图像。在各种情况下，成像装置520还可包括三维相机和相关联的电子处理电路。外科可视化系统500被示出为在术中用于识别和有利于避开在表面上不可见的某些关键结构，诸如器官503(在该示例中为子宫)中的输尿管501a和血管501b。

外科可视化系统500被配置成能够经由结构化光确定从外科装置502上的发射器506到子宫503的表面505的发射器-组织距离d

现在参见图11，其中描绘了用于例如外科可视化系统(诸如外科可视化系统100)的控制系统600的示意图。例如，控制系统600是转换系统，该转换系统整合光谱特征组织识别和结构化光组织定位以识别关键结构，特别是当这些结构被其他组织(诸如脂肪、结缔组织、血液和/或其他器官)遮蔽时。此类技术也可用于检测组织可变性，诸如区分器官内的肿瘤和/或不健康组织与健康组织。

控制系统600被配置用于实现高光谱成像和可视化系统，其中利用分子响应来检测和识别外科视场中的解剖结构。控制系统600包括转换逻辑电路648以将组织数据转换成外科医生可用的信息。例如，可利用基于相对于遮蔽材料的波长的可变反射率来识别解剖结构中的关键结构。此外，控制系统600将所识别的光谱特征和结构光数据组合在图像中。例如，控制系统600可用于创建三维数据集，以在具有增强图像叠加的系统中用于外科用途。可在术中和术前两者使用附加视觉信息来使用技术。在各种情况下，控制系统600被配置成能够在接近一个或多个关键结构时向临床医生提供警告。可采用各种算法来基于外科手术和与关键结构的接近度引导机器人自动化和半自动化方法。

采用投射光阵列在术中确定组织形状和运动。另选地，闪光激光雷达可用于组织的表面标测。

控制系统600被配置成能够检测关键结构并提供关键结构的图像叠加，并且测量到可见组织的表面的距离和到嵌入/掩埋关键结构的距离。在其他情况下，控制系统600可测量到可见组织的表面的距离或检测关键结构，并且提供关键结构的图像叠加。

控制系统600包括光谱控制电路602。例如，光谱控制电路602可以是现场可编程门阵列(FPGA)或如本文结合图2A至图2C所述的另一种合适的电路配置。光谱控制电路602包括处理器604以从视频输入处理器606接收视频输入信号。例如，处理器604可被配置用于高光谱处理并且可利用C/C++代码。例如，视频输入处理器606接收控制(元数据)数据的视频输入，诸如快门时间、波长和传感器分析。处理器604被配置成能够处理来自视频输入处理器606的视频输入信号并将视频输出信号提供给视频输出处理器608，该视频输出处理器包括例如接口控制(元数据)数据的高光谱视频输出。视频输出处理器608将视频输出信号提供给图像叠加控制器610。

视频输入处理器606经由患者隔离电路614联接到患者侧处的相机612。如前所述，相机612包括固态图像传感器634。患者隔离电路可包括多个变压器，使得患者与系统中的其他电路隔离。相机612通过光学器件632和图像传感器634接收术中图像。图像传感器634可包括例如CMOS图像传感器，或者可包括例如本文结合图2所述的任何图像传感器技术。在一个方面，相机612以14位/像素信号输出图像。应当理解，在不脱离本公开的范围的情况下，可采用更高或更低的像素分辨率。隔离的相机输出信号613被提供给彩色RGB融合电路616，该融合电路利用硬件寄存器618和Nios2协处理器620来处理相机输出信号613。彩色RGB融合输出信号被提供给视频输入处理器606和激光脉冲控制电路622。

激光脉冲控制电路622控制激光引擎624。激光引擎624输出包括近红外(NIR)在内的多个波长(λ

来自激光引擎624的光输出626照亮术中外科部位627中的目标解剖结构。激光脉冲控制电路622还控制用于激光图案投射仪630的激光脉冲控制器628，该激光图案投射仪将预先确定的波长(λ

彩色RGB融合电路616还将信号输出到图像叠加控制器610和视频输入模块636，以用于读取由激光图案投射仪630投射到外科部位627处的目标解剖结构上的激光图案631。处理模块638处理激光图案631并且输出表示到外科部位627处的可见组织的距离的第一视频输出信号640。数据被提供给图像叠加控制器610。处理模块638还输出表示外科部位处的目标解剖结构的组织或器官的三维渲染形状的第二视频信号642。

第一视频输出信号640和第二视频输出信号642包括表示关键结构在三维表面模型上的方位的数据，该数据被提供给整合模块643。结合来自光谱控制电路602的视频输出处理器608的数据，整合模块643可确定到掩埋关键结构的距离d

在各种情况下，可采用来自CT或MRI扫描的术前数据650来配准或匹配某些三维可变形组织。此类术前数据650可被提供给整合模块643并最终提供给图像叠加控制器610，使得此类信息可与来自相机612的视图叠加并被提供给视频监视器652。术前数据的配准在本文和前述同时提交的美国专利申请(包括例如于2018年9月11日提交的名称为“INTEGRATION OF IMAGING DATA”的美国专利申请号16/128,195)中进一步描述，这些专利申请全文以引用方式并入本文。

视频监视器652可从图像叠加控制器610输出整合/增强视图。临床医生可在一个或多个监视器上在不同视图之间选择和/或切换。在第一监视器652a上，临床医生可在(A)其中描绘可见组织的三维渲染的视图与(B)其中在可见组织的三维渲染上描绘一个或多个隐藏关键结构的增强视图之间切换。在第二监视器652b上，临床医生可例如将距离测量切换到一个或多个隐藏关键结构和/或可见组织的表面。

控制系统600和/或其各种控制电路可结合到本文所公开的各种外科可视化系统中。

图12示出了根据本公开的至少一个方面的结构化(或图案化)光系统700。如本文所述，条纹或线形式的结构化光例如可从光源和/或投射仪706被投射到目标解剖结构的表面705上，以识别表面705的形状和轮廓。在各个方面可类似于成像装置120(图1)的相机720例如可被配置成能够检测光在表面705上的投射图案。投射图案在撞击表面705时变形的方式允许视觉系统计算目标解剖结构的深度和表面信息。

在某些情况下，可利用不可见的(或察觉不到的)结构化光，其中在不干扰投射图案可能混淆的其他计算机视觉任务的情况下使用该结构化光。例如，可利用在两个完全相反的图案之间交替的红外光或极快的可见光帧速率来防止干扰。结构化光在en.wikipedia.org/wiki/Structured_light处进一步描述。

如上所述，本文描述的各种外科可视化系统可以用于将各种不同类型的组织和/或解剖结构可视化，包括可被光谱的可见部分中的EMR遮挡而无法可视化的组织和/或解剖结构。在一个方面，外科可视化系统可以利用光谱成像系统来基于组成材料的不同组合来对不同类型的组织进行可视化。特别地，光谱成像系统可以被配置成能够基于组织在各种EMR波长上的吸收系数来检测被可视化的组织内各种组成材料的存在。光谱成像系统可以进一步被配置成能够基于组成材料的特定组合来表征被可视化的组织的组织类型。为了说明，图13A是描绘各种生物材料的吸收系数如何在EMR波长光谱上变化的曲线图2300。在曲线图2300中，纵轴2303表示生物材料的吸收系数(例如，以cm

图13B示出了利用光谱成像技术来对不同的组织类型和/或解剖结构进行可视化。在图13B中，光谱发射器2320(例如，光谱光源150)被成像系统用来对外科部位2325进行可视化。由光谱发射器2320发射并从外科部位2325处的组织和/或结构反射的EMR可以由图像传感器135(图2)接收，以对组织和/或结构进行可视化；该组织和/或结构可以是可见的(例如，位于外科部位2325的表面)或被遮挡的(例如，位于外科部位2325处的其他组织和/或结构的下面)。在该示例中，成像系统142(图2)可以基于光谱特征来对肿瘤2332、动脉2334和各种异常2338(即，与已知或预期的光谱特征不相符的组织)进行可视化，所述光谱特征由不同组织/结构类型中每一个的组成材料的不同吸收特性(例如，吸收系数)来表征。可视化的组织和结构可以显示在与成像系统142关联或联接的显示屏上，例如成像系统显示器146(图2)、主显示器2119(图18)、非无菌显示器2109(图18)、集线器显示器2215(图19)、装置/器械显示器2237(图19)等。

此外，成像系统142可以被配置成能够根据所识别的组织和/或结构类型来定制或更新所显示的外科部位可视化。例如，成像系统142可以在显示屏(例如，显示器146)上显示与正在可视化的肿瘤2332相关联的边缘2330a。边缘2330a可以指示应该切除以确保肿瘤2332完全切除的组织的面积或数量。控制系统133(图2)可以被配置成能够基于由成像系统142识别的组织和/或结构来控制或更新边缘2330a的尺寸。在所示示例中，成像系统142已经识别了FOV内的多个异常2338。因此，控制系统133可以将显示的边缘2330a调整到第一更新边缘2330b，该第一更新边缘2330b具有足够的尺寸来涵盖异常2338。此外，成像系统142还识别出了与最初显示的边缘2330a部分重叠的动脉2334(如动脉2334的高亮区域2336所示)。因此，控制系统133可以将显示的边缘2330a调整到第二更新边缘2330c，该第二更新边缘具有足够的尺寸来涵盖动脉2334的相关部分。

除了以上关于图13A和13B所描述的吸收特性之外或代替所述吸收特性，还可以根据组织和/或结构的反射特性在EMR波长光谱上对其进行成像或表征。例如，图13C-13E示出了不同类型的组织或结构在不同EMR波长上的反射率的各种曲线图。图13C是例示性输尿管特征相对于遮蔽物的图形表示1050。图13D是例示性动脉特征相对于遮蔽物的图形表示1052。图13E是例示性神经特征相对于遮蔽物的图形表示1054。图13C-13E中的曲线表示特定结构(输尿管、动脉和神经)相对于脂肪、肺组织和血液在相应波长的相应反射率的反射率与波长(nm)的函数关系。这些曲线图仅仅是出于说明性目的，并且应当理解，其他组织和/或结构可以具有相应的可检测反射特征，该反射特征将允许对组织和/或结构进行识别和可视化。

在各种情况下，可基于外科部位处的预期关键结构和/或遮蔽物来识别和利用用于光谱成像的选定波长(即，“选择性光谱”成像)。通过利用选择性光谱成像，可最小化获得光谱图像所需的时间量，使得可实时或接近实时地获得信息，并在手术中加以利用。在各种情况下，波长可由临床医生选择或由控制电路基于临床医生的输入来选择。在某些情况下，波长可基于例如机器学习和/或控制电路可经由云访问的大数据来选择。

光谱成像到组织的前述应用可在手术中用于测量波形发射器与被组织遮蔽的关键结构之间的距离。在本公开的一个方面，现在参见图14和图15，示出了利用波形1124、1125的飞行时间传感器系统1104。在某些情况下，飞行时间传感器系统1104可结合到外科可视化系统100(图1)中。飞行时间传感器系统1104包括相同外科装置1102上的波形发射器1106和波形接收器1108。发射波1124从发射器1106延伸到关键结构1101，并且接收波1125被接收器1108从关键结构1101反射回去。外科装置1102穿过延伸到患者的腔1107中的套管针1110定位。

波形1124、1125被配置成能够穿透遮蔽组织1103。例如，波形1124、1125的波长可在NIR或SWIR波长光谱中。在一个方面，光谱信号(例如，高光谱、多光谱或选择性光谱)或光声学信号可从发射器1106发射并且可穿透其中隐蔽有关键结构1101的组织1103。所发射的波形1124可被关键结构1101反射。所接收的波形1125可由于外科装置1102的远侧端部与关键结构1101之间的距离d而被延迟。在各种情况下，可基于关键结构1101的光谱特征来选择波形1124、1125以靶向组织1103内的关键结构1101，如本文进一步所述。在各种情况下，发射器1106被配置成能够提供二进制信号开和关，如图15所示，例如该二进制信号可由接收器1108测量。

基于发射波1124与接收波1125之间的延迟，飞行时间传感器系统1104被配置成能够确定距离d(图14)。图14的发射器1106和接收器1108的飞行时间时序图1130在图15中示出。延迟是距离d的函数，并且距离d由下式给出：

其中：

c＝光的速度；

t＝脉冲的长度；

q

q

如本文所提供，波形1124、1125的飞行时间对应于图14中的距离d。在各种情况下，附加发射器/接收器和/或来自发射器1106的脉冲信号可被配置成能够发射非穿透信号。非穿透组织可被配置成能够确定从发射器到遮蔽组织1103的表面1105的距离。在各种情况下，关键结构1101的深度可由下式确定：

d

其中：

d

d

d

在本公开的一个方面，现在参见图16，示出了利用波1224a、1224b、1224c、1225a、1225b、1225c的飞行时间传感器系统1204。在某些情况下，飞行时间传感器系统1204可结合到外科可视化系统100(图1)中。飞行时间传感器系统1204包括波形发射器1206和波形接收器1208。波形发射器1206定位在第一外科装置1202a上，并且波形接收器1208定位在第二外科装置1202b上。外科装置1202a、1202b分别穿过其相应的套管针1210a、1210b定位，这两个套管针延伸到患者的腔1207中。发射波1224a、1224b、1224c从发射器1206朝向外科部位延伸，并且接收波1225a、1225b、1225c从外科部位处的各种结构和/或表面反射回接收器1208。

不同的发射波1224a、1224b、1224c被配置成能够靶向外科部位处的不同类型的材料。例如，波1224a靶向遮蔽组织1203，波1224b靶向第一关键结构1201a(例如，血管)，并且波1224c靶向第二关键结构1201b(例如，癌性肿瘤)。波1224a、1224b、1224c的波长可在可见光、NIR或SWIR波长光谱中。例如，可见光可从组织1203的表面1205反射，并且NIR和/或SWIR波形可被配置成能够穿透组织1203的表面1205。在各个方面，如本文所述，光谱信号(例如，高光谱、多光谱或选择性光谱)或光声学信号可从发射器1206发射。在各种情况下，可基于关键结构1201a、1201b的光谱特征来选择波1224b、1224c以靶向组织1203内的关键结构1201a、1201b，如本文进一步所述。光声学成像在各种美国专利申请中进一步描述，这些专利申请以引用方式并入本公开中。

发射波1224a、1224b、1224c可从目标材料(即，分别为表面1205、第一关键结构1201a和第二结构1201b)反射。所接收的波形1225a、1225b、1225c可由于图16所示的距离d

在其中发射器1206和接收器1208可独立定位(例如，定位在单独的外科装置1202a、1202b上和/或由单独的机器人臂控制)的飞行时间传感器系统1204中，可根据发射器1206和接收器1208的已知方位计算各种距离d

仍然参见图16，在各种情况下，在提供给临床医生的视图中，接收器1208可被旋转成使得所得图像中的目标结构的质心保持恒定，即在垂直于所选目标结构1203、1201a或1201b的轴线的平面中。此类取向可快速传送关于关键结构的一个或多个相关距离和/或视角。例如，如图16所示，从关键结构1201a垂直于视平面(即，血管在页面内/页面外取向)的视角显示外科部位。在各种情况下，此类取向可以是默认设置；然而，该视图可由临床医生旋转或以其他方式调整。在某些情况下，临床医生可在限定由成像系统提供的外科部位的视角的不同表面和/或目标结构之间切换。

在各种情况下，接收器1208可安装在套管针或插管(诸如套管针1210b)上，例如外科装置1202b通过该套管针或插管定位。在其他情况下，接收器1208可安装在三维方位已知的单独机器人臂上。在各种情况下，接收器1208可安装在与控制外科装置1202a的机器人分开的可运动臂上，或者可安装到可在术中与机器人坐标平面配准的手术室(OR)工作台。在此类情况下，发射器1206和接收器1208的方位可能够与同一坐标平面配准，使得可根据来自飞行时间传感器系统1204的输出对距离进行三角测量。

将飞行时间传感器系统和近红外光谱(NIRS)(称为TOF-NIRS，其能够测量具有纳秒分辨率的NIR光的时间分辨特征图)组合可见于名称为“TIME-OF-FLIGHT NEAR-INFRAREDSPECTROSCOPY FOR NONDESTRUCTIVE MEASUREMENT OF INTERNAL QUALITY INGRAPEFRUIT”(美国园艺科学学会杂志(Journal of the American Society forHorticultural Science)，2013年5月，第138卷，第3期，第225-228页)的文章(该文章全文以引用方式并入本文)中，并且可在journal.ashspublications.org/content/138/3/225.full处获取。

在各种情况下，飞行时间光谱波形被配置成能够确定关键结构的深度和/或外科装置与关键结构的接近度。此外，本文所公开的各种外科可视化系统包括表面标测逻辑部件，该表面标测逻辑部件被配置成能够创建可见组织的表面的三维渲染。在此类情况下，即使当可见组织阻挡关键结构时，临床医生也可知道外科装置与关键结构的接近度(或缺乏接近度)。在一种情况下，外科部位的形貌由表面标测逻辑部件提供在监视器上。如果关键结构靠近组织的表面，则光谱成像可将关键结构的方位传达给临床医生。例如，光谱成像可检测表面的5mm或10mm内的结构。在其他情况下，光谱成像可检测组织的表面下方10mm或20mm的结构。基于光谱成像系统的已知限值，系统被配置成能够在光谱成像系统根本无法检测到关键结构的情况下传达该关键结构在范围外。因此，临床医生可继续移动外科装置和/或操纵组织。当关键结构移动到光谱成像系统范围内时，系统可识别该结构，并且因此传送该结构在范围内。在此类情况下，当初始识别结构和/或在预定义的接近度区域内进一步移动结构时，可提供警示。在此类情况下，即使光谱成像系统利用已知边界/范围未识别关键结构，也可向临床医生提供接近度信息(即，缺乏接近度)。

本文所公开的各种外科可视化系统可被配置成能够在手术中识别关键结构的存在和/或关键结构的接近度，并且在通过意外解剖和/或横切损坏关键结构之前警示临床医生。在各个方面，外科可视化系统被配置成能够识别例如以下关键结构中的一种或多种关键结构：输尿管、肠、直肠、神经(包括膈神经、喉返神经[RLN]、骶岬面部神经、迷走神经以及它们的分支)、血管(包括肺动脉和大叶动脉以及肺静脉和大叶静脉、肠系膜下动脉[IMA]及其分支、直肠上动脉、乙状动脉和左结肠动脉)、肠系膜上动脉(SMA)及其分支(包括中结肠动脉、右结肠动脉、回肠动脉)、肝动脉及其分支、门静脉及其分支、脾动脉/静脉及其分支、外部和内部(下腹部)回肠血管、短胃动脉、子宫动脉、骶中血管和淋巴结。此外，外科可视化系统被配置成能够指示外科装置与关键结构的接近度和/或在外科装置靠近关键结构时警告临床医生。

本公开的各个方面提供了手术中关键结构识别(例如，输尿管、神经和/或血管的识别)和器械接近度监视。例如，本文所公开的各种外科可视化系统可包括光谱成像和外科器械跟踪，这使得能够可视化例如组织的表面下方(诸如组织的表面下方1.0cm至1.5cm)的关键结构。在其他情况下，外科可视化系统可识别组织的表面下方小于1.0cm或大于1.5cm的结构。例如，如果结构由于深度原本不能被看到，则即使例如可识别仅在表面0.2mm内的结构的外科可视化系统也可以是有价值的。在各个方面，外科可视化系统可例如利用关键结构的虚拟描绘作为叠加在可见组织的表面上的可见白光图像来增强临床医生的视图。外科可视化系统可提供外科器械的远侧末端的实时三维空间跟踪，并且可例如在外科器械的远侧末端在关键结构的特定范围内(诸如在关键结构的1.0cm内)移动时提供接近度警示。

本文所公开的各种外科可视化系统可识别解剖何时太靠近关键结构。基于温度(即，在可能有损坏/加热/熔融关键结构的风险的关键结构附近太热)和/或基于张力(即，在可能有损坏/撕裂/牵拉关键结构的风险的关键结构附近张力太大)，解剖可能“太靠近”关键结构。例如，当在结扎之前使血管骨架化时，此类外科可视化系统可有利于在血管周围进行解剖。在各种情况下，可利用热成像相机来读取外科部位处的热量并向临床医生提供基于所检测到的热量和从工具到结构的距离的警告。例如，如果工具的温度高于预定义阈值(诸如例如120℉)，则可在第一距离(诸如例如10mm)处向临床医生提供警示，并且如果工具的温度小于或等于预定义阈值，则可在第二距离(诸如例如5mm)处向临床医生提供警示。预定义阈值和/或警告距离可以是默认设置和/或可临床医生编程。另外或另选地，接近度警示可与由工具本身(诸如测量例如单极或双极解剖器或血管密封器的远侧钳口中的热量的热电偶)进行的热测量关联。

本文所公开的各种外科可视化系统可提供关于关键结构和特异性的足够的灵敏度，以使得临床医生能够基于护理和/或装置安全性数据的标准对快速但安全的解剖有信心地进行。系统可在外科手术期间在手术中实时地起作用，而对患者或临床医生的电离辐射风险最小，并且在各种情况下，对患者或临床医生没有电离辐射风险。相反地，在荧光透视过程中，患者和临床医生可经由例如用于实时观察解剖结构的X射线束暴露于电离辐射。

诸如当外科装置的路径由机器人控制时，本文所公开的各种外科可视化系统可被配置成能够例如检测和识别外科装置的向前路径中的一种或多种期望类型的关键结构。另外或另选地，外科可视化系统可被配置成能够检测和识别例如外科装置的周围区域中和/或多个平面/维度中的一种或多种类型的关键结构。

本文所公开的各种外科可视化系统可易于操作和/或解释。此外，各种外科可视化系统可结合允许临床医生覆写默认设置和/或操作的“覆写”特征。例如，诸如当关键结构的风险小于避开该区域的风险(例如，当摘除关键结构周围的癌症时，留下癌性组织的风险可能大于对关键结构造成损坏的风险)时，临床医生可选择性地关闭来自外科可视化系统的警示和/或比外科可视化系统所建议的更靠近关键结构。

本文所公开的各种外科可视化系统可结合到外科系统中和/或在对工作流程具有有限影响的情况下在外科手术期间使用。换句话讲，外科可视化系统的具体实施可能不会改变实施外科手术的方式。此外，与意外横切的成本相比，外科可视化系统可能更经济。数据表明，对关键结构的意外损坏减少可驱动增量补偿。

本文所公开的各种外科可视化系统可实时或接近实时地并且提前足够远地操作，以使得临床医生能够预期关键结构。例如，外科可视化系统可提供足够的时间以“减慢、评估和避开”，以便使外科手术的效率最大化。

本文所公开的各种外科可视化系统可能不需要注射到组织中的造影剂或染料。例如，光谱成像被配置成能够在不使用造影剂或染料的情况下在手术中可视化隐藏结构。在其他情况下，造影剂可比其他可视化系统更容易注射到适当的组织层中。例如，造影剂的注射与关键结构的可视化之间的时间可少于两小时。

本文所公开的各种外科可视化系统可与临床数据和/或装置数据关联。例如，数据可提供关于能量启用的外科装置(或其他潜在损坏装置)应与外科医生不想损坏的组织相距多近的边界。与本文所公开的外科可视化系统交互的任何数据模块可与机器人整体地或分开地提供，以使得能够与独立的外科装置一起用于例如开放式或腹腔镜式手术中。在各种情况下，外科可视化系统可与机器人外科系统兼容。例如，可视化图像/信息可显示在机器人控制台中。

在各种情况下，临床医生可能不知道关键结构相对于外科工具的位置。例如，当关键结构嵌入组织中时，临床医生可能无法确定关键结构的位置。在某些情况下，临床医生可能想要将外科装置保持在围绕关键结构的方位范围之外和/或远离覆盖隐藏关键结构的可见组织。当隐蔽关键结构的方位未知时，临床医生可能有移动得太靠近关键结构的风险，这可能导致关键结构的无意创伤和/或解剖和/或关键结构附近的过多能量、热量和/或张力。另选地，临床医生可能保持与关键结构的可疑位置相距过远，并且有在较不理想的位置影响组织以试图避开关键结构的风险。

本发明提供了一种外科可视化系统，该外科可视化系统呈现相对于一个或多个关键结构的外科装置跟踪。例如，外科可视化系统可跟踪外科装置相对于关键结构的接近度。此类跟踪可在术中、实时和/或近实时地发生。在各种情况下，跟踪数据可经由成像系统的显示屏(例如，监视器)提供给临床医生。

在本公开的一个方面，外科可视化系统包括：外科装置，该外科装置包括发射器，该发射器被配置成能够将结构化光图案发射到可见表面上；成像系统，该成像系统包括相机，该相机被配置成能够检测嵌入结构和可见表面上的结构化光图案；以及控制电路，该控制电路与相机和成像系统信号通信，其中控制电路被配置成能够确定从外科装置到嵌入结构的距离，并且向成像系统提供指示该距离的信号。例如，该距离可通过计算从相机到用荧光透视技术照亮的关键结构的距离并且基于由来自相机的多个透镜(例如，左侧透镜和右侧透镜)的图像提供的所照亮的结构的三维视图来确定。例如，从外科装置到关键结构的距离可基于外科装置和相机的已知方位来进行三角测量。本文进一步描述了用于确定到嵌入关键结构的距离的替代装置。例如，可采用NIR飞行时间距离传感器。另外或另选地，外科可视化系统可确定到叠加/覆盖嵌入关键结构的可见组织的距离。例如，外科可视化系统可通过在可见结构上描绘隐藏关键结构的示意图(诸如可见组织的表面上的线)来识别隐藏关键结构并增强隐藏关键结构的视图。外科可视化系统还可确定到可见组织上的增强线的距离。

通过向临床医生提供如本文所公开的各种外科可视化系统所提供的关于外科装置到隐蔽关键结构和/或可见结构的接近度的最新信息，临床医生可以做出关于外科装置相对于隐蔽关键结构的放置的更知情的决定。例如，临床医生可实时地/在术中查看外科装置与关键结构之间的距离，并且在某些情况下，当外科装置移动到关键结构的预定义接近度和/或区域内时，可由成像系统提供警示和/或警告。在某些情况下，当外科装置的轨迹指示与关键结构附近(例如，在关键结构的1mm、2mm、5mm、10mm、20mm或更多内)的“禁飞”区的可能碰撞时，可以提供警示和/或警告。在此类情况下，临床医生可在整个外科手术期间保持动量，而无需临床医生监测关键结构的可疑位置和外科装置与其的接近度。因此，某些外科手术可以更快地执行，具有更少的暂停/中断，以及/或者具有改进的准确性和/或确定性。在一个方面，外科可视化系统可用于检测组织可变性，诸如器官内组织的可变性，以区分肿瘤/癌组织/不健康组织与健康组织。此类外科可视化系统可使不健康组织的移除最大化，同时使健康组织的移除最小化。

本文所述的各种可视化或成像系统可以并入到外科集线器系统中，如结合图17-19示出并且在下文中进一步详细描述。

参见图17，计算机实现的交互式外科系统2100包括一个或多个外科系统2102和基于云的系统(例如，可包括耦接到存储装置2105的远程服务器2113的云2104)。每个外科系统2102包括与云2104通信的至少一个外科集线器2106，该云可包括远程服务器2113。在一个示例中，如图17中所示，外科系统2102包括可视化系统2108、机器人系统2110和手持式智能外科器械2112，它们被配置成能够彼此通信并且/或者与集线器2106通信。在一些方面，外科系统2102可包括M数量的集线器2106、N数量的可视化系统2108、O数量的机器人系统2110和P数量的手持式智能外科器械2112，其中M、N、O和P为大于或等于一的整数。

图18示出了用于对平躺在外科手术室2116中的手术台2114上的患者执行外科手术的外科系统2102的示例。机器人系统2110在外科手术中用作外科系统2102的一部分。机器人系统2110包括外科医生的控制台2118、患者侧推车2120(外科机器人)和外科机器人集线器2122。当外科医生通过外科医生的控制台2118观察外科部位时，患者侧推车2120可通过患者体内的微创切口来操纵至少一个可移除地耦接的外科工具2117。外科部位的图像可通过医学成像装置2124获得，该医学成像装置可由患者侧推车2120操纵以定向成像装置2124。机器人集线器2122可用于处理外科部位的图像，以随后通过外科医生的控制台2118显示给外科医生。

其他类型的机器人系统可容易地适于与外科系统2102一起使用。适用于本公开的机器人系统和外科工具的各种示例在各种美国专利申请中有所描述，这些专利申请以引用方式并入本公开中。

由云2104执行的并且适用于本公开的基于云的分析的各种示例在各种美国专利申请中有所描述，这些专利申请以引用方式并入本公开中。

在各种方面，成像装置2124包括至少一个图像传感器和一个或多个光学部件。合适的图像传感器包括但不限于电荷耦接装置(CCD)传感器和互补金属氧化物半导体(CMOS)传感器。

成像装置2124的光学部件可包括一个或多个照明源和/或一个或多个透镜。一个或多个照明源可被引导以照明外科场地的多部分。一个或多个图像传感器可接收从外科场地反射或折射的光，包括从组织和/或外科器械反射或折射的光。

一个或多个照明源可被配置成能够辐射可见光谱中的电磁能以及不可见光谱。可见光谱(有时被称为光学光谱或发光光谱)是电磁光谱中对人眼可见(即，可被其检测)的那部分，并且可被称为可见光或简单光。典型的人眼将对空气中约380nm至约750nm的波长作出响应。

不可见光谱(即，非发光光谱)是电磁光谱的位于可见光谱之下和之上的部分(即，低于约380nm且高于约750nm的波长)。人眼不可检测到不可见光谱。大于约750nm的波长长于红色可见光谱，并且它们变为不可见的红外(IR)、微波和无线电电磁辐射。小于约380nm的波长比紫色光谱短，并且它们变为不可见的紫外、x射线和γ射线电磁辐射。

在各种方面，成像装置2124被配置用于微创手术中。适用于本公开的成像装置的示例包括但不限于关节镜、血管镜、支气管镜、胆道镜、结肠镜、细胞检查镜、十二指镜、肠窥镜、食道-十二指肠镜(胃镜)、内窥镜、喉镜、鼻咽-肾内窥镜、乙状结肠镜、胸腔镜和子宫内窥镜。

在一个方面，成像装置采用多光谱监测来辨别形貌和底层结构。多光谱图像是捕获跨电磁波谱的特定波长范围内的图像数据的图像。可通过滤波器或通过使用对特定波长敏感的器械来分离波长，特定波长包括来自可见光范围之外的频率的光，例如IR和紫外。光谱成像可允许提取人眼未能用其红色，绿色和蓝色的受体捕获的附加信息。多光谱成像的使用在各种美国专利申请中有所描述，这些专利申请以引用方式并入本公开中。在完成外科任务以对处理过的组织执行一个或多个先前所述测试之后，多光谱监测可以是用于重新定位外科场地的有用工具。

不言自明的是，在任何外科期间都需要对手术室和外科设备进行严格灭菌。在“外科室”(即，手术室或治疗室)中所需的严格的卫生和灭菌条件需要所有医疗装置和设备的最高可能的无菌性。该灭菌过程的一部分是需要对接触患者或穿透无菌区的任何物质进行灭菌，包括成像装置2124及其附接件和部件。应当理解，无菌区可被认为是被认为不含微生物的指定区域，诸如在托盘内或无菌毛巾内，或者无菌区可被认为是已准备用于外科规程的患者周围的区域。无菌区可包括被恰当地穿着的擦洗的团队成员，以及该区域中的所有设备和固定装置。

在各种方面，可视化系统2108包括一个或多个成像传感器、一个或多个图像处理单元、一个或多个存储阵列、以及一个或多个显示器，其相对于无菌区进行策略布置，如图18中所示。在一个方面，可视化系统2108包括用于HL7、PACS和EMR的界面。可视化系统2108的各种组件在各种美国专利申请中有所描述，这些专利申请以引用方式并入本公开中。

如图18中所示，主显示器2119被定位在无菌区中，以对在手术台2114处的操作者可见。此外，可视化塔21121被定位在无菌区之外。可视化塔21121包括彼此背离的第一非无菌显示器2107和第二非无菌显示器2109。由集线器2106引导的可视化系统2108被配置成能够利用显示器2107、2109和2119来将信息流协调到无菌区内侧和外侧的操作者。例如，集线器2106可使可视化系统2108在非无菌显示器2107或2109上显示由成像装置2124记录的外科部位的快照，同时保持外科部位在主显示器2119上的实时馈送。非无菌显示器2107或2109上的快照可允许非无菌操作者例如执行与外科手术相关的诊断步骤。

在一个方面，集线器2106被进一步配置成能够将由非无菌操作者在可视化塔21121处输入的诊断输入或反馈路由至无菌区内的主显示器2119，其中可由操作台上的无菌操作者查看。在一个示例中，输入可以是对显示在非无菌显示器2107或2109上的快照的修改形式，其可通过集线器2106路由到主显示器2119。

参见图18，外科器械2112作为外科系统2102的一部分在外科手术中使用。集线器2106还被配置成能够将信息流协调至外科器械2112的显示器，如在各种美国专利申请中所描述的那样，这些专利申请以引用方式并入本公开中。由非无菌操作者在可视化塔21121处输入的诊断输入或反馈可由集线器2106路由至无菌区内的外科器械显示器2115，其中外科器械2112的操作者可观察到该输入或反馈。适用于外科系统2102的示例性外科器械在各种美国专利申请中有所描述，这些专利申请以引用方式并入本公开中。

图19示出了由计算机实现的交互式外科系统2200。由计算机实现的交互式外科系统2200在许多方面类似于由计算机实现的交互式外科系统2100。外科系统2200包括与可包括远程服务器2213的云2204通信的至少一个外科集线器2236。在一个方面，由计算机实现的交互式外科系统2200包括外科集线器2236，该外科集线器连接到多个手术室装置，诸如例如智能外科器械、机器人和位于手术室中的其他计算机化装置。外科集线器2236包括用于将外科集线器2236以可通信地联接到云2204和/或远程服务器2213的通信接口。如图19的示例中所示，外科集线器2236耦接到成像模块2238(该成像模块耦接到内窥镜2239)、耦接到能量装置2421的发生器模块2240、排烟器模块2226、抽吸/冲洗模块2228、通信模块2230、处理器模块2232、存储阵列2234、任选地耦接到显示器2237的智能装置/器械2235和非接触传感器模块2242。手术室装置经由外科集线器2236耦接到云计算资源和数据存储。机器人集线器2222也可连接到外科集线器2236和云计算资源。装置/器械2235、可视化系统2209等等可经由有线或无线通信标准或协议耦接到外科集线器2236，如本文所述。外科集线器2236可耦接到集线器显示器2215(例如，监测器、屏幕)以显示和叠加从成像模块、装置/器械显示器和/或其他可视化系统208接收的图像。集线器显示器还可结合图像和叠加图像来显示从连接到模块化控制塔的装置接收的数据。

本文所述的各种可视化系统或可视化系统的各个方面可以用作态势感知系统的一部分，该态势感知系统可以由外科集线器2106、2236(图17-19)来实施或执行。特别地，对外科器械或其他外科装置(包括其位置、方向和动作)、组织、结构、用户和位于外科场地或手术室内的其他事物进行表征、识别和/或可视化可以提供情境数据，态势感知系统可以利用该情境数据来推断正在执行的外科手术或其步骤的类型、外科医生正在操作的组织和/或结构的类型等。然后，该态势感知系统可以利用该情境数据来向用户提供警报，建议用户进行后续步骤或动作，准备外科装置以供其使用(例如，在外科手术的后续步骤中使用电外科器械的预期中激活电外科发生器)，智能地控制外科器械(例如，基于每个患者的特定健康状况定制外科器械操作参数)等。

尽管包括响应于感测数据的控制算法的“智能”装置可以是对在不考虑感测数据的情况下操作的“哑巴”装置的改进，但当孤立地考虑时，即在没有正在被执行的外科规程的类型或正在手术的组织的类型的背景下，一些感测数据可能是不完整的或不确定的。在不知道手术背景(例如，知道正在手术的组织的类型或正在被执行的手术的类型)的情况下，控制算法可能在给定的特定无背景感测数据的情况下错误地或次优地控制模块化装置。模块化装置可以包括可由态势感知系统控制的任何外科装置，如可视化系统装置(例如，相机或显示屏)、外科器械(例如，超声波外科器械、电外科器械或外科缝合器)以及其他外科装置(例如，排烟器)。例如，用于响应于特定的感测参数来控制外科器械的控制算法的最佳方式可根据正在手术的特定组织类型而变化。这是由于以下事实：不同的组织类型具有不同的特性(例如，抗撕裂性)，并且因此不同地响应于由外科器械采取的动作。因此，可能期望外科器械即使在感测到针对特定参数的相同测量值时也采取不同的动作。作为一个特定示例，响应于器械感测到用于闭合其端部执行器的意外高的力来控制外科缝合和切割器械的最佳方式将根据组织类型是易于撕裂还是抗撕裂而变化。对于易于撕裂的组织(诸如肺部组织)，器械的控制算法将响应于用于闭合的意外高的力而最佳地使马达速度逐渐下降，从而避免撕裂组织。对于抗撕裂的组织(诸如胃组织)，器械的控制算法将响应于用于闭合的意外高的力而最佳地使马达速度逐渐上升，从而确保端部执行器被正确地夹持在组织上。在不知道是肺部组织还是胃组织已被夹持的情况下，控制算法可做出次优决定。

一种解决方案利用包括系统的外科集线器，该系统被配置成能够基于从各种数据源所接收的数据来导出关于正在被执行的外科规程的信息，并且然后相应地控制配对的模块化装置。换句话讲，外科集线器被配置成能够从所接收的数据推断关于外科规程的信息，并且然后基于所推断的外科规程的背景来控制与外科集线器配对的模块化装置。图20示出了根据本公开的至少一个方面的态势感知外科系统2400的图。在一些范例中，数据源2426包括例如模块化装置2402(其可包括被配置成能够检测与患者和/或模块化装置本身相关联的参数的传感器)、数据库2422(例如，包含患者记录的EMR数据库)和患者监测装置2424(例如，血压(BP)监测器和心电图(EKG)监测器)。

外科集线器2404(其可在许多方面类似于集线器106)可被配置成能够例如基于所接收的数据的特定组合或从数据源2426接收数据的特定顺序来从数据导出与外科手术有关的背景信息。从所接收的数据推断的背景信息可包括例如正在被执行的外科规程的类型、外科医生正在执行的外科规程的特定步骤、正在手术的组织的类型或为规程的对象的体腔。外科集线器2404的一些方面从所接收的数据导出或推断与外科手术有关的信息的这种能力可被称为“态势感知”。在一个范例中，外科集线器2404可并入态势感知系统，该态势感知系统是与外科集线器2404相关联的从所接收的数据导出与外科手术有关的背景信息的硬件和/或程序设计。

外科集线器2404的态势感知系统可被配置成能够以多种不同的方式从接收自数据源2426的数据导出背景信息。在一个范例中，态势感知系统包括已经在训练数据上进行训练以将各种输入(例如，来自数据库2422、患者监测装置2424和/或模块化装置2402的数据)与关于外科手术的对应背景信息相关联的模式识别系统或机器学习系统(例如，人工神经网络)。换句话讲，机器学习系统可被训练成从所提供的输入准确地导出关于外科规程的背景信息。在另一个范例中，态势感知系统可包括查找表，该查找表存储与对应于背景信息的一个或多个输入(或输入范围)相关联的关于外科规程的预先表征的背景信息。响应于利用一个或多个输入的查询，查找表可返回态势感知系统用于控制模块化装置2402的对应背景信息。在一个范例中，由外科集线器2404的态势感知系统接收的背景信息与用于一个或多个模块化装置2402的特定控制调节或一组控制调节相关联。在另一个范例中，态势感知系统包括当提供背景信息作为输入时生成或检索用于一个或多个模块化装置2402的一个或多个控制调节的另外的机器学习系统、查找表或其它此类系统。

结合有态势感知系统的外科集线器2404为外科系统2400提供了许多益处。一个益处包括改进对感测和收集到的数据的解释，这将继而改进外科规程过程期间的处理精度和/或数据的使用。回到先前的示例，态势感知外科集线器2404可确定正在手术的组织的类型；因此，当检测到用于闭合外科器械的端部执行器的意外高的力时，态势感知外科集线器2404可正确地使用于组织类型的外科器械的马达速度逐渐上升或逐渐下降。

作为另一个示例，正在手术的组织的类型可影响针对特定组织间隙测量值对外科缝合和切割器械的压缩率和负荷阈值进行的调节。态势感知外科集线器2404可推断正在被执行的外科手术是胸腔手术还是腹部手术，从而允许外科集线器2404确定被外科缝合和切割器械的端部执行器夹持的组织是肺部组织(对于胸腔手术)还是胃组织(对于腹部手术)。然后，外科集线器2404可针对组织的类型适当地调节外科缝合和切割器械的压缩率和负荷阈值。

作为又一个示例，在吹入规程期间被操作的体腔的类型可影响排烟器的功能。态势感知外科集线器2404可确定外科部位是否处于压力下(通过确定外科手术正在利用吹入)并确定手术类型。由于一种手术类型通常在特定的体腔内执行，外科集线器2404然后可针对在其中进行操作的体腔适当地控制排烟器的马达速率。因此，态势感知外科集线器2404可提供对于胸腔和腹部手术两者一致的烟排出量。

作为又一个示例，正在被执行的规程的类型可影响超声外科器械或射频(RF)电外科器械操作的最佳能量水平。例如，关节镜规程需要更高的能量水平，因为超声外科器械或RF电外科器械的端部执行器浸没在流体中。态势感知外科集线器2404可确定外科手术是否是关节镜手术。然后，外科集线器2404可调节发生器的RF功率水平或超声振幅(即“能量水平”)以补偿流体填充的环境。相关地，正在手术的组织的类型可影响超声外科器械或RF电外科器械操作的最佳能量水平。态势感知外科集线器2404可确定正在被执行的外科手术的类型，并且然后根据该外科手术的预期组织概况分别定制超声外科器械或RF电外科器械的能量水平。此外，态势感知外科集线器2404可被配置成能够在整个外科手术过程中而不是仅在逐个手术的基础上调节超声外科器械或RF电外科器械的能量水平。态势感知外科集线器2404可确定正在被执行或随后将要被执行的外科手术的步骤，并且然后更新用于发生器和/或超声外科器械或RF电外科器械的控制算法，以根据该外科手术步骤将能量水平设定在适合于预期组织类型的值。

作为又一个示例，可从附加数据源2426提取数据，以改进外科集线器2404从一个数据源2426提取的结论。态势感知外科集线器2404可用已从其它数据源2426构建的关于外科手术的背景信息来扩充其从模块化装置2402接收的数据。例如，态势感知外科集线器2404可被配置成能够根据从医学成像装置所接收的视频或图像数据来确定止血是否已经发生(即，在外科部位的出血是否已经停止)。然而，在一些情况下，视频或图像数据可能是不确定的。因此，在一个范例中，外科集线器2404可被进一步配置成能够将生理测量值(例如，由可通信地连接至外科集线器2404的BP监测器感测的血压)与止血的视觉或图像数据(例如，来自可通信地耦接到外科集线器2404的医学成像装置124(图2))进行比较，以确定缝合线或组织焊缝的完整性。换句话讲，外科集线器2404的态势感知系统可考虑生理测量数据以在分析可视化数据时提供附加的背景。当可视化数据本身可能是不确定的或不完整的时，附加背景可以是有用的。

另一益处包括根据正在被执行的外科手术的特定步骤主动且自动地控制配对的模块化装置2402，以减少在外科手术过程期间医疗人员需要与外科系统2400交互或控制外科系统的次数。例如，如果态势感知外科集线器2404确定手术的后续步骤需要使用RF电外科器械，则其可主动地激活与该器械连接的发生器。主动地激活能量源允许器械在规程的先前步骤一完成就准备好使用。

作为另一个示例，态势感知外科集线器2404可根据在外科部位处外科医生预期需要查看的(一个或多个)特征部来确定外科手术的当前步骤或后续步骤是否需要在显示器上的不同视图或放大程度。然后，外科集线器2404可相应地主动改变所显示的视图(例如，由用于可视化系统108的医学成像装置提供)，使得在整个外科手术中自动调节显示器。

作为又一个示例，态势感知外科集线器2404可确定外科手术的哪个步骤正在被执行或随后将要执行以及针对外科手术的该步骤是否需要特定数据或数据之间的比较。外科集线器2404可被配置成能够基于正在被执行的外科手术的步骤自动地调用数据屏幕，而无需等待外科医生请求该特定信息。

另一个益处包括在外科规程的设置期间或在外科规程的过程期间检查错误。例如，态势感知外科集线器2404可确定手术室是否被正确地或最佳地设置以用于待执行的外科手术。外科集线器2404可被配置成能够确定正在被执行的外科手术的类型，(例如，从存储器中)检索对应的清单、产品位置或设置需求，并且然后将当前手术室布局与外科集线器2404确定的用于该正在被执行的外科手术类型的标准布局进行比较。在一个范例中，外科集线器2404可被配置成能够将用于手术的物品列表(例如，由合适的扫描仪扫描)和/或与外科集线器2404配对的装置列表与用于给定外科手术的物品和/或装置的建议或预期清单进行比较。外科集线器2404可被配置成能够如果列表之间存在任何不连续性，则提供指示特定模块化装置2402、患者监测装置2424和/或其它外科物品缺失的警报。在一个范例中，外科集线器2404可被配置成能够例如经由接近传感器来确定模块化装置2402和患者监测装置2424的相对距离或位置。外科集线器2404可将装置的相对位置与用于特定外科手术的建议或预期布局进行比较。外科集线器2404可被配置成能够如果在布局之间存在任何不连续性，则提供指示用于该外科手术的当前布局偏离建议布局的警报。

作为另一个示例，态势感知外科集线器2404可确定外科医生(或其它医疗人员)在外科手术过程期间是否正在出错或以其它方式偏离预期的动作过程。例如，外科集线器2404可被配置成能够确定正在被执行的外科手术的类型，(例如，从存储器中)检索对应的步骤列表或设备使用的顺序，并且然后将在外科手术过程期间正在被执行的步骤或正在被使用的设备与外科集线器2404确定的针对该正在被执行的外科手术类型的预期步骤或设备进行比较。在一个范例中，外科集线器2404可被配置成能够提供指示在外科手术中的特定步骤处正在执行意外动作或正在利用意外装置的警报。

总体而言，用于外科集线器2404的态势感知系统通过针对每种外科手术的特定背景调节外科器械(和其它模块化装置2402)(诸如针对不同的组织类型进行调节)并在外科手术期间验证动作来改善外科手术结果。态势感知系统还根据手术的特定背景通过自动建议下一步骤、提供数据以及调节显示器和手术室中的其它模块化装置2402来提高外科医生执行外科手术的效率。

现在参见图21，其示出了描绘集线器诸如外科集线器106或206(图1至图11)的态势感知的时间轴2500。时间轴2500是说明性的外科手术以及外科集线器106、206可以从外科手术中每个步骤从数据源接收的数据导出的背景信息。时间轴2500描绘了护士、外科医生和其他医疗人员在肺段切除手术期间将采取的典型步骤，从建立手术室开始到将患者转移到术后恢复室为止。

态势感知外科集线器106、206在整个外科手术过程中从数据源接收数据，包括每次医疗人员利用与外科集线器106、206配对的模块化装置时生成的数据。外科集线器106、206可以从配对的模块化装置和其他数据源接收该数据，并且在接收新数据时不断导出关于正在进行的手术的推论(即，背景信息)，诸如在任何给定时间执行手术的哪个步骤。外科集线器106、206的态势感知系统能够例如记录与用于生成报告的过程相关的数据，验证医务人员正在采取的步骤，提供可能与特定过程步骤相关的数据或提示(例如，经由显示屏)，基于背景调节模块化装置(例如，激活监测器，调节医学成像装置的视场(FOV)，或者改变超声外科器械或RF电外科器械的能量水平)，以及采取上述任何其他此类动作。

作为该示例性手术中的第一步2502，医院工作人员从医院的EMR数据库中检索患者的EMR。基于EMR中的选择的患者数据，外科集线器106、206确定待执行的手术是胸腔手术。

第二步2504，工作人员扫描用于手术的进入的医疗用品。外科集线器106、206与在各种类型的手术中利用的用品列表交叉引用扫描的用品，并确认供应的混合物对应于胸腔手术。另外，外科集线器106、206还能够确定手术不是楔形手术(因为进入的用品缺乏胸腔楔形手术所需的某些用品，或者在其他方面不对应于胸腔楔形手术)。

第三步2506，医疗人员经由可通信地连接到外科集线器106、206的扫描器来扫描患者带。然后，外科集线器106、206可基于所扫描的数据来确认患者的身份。

第四步2508，医务工作人员打开辅助设备。利用的辅助设备可根据外科手术的类型和外科医生待使用的技术而变化，但在此示例性情况下，它们包括排烟器、吹入器和医学成像装置。当激活时，作为其初始化过程的一部分，作为模块化装置的辅助设备可以自动与位于模块化装置特定附近的外科集线器106、206配对。然后，外科集线器106、206可通过检测在该术前阶段或初始化阶段期间与其配对的模块化装置的类型来导出关于外科手术的背景信息。在该具体示例中，外科集线器106、206确定外科手术是基于配对模块化装置的该特定组合的VATS手术。基于来自患者的EMR的数据的组合，手术中使用的医疗用品的列表以及连接到集线器的模块化装置的类型，外科集线器106、206通常可推断外科小组将执行的具体手术。一旦外科集线器106、206知道正在执行什么具体手术，外科集线器106、206便可从存储器或云中检索该手术的步骤，然后交叉参照其随后从所连接的数据源(例如，模块化装置和患者监测装置)接收的数据，以推断外科团队正在执行的外科手术的什么步骤。

第五步2510，工作人员将EKG电极和其他患者监测装置附接到患者。EKG电极和其他患者监测装置能够与外科集线器106、206配对。当外科集线器106、206开始从患者监测装置接收数据时，外科集线器106、206因此确认患者在手术室中。

第六步2512，医疗人员诱导患者麻醉。外科集线器106、206可基于来自模块化装置和/或患者监测装置的数据(包括例如EKG数据、血压数据、呼吸机数据、或它们的组合)推断患者处于麻醉下。在第六步2512完成时，肺分段切除手术的术前部分完成，并且手术部分开始。

第七步2514，折叠正在操作的患者肺部(同时通气切换到对侧肺)。例如，外科集线器106、206可从呼吸机数据推断出患者的肺已经塌缩。外科集线器106、206可推断手术的手术部分已开始，因为其可将患者的肺部塌缩的检测与手术的预期步骤(可先前访问或检索)进行比较，从而确定使肺塌缩是该特定手术中的第一手术步骤。

第八步2516，插入医学成像装置(例如，内窥镜)，并启动来自医学成像装置的视频。外科集线器106、206通过其与医学成像装置的连接来接收医学成像装置数据(即，视频或图像数据)。在接收到医学成像装置数据之后，外科集线器106、206可确定外科手术的腹腔镜式部分已开始。另外，外科集线器106、206可确定正在执行的特定手术是分段切除术，而不是叶切除术(注意，楔形手术已经基于外科集线器106、206基于在手术的第二步2504处接收到的数据而排除)。来自医学成像装置124(图2)的数据可用于以多种不同的方式确定与正在执行的手术类型相关的情境信息，包括通过确定医学成像装置相对于患者解剖结构的可视化取向的角度，监测所利用的医学成像装置的数量(即，被激活并与外科集线器106、206配对)，以及监测所利用的可视化装置的类型。例如，一种用于执行VATS肺叶切除术的技术将相机放置在隔膜上方的患者胸腔的下前拐角中，而一种用于执行VATS分段切除术的技术将相机相对于分段裂缝放置在前肋间位置。例如，使用模式识别或机器学习技术，可对态势感知系统进行训练，以根据患者解剖结构的可视化识别医学成像装置的定位。作为另一个示例，一种用于执行VATS肺叶切除术的技术利用单个医学成像装置，而用于执行VATS分段切除术的另一种技术利用多个相机。作为另一个示例，一种用于执行VATS分段切除术的技术利用红外光源(其可作为可视化系统的一部分可通信地耦接到外科集线器)以可视化不用于VATS肺部切除术中的分段裂隙。通过从医学成像装置跟踪这些数据中的任何或所有，外科集线器106、206因此可确定正在进行的外科手术的具体类型和/或用于特定类型的外科手术的技术。

第九步2518，外科团队开始手术的解剖步骤。外科集线器106、206可推断外科医生正在解剖以调动患者的肺，因为其从RF发生器或超声发生器接收指示正在击发能量器械的数据。外科集线器106、206可将所接收的数据与外科手术的检索步骤交叉，以确定在过程中的该点处(即，在先前讨论的手术步骤完成之后)击发的能量器械对应于解剖步骤。在某些情况下，能量器械可为安装到机器人外科系统的机器人臂的能量工具。

第十步2520，外科团队继续进行手术的结扎步骤。外科集线器106、206可推断外科医生正在结扎动脉和静脉，因为其从外科缝合和切割器械接收指示器械正在被击发的数据。与先前步骤相似，外科集线器106、206可通过将来自外科缝合和切割器械的数据的接收与该过程中的检索步骤进行交叉引用来推导该推论。在某些情况下，外科器械可以是安装到机器人外科系统的机器人臂的外科工具。

第十一步2522，执行手术的分段切除术部分。外科集线器106、206可推断外科医生正在基于来自外科缝合和切割器械的数据(包括来自其仓的数据)横切软组织。仓数据可对应于例如由器械击发的钉的大小或类型。由于不同类型的钉用于不同类型的组织，因此仓数据可指示正被缝合和/或横切的组织的类型。在这种情况下，被击发的钉的类型用于软组织(或其他类似的组织类型)，这允许外科集线器106、206推断手术的分段切除术部分正在进行。

第十二步2524中，执行节点解剖步骤。外科集线器106、206可基于从发生器接收的指示正在击发RF或超声器械的数据来推断外科团队正在解剖节点并且执行泄漏测试。对于该特定手术，在横切软组织后利用的RF或超声器械对应于节点解剖步骤，该步骤允许外科集线器106、206进行此类推论。应当指出的是，外科医生根据手术中的具体步骤定期在外科缝合/切割器械和外科能量(即，RF或超声)器械之间来回切换，因为不同器械更好地适于特定任务。因此，其中使用缝合/切割器械和外科能量器械的特定序列可指示外科医生正在执行的手术的步骤。此外，在某些情况下，机器人工具可用于外科手术中的一个或多个步骤，并且/或者手持式外科器械可用于外科手术中的一个或多个步骤。一个或多个外科医生可例如在机器人工具与手持式外科器械之间交替和/或可同时使用装置。在第十二步2524完成时，切口被闭合并且手术的术后部分开始。

第十三步2526，反向麻醉患者。例如，外科集线器106、206可基于例如呼吸机数据(即，患者的呼吸率开始増加)推断出患者正在从麻醉中醒来。

最后，第十四步2528是医疗人员从患者移除各种患者监测装置。因此，当集线器从患者监测装置丢失EKG、BP和其他数据时，外科集线器2106、2236可推断患者正在被转移到恢复室。如从该示例性手术的描述可以看出，外科集线器2106、2236可根据从可通信地耦接到外科集线器2106、2236的各种数据源接收的数据来确定或推断给定外科手术的每个步骤何时发生。

态势感知在各种美国专利申请中进一步描述，这些专利申请以引用方式并入本公开中，本公开以引用方式并入本文。在某些情况下，机器人外科系统(包括例如本文所公开的各种机器人外科系统)的操作可由集线器2106、2236基于其态势感知和/或来自其部件的反馈和/或基于来自云2104(图17)的信息来控制。

图22是根据本公开的至少一个方面的过程4000的逻辑流程图，该逻辑流程图描绘了用于将可视化数据与仪器数据相关联的控制程序或逻辑配置。过程4000通常在外科手术期间执行，并且包括：从外科可视化系统接收或导出4001指示外科器械相对于外科视场的视觉方面的第一数据集即可视化数据，从外科器械接收或导出4002指示外科器械的功能方面的第二数据集即器械数据，以及将第一数据集与第二数据集相关联4003。

在至少一个示例中，通过从可视化数据和仪器数据开发复合数据集来实现将可视化数据与仪器数据相关联。过程4000可进一步包括将复合数据集与另一复合数据集进行比较，该另一复合数据集可从外部源接收和/或可从先前收集的复合数据集导出。在至少一个示例中，过程4000包括显示两个复合数据集的比较，如下文更详细描述的。

过程4000的可视化数据可指示外科器械的端部执行器相对于外科视场中的组织的视觉方面。另外或另选地，可视化数据可指示由外科器械的端部执行器治疗的组织的视觉方面。在至少一个示例中，可视化数据表示端部执行器或其部件相对于外科视场中的组织的一个或多个位置。另外或另选地，可视化数据可表示端部执行器或其部件相对于外科视场中的组织的一个或多个运动。在至少一个示例中，可视化数据表示由外科器械的端部执行器治疗的组织的形状、尺寸和/或颜色的一个或多个变化。

在各个方面，可视化数据从外科可视化系统(例如，可视化系统100、160、500、2108)导出。可视化数据可从由外科可视化系统监测和/或捕获的各种测量值、读数和/或任何其他合适的参数导出，如结合图1至图18更详细地描述。在各种示例中，可视化数据指示外科视场中的组织的一个或多个视觉方面和/或外科器械相对于外科视场中的组织的一个或多个视觉方面。在某些示例中，可视化数据表示或识别外科器械的端部执行器相对于外科视场中的关键结构(例如，图1中的关键结构101)的位置和/或运动。在某些示例中，可视化数据从表面映射数据、成像数据、组织识别数据和/或由表面映射逻辑136、成像逻辑138、组织识别逻辑140或距离确定逻辑141或逻辑136、138、140和141的任何组合计算的距离数据导出。

在至少一个示例中，可视化数据从由可视化系统100结合距离传感器系统104执行的组织识别和几何表面映射导出，如结合图1更详细地描述。在至少一个示例中，可视化数据从由成像装置120捕获的测量值、读数或任何其他传感器数据导出。如结合图1所述，成像装置120是光谱相机(例如，高光谱相机、多光谱相机或选择性光谱相机)，该光谱相机被配置成能够检测反射的光谱波形并且基于对不同波长的分子响应来生成图像的光谱立方体。

另外或另选地，可视化数据可从由任何合适的成像装置捕获的测量值、读数或任何合适的传感器数据导出，该成像装置包括例如被配置成能够检测可见光、光谱光波(可见或不可见)和结构化光图案(可见或不可见)的相机或成像传感器。在至少一个示例中，可视化数据从可视化系统160导出，该可视化系统包括光学波形发射器123和波形传感器122，该波形传感器被配置成能够检测反射波形，如结合图3至图4和图13至图16更详细地描述。在又一个示例中，可视化数据从可视化系统导出，该可视化系统包括三维(3D)相机和相关联的电子处理电路，例如可视化系统500。在又一个示例中，可视化数据从结构化(或图案化)光系统700导出，该光系统结合图12更详细地描述。前述示例可单独使用或组合使用以导出过程4000的可视化数据。

过程4000的器械数据可指示外科器械的一个或多个内部部件的一个或多个操作。在至少一个示例中，器械数据表示外科器械的内部部件的一个或多个操作参数。器械数据可表示外科器械的一个或多个内部部件的一个或多个位置和/或一个或多个运动。在至少一个示例中，内部部件是被配置成能够在外科器械的击发序列期间切割组织的切割构件。另外或另选地，内部部件可包括一个或多个钉，该一个或多个钉被配置成能够在外科器械的击发序列期间被击发到组织中。

在至少一个示例中，器械数据表示外科器械的一个或多个驱动组件(例如，关节运动驱动组件、闭合驱动组件、旋转驱动组件和/或击发驱动组件)的一个或多个部件的一个或多个操作。在至少一个示例中，器械数据集表示外科器械的一个或多个驱动构件(例如，关节运动驱动构件、闭合驱动构件、旋转驱动构件和/或击发驱动构件)的一个或多个操作。

图23是与过程4000一起使用的示例性外科器械4600的示意图，该外科器械在许多方面与本公开所描述的其他外科器械或工具(例如，外科器械2112)相似。为简洁起见，本公开仅使用手持式外科器械描述过程4000的各个方面。然而，这不是限制性的。过程4000的此类方面同样可使用机器人外科工具(例如，外科工具2117)来实现。

外科器械4600包括可被激活以执行各种功能的多个马达。外科器械4600的多个马达可被激活以导致端部执行器中的击发运动、闭合运动和/或关节运动。击发运动、闭合运动和/或关节运动可例如通过轴组件被传送到外科器械4600的端部执行器。然而，在其他示例中，与过程4000一起使用的外科器械可被配置成能够手动执行击发运动、闭合运动和关节运动中的一者或多者。在至少一个示例中，外科器械4600包括通过将钉部署到组织中来治疗组织的端部执行器。在另一个示例中，外科器械4600包括通过向组织施加治疗能量来治疗组织的端部执行器。

在某些情况下，外科器械4600包括击发马达4602。击发马达4602可以可操作地联接到击发马达驱动组件4604，该击发马达驱动组件可被配置成能够将由击发马达4602生成的击发运动传送到端部执行器，具体地用于移动I形梁形式的击发构件，例如，该击发构件可包括切割构件。在某些情况下，由击发马达4602生成的击发运动可导致例如钉从钉仓部署到由端部执行器捕获的组织内，以及任选地，导致I形梁的切割构件被推进以切割所捕获的组织。

在某些情况下，外科器械或工具可包括闭合马达4603。闭合马达4603可以可操作地联接到闭合马达驱动组件4605，该闭合马达驱动组件被配置成能够将由闭合马达4603生成的闭合运动传送到端部执行器，具体地用于移位闭合管以闭合砧座并且压缩砧座与钉仓之间的组织。闭合运动可使例如端部执行器从打开配置转变成接近配置以捕获组织。

在某些情况下，外科器械或工具可包括例如一个或多个关节运动马达4606a、4606b。关节运动马达4606a、4606b可以可操作地联接到相应的关节运动马达驱动组件4608a、4608b，该关节运动马达驱动组件可被配置成能够将由关节运动马达4606a、4606b生成的关节运动传送到端部执行器。在某些情况下，关节运动可使端部执行器相对于轴进行关节运动，例如。

在某些情况下，外科器械或工具可包括控制模块4610，该控制模块可与外科器械4600的多个马达一起使用。马达4602、4603、4606a、4606b中的每个可包括扭矩传感器以测量马达的轴上的输出扭矩。可以任何常规方式感测端部执行器上的力，诸如通过钳口的外侧上的力传感器或通过用于致动钳口的马达的扭矩传感器来感测端部执行器上的力。

在各种情况下，如图23中所示，控制模块4610可包括马达驱动器4626，该马达驱动器可包括一个或多个H桥FET。马达驱动器4626可例如基于来自微控制器4620(“控制器”)的输入来调制从功率源4628传输到耦接到控制模块4610的马达的功率。在某些情况下，当马达耦接到控制模块4610时，可例如采用控制器4620来确定由马达消耗的电流，如上所述。

在某些情况下，控制器4620可包括微处理器4622(“处理器”)和一个或多个非暂态计算机可读介质或存储器单元4624(“存储器”)。在某些情况下，存储器4624可存储各种程序指令，这些程序指令在被执行时可使处理器4622执行本文所述的多个功能和/或计算。在某些情况下，存储器单元4624中的一个或多个存储器单元可例如耦接到处理器4622。在各种情况下，处理器4622可控制马达驱动器4626以控制耦接到控制模块4610的马达的位置、旋转方向和/或速度。

在某些情况下，一个或多个机构和/或传感器(例如，传感器4630)可被配置成能够检测由外科器械4600的端部执行器的钳口施加到捕获在钳口之间的组织的力(闭合力“FTC”)。FTC可通过闭合马达驱动组件4605传送到端部执行器的钳口。另外或另选地，传感器4630可被配置成能够检测通过击发马达驱动组件4604施加到端部执行器的力(击发力“FTF”)。在各种示例中，传感器4630可被配置成能够感测闭合致动(例如，马达电流和FTC)、击发致动(例如，马达电流和FTF)、关节运动(例如，端部执行器的角度位置)以及轴或端部执行器的旋转。

过程4000的一个或多个方面可由本公开描述的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)中的一个或多个控制电路执行。在至少一个示例中，过程4000的一个或多个方面由控制电路(例如，图2A的控制电路400)执行，该控制电路包括处理器和存储计算机可执行指令集的存储器，该计算机可执行指令集在由该处理器执行时使该处理器执行过程4000的一个或多个方面。另外或另选地，过程4000的一个或多个方面可由组合逻辑电路(例如，图2B的控制电路410)和/或顺序逻辑电路(例如，图2C的控制电路420)执行。此外，过程4000可由具有任何合适的硬件和/或软件部件的任何合适的电路执行，这些硬件和/或软件部件可位于本公开所描述的各种合适的系统中或与其相关联。

在各个方面，过程4000可通过计算机实现的交互式外科系统2100(图19)实现，该计算机实现的交互式外科系统包括一个或多个外科系统2102和基于云的系统(例如，可包括耦接到存储装置2105的远程服务器2113的云2104)。每个外科系统2102包括与云2104通信的至少一个外科集线器2106，该云可包括远程服务器2113。执行过程4000的一个或多个方面的控制电路可以是可视化系统的部件(例如，可视化系统100、160、500、2108)，并且可与外科器械(例如，外科器械2112、4600)通信以从其接收仪器数据。外科器械与可视化系统的控制电路之间的通信可以是直接通信，或者器械数据可通过例如外科集线器2106路由到可视化系统。在至少一个示例中，执行过程4000的一个或多个方面的控制电路可以是外科集线器2106的部件。

参考图24，在各种示例中，通过从可视化数据4010和器械数据4011开发复合数据集4012来将可视化数据4010与器械数据4011相关联。图24显示了曲线图4013中的当前用户的复合数据集4012，该复合数据集从当前用户的可视化数据4010和当前用户的器械数据4011开发。曲线图4013示出了表示外科器械4600的第一使用循环的可视化数据4010，其涉及外科器械4600的钳口定位、夹持和击发。曲线图4013还描绘了可视化数据4010，其表示外科器械4600的第二使用循环的开始，其中钳口被重新定位成用于外科器械4600的第二夹持和击发。曲线图4013进一步描绘了FTC数据4014形式的与夹持可视化数据相关联和FTF数据4015形式的与击发可视化数据相关联的当前用户的器械数据4011。

如上所述，可视化数据4010从可视化系统(例如，可视化系统100、160、500、2108)导出，并且可表示例如在外科器械4600的端部执行器的定位、夹持和/或击发期间外科器械4600的端部执行器与外科视场中的关键结构之间的距离。在至少一个示例中，可视化系统识别外科视场中的端部执行器或其部件，识别外科视场中的关键结构，以及跟踪端部执行器或其部件相对于关键结构或相对于关键结构周围的组织的位置。在至少一个示例中，可视化系统识别外科视场中的端部执行器的钳口，识别外科视场中的关键结构，以及跟踪钳口相对于关键结构或相对于手术中关键结构周围的组织的位置。

在至少一个示例中，关键结构是肿瘤。为了移除肿瘤，外科医生通常更喜欢沿肿瘤周围的安全边缘切割组织，以确保移除整个肿瘤。在此类示例中，可视化数据4010可表示在外科器械4600的定位、夹持和/或击发期间端部执行器的钳口与肿瘤的安全边缘之间的距离。

过程4000可进一步包括将当前用户的复合数据集4012与另一复合数据集4012'进行比较，该另一复合数据集可从外部源接收和/或可从先前收集的复合数据集导出。曲线图4013示出了当前用户的复合数据集4012与另一复合数据集4012'之间的比较，该另一复合数据集包括可视化数据4010'和器械数据4011'，包括FTC数据4014'和FTF数据4015'。比较可以曲线图4013的形式或任何其他合适的格式实时呈现给外科器械4600的用户。执行过程4000的一个或多个方面的控制电路可使两个复合数据集的比较显示在手术室内的任何合适的屏幕(例如，可视化系统的屏幕)上。在至少一个示例中，该比较可与在手术室内的任何合适的屏幕上捕获的外科视场的实时视频一起显示。在至少一个示例中，控制电路被配置成能够调整器械参数以解决检测到的第一复合数据集与第二复合数据集之间的偏差。

此外，执行过程4000的一个或多个方面的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可进一步使器械数据的当前状态(例如，FTF数据和/或FTC数据)相对于最佳实践等同物进行显示。在图24所示的示例中，FTC的当前值—由圆圈4020表示—针对具有表示最佳实践FTC的指示器4022的量规4021实时描绘。同样，FTF的当前值—由圆圈4023表示—针对具有表示最佳实践FTF的指示器4025的量规4024描绘。此类信息可实时叠加在外科视场的视频馈送上。

图24所示的示例警告用户电流FTC高于最佳实践FTC，并且当前FTF也高于最佳实践FTF。如果FTF和/或FTC的当前值达到和/或移动超过预先确定的阈值，则执行过程4000的一个或多个方面的控制电路可进一步使用听觉、视觉和/或触觉警告机制警告外科器械4600的当前用户。

在某些情况下，执行过程4000的一个或多个方面的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可进一步基于当前投资数据向外科器械4600的当前用户提供投影的器械数据。例如，如图24所示，基于FTF的当前值确定投影的FTF 4015”，并且针对当前FTF4015和先前收集的FTF'进一步显示在曲线图4013上。另外或另选地，可针对量规4024显示投影的FTF圆圈4026，如图24所示。

在各个方面，先前收集的复合数据集和/或最佳实践FTF和/或FTC是根据外科器械4600在由用户、医院内的其他用户和/或其他医院中的用户执行的相同外科手术和/或其他外科手术中的先前使用来确定。例如，通过从云104导入，此类数据可用于执行过程4000的一个或多个方面的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)。

在各个方面，执行过程4000的一个或多个方面的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可使组织厚度、压缩和刚度的反馈测量值可视地叠加在屏幕上，该屏幕显示了在夹持阶段期间端部执行器的钳口开始使在其间捕获的组织变形时外科器械4600在外科视场中的实时馈送。视觉叠加将表示组织变形的可视化数据与夹持力随时间的变化相关联。这种相关性帮助用户确认正确的仓选择，确定开始击发的时间，以及确定合适的击发速度。这种相关性可进一步告知自适应夹持算法。可通过测量的力以及紧邻外科器械4600的钳口的组织运动的变化(例如，主应变、组织滑移等)来告知自适应的击发速度变化，而传达结果的量规或仪表叠加在屏幕上，该屏幕显示外科视场中端部执行器的实时馈送。

除上述之外，外科器械4600的运动学可进一步指示相对于另一用途或用户的器械操作。运动学可经由加速度计、扭矩传感器、力传感器、马达编码器或任何其他合适的传感器来确定，并且可产生外科器械或其部件的各种力、速度和/或加速度数据，用于与对应的可视化数据相关联。

在各个方面，如果从可视化数据和/或器械数据检测到与最佳实践外科技术的偏差，则执行过程4000的一个或多个方面的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可使得替代外科技术被呈现。在至少一个示例中，呈现了器械运动、力、组织阻抗和来自所推荐的替代技术的结果的自适应显示。在可视化数据指示在外科视场中检测到血管和施夹器的情况下，执行过程4000的一个或多个方面的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可进一步确保血管相对于施夹器的垂直度。控制电路可建议改变位置、取向和/或滚动角度，以获得期望的垂直度。

在各个方面，控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可通过将实时可视化数据与术前计划模拟进行比较来执行过程4000。用户可利用术前患者扫描来模拟手术方法。术前计划模拟可允许用户基于训练运行遵循特定的术前计划。控制电路可被配置成能够将术前扫描/模拟的基准界标与当前可视化数据相关联。在至少一个示例中，控制电路可采用对象的边界跟踪来建立相关性。

当外科器械与组织相互作用并使表面几何形状变形时，可计算表面几何形状随外科器械的位置的变化。对于外科器械在与组织接触时的位置的给定变化，组织几何形状的对应变化可取决于外科器械所接触的组织区域中的表面下结构。例如，在胸腔手术中，具有气道子结构的区域中组织几何形状的变化不同于具有实质子结构的区域。通常，较硬的子结构在响应于外科器械的位置的给定变化时，产生的表面组织几何形状的变化较小。在各个方面，控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可被配置成能够计算外科器械位置的变化与给定患者的表面几何形状的变化的运行平均值，从而给出特定于患者的差异。另外或另选地，可将计算的运行平均值与第二组先前收集的数据进行比较。在某些情况下，当每次工具位置的变化都没有测量到表面几何形状的变化时，可选择表面参考。在至少一个示例中，控制电路可被配置成能够基于响应于组织区域和外科器械之间的给定接触而检测到的表面几何形状的变化来确定子结构的位置。

此外，控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可被配置成能够基于设定的器械-组织接触和与设定的器械-组织接触相关联的一个或多个组织表面几何形状变化之间的相关性，在整个组织治疗中保持设定的器械-组织接触。例如，外科器械4600的端部执行器可以设定器械-组织接触的期望压缩将组织夹持在其钳口之间。可由可视化系统检测组织表面几何形状的对应变化。此外，控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可导出指示与期望压缩相关的组织表面几何形状变化的可视化数据。控制电路可进一步使闭合马达4603(图22)的马达设置被自动调整，以保持与期望压缩相关的组织表面几何形状的变化。这种布置需要外科器械4600与可视化系统之间的连续相互作用，以通过基于可视化数据连续调整钳口对组织的压缩，从而保持与期望压缩相关的组织表面几何形状的变化。

在又一个示例中，在外科器械4600是附接到机器人外科系统(例如，机器人系统110)的机器人臂的机器人工具的情况下，该机器人外科系统可被配置成能够基于可视化数据自动调节该机器人外科系统的一个或多个部件以保持与组织的设定表面接触，该可视化数据从响应于与组织的设定表面接触而检测到的组织表面几何形状的变化导出。

在各种示例中，可视化数据可与测量的器械数据结合使用，以在位置或负载控制中保持组织之间的接触，从而允许用户操纵组织以在相对于组织移动器械时向组织施加预定义的负载。用户可指定他们希望保持接触或保持压力，并且器械的视觉跟踪以及器械的内部负载可用于在不改变固定参数的情况下实现重新定位。

参考图25A和图25B，可视化系统的屏幕4601(例如，可视化系统100、160、500、2108)显示在外科手术期间外科视场的实时视频馈送。例如，外科器械4600的端部执行器4642包括钳口，该钳口夹持在外科视场中经由叠加的MRI图像识别的肿瘤附近的组织。端部执行器4642的钳口包括砧座4643和容纳钉仓的通道。砧座4643和通道中的至少一者能够相对于另一者运动，以捕获砧座4643与钉仓之间的组织。然后，在外科器械4600的击发序列期间，经由能够从钉仓部署的钉4644缝合所捕获的组织。此外，所捕获的组织经由在击发序列期间朝远侧推进但是略微落后于钉部署的切割构件4645切割。

如图25A中显而易见的，在击发序列期间，所捕获的组织以及端部执行器4642的某些内部部件(诸如钉4644和切割构件4645)的位置和/或运动在屏幕4601上的实时馈送的普通视图4640中可能不可见。某些端部执行器包括窗口4641、4653，这些窗口允许在击发序列的开始和结束时但不在击发序列期间看到切割构件4645的部分视图。因此，外科器械4600的用户不能在屏幕4601上跟踪击发序列进度。

图26是根据本公开的至少一个方面的过程4030的逻辑流程图，该逻辑流程图描绘了使端部执行器部件的虚拟表示的运动与端部执行器部件的实际运动同步的控制程序或逻辑配置。过程4030通常在外科手术期间执行，并且包括在击发序列期间检测4031端部执行器的内部部件的运动，例如通过将内部部件的虚拟表示叠加4032在端部执行器上来呈现，以及使屏幕4601上的虚拟表示的运动与检测到的内部部件的运动同步4033。

过程4030的一个或多个方面可由本公开描述的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)中的一个或多个控制电路执行。在至少一个示例中，过程4030的一个或多个方面由控制电路(例如，图2A的控制电路400)执行，该控制电路包括处理器和存储计算机可执行指令集的存储器，该计算机可执行指令集在由该处理器执行时使该处理器执行过程4030的一个或多个方面。另外或另选地，过程4030的一个或多个方面可由组合逻辑电路(例如，图2B的控制电路410)和/或顺序逻辑电路(例如，图2C的控制电路420)执行。此外，过程4030可由具有任何合适的硬件和/或软件部件的任何合适的电路执行，这些硬件和/或软件部件可位于本公开所描述的各种合适的系统中或与其相关联。

在各种示例中，执行过程4030的一个或多个方面的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可接收指示在其击发序列期间端部执行器4642的内部部件的运动的器械数据。例如，可使用击发马达4602的常规旋转编码器来跟踪内部部件的运动。在其他示例中，内部部件的运动可由采用绝对定位系统的跟踪系统来跟踪。绝对定位系统的详细描述在2017年10月19日公布的标题为“SYSTEMS AND METHODS FORCONTROLLING A SURGICAL STAPLING AND CUTTING INSTRUMENT”的美国专利申请公布2017/0296213中有所描述，该专利申请全文以引用方式并入本文。在某些示例中，可使用一个或多个位置传感器来跟踪内部部件的运动，该一个或多个位置传感器可包括任意数量的磁感测元件，例如根据它们是测量总磁场还是磁场的矢量分量来分类的磁传感器。

在各个方面，过程4030包括叠加触发器。在至少一个示例中，叠加触发器可检测组织被端部执行器4642捕获。如果检测到由端部执行器4642捕获的组织，则过程4030将切割构件4645在起始位置的虚拟表示叠加到端部执行器4642上。过程4030进一步包括投影钉线，勾勒出缝钉将被部署到捕获的组织中的位置。此外，响应于用户对击发序列的激活，过程4030使得切割构件4645的虚拟表示朝远侧移动，模拟切割构件4645在端部执行器4642内的实际运动。当部署钉时，过程4030将未击发的钉转换为击发的钉，从而允许用户在视觉上实时跟踪钉部署和切割构件4645的推进。

在各种示例中，例如，执行过程4030的一个或多个方面的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可根据指示由闭合马达4603(图22)通过闭合马达驱动组件4605施加到端部执行器4642的钳口上的力的器械数据来检测组织被端部执行器4642捕获。控制电路可进一步根据从可视化系统(例如，可视化系统100、160、500、2108)导出的可视化数据来确定端部执行器在外科视场内的位置。在至少一个示例中，可相对于组织中的参考点(例如，关键结构)确定端部执行器位置。

在任何情况下，控制电路使得内部部件的虚拟表示在与端部执行器内的内部部件的位置相称的位置处叠加在屏幕4601上的端部执行器4642上。控制电路进一步使内部部件的投影虚拟表示在击发序列期间与内部部件同步移动。在至少一个示例中，通过整合端部执行器4642上的标记来改善同步，控制电路可将这些标记用作参考点，以确定在哪里叠加虚拟表示。

图25B示出了屏幕4601上的外科视场的实时馈送的增强视图4651。在图25B的示例的增强视图4651中，在击发序列期间，钉4644和切割构件4645的虚拟表示叠加在端部执行器4642上。叠加将击发的钉4644a与未击发的钉4644b区分开来，并将完成的切割线4646a与跟踪击发序列进度的投影的切割线4646b区分开来。叠加进一步示出了钉线4647的起点，以及切割线中不会到达组织端部的钉线的投影端部4649。此外，基于肿瘤MRI图像的叠加，测量肿瘤与投影的切割线4646b之间的安全边缘距离“d”并与叠加一起呈现。叠加的安全边缘距离“d”向用户保证将移除所有肿瘤。

如图25B所示，控制电路被配置成能够使可视化系统连续地重新定位内部部件的虚拟表示，以与内部部件的实际运动相关联。在图25B的示例中，叠加示出了完成的切割线4646略微落后于击发的钉线4644a距离“d1”，这向用户保证击发序列正在正确进行。

现在参考图27，可视化系统(例如，可视化系统100、160、500、2108)可采用工具照明4058和相机4059来检测和/或限定套管针位置。基于所确定的套管针位置，用户可被引导到最合适的套管针端口，以基于时间效率、关键结构的位置和/或避开或风险来完成预期功能。

图27示出了三个套管针位置(套管针1、套管针2、套管针3)，它们在相对于体壁和相对于体壁4050内的腔4052中的关键结构4051的不同位置和取向上延伸穿过体壁4050。套管针由箭头4054、4055、4056表示。照明工具4058可用于通过对周围环境使用级联光或图像来检测套管针位置。另外，照明工具4058的光源可以是可旋转光源。在至少一个示例中，照明工具4058的光源和相机4059用于检测套管针相对于目标位置(例如，关键结构4051)的距离。在各种示例中，如果基于相机4059对由照明工具4058的光源投射的光的记录得到的可视化数据确定了更优选的器械位置，则可视化系统可建议器械的位置变化。屏幕4060可显示套管针与目标组织之间的距离、通过套管针的工具进入是否可接受、与利用套管针相关的风险和/或使用套管针的预期操作时间，这可帮助用户选择用于将外科工具引入到腔4052中的最佳套管针。

在各个方面，外科集线器(例如，外科集线器2106、2122)可基于例如可从用户数据库接收的用户特征，建议用于将外科工具插入腔4052中的最佳套管针。用户特征包括用户手部优势、患者侧用户偏好和/或用户身体特征(例如，身高、臂长、运动范围)。外科集线器可利用可用套管针的这些特征、位置和取向数据和/或关键结构的位置数据，选择用于插入外科工具的最佳套管针，以努力减少用户疲劳并提高效率。在各个方面，如果用户倒置端部执行器取向，则外科集线器可进一步使外科器械倒置其控制。

外科集线器可基于可视化数据重新配置外科器械的输出。例如，如果可视化数据指示外科器械正在回缩或正被用于执行不同任务，则外科集线器可禁止激活外科器械的治疗能量输出。

在各个方面，可视化系统可被配置成能够基于反射IR或红光波长跟踪血液表面或估计血液体积，以根据非血液表面和表面几何形状测量来描绘血液。这可被报告为绝对静态测量或变化率，以提供关于出血的量和变化程度的定量数据。

参考图28，可视化系统(例如，可视化系统100、160、500、2108)的各种元件(例如，结构化光投影仪706和相机720)可用于生成解剖器官的可视化数据，从而生成解剖器官的虚拟3D构造4130。

如本文所述，条纹或线形式的结构化光例如可从光源和/或投射仪706被投射到目标解剖结构的表面705上，以识别表面705的形状和轮廓。在各个方面可类似于成像装置120(图1)的相机720例如可被配置成能够检测光在表面705上的投射图案。投射图案在撞击表面705时变形的方式允许视觉系统计算目标解剖结构的深度和表面信息。

图29为根据本公开的至少一个方面的描绘控制程序或逻辑配置的过程4100的逻辑流程图。在各种情况下，过程4100识别4101外科手术并且识别4102外科手术所靶向的解剖器官。过程4100进一步生成4104解剖器官的至少一部分的虚拟3D构造4130，识别4105与外科手术相关的解剖器官的至少一部分的解剖结构，将该解剖结构耦合4106到虚拟3D构造4130，并将基于该解剖结构确定的外科手术的布局计划叠加4107到虚拟3D构造4130上。

过程4100的一个或多个方面可由本公开描述的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)中的一个或多个控制电路执行。在至少一个示例中，过程4100的一个或多个方面由控制电路(例如，图2A的控制电路400)执行，该控制电路包括处理器和存储计算机可执行指令集的存储器，该计算机可执行指令集在由该处理器执行时使该处理器执行过程4100的一个或多个方面。另外或另选地，过程4100的一个或多个方面可由组合逻辑电路(例如，图2B的控制电路410)和/或顺序逻辑电路(例如，图2C的控制电路420)执行。此外，过程4100的一个或多个方面可由具有任何合适的硬件和/或软件部件的任何合适的电路执行，这些硬件和/或软件部件可位于本公开所描述的各种合适的系统中或与其相关联。

在各个方面，过程4100可通过计算机实现的交互式外科系统2100(图19)实现，该计算机实现的交互式外科系统包括一个或多个外科系统2102和基于云的系统(例如，可包括耦接到存储装置2105的远程服务器2113的云2104)。每个外科系统2102包括与云2104通信的至少一个外科集线器2106，该云可包括远程服务器2113。执行过程4100的一个或多个方面的控制电路可以是可视化系统(例如，可视化系统100、160、500、2108)的部件。

执行过程4100的一个或多个方面的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可通过从存储信息的数据库检索此类信息或者直接从用户输入获得信息来识别4101外科手术和/或识别4102外科手术所靶向的解剖器官。在至少一个示例中，数据库存储在基于云的系统中(例如，可包括耦接到存储装置2105的远程服务器2113的云2104)。在至少一个示例中，数据库包括医院EMR。

在一个方面，外科系统2200包括连接到多个手术室装置的外科集线器2236，例如位于手术室中的可视化系统(例如，可视化系统100、160、500、2108)。在至少一个示例中，外科集线器2236包括用于将外科集线器2236可通信地耦接到可视化系统、云2204和/或远程服务器2213的通信接口。执行过程4100的一个或多个方面的外科集线器2236的控制电路可通过从存储在云2204中的数据库和/或远程服务器2213检索此类信息来识别4101外科手术和/或识别4102外科手术所靶向的解剖器官。

在执行过程4100的一个或多个方面的控制电路可使可视化系统(例如，可视化系统100、160、500、2108)执行对解剖器官的至少一部分的初始扫描，以生成4104外科手术所靶向的解剖器官的至少一部分的三维(“3D”)构造4130。在图28所示的示例中，解剖器官是胃4110。控制电路可使可视化系统的一个或多个元件(例如，结构化光投影仪706和利用结构化光4111的相机720)通过在相机被引入体内时执行对解剖器官的至少一部分的扫描来生成可视化数据。可利用当前可视化数据、术前数据(例如，患者扫描和其他相关临床数据)、来自对相同或其他患者执行的先前类似外科手术的可视化数据和/或用户输入来生成解剖器官的至少一部分的3D构造。

此外，执行过程4100的一个或多个方面的控制电路识别4105与外科手术相关的解剖器官的至少一部分的解剖结构。在至少一个示例中，用户可使用任何合适的输入装置来选择解剖结构。另外或另选地，可视化系统可包括一个或多个成像装置120，该一个或多个成像装置具有光谱相机(例如，高光谱相机、多光谱相机或选择性光谱相机)，这些光谱相机被配置成能够检测反射的光谱波形并且基于对不同波长的分子响应来生成图像。控制电路可利用组织的光吸收或折射特性来区分解剖器官的不同组织类型，从而识别相关的解剖结构。此外，控制电路可利用当前可视化数据、术前数据(例如，患者扫描和其他相关临床数据)、来自对相同或其他患者执行的先前类似外科手术的存储的可视化数据和/或用户输入来识别相关解剖结构。

所识别的解剖结构可以是外科视场中的解剖结构，并且/或者由用户选择解剖结构。在各种示例中，相关解剖结构的位置跟踪可扩展到指向外科视场的相机的当前可见视图之外。在一个示例中，这通过使用常见的可见耦合界标或通过使用二次耦合运动跟踪来实现。例如，二次跟踪可通过二次成像源、范围运动的计算和/或通过由第二可视化系统测量的预先建立的信标来完成。

如上文结合图14更详细地描述的，可视化系统可利用结构化光投影仪706来投射图案或线的阵列，其中相机720可确定到目标位置的距离。可视化系统然后可在等于所确定距离的设定距离处发射已知尺寸的图案或线。此外，光谱相机可确定图案的尺寸，该尺寸可根据目标位置处组织的光吸收或折射特性而变化。已知尺寸和确定尺寸之间的差异指示目标位置处的组织密度，这指示目标位置处的组织类型。执行过程4100的一个或多个方面的控制电路可至少部分地基于目标位置处所确定的组织密度来识别相关解剖结构。

在至少一个示例中，检测到的组织密度异常可与疾病状态相关联。此外，控制电路基于经由可视化数据检测到的组织密度来选择、更新或修改治疗组织的外科器械的一个或多个设置。例如，控制电路可改变用于缝合和切割组织的外科缝合器的各种夹持和/或击发参数。在至少一个示例中，控制电路可基于由可视化数据检测到的组织密度减慢击发序列和/或允许更多夹持时间。在各种示例中，控制电路可通过例如在屏幕上显示减小咬合尺寸、增加或减少电外科器械的能量递送输出以及调整钳口闭合量的指令，来警告外科器械的用户异常组织密度。在另一个示例中，如果可视化数据指示组织是脂肪组织，则指令可以是增加功率以减少能量施加时间。

此外，外科手术类型的识别可促进控制电路对目标器官的识别。例如，如果手术是左肺上叶切除术，则肺很可能是目标器官。因此，控制电路将仅考虑与肺和/或通常用于此类手术中的工具相关的可视化数据和非可视化数据。此外，例如，对手术类型的了解能够更好地实现告知肿瘤位置和钉线放置其他图像融合算法。

在各个方面，手术台位置和/或吹入压力的知识可由执行过程4100的一个或多个方面的控制电路使用，以建立根据可视化数据识别的目标解剖器官和/或相关解剖结构的基线位置。手术台的运动(例如，将患者从平坦位置移动到反向特伦德伦伯卧位)可导致解剖结构的变形，该解剖结构可被跟踪并与基线进行比较，以连续告知目标器官和/或相关解剖结构的位置和状态。同样，体腔内吹入压力的变化可干扰体腔内的目标器官和/或相关解剖结构的基线可视化数据。

控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可执行过程的一个或多个方面，该过程在外科手术期间导出手术台上患者的目标器官和/或相关解剖结构的基线可视化数据，确定手术台位置的变化，以及重新导出新位置中患者的目标器官和/或相关解剖结构的基线可视化数据。

同样，控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可执行过程的一个或多个方面，该过程在外科手术期间导出手术台上患者的目标器官和/或相关解剖结构的基线可视化数据，确定患者体腔中吹入压力的变化，以及重新导出新吹入压力下患者的目标器官和/或相关解剖结构的基线可视化数据。

在各种情况下，执行过程4100的一个或多个方面的控制电路可通过将界标或标志叠加到器官的虚拟3D构造上以指示解剖结构的位置来将所识别的解剖结构耦合到虚拟3D构造，如图28所示。控制电路还可使用户定义的结构和组织平面叠加在虚拟3D构造上。在各个方面，可建立组织类型的层次结构以组织在虚拟3D构造上识别的解剖结构。下面提供的表1列出了肺和胃的示例性层次结构。

在各个方面，在虚拟3D构造上识别的相关解剖结构可由用户重新命名和/或重新定位，以校正错误或根据偏好进行。在至少一个示例中，校正可以是语音激活的。在至少一个示例中，记录校正以用于未来机器学习。

除上述之外，执行过程4100的一个或多个方面的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可将外科手术布局计划(例如，布局计划4120)叠加4107到目标器官(例如，胃4110)的虚拟3D构造上。在至少一个示例中，虚拟3D构造显示在可视化系统的与显示外科视场的实时馈送/视图的屏幕不同的屏幕上。在另一个示例中，一个屏幕可交替地显示外科视场和3D构造的实时馈送。在此类示例中，用户可使用任何合适的输入装置在两个视图之间交替。

在图28所示的示例中，控制电路已确定外科手术是袖状胃切除术，并且目标器官是胃。在腹腔的初始扫描中，控制电路使用可视化数据(例如，结构化光数据和/或光谱数据)识别胃、肝、脾、胃大弯和幽门。这通过了解手术和感兴趣的结构来告知。

可视化数据(例如，结构化光数据和/或光谱数据)可由控制电路利用以通过将当前结构化光数据与先前与此类器官相关联的存储的结构化光数据进行比较来识别胃4110、肝和/或脾。在至少一个示例中，控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可利用表示器官的特征解剖轮廓的结构化光数据和/或表示特征表面下组织特征的光谱数据来识别与外科手术布局计划(例如，布局计划4120)相关的解剖结构。

在至少一个示例中，可视化数据可用于识别指示幽门4131的位置4113的幽门静脉4112，识别指示胃4110的大弯的位置4115的胃网膜血管4114，识别指示切迹角4132的位置4117的右胃静脉中的弯曲部4116，和/或识别His角4121的位置4119。控制电路可将界标分配给一个或多个所识别的位置。在至少一个示例中，如图28所示，控制电路使可视化系统将界标叠加在使用可视化数据生成的胃4110的虚拟3D构造上的位置4113、4117、4119上，如上所述。在各个方面，界标可同步叠加在虚拟3D构造和外科视场视图上，以允许用户在视图之间切换而不会看不到界标。用户可在显示虚拟3D构造的屏幕的视图中缩小以显示总体布局计划，或者可放大以显示类似于外科视场视图的部分。控制电路可连续地跟踪和更新界标。

在袖状胃切除术中，外科医生通常在距幽门4cm或约4cm处缝合胃组织。在缝合之前，在袖状胃切除术开始时将能量装置引入患者的腹腔中，以在远离大弯且距幽门4cm或约4cm处解剖胃网膜动脉和网膜。如上所述，已识别出位置4113的控制电路可自动使能量装置的端部执行器叠加在距位置4113的4cm或约4cm处。能量装置的端部执行器或任何合适的界标在距幽门4cm或约4cm处的叠加识别袖状胃切除术的起始位置。

当外科医生沿着胃的大弯进行解剖时，控制电路使得位置4113处的界标和/或能量装置的叠加端部执行器被移除。当外科医生接近脾时，距离指示器自动叠加在虚拟3D构造视图和/或外科视场视图上。控制电路可使距离指示器识别距脾2cm的距离。例如，当解剖路径到达或将要到达距脾2cm时，控制电路可使距离指示器闪烁和/或改变颜色。距离指示器叠加保持直到用户在His角4121处到达位置4119为止。

参考图30，一旦将外科缝合器引入腹腔中，控制电路便可利用可视化数据来识别幽门4131、切迹角4132、胃4110的大弯4133、胃4110的小弯4134和/或与袖状胃切除术相关的其他解剖结构。也可展示探条的叠加。将外科器械引入体腔(例如，将外科缝合器引入腹腔)可由控制电路根据指示端部执行器上的视觉提示(诸如独特的颜色、标志和/或形状)的可视化数据来检测。控制电路可在存储此类视觉提示和对应视觉提示的数据库中识别外科器械。另选地，控制电路可提示用户识别插入体腔中的外科器械。另选地，便于进入体腔的外科套管针可包括一个或多个传感器，用于检测穿过其插入的外科器械。在至少一个示例中，传感器包括RFID读取器，该RFID读取器被配置成能够从外科器械上的RFID芯片识别外科器械。

除了识别相关解剖结构的界标之外，可视化系统还可将手术布局计划4135叠加到3D关键结构和/或外科视场视图上，该手术布局计划可以是建议的治疗路径的形式。在图30的示例中，外科手术是袖状胃切除术，并且手术布局计划4135是三个切除路径4136、4137、4138和所得袖状胃(sleeve)的对应结果体积的形式。

如图30所示，从幽门4131到用于形成袖状胃的起点的距离(a、a

在又一个示例中，控制电路允许用户在屏幕上对推荐的切除路径进行调整，该屏幕示出了叠加在虚拟3D构造和/或外科视场上的切除路径。控制电路可基于这些调整来计算袖状胃尺寸。另选地，在另一个示例中，允许用户选择起点，以在距幽门4131的期望距离处形成袖状胃。作为响应，控制电路基于所选起点计算袖状胃尺寸。

例如，可通过使可视化系统将切除路径叠加到虚拟3D构造视图和/或外科视场视图上来实现呈现切除路径。相反，可通过使可视化系统从虚拟3D构造视图和/或外科视场视图移除此类切除路径的叠加来实现移除推荐的切除路径。

仍然参考图30，在某些示例中，一旦外科缝合器的端部执行器夹持选自推荐的起点4146、4147、4147的起点和距切迹角4132预定义距离处的端部位置4140之间的胃组织，控制电路便呈现关于夹持和/或击发外科缝合器的信息。在至少一个示例中，如图24所示，可显示来自可视化数据4010和器械数据4011的复合数据集4012。另外或另选地，可显示FTC值和/或FTF值。例如，FTC的当前值—由圆圈4020表示—可针对具有表示最佳实践FTC的指示器4022的量规4021实时描绘。同样，FTF的当前值—由圆圈4023表示—可针对具有表示最佳实践FTF的指示器4025的量规4024描绘。

在外科缝合器被击发之后，可将用于新的仓选择的建议呈现到外科缝合器的屏幕或可视化系统的任何屏幕上，如下文更详细描述的。当从腹腔取出外科缝合器、重新装载所选的钉仓并重新引入腹腔时，将距离指示器—识别从沿着胃4110的小弯4134的多个点到所选择的切除路径的恒定距离(d)—叠加在虚拟3D构造视图和/或外科视场视图上。为了确保外科缝合器的端部执行器的正确取向，将从目标到外科缝合器的端部执行器的远侧端部的距离以及从近侧端部到先前被击发的钉线的距离叠加在虚拟3D构造视图和/或外科视场视图上。重复此过程，直到切除完成为止。

可基于存储的数据确定由控制电路推荐和/或计算的一个或多个距离。在至少一个示例中，存储的数据包括术前数据、用户偏好数据和/或来自用户或其他用户先前执行的外科手术的数据。

参考图31，根据本公开的至少一个方面，过程4150描绘了用于推荐移除解剖器官的一部分的切除路径的控制程序或逻辑配置。过程4150识别4151外科手术所靶向的解剖器官，识别4152与外科手术相关的解剖器官的解剖结构，以及推荐4153用于通过外科器械移除解剖器官的一部分的手术切除路径，如本文其他地方结合过程4100更详细描述的。基于解剖结构确定手术切除路径。在至少一个示例中，手术切除路径包括不同的起点。

过程4150的一个或多个方面可由本公开描述的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)中的一个或多个控制电路执行。在至少一个示例中，过程4150的一个或多个方面由控制电路(例如，图2A的控制电路400)执行，该控制电路包括处理器和存储计算机可执行指令集的存储器，该计算机可执行指令集在由该处理器执行时使该处理器执行过程4150的一个或多个方面。另外或另选地，过程4150的一个或多个方面可由组合逻辑电路(例如，图2B的控制电路410)和/或顺序逻辑电路(例如，图2C的控制电路420)执行。此外，过程4150可由具有任何合适的硬件和/或软件部件的任何合适的电路执行，这些硬件和/或软件部件可位于本公开所描述的各种合适的系统中或与其相关联。

参考图32A至图32D，执行过程4100或过程4150的一个或多个方面的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可利用动态可视化数据在实施期间实时更新或修改外科手术布局计划。在至少一个示例中，控制电路基于来自可视化系统(例如，可视化系统100、160、500、2108)的一个或多个成像装置的动态可视化数据，将用于通过外科器械移除器官的一部分或异常(例如，肿瘤或区域)的设定切除路径(图32B)修改为替代切除路径(图32D)，该可视化系统跟踪被切除组织和周围组织的进展。切除路径修改可通过关键结构(例如，血管)的位置移动到切除路径中来触发。例如，组织切除过程有时会导致改变组织形状和/或体积的组织炎症，这会导致关键结构(例如，血管)移位。动态可视化数据使得控制电路能够检测关键结构和/或相关解剖结构在设定切除路径附近的位置和/或体积变化。如果位置和/或体积的变化使关键结构移动到切除路径中或在切除路径的安全边缘内，则控制电路通过选择或至少建议外科器械的替代切除路径来修改设定切除路径。

图32A示出了可视化系统的屏幕4230上的外科视场的实时视图4201。将外科器械4200引入外科视场中以移除目标区域4203。将用于移除该区域的初始计划布局4209叠加在实时视图4201上，如图32B中区域4203的放大视图所示。区域4203被关键结构4205、4206、4207、4208包围。如图32B所示，初始计划布局4209从区域4203以预定义的安全边缘围绕区域4203延伸切除路径。切除路径通过在关键结构的外侧(例如，关键结构4208)上或内侧(例如，关键结构4206)上延伸来避免跨越或穿过关键结构。如上所述，初始计划布局4209由控制电路基于来自可视化系统的可视化数据来确定。

图32C示出了在稍后时间(00:43)的可视化系统的屏幕4230上的外科视场的实时视图4201'。外科器械4200的端部执行器4202沿着由布局计划4209限定的预定义切除路径切除组织。例如，由于组织炎症引起的包括区域4203的组织的体积变化导致关键结构4206和4208移位到预定义切除路径中。作为响应，控制电路推荐绕过关键结构4206、4208的替代切除路径4210，其保护关键结构4206、4208免受损坏，如图32D所示。在各种示例中，可推荐替代切除路径来优化将保留的健康组织的量，并向用户提供指导以确保他们不会触及关键结构，这将最小化出血，并因此减少处理意外情况的手术时间和压力，同时平衡对剩余器官体积的影响。

在各个方面，执行由本公开描述的一个或多个过程的一个或多个方面的控制电路可从可视化系统的多个成像装置接收和/或导出可视化数据。可视化数据有助于跟踪外科视场的实时视图之外的关键结构。常见界标可允许控制电路合并来自可视化系统的多个成像装置的可视化数据。在至少一个示例中，例如，可通过二次成像源、范围运动的计算或通过由第二系统测量的预先建立的信标/界标来实现对外科视场的实时视图之外的关键结构的二次跟踪。

通常参考图33至图35，根据本公开的至少一个方面，过程4300的逻辑流程图描绘了用于将外科器械的参数呈现或叠加到所推荐的手术切除路径上或附近的控制程序或逻辑配置。过程4300通常在外科手术期间执行，并且包括识别4301外科手术所靶向的解剖器官，根据来自至少一个成像装置的可视化数据识别4302与外科手术相关的解剖结构，以及推荐4303用于通过外科器械移除解剖器官的一部分的手术切除路径。在至少一个示例中，基于解剖结构确定手术切除路径。过程4300进一步包括根据手术切除路径呈现4304外科器械的参数。另外或另选地，过程4300进一步包括根据手术切除路径调整4305外科器械的参数。

过程4300的一个或多个方面可由本公开描述的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)中的一个或多个控制电路执行。在至少一个示例中，过程4300的一个或多个方面由控制电路(例如，图2A的控制电路400)执行，该控制电路包括处理器和存储计算机可执行指令集的存储器，该计算机可执行指令集在由该处理器执行时使该处理器执行过程4030的一个或多个方面。另外或另选地，过程4300的一个或多个方面可由组合逻辑电路(例如，图2B的控制电路410)和/或顺序逻辑电路(例如，图2C的控制电路420)执行。此外，过程4300可由具有任何合适的硬件和/或软件部件的任何合适的电路执行，这些硬件和/或软件部件可位于本公开所描述的各种合适的系统中或与其相关联。

在各种示例中，执行过程4300的一个或多个方面的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)可识别4301外科手术所靶向的解剖器官，根据来自可视化系统(例如，可视化系统100、160、500、2108)的至少一个成像装置的可视化数据识别4302与外科手术相关的解剖结构，和/或推荐4303用于通过外科器械(例如，外科器械4600)移除解剖器官的一部分的手术切除路径，如本文其他地方结合过程4150(图31)、4100(图29)所描述的。此外，执行过程4300的一个或多个方面的控制电路可根据所推荐4303的手术切除路径推荐或建议外科器械的一个或多个参数。在至少一个示例中，控制电路通过将此类参数叠加到所推荐的手术路径上或附近来呈现外科器械的建议参数4304，如图34和图35所示。

图34示出了根据本公开的至少一个方面，使用外科器械4600进行袖状胃切除术的患者的胃的虚拟3D构造4130。如结合图28更详细描述的，例如，可视化系统(例如，可视化系统100、160、500、2108)的各种元件(例如，结构化光投影仪706和相机720)可用于生成可视化数据，从而形成虚拟3D构造4130。根据来自可视化系统的一个或多个成像装置的可视化数据识别相关的解剖结构(例如，幽门4131、切迹角4132、His角4121)。在至少一个示例中，通过将界标叠加到虚拟3D构造4130上，将界标分配给此类解剖结构的位置4113、4117、4119。

此外，基于所识别的解剖结构，推荐4303手术切除路径4312。在至少一个示例中，控制电路将手术切除路径4312叠加到虚拟3D构造4130上，如图34所示。如本文其他地方更详细描述的，可基于期望的体积输出对所推荐的手术路径进行自动调整。此外，可基于由控制电路根据可视化数据自动识别的关键结构和/或组织异常来自动调整投影边缘。

在各个方面，执行过程4300的至少一个方面的控制电路呈现根据所推荐4303的手术切除路径4312选择的外科器械的参数4314。在图34所示的示例中，参数4314指示在基于所推荐4303的手术切除路径执行袖状胃切除术时自动选择与外科器械4600一起使用的钉仓。在至少一个示例中，参数4314包括钉仓尺寸、钉仓颜色、钉仓类型和钉仓长度中的至少一者。在至少一个示例中，控制电路通过将此类参数叠加到所推荐4303的手术切除路径4312上或附近来呈现4304外科器械4600的参数4314，如图34和图35所示。

在各个方面，执行过程4300的至少一个方面的控制电路沿着手术切除路径4312的一个或多个部分呈现组织参数4315。在图34所示的示例中，组织参数4315是通过显示沿线A-A截取的横截面而呈现的组织厚度，其表示沿着手术切除路径4312的至少一部分的组织厚度。在各个方面，可根据组织参数4315选择由外科器械4600利用的钉仓。例如，如图34所示，选择包括较大钉尺寸的黑色钉仓，包括较大钉尺寸的黑色钉仓被选择用于较厚的胃窦肌肉组织，而包括较小钉尺寸的绿色钉仓被选择用于胃体部分和胃底部分的心肌组织。

组织参数4315包括由所推荐的手术切除路径4312产生的袖状胃的组织厚度、组织类型和体积结果中的至少一者。组织参数4315可源自先前捕获的患者器官的CT、超声和/或MRI图像和/或源自先前已知的平均组织厚度。在至少一个示例中，外科器械4600是智能器械(类似于智能器械2112)，并且组织厚度和/或所选的钉仓信息被传输到外科器械4600，用于优化闭合设置、击发设置和/或任何其他合适的外科器械设置。在一个示例中，组织厚度和/或所选的钉仓信息可从外科集线器(例如，外科集线器2106、2122)传输到外科器械4600，该外科集线器与可视化系统(例如，可视化系统100、160、500、2108)和外科器械4600通信，如结合图17至图19所述的。

在各种示例中，执行过程4300的至少一个方面的控制电路推荐了根据沿着手术切除路径4312的至少一部分确定的组织厚度的两个或更多个钉仓尺寸(例如，45mm和60mm)的布置4317。此外，如图35所示，控制电路可进一步沿着所推荐4303的手术切除路径4312呈现布置4317。另选地，控制电路可沿着用户选择的手术切除路径呈现合适的布置4317。如上所述，控制电路可沿着用户选择的切除路径确定组织厚度，并且根据组织厚度推荐钉仓布置。

在各个方面，执行过程4300的一个或多个方面的控制电路可推荐手术切除路径，或优化选择的手术切除路径，以使钉仓布置4317中的钉仓数量最小化，而不会损害超过预先确定的阈值的所得袖状胃的尺寸。减少用尽的仓的数量减少了手术时间和成本，并减少了患者的创伤。

仍然参考图35，布置4317包括限定手术切除路径4312的起点和终点的第一钉仓4352和最后一个钉仓4353。在仅需要所推荐的钉仓布置4317的最后一个钉仓4353的一小部分的情况下，控制电路可调整手术切除路径4312以消除对最后一个钉仓4353的需要，而不会损害超过预先确定的阈值的所得袖状胃的尺寸。

在各种示例中，执行过程4300的至少一个方面的控制电路呈现所推荐的钉仓布置4317的虚拟击发，该虚拟击发将虚拟3D构造4130虚拟地分成保留部分4318和移除部分4319，如图35所示。保留部分4318是袖状胃的虚拟表示，该袖状胃通过击发钉仓布置4317来实施所推荐的手术切除路径4312而产生。控制电路可进一步确定保留部分4318和/或移除部分4319的估计体积。保留部分4318的体积表示所得袖状胃的体积。在至少一个示例中，保留部分4318和/或移除部分4319的体积从可视化数据导出。在另一个示例中，保留部分4318和/或移除部分4319的体积由存储保留体积、移除部分体积和对应的手术切除路径的数据库来确定。数据库可由先前对具有相同或至少相似尺寸的器官进行的外科手术来构建，这些器官已使用相同或至少相似的切除路径进行了切除。

在各种示例中，基于器官的态势感知的预先确定的平均组织厚度数据的组合，如上文更详细描述的，结合来自可视化源和CT、MRI和/或超声二次成像的体积分析，如果可用于患者，则可用于选择布置4317的第一钉仓。除了可视化数据之外，布置4317中后续钉仓的击发可使用来自先前击发的器械数据来优化击发参数。例如，可用于补充体积测量的器械数据包括FTF、FTC、驱动击发和/或闭合的马达的电流消耗、端部执行器闭合间隙、击发速率、钳口上的组织阻抗测量和/或外科器械使用期间的等待或暂停时间。

在各种示例中，可视化数据(例如，结构化光数据)可用于跟踪由外科器械(例如，外科器械4600)治疗的组织中的表面几何形状变化。另外，可视化数据(例如，光谱数据)可用于跟踪组织表面下方的关键结构。结构化数据和/或光谱数据可用于在整个组织治疗中保持设定的器械-组织接触。

在至少一个示例中，外科器械4600的端部执行器4642可用于抓握其钳口之间的组织。一旦通过用户输入确认了期望的组织-器械接触，例如，与期望的组织-器械接触相关联的端部执行器和周围组织的可视化数据可用于在组织治疗的至少一部分中自动保持期望的组织-表面接触。期望的组织-表面接触可通过例如对端部执行器4642的位置、取向和/或FTC参数进行轻微操纵来自动维持。

在外科器械4600是手持式外科器械的情况下，可以例如可呈现在外科器械4600的显示器4625(图22)上的指令的形式向用户提供位置和/或取向操纵。当需要用户操纵以重新建立期望的组织-表面接触时，外科器械4600也可发出警报。同时，例如，可将非用户操纵(例如，对FTC参数和/或关节运动角度的操纵)从外科集线器2106或可视化系统2108传送到外科器械4600的控制器4620。然后，控制器4620可使马达驱动器4626实施期望的操纵。在外科器械4600是耦接到机器人系统2110的机械臂的外科工具的情况下，例如，位置和/或取向操纵可从外科集线器2106或可视化系统2108传送到机器人系统2110。

主要参考图36A至图36C，示出了装载有钉仓布置4317中的第一钉仓4652的外科器械4600的击发。在第一阶段，如图36A所示，第一界标4361和第二界标4362叠加在手术切除路径4312上。界标4361、4362间隔开由钉仓4652的尺寸(例如，45)限定的距离(d1)，该距离表示要由钉仓4652部署到手术切除路径4312上的钉线4363的长度。执行过程4300的一个或多个方面的控制电路可采用可视化数据，如本文其他地方更详细地描述，以将界标4361、4362叠加到手术切除路径4312上，并且相对于预先确定的关键结构(例如，解剖结构4364、4365、4366、4367)连续地跟踪和更新其位置。

在击发期间，如图36B所示，钉线4363的钉被部署到组织中，并且将切割构件4645推进以沿着界标4361、4362之间的手术切除路径4312切割组织。在各种情况下，切割构件4645的推进导致被治疗的组织拉伸和/或移位。组织拉伸和/或移位超过预先确定的阈值指示切割构件4645过快地移动穿过被治疗的组织。

图37是过程4170的逻辑流程图，该逻辑流程图描绘了用于调整外科器械的击发速度以解决在击发期间的组织拉伸/移位的控制程序或逻辑配置。过程4170包括在外科器械的击发期间监测4171组织拉伸/移位，并且如果4172组织拉伸/移位大于或等于预先确定的阈值，则调整4173击发参数。

过程4170的一个或多个方面可由本公开描述的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)中的一个或多个控制电路执行。在至少一个示例中，过程4170的一个或多个方面由控制电路(例如，图2A的控制电路400)执行，该控制电路包括处理器和存储计算机可执行指令集的存储器，该计算机可执行指令集在由该处理器执行时使该处理器执行过程4170的一个或多个方面。另外或另选地，过程4170的一个或多个方面可由组合逻辑电路(例如，图2B的控制电路410)和/或顺序逻辑电路(例如，图2C的控制电路420)执行。此外，过程4170可由具有任何合适的硬件和/或软件部件的任何合适的电路执行，这些硬件和/或软件部件可位于本公开所描述的各种合适的系统中或与其相关联。

在各种示例中，执行过程4170的一个或多个方面的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)使用来自可视化系统(例如，可视化系统100、160、500、2108)的可视化数据在外科器械4600的击发期间监测4171组织拉伸/移位。在图36B所示的示例中，通过使用可视化数据在击发和/或跟踪表示相邻解剖结构的位置的界标4364、4365、4366、4367期间跟踪投影到组织上的结构化光网格中的失真来监测4171组织拉伸/移位(d)。另外或另选地，可通过在击发期间跟踪界标4362的位置来监测4171组织拉伸(d)。在图36B的示例中，组织拉伸/移位(d)是在击发期间界标4361、4362之间的距离(d1)与在击发期间界标4361、4362之间的距离(d2)之间的差异。在任何情况下，如果4172组织拉伸/移位(d)大于或等于预先确定的阈值，则控制电路调整4173外科器械4600的击发参数以减小组织拉伸/移位(d)。例如，控制电路可通过例如减小击发马达4602的电流消耗来使控制器4620降低击发马达驱动组件4604的速度，例如，这降低了切割构件4645的推进速度。另外或另选地，控制电路可使控制器4620将击发马达4602暂停预先确定的时间段，以减小组织拉伸/移位(d)。

击发后，如图36C所示，端部执行器4642的钳口松开，并且所缝合组织由于钉线4363的击发钉而收缩。图36C示出了由距离(d1)限定的投影钉线长度和由小于距离(d1)的距离(d3)限定的实际钉线。距离d1、d2之间的差异表示收缩/移位距离(d')。

图38是过程4180的逻辑流程图，该逻辑流程图描绘了用于沿着所推荐的手术切除路径调整所推荐的钉仓布置的控制程序或逻辑配置。过程4180包括在击发所推荐的布置的钉仓之后，监测4081所缝合组织沿着所推荐的手术切除路径的收缩/移位，以及沿着所推荐的手术切除路径调整所推荐布置的后续钉仓位置。

过程4180的一个或多个方面可由本公开描述的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)中的一个或多个控制电路执行。在至少一个示例中，过程4180的一个或多个方面由控制电路(例如，图2A的控制电路400)执行，该控制电路包括处理器和存储计算机可执行指令集的存储器，该计算机可执行指令集在由该处理器执行时使该处理器执行过程4180的一个或多个方面。另外或另选地，过程4180的一个或多个方面可由组合逻辑电路(例如，图2B的控制电路410)和/或顺序逻辑电路(例如，图2C的控制电路420)执行。此外，过程4180可由具有任何合适的硬件和/或软件部件的任何合适的电路执行，这些硬件和/或软件部件可位于本公开所描述的各种合适的系统中或与其相关联。

在各种示例中，执行过程4180的一个或多个方面的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)监测4181所缝合组织沿着所推荐的切除路径4312的收缩/移位。在图36C所示的示例中，钉线4363从钉仓布置4317的钉仓部署到界标4361、4362之间的组织中。当端部执行器4642的钳口松开时，所缝合组织收缩/移位距离(d')。距离(d')是表示由布置4317推荐的钉线4361且在界标4361、4362预击发之间的长度的距离(d1)和表示钉线4363的实际长度的距离(d3)之间的差异。

为了避开连续钉线之间的间隙，控制电路沿着所推荐的手术切除路径4312调整所推荐的布置4317的后续钉仓位置。例如，如图36C所示，最初推荐的钉线4368被移除并被更新的钉线4369替换，该更新的钉线延伸穿过或覆盖由距离(d')限定的间隙。在各个方面，通过使用可视化数据在端部执行器4642的钳口松开之后跟踪投影到组织上的结构化光网格中的失真和/或跟踪表示相邻解剖结构的位置的界标4364、4365、4366、4367来监测4181组织收缩/移位(d')。另外或另选地，可通过跟踪界标4362的位置来监测4181组织收缩距离(d')。

在各个方面，可能期望使用来自非可视化系统的非可视化数据来证实从外科可视化系统(例如，可视化系统100、160、500、2108)导出的可视化数据，并且反之亦然。在一个示例中，非可视化系统可包括呼吸机，该呼吸机可被配置成能够测量患者肺部的非可视化数据，诸如体积、压力、二氧化碳分压(PCO

在各个方面，临床医生可能需要切除患者器官的一部分以移除关键结构，诸如肿瘤和/或其他组织。在一个示例中，患者的器官可以是右肺。临床医生可能需要切除患者的右肺的一部分以移除不健康的组织。然而，临床医生可能不希望在外科手术期间移除太多的患者肺部，以确保肺的功能不会受到太大损害。肺的功能可基于每次呼吸的肺容量峰值来评估，每次呼吸的肺容量峰值代表肺容量峰值。在确定可安全地移除多少肺时，临床医生受到预先确定的肺容量峰值减少的限制，超过该肺容量峰值减少，肺将失去其活力，需要进行全器官切除。

在至少一个示例中，根据来自外科可视化系统(例如，可视化系统100、160、500、2108)的可视化数据估计肺的表面积和/或体积。可在肺容量峰值或每次呼吸的肺容量峰值下估计肺表面积和/或体积。在至少一个示例中，可在整个吸气/呼气循环中的多个点处估计肺表面积和/或体积。在至少一个方面，在切除肺的一部分之前，可利用可视化数据和非可视化数据将由可视化系统确定的肺的表面积和/或体积与通过呼吸机确定的肺容量相关联。例如，相关性数据可用于建立从可视化数据导出的肺的表面积和/或体积与由呼吸机确定的肺容量之间的数学关系。该关系可用于估计可被移除的肺部分的尺寸，同时将肺容量峰值减少保持在小于或等于保持肺的活力的预先确定的阈值的值。

图39示出了根据本公开的至少一个方面的用于推荐器官部分的手术切除的过程4750的逻辑流程图。过程4750通常在外科手术期间执行。过程4750可包括基于来自外科可视化系统的可视化数据推荐4752器官中要被切除的部分，其中对该部分的切除被配置成能够产生器官的估计容量减少量。过程4750可进一步包括在切除该部分之前确定4754器官的非可视化参数的第一值，以及在切除该部分之后确定4756器官的非可视化参数的第二值。另外，在某些示例中，过程4750可进一步包括基于非可视化参数的第一值和非可视化参数的第二值来证实4758该预先确定的容量减少。

过程4750的一个或多个方面可由本公开描述的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)中的一个或多个控制电路执行。在至少一个示例中，过程4750的一个或多个方面由控制电路(例如，图2A的控制电路400)执行，该控制电路包括处理器和存储计算机可执行指令集的存储器，该计算机可执行指令集在由该处理器执行时使该处理器执行过程4750的一个或多个方面。另外或另选地，过程4750的一个或多个方面可由组合逻辑电路(例如，图2B的控制电路410)和/或顺序逻辑电路(例如，图2C的控制电路420)执行。此外，过程4750的一个或多个方面可由具有任何合适的硬件和/或软件部件的任何合适的电路执行，这些硬件和/或软件部件可位于本公开所描述的各种合适的系统中或与其相关联。

在各个方面，过程4750可通过计算机实现的交互式外科系统2100(图19)实现，该计算机实现的交互式外科系统包括一个或多个外科系统2102和基于云的系统(例如，可包括耦接到存储装置2105的远程服务器2113的云2104)。每个外科系统2102包括与云2104通信的至少一个外科集线器2106，该云可包括远程服务器2113。执行过程4750的一个或多个方面的控制电路可以是可视化系统(例如，可视化系统100、160、500、2108)的部件。

图41A示出了一组患者的肺4780。在一个实施方案中，临床医生可利用成像装置4782将光的图案4785发射4784到患者的右肺4786的表面上，诸如条纹、网格线和/或点，以使得能够确定患者右肺4786的表面的形貌或全景。成像装置在各个方面可类似于成像装置120(图1)。如本文其他地方所述，投影光阵列可用于确定由患者右肺4786的表面限定的形状，和/或术中患者右肺4786的运动。在一个实施方案中，成像装置4782可耦接到控制系统133的结构化光源152。在一个实施方案中，外科可视化系统诸如外科可视化系统100可利用如本文其他地方所述的控制电路133的表面映射逻辑136，以确定患者右肺4786的表面的形貌或全景。

临床医生可向外科系统(诸如外科系统2100)提供要执行的手术类型，诸如右肺上叶切除术。除了提供要执行的外科手术之外，临床医生还可为外科系统提供在外科手术期间要移除的器官的最大期望容量。基于从成像装置4782获得的可视化数据、要执行的外科手术的类型以及要移除的最大期望容量，外科系统可推荐切除路径4788以移除右肺的满足所有临床医生输入的部分4790。本文其他地方描述了推荐手术切除路径的其他方法。外科系统可考虑任何数量的附加参数，以便推荐切除路径4788。

在各种情况下，可能期望确保所切除器官的体积产生患者器官的期望容量减少。为了证实被切除的体积产生期望的容量减少，可利用来自非可视化系统的非可视化数据。在一个实施方案中，呼吸机可用于随时间推移测量患者中的肺容量峰值。

在至少一个示例中，临床医生可在外科手术中利用外科系统2100来移除肺肿瘤。如上文结合图13A至图13E所述，控制电路可根据可视化数据识别肿瘤，并且可推荐在肿瘤周围提供安全边缘的手术切除路径，如上文结合图29至图38所描述的。控制电路可进一步估计肺容量峰值处的肺体积。呼吸机可用于在外科手术之前测量肺容量峰值。使用视觉估计的肺体积与如通过呼吸机检测到的肺容量之间的预先确定的数学相关性，控制电路能够估计与移除肺的一部分(包括肿瘤和肿瘤周围组织的安全边缘)相关联的肺容量峰值减少。如果估计的肺容量减少超过预先确定的安全阈值，则控制电路可警告临床医生和/或推荐产生较小的肺容量减少的不同手术切除路径。

图41C示出了测量随时间推移的患者的肺容量峰值的曲线图4800。在切除器官的该部分之前(t

利用如图41C所示的呼吸机数据，临床医生可随时间监测患者的肺容量峰值，例如在肺的部分4790的切除之前4802和切除之后4804。在时间t

现在参考图41B，在切除部分4790之后示出了患者的右肺4792。在切除部分4790之后，临床医生可能无意中造成空气泄漏4794，这导致空气泄漏到肺4794和胸壁之间的空间中，从而导致气胸4796。由于空气泄漏4794，因为右肺4792塌缩，患者每次呼吸的肺容量峰值将随着时间的推移而稳步减小。可使用从可视化系统(例如，可视化系统100、160、500、2108)导出的可视化数据来执行肺的动态表面积/体积分析，以通过在视觉上跟踪肺体积的变化来检测空气泄漏。可在吸气/呼气循环期间的一个或多个点处在视觉上跟踪肺的体积和/或表面积，以检测指示空气泄漏4794的体积变化。在一个实施方案中，如上所述，来自成像装置4782的投影光阵列可用于监测患者的右肺4786随时间推移的运动，诸如监测尺寸的减小。在另一个实施方案中，外科可视化系统可利用表面映射逻辑诸如表面映射逻辑136来确定患者右肺4786的表面的形貌或全景，并且监测形貌或全景随时间推移的变化。

在一个方面，临床医生可利用非可视化系统诸如呼吸机来证实由可视化系统检测到的体积的减少。再次参考图41C，如上所述，可在切除肺的部分之前4802和切除该部分之后测量患者的肺容量峰值，以证实期望的容量减少与肺容量的实际减少一致。在上文所述的示例中，在无意中发生空气泄漏的情况下，肺容量峰值可随时间推移稳步下降4806。在一种情况下，在切除该部分后紧接的时间t

此外，控制电路可被配置成能够基于可视化数据和非可视化数据来测量器官效率。在一个方面，可通过将可视化数据与切除该部分之前和之后的非可视化数据的差异进行比较来确定器官效率。在一个示例中，可视化系统可生成切除路径以使肺容量峰值减少17％。呼吸机可被配置成能够在切除该部分之前和切除该部分之后测量肺容量峰值。在图41C所示的情况下，存在肺容量峰值的约17％下降(6L到5L)。由于实际的肺容量下降(17％)与期望的肺容量下降(17％)接近1:1，所以临床医生可确定肺在功能上是有效的。在另一个示例中，可视化系统可生成切除路径以使肺容量峰值减少17％。然而，作为示例，呼吸机可测量大于17％(诸如25％)的肺容量峰值下降。在这种情况下，临床医生可确定肺在功能上不是有效的，因为切除肺的该部分导致肺容量峰值比预期下降更大。

图40示出了根据本公开的至少一个方面的过程4760的逻辑流程图，该过程用于估计由于移除器官的选定部分而导致的器官容量减少。过程4760在许多方面类似于过程4750。然而，与过程4750不同，过程4760依赖于临床医生选择或推荐用于在外科手术期间移除器官的一部分的手术切除路径。过程4760包括接收4762来自用户的输入，该输入指示器官中要被切除的部分。过程4760进一步包括估计4764的器官因移除该部分而导致的容量减少。在至少一个示例中，器官是患者的肺，并且估计4762的容量减少是患者肺的每次呼吸的肺容量峰值的减少。可采用来自外科可视化系统(例如，可视化系统100、160、500、2108)的可视化数据来估计对应于该部分的移除的容量减少。过程4760可进一步包括在切除该部分之前确定4766器官的非可视化参数的第一值，以及在切除该部分之后确定4768器官的非可视化参数的第二值。最后，过程4760可进一步包括基于非可视化参数的第一值和非可视化参数的第二值来证实4768器官的估计容量减少量。

过程4760的一个或多个方面可由本公开描述的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)中的一个或多个控制电路执行。在至少一个示例中，过程4760的一个或多个方面由控制电路(例如，图2A的控制电路400)执行，该控制电路包括处理器和存储计算机可执行指令集的存储器，该计算机可执行指令集在由该处理器执行时使该处理器执行过程4760的一个或多个方面。另外或另选地，过程4760的一个或多个方面可由组合逻辑电路(例如，图2B的控制电路410)和/或顺序逻辑电路(例如，图2C的控制电路420)执行。此外，过程4760的一个或多个方面可由具有任何合适的硬件和/或软件部件的任何合适的电路执行，这些硬件和/或软件部件可位于本公开所描述的各种合适的系统中或与其相关联。

在各个方面，过程4760可通过计算机实现的交互式外科系统2100(图19)实现，该计算机实现的交互式外科系统包括一个或多个外科系统2102和基于云的系统(例如，可包括耦接到存储装置2105的远程服务器2113的云2104)。每个外科系统2102包括与云2104通信的至少一个外科集线器2106，该云可包括远程服务器2113。执行过程4760的一个或多个方面的控制电路可以是可视化系统(例如，可视化系统100、160、500、2108)的部件。

在一种情况下，临床医生可向外科可视化系统(诸如外科可视化系统2100)提供指示器官中要被切除的部分的输入。在一种情况下，临床医生可在器官的虚拟3D构造(诸如在过程4100期间生成4104的虚拟3D构造)上绘制切除路径。在其他情况下，可视化系统可叠加在本文其他地方更详细描述的手术布局计划，该手术布局计划可以是建议的治疗路径的形式。建议的治疗路径可基于正在执行的外科手术的类型。在一个实施方案中，建议的治疗路径可推荐不同的起始点，并推荐临床医生可在类似于本文其他地方描述的切除路径4146、4147、4148之间选择的不同切除路径。所推荐的切除路径可由可视化系统确定，从而避开某些关键结构诸如动脉。临床医生可选择所推荐的切除路径，直到移除器官的部分的期望切除路径完成。

在一种情况下，外科可视化系统可基于所选择的切除路径来确定器官的估计容量减少量。在沿切除路径切除预先确定的部分之后，临床医生可能希望使用非可视化数据来证实容量的实际减少与基于可视化数据的估计容量减少量相对应。在一个实施方案中，可使用如上文关于器官是肺的过程4750所描述的类似手术来完成此证实。在肺切除之前4802和肺切除之后4804测量肺容量峰值，并比较肺容量峰值的变化以确定肺容量峰值的实际下降。在一个示例中，外科可视化系统可基于临床医生所推荐的切除路径来估计肺容量峰值减少17％。在切除之前，临床医生可记录6L的肺容量峰值(时间t

此外，控制电路可被配置成能够基于可视化数据和非可视化数据来测量器官效率。在一个方面，可通过将可视化数据与切除该部分之前和之后的非可视化数据的差异进行比较来确定器官效率。在一个示例中，可视化系统可基于临床医生的期望切除路径来估计肺容量峰值减少17％。呼吸机可被配置成能够在切除该部分之前和切除该部分之后测量肺容量峰值。在图41C所示的情况下，存在肺容量峰值的约17％下降(6L到5L)。由于实际的肺容量下降(17％)与估计的肺容量下降(17％)接近1:1，所以临床医生可确定肺在功能上是有效的。在另一个示例中，可视化系统可基于临床医生的期望切除路径来估计肺容量峰值减少17％。然而，作为示例，呼吸机可测量大于17％(诸如25％)的肺容量峰值下降。在这种情况下，临床医生可确定肺在功能上不是有效的，因为切除肺的该部分导致肺容量峰值比预期下降更大。

如上文关于过程4750、4760所描述的，临床医生可使用非可视化数据(例如，通过使用呼吸机来在切除肺的一部分之前和之后测量肺容量峰值)来证实可视化数据。使用非可视化数据证实可视化数据的另一个示例是通过二氧化碳图。

图42示出了测量由患者呼出的二氧化碳分压(PCO

利用如图42所示的呼吸机数据，临床医生可随时间监测患者的PCO

在其他情况下，临床医生可利用非可视化/PCO

还可在除立即切除4814之外的时间，例如在切除之后一分钟4816(例如，在时间t

此外，控制电路可被配置成能够基于可视化数据和非可视化数据来测量器官效率。在一个方面，可通过将可视化数据与切除该部分之前和之后的非可视化数据的差异进行比较来确定器官效率。在一个示例中，可视化系统可基于临床医生的期望切除路径来估计肺容量减少17％。呼吸机可被配置成能够在切除该部分之前和切除该部分之后测量PCO

除了上文所述的肺容量峰值和PCO

如上所述，可能期望利用来自非可视化系统的非可视化数据来证实从外科可视化系统(例如，可视化系统100、160、500、2108)导出的可视化数据。在上述示例中，非可视化数据提供用于在已切除器官的一部分之后证实可视化数据的装置。在一些情况下，可能期望在切除器官的一部分之前使用非可视化数据补充可视化数据。在一个示例中，非可视化数据可与可视化数据一起使用，以帮助确定要被手术的器官的特征。在一个方面，特征可以是可能不适于切割的器官组织的异常。非可视化数据和可视化数据可帮助告知外科可视化系统和临床医生在规划器官切除路径时要避开的区域。这可有助于肺段切除术或无裂隙的复杂肺叶切除术。

图43示出了根据本公开的至少一个方面的过程4850的逻辑流程图，该过程用于基于可视化数据和非可视化数据检测组织异常。过程4850通常在外科手术期间执行。过程4850可包括在器官的第一状态下从外科可视化系统接收4852第一可视化数据，以及确定4854器官在第一状态下的非可视化参数的第一值。过程4850可进一步包括在器官的第二状态下从外科可视化系统接收4856第二可视化数据，以及确定4858器官在第二状态下的非可视化参数的第二值。该过程还可包括基于第一可视化数据、第二可视化数据、非可视化参数的第一值和非可视化参数的第二值来检测4860组织异常。

过程4850的一个或多个方面可由本公开描述的控制电路(例如，控制电路132、400、410、420、602、622、2108、4620)中的一个或多个控制电路执行。在至少一个示例中，过程4850的一个或多个方面由控制电路(例如，图2A的控制电路400)执行，该控制电路包括处理器和存储计算机可执行指令集的存储器，该计算机可执行指令集在由该处理器执行时使该处理器执行过程4850的一个或多个方面。另外或另选地，过程4850的一个或多个方面可由组合逻辑电路(例如，图2B的控制电路410)和/或顺序逻辑电路(例如，图2C的控制电路420)执行。此外，过程4850的一个或多个方面可由具有任何合适的硬件和/或软件部件的任何合适的电路执行，这些硬件和/或软件部件可位于本公开所描述的各种合适的系统中或与其相关联。

在各个方面，过程4850可通过计算机实现的交互式外科系统2100(图19)实现，该计算机实现的交互式外科系统包括一个或多个外科系统2102和基于云的系统(例如，可包括耦接到存储装置2105的远程服务器2113的云2104)。每个外科系统2102包括与云2104通信的至少一个外科集线器2106，该云可包括远程服务器2113。执行过程4850的一个或多个方面的控制电路可以是可视化系统(例如，可视化系统100、160、500、2108)的部件。

图44A示出了处于第一状态4862的患者的右肺4870。在一个示例中，第一状态4862可以是收缩状态。在另一个示例中，第一状态4862可以是塌缩状态。成像装置4872被示出通过患者胸壁4876中的腔4874插入。临床医生可利用成像装置4872将光的图案4882发射4880到右肺4870的表面上，诸如条纹、网格线和/或点，以使得能够确定患者右肺4870的表面的形貌或全景。成像装置在各个方面可类似于成像装置120(图1)。如本文其他地方所述，投影光阵列用于确定由患者右肺4870的表面限定的形状，和/或术中患者右肺4870的运动。在一个实施方案中，成像装置4782可耦接到控制系统133的结构化光源152。在一个实施方案中，外科可视化系统诸如外科可视化系统100可利用如本文其他地方所述的控制电路133的表面映射逻辑136，以确定患者右肺4786的表面的形貌或全景。在右肺4870的第一状态4862下，呼吸机可用于测量右肺4870的参数，诸如第一状态压力(P

图44B示出了处于第二状态4864的患者的右肺4870。在一个示例中，第二状态4864可以是部分膨胀状态。在另一个示例中，第二状态4864可以是完全膨胀状态。成像装置4872可被配置成能够继续将光的图案4882发射4880到肺4870的表面上，从而能够确定患者右肺4870的表面在第二状态4864下的形貌或全景。在右肺4870的第二状态4864下，呼吸机可用于测量右肺4870的参数，诸如大于第一状态4862压力P

基于从外科可视化系统和成像装置4872确定的表面形貌，以及从呼吸机(压力/体积)确定的非可视化数据，外科可视化系统可被配置成能够确定右肺4870的组织异常。在一个示例中，在第一状态4862下，成像装置4872可确定右肺4870的第一状态4662形貌(在图44A中示出并且在图44C中更详细地示出)，并且呼吸机可确定第一状态压力/体积。在第二状态4864下，成像装置4872可确定右肺4870的第二状态4864形貌(在图44B中示出并且在图44D中更详细地示出)，并且呼吸机可确定由于肺部分或完全膨胀而导致的大于第一状态压力/体积的第二状态压力/体积。基于已知的压力/体积增加，可视化系统可被配置成能够监测右肺4870根据已知的压力/体积增加的形貌变化。在一个方面，来自呼吸机的此压力/体积测量可与右肺4870的表面变形相关，以识别肺内的疾病区域，从而帮助告知缝合器放置。

在一个方面，参考图44B和图44D，其中压力从P

在一个示例中，患者可能患有肺气肿，这是一种导致呼吸急促的肺部疾病。在患有肺气肿的人中，肺(肺泡)中的气囊被损坏，并且随着时间的推移，气囊的内壁变弱并破裂，从而产生更大的空气空间而不是许多小的空气空间。这减少了用于O

随着具有肺气肿的肺的膨胀和收缩，与健康组织相比，具有表面下空隙的区域随着压力的变化将具有不同的变形量。利用上述过程4850，可检测具有表面下空隙的这些薄弱组织区域，以告知临床医生他们应避免缝合穿过这些区域，这可降低术后空气泄漏的可能性。此过程4850的组织变形能力将允许检测这些差异，从而允许在放置缝合器时引导外科医生。

在第二示例中，患者可患有癌症。在手术之前，肿瘤可能已被辐照过，这损害了组织以及周围的组织。辐照会改变组织的特性，通常会使其更硬且更不可压缩。如果外科医生需要在该组织上进行缝合，则在选择钉重新装载类型时应当考虑组织硬度的变化(例如，较硬的组织将需要较高成形的钉)。

当肺膨胀和收缩时，与健康组织相比，具有较硬组织的区域将具有不同的变形量，因为肺在这些区域的顺应性较差。此过程4850的组织变形能力将允许检测这些差异，从而允许在放置缝合器以及选择仓/重新加载颜色时引导外科医生。

在另一方面，存储器(诸如存储器134)可被配置成能够存储已知压力和体积的肺的表面形貌。在这种情况下，成像装置诸如成像装置4872可发射光的图案以确定患者肺的表面在第一已知压力或体积下的形貌。外科系统诸如外科系统2100可被配置成能够将已知的第一压力或体积下的第一确定的形貌与存储在存储器134中在给定的第一压力或体积下的形貌进行比较。基于该比较，可视化系统可被配置成能够仅在单个状态下指示组织的潜在异常。可视化系统可记录这些潜在的异常区域，并且继续确定在第二已知压力或体积下的患者肺表面的形貌。可视化系统可将第二确定的表面形貌与存储在存储器中在第二给定压力或体积下的形貌和在第一已知压力或体积下确定的形貌进行比较。如果可视化系统确定与第一确定的潜在的异常区域叠加的潜在的异常区域，则可视化系统可被配置成能够基于第一和第二已知压力或体积下的比较来以更大的置信度将叠加区域指示为潜在异常。

除了上述之外，可将来自呼吸机的PO

在另一个实施方案中，可将当前跟踪/手术信息与术前计划模拟进行比较。在具有挑战性或高风险的手术中，临床医生可利用术前患者扫描来模拟手术方法。此数据集可在显示器(诸如显示器146)中与实时测量值进行比较，以帮助外科医生能够遵循基于训练运行的特定术前计划。这将需要在术前扫描/模拟和当前可视化之间匹配基准界标的能力。一种方法可简单地使用对象的边界跟踪。对当前装置-组织相互作用如何与先前相互作用(每个患者)或预期相互作用(数据库或过去的患者)进行比较以进行组织类型辨别、相对组织变形评估或表面下结构差异的见解可存储在存储器诸如存储器134中。

在一个实施方案中，表面几何形状可以是工具位置的函数。当每次工具位置的变化都没有测量到表面几何形状的变化时，可选择表面参考。当工具与组织相互作用并使表面几何形状变形时，外科系统可计算作为工具位置的函数的表面几何形状的变化。对于与组织接触时工具位置的给定变化，组织几何形状的变化在具有表面下结构(诸如关键结构4884)的区域中与在没有这种结构的区域(诸如表面下空隙4886)中可能不同。在一个示例诸如胸腔手术中，这可在气道上方而不是仅在实质中。外科系统可使用外科可视化系统针对给定患者计算工具位置变化相对于表面几何形状变化的运行平均值，从而给出特定于患者的差异，或者可将该值与第二组先前收集的数据进行比较。

本文所公开的各种外科可视化系统可用于以下临床应用中的一种或多种临床应用中。以下临床应用是用于本文所公开的各种外科可视化系统中的一个或多个外科可视化系统的非穷举性和仅例示性应用。

如本文所公开的外科可视化系统可用于多种不同类型的手术中，以用于例如不同的医学专业，诸如泌尿科、妇科、肿瘤科、结肠直肠科、胸科、肥胖科/胃科和肝胰胆管科(HPB)。例如，在泌尿手术(诸如前列腺切除术)中，例如可在脂肪中检测输尿管，或者可在脂肪中检测结缔组织和/或神经。例如，在妇科肿瘤手术(诸如例如子宫切除术)中，以及在结肠直肠手术(诸如例如低位前切除(LAR)手术)中，可在脂肪和/或结缔组织中检测到输尿管。例如，在胸部手术(诸如叶切除术)中，可在肺或结缔组织中检测到血管，并且/或者可在结缔组织中检测到神经(例如，食管造口术)。在肥胖手术中，可在脂肪中检测到血管。例如，在HPB手术(诸如肝切除术或胰切除术)中，可在脂肪(肝外)、结缔组织(肝外)中检测到血管，并且可在薄壁(肝脏或胰腺)组织中检测到胆管。

在一个示例中，临床医生可能想要摘除子宫内膜肌瘤。根据术前磁共振成像(MRI)扫描，临床医生可知道子宫内膜肌瘤位于肠的表面上。因此，临床医生可能想要在术中知道哪些组织构成肠的一部分以及哪些组织构成直肠的一部分。在此类情况下，如本文所公开的外科可视化系统可指示不同类型的组织(肠与直肠)，并且经由成像系统将该信息传达给临床医生。此外，成像系统可确定外科装置与所选组织的接近度并传送该接近度。在此类情况下，外科可视化系统可提供增加的手术效率而没有严重的并发症。

在另一个示例中，临床医生(例如，妇科医生)可保持远离某些解剖区域以避免太靠近关键结构，并且因此临床医生可能无法摘除例如所有子宫内膜异位。如本文所公开的外科可视化系统可使得妇科医生能够降低太靠近关键结构的风险，使得妇科医生可用外科装置足够靠近以摘除所有子宫内膜异位，这可改善患者结果(使外科手术大众化)。此类系统可使得外科医生能够在外科手术期间“保持移动”而不是反复停止和重新开始，以便识别要避开的区域，例如特别是在施加治疗能量诸如超声或电外科能量期间。在妇科应用中，子宫动脉和输尿管是重要的关键结构，并且考虑到所涉及组织的呈现和/或厚度，系统对于子宫切除术和子宫内膜异位手术可能特别有用。

在另一个示例中，临床医生可能有在太近的位置处解剖血管的风险，并且因此这可能影响到除了目标叶之外的叶的血液供应。此外，患者与患者之间的解剖学差异可能导致解剖基于特定患者影响不同叶的血管(例如分支)。如本文所公开的外科可视化系统可使得能够识别期望位置处的正确血管，这使得临床医生能够以适当的解剖确定性进行解剖。例如，系统可确认正确的血管在正确的位置，并且然后临床医生可安全地将血管分开。

在另一个示例中，由于血管的解剖结构的不确定性，临床医生可能会在最佳位置处进行解剖之前进行多次解剖。然而，希望在第一种情况下在最佳位置进行解剖，因为更多解剖可增加出血的风险。如本文所公开的外科可视化系统可通过指示正确的血管和用于解剖的最佳位置来最小化解剖数量。例如，输尿管和主韧带很密集，并且在解剖期间会带来独特的挑战。在此类情况下，可能特别希望最小化解剖数量。

在另一个示例中，临床医生(例如，摘除癌性组织的外科肿瘤医生)可能希望知道关键结构的识别、癌症的定位、癌症的分期和/或组织健康的评估。此类信息超出临床医生用“肉眼”所见的内容。如本文所公开的外科可视化系统可在术中确定此类信息和/或将此类信息传达给临床医生，以加强术中决策并改善外科结果。在某些情况下，外科可视化系统可与例如使用内窥镜或外镜的微创外科手术(MIS)、开放式外科手术和/或机器人方法兼容。

在另一个示例中，临床医生(例如，外科肿瘤医生)可能想要关闭关于外科工具与一个或多个关键结构的接近度的一个或多个警示，以避免在外科手术期间过于保守。在其他情况下，临床医生可能想要接收某些类型的警示诸如触觉反馈(例如，振动/蜂鸣)以指示接近度和/或“禁飞区”，从而保持充分远离一个或多个关键结构。例如，如本文所公开的外科可视化系统可基于临床医生的经验和/或手术的期望进取性来提供灵活性。在此类情况下，系统提供“知道太多”和“知道足够多”之间的平衡以预期和避开关键结构。外科可视化系统可有助于在外科手术期间规划接下来的步骤。

本文所述主题的各个方面在以下编号的实施例中陈述。

实施例1.一种用于外科手术的外科系统，所述外科系统包括至少一个成像装置和控制电路，所述控制电路被配置成能够识别所述外科手术所靶向的解剖器官，基于来自所述至少一个成像装置的可视化数据生成所述解剖器官的至少一部分的虚拟三维(3D)构造，根据来自所述至少一个成像装置的所述可视化数据识别与所述外科手术相关的解剖结构，将所述解剖结构耦合到所述虚拟3D构造，并将基于所述解剖结构确定的所述外科手术的布局计划叠加到所述虚拟3D构造上。

实施例2.根据实施例1所述的外科系统，其中，所述可视化数据包括结构化光数据和光谱数据中的至少一者。

实施例3.根据实施例1或2所述的外科系统，其中，所述布局计划包括基于所述解剖结构确定的起始位置。

实施例4.根据实施例1或2所述的外科系统，其中，所述布局计划包括用于移除所述解剖器官的一部分的手术切除路径，并且其中基于所述解剖结构确定所述手术切除路径。

实施例5.根据实施例4所述的外科系统，其中，所述控制电路被配置成能够基于所述手术切除路径预测所述解剖器官的所得体积。

实施例6.根据实施例1至5中任一项所述的外科系统，其中，识别所述解剖器官的解剖结构包括区分所述解剖器官的组织类型。

实施例7.根据实施例1至6中任一项所述的外科系统，其中，基于存储的数据识别所述外科手术、所述解剖器官类型和所述解剖结构中的至少一者。

实施例8.根据实施例7所述的外科系统，其中，所述存储的数据包括术前数据、用户偏好数据和来自先前执行的外科手术的数据中的至少一者。

实施例9.一种用于在外科手术中与外科器械一起使用的外科系统，所述外科系统包括至少一个成像装置和控制电路，所述控制电路被配置成能够识别所述外科手术所靶向的解剖器官，根据来自所述至少一个成像装置的可视化数据识别与所述外科手术相关的解剖结构，以及推荐用于通过所述外科器械移除所述解剖器官的一部分的手术切除路径，其中基于所述解剖结构确定所述手术切除路径。

实施例10.根据实施例9所述的外科系统，其中，所述手术切除路径包括不同的起点。

实施例11.根据实施例9或10所述的外科系统，其中，所述手术切除路径产生不同的器官体积。

实施例12.根据实施例9至11中任一项所述的外科系统，其中，所述手术切除路径叠加在所述解剖器官的至少一部分的虚拟3D构造上。

实施例13.根据实施例9至12中任一项所述的外科系统，其中，所述可视化数据包括结构化光数据和光谱数据中的至少一者。

实施例14.根据实施例9至13中任一项所述的外科系统，其中，识别所述解剖器官的解剖结构包括区分所述解剖器官的组织类型。

实施例15.根据实施例9至14中任一项所述的外科系统，其中，基于存储的数据识别所述外科手术、所述解剖器官类型和所述解剖结构中的至少一者。

实施例16.根据实施例15所述的外科系统，其中，所述存储的数据包括术前数据、用户偏好数据和来自先前执行的外科手术的数据中的至少一者。

实施例17.一种用于在外科手术中与外科器械一起使用的外科系统，所述外科系统包括至少一个成像装置和控制电路，所述控制电路被配置成能够识别所述外科手术所靶向的解剖器官，根据来自所述至少一个成像装置的可视化数据识别与所述外科手术相关的解剖结构，推荐用于通过所述外科器械移除所述解剖器官的一部分的手术切除路径，其中基于所述解剖结构确定所述手术切除路径，以及在所述外科手术期间修改所述手术切除路径。

实施例18.根据实施例17所述的外科系统，其中，所述手术切除路径叠加在所述解剖器官的至少一部分的虚拟3D构造上。

实施例19.根据实施例17或18所述的外科系统，其中，所述可视化数据包括结构化光数据和光谱数据中的至少一者。

实施例20.根据实施例17至19中任一项所述的外科系统，其中，识别所述解剖器官的解剖结构包括区分所述解剖器官的组织类型。

尽管已举例说明和描述了多个形式，但是申请人的意图并非将所附权利要求的范围约束或限制在此类细节中。在不脱离本公开的范围的情况下，可实现对这些形式的许多修改、变型、改变、替换、组合和等同物，并且本领域技术人员将想到这些形式的许多修改、变型、改变、替换、组合和等同物。此外，另选地，可将与所描述的形式相关联的每个元件的结构描述为用于提供由所述元件执行的功能的器件。另外，在公开了用于某些部件的材料的情况下，也可使用其他材料。因此，应当理解，上述具体实施方式和所附权利要求旨在涵盖属于本发明所公开的形式范围内的所有此类修改、组合和变型。所附权利要求旨在涵盖所有此类修改、变型、改变、替换、修改和等同物。

上述具体实施方式已经由使用框图、流程图和/或示例阐述了装置和/或方法的各种形式。只要此类框图、流程图和/或示例包含一个或多个功能和/或操作，本领域的技术人员就要将其理解为此类框图、流程图和/或示例中的每个功能和/或操作都可以单独和/或共同地通过多种硬件、软件、固件或实际上它们的任何组合来实施。本领域的技术人员将会认识到，本文公开的形式中的一些方面可作为在一台或多台计算机上运行的一个或多个计算机程序(例如，作为在一个或多个计算机系统上运行的一个或多个程序)，作为在一个或多个处理器上运行的一个或多个程序(例如，作为在一个或多个微处理器上运行的一个或多个程序)，作为固件，或作为实际上它们的任何组合全部或部分地在集成电路中等效地实现，并且根据本公开，设计电路系统和/或编写软件和/或硬件的代码将在本领域技术人员的技术范围内。另外，本领域的技术人员将会认识到，本文所述主题的机制能够作为多种形式的一个或多个程序产品进行分布，并且本文所述主题的例示性形式适用，而不管用于实际进行分布的信号承载介质的具体类型是什么。

用于编程逻辑以执行各种所公开的方面的指令可存储在系统中的存储器内，诸如动态随机存取存储器(DRAM)、高速缓存、闪存存储器或其他存储器。此外，指令可经由网络或通过其他计算机可读介质来分发。因此，机器可读介质可包括用于存储或传输以机器(例如，计算机)可读形式的信息的任何机构，但不限于软盘、光学盘、光盘只读存储器(CD-ROM)、和磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、闪存存储器、或经由电信号、光学信号、声学信号或其他形式的传播信号(例如，载波、红外信号、数字信号等)在因特网上传输信息时使用的有形的、机器可读存储装置。因此，非暂态计算机可读介质包括适于以机器(例如，计算机)可读的形式存储或传输电子指令或信息的任何类型的有形机器可读介质。

如本文任一方面所用，术语“控制电路”可指例如硬连线电路系统、可编程电路系统(例如，计算机处理器，该计算机处理器包括一个或多个单独指令处理内核、处理单元，处理器、微控制器、微控制器单元、控制器、数字信号处理器(DSP)、可编程逻辑装置(PLD)、可编程逻辑阵列(PLA)、场可编程门阵列(FPGA))、状态机电路系统、存储由可编程电路系统执行的指令的固件、以及它们的任何组合。控制电路可以集体地或单独地实现为形成更大系统的一部分的电路系统，例如集成电路(IC)、专用集成电路(ASIC)、片上系统(SoC)、台式计算机、膝上型计算机、平板计算机、服务器、智能电话等。因此，如本文所用，“控制电路”包括但不限于具有至少一个离散电路的电子电路、具有至少一个集成电路的电子电路、具有至少一个专用集成电路的电子电路、形成由计算机程序配置的通用计算设备的电子电路(如，至少部分地实施本文所述的方法和/或设备的由计算机程序配置的通用计算机，或至少部分地实施本文所述的方法和/或设备的由计算机程序配置的微处理器)、形成存储器设备(如，形成随机存取存储器)的电子电路，和/或形成通信设备(如，调节解调器、通信开关或光电设备)的电子电路。本领域的技术人员将会认识到，可以模拟或数字方式或它们的一些组合实施本文所述的主题。

如本文的任何方面所用，术语“逻辑”可指被配置成能够执行前述操作中的任一者的应用程序、软件、固件和/或电路系统。软件可体现为记录在非暂态计算机可读存储介质上的软件包、代码、指令、指令集和/或数据。固件可体现为在存储器装置中硬编码(例如，非易失性)的代码、指令或指令集和/或数据。

如本文任一方面所用，术语“部件”、“系统”、“模块”等可指计算机相关实体、硬件、硬件和软件的组合、软件或执行中的软件。

如本文任一方面中所用，“算法”是指导致所期望结果的有条理的步骤序列，其中“步骤”是指物理量和/或逻辑状态的操纵，物理量和/或逻辑状态可(但不一定)采用能被存储、转移、组合、比较和以其他方式操纵的电或磁信号的形式。常用于指这些信号，如位、值、元素、符号、字符、术语、数字等。这些和类似的术语可与适当的物理量相关联并且仅仅是应用于这些量和/或状态的方便的标签。

网络可包括分组交换网络。通信装置可能够使用所选择的分组交换网络通信协议来彼此通信。一个示例性通信协议可包括可能够允许使用传输控制协议/因特网协议(TCP/IP)进行通信的以太网通信协议。以太网协议可符合或兼容电气和电子工程师学会(IEEE)于2008年12月发布的标题为“IEEE 802.3Standard”的以太网标准和/或本标准的更高版本。另选地或附加地，通信装置可能够使用X.25通信协议彼此通信。X.25通信协议可符合或兼容由国际电信联盟电信标准化部门(ITU-T)发布的标准。另选地或附加地，通信装置可能够使用帧中继通信协议彼此通信。帧中继通信协议可符合或兼容由国际电报电话咨询委员会(CCITT)和/或美国国家标准学会(ANSI)发布的标准。另选地或附加地，收发器可能够使用异步传输模式(ATM)通信协议彼此通信。ATM通信协议可符合或兼容ATM论坛于2001年8月发布的名为“ATM-MPLS Network Interworking 2.0”的ATM标准和/或该标准的更高版本。当然，本文同样设想了不同的和/或之后开发的连接取向的网络通信协议。

除非上述公开中另外明确指明，否则可以理解的是，在上述公开中，使用术语如“处理”、“估算”、“计算”、“确定”、“显示”的讨论是指计算机系统或类似的电子计算装置的动作和进程，其操纵表示为计算机系统的寄存器和存储器内的物理(电子)量的数据并将其转换成相似地表示为计算机系统存储器或寄存器或其他此类信息存储、传输或显示装置内的物理量的其他数据。

一个或多个部件在本文中可被称为“被配置成能够”、“可配置成能够”、“可操作/可操作地”、“适于/可适于”、“能够”、“可适形/适形于”等。本领域的技术人员将会认识到，除非上下文另有所指，否则“被配置成能够”通常可涵盖活动状态的部件和/或未活动状态的部件和/或待机状态的部件。

术语“近侧”和“远侧”在本文中是相对于操纵外科器械的柄部部分的临床医生来使用的。术语“近侧”是指最靠近临床医生的部分，术语“远侧”是指远离临床医生定位的部分。还应当理解，为简洁和清楚起见，本文可结合附图使用诸如“竖直”、“水平”、“上”和“下”等空间术语。然而，外科器械在许多取向和方位中使用，并且这些术语并非是限制性的和/或绝对的。

本领域的技术人员将认识到，一般而言，本文、以及特别是所附权利要求(例如，所附权利要求的正文)中所使用的术语通常旨在为“开放”术语(例如，术语“包括”应解释为“包括但不限于”，术语“具有”应解释为“至少具有”，术语“包含”应解释为“包含但不限于”等)。本领域的技术人员还应当理解，如果所引入权利要求表述的具体数目为预期的，则此类意图将在权利要求中明确表述，并且在不存在此类叙述的情况下，不存在此类意图。例如，为有助于理解，下述所附权利要求可含有对介绍性短语“至少一个”和“一个或多个”的使用以引入权利要求。然而，对此类短语的使用不应视为暗示通过不定冠词“一个”或“一种”引入权利要求表述将含有此类引入权利要求表述的任何特定权利要求限制在含有仅一个这样的表述的权利要求中，甚至当同一权利要求包括介绍性短语“一个或多个”或“至少一个”和诸如“一个”或“一种”(例如，“一个”和/或“一种”通常应解释为意指“至少一个”或“一个或多个”)的不定冠词时；这也适用于对用于引入权利要求表述的定冠词的使用。

另外，即使明确叙述引入权利要求叙述的特定数目，本领域的技术人员应当认识到，此种叙述通常应解释为意指至少所叙述的数目(例如，在没有其他修饰语的情况下，对“两个叙述”的裸叙述通常意指至少两个叙述、或两个或更多个叙述)。此外，在其中使用类似于“A、B和C中的至少一者等”的惯例的那些情况下，一般而言，此类构造意在具有本领域的技术人员将理解所述惯例的意义(例如，“具有A、B和C中的至少一者的系统”将包括但不限于具有仅A、仅B、仅C、A和B一起、A和C一起、B和C一起和/或A、B和C一起等的系统)。在其中使用类似于“A、B或C中的至少一者等”的惯例的那些情况下，一般而言，此类构造意在具有本领域的技术人员将理解所述惯例的意义(例如，“具有A、B或C中的至少一者的系统”应当包括但不限于具有仅A、仅B、仅C、A和B一起、A和C一起、B和C一起和/或A、B和C一起等的系统)。本领域的技术人员还应当理解，通常，除非上下文另有指示，否则无论在具体实施方式、权利要求或附图中呈现两个或更多个替代术语的转折性词语和/或短语应理解为涵盖包括所述术语中的一者、所述术语中的任一个或这两个术语的可能性。例如，短语“A或B”通常将被理解为包括“A”或“B”或“A和B”的可能性。

对于所附的权利要求，本领域的技术人员将会理解，其中表述的操作通常可以任何顺序进行。另外，尽管以一个或多个序列出了各种操作流程图，但应当理解，可以不同于所示顺序的其他顺序执行各种操作，或者可同时执行所述各种操作。除非上下文另有规定，否则此类替代排序的示例可包括重叠、交错、中断、重新排序、增量、预备、补充、同时、反向，或其他改变的排序。此外，除非上下文另有规定，否则像“响应于”、“相关”这样的术语或其他过去式的形容词通常不旨在排除此类变体。

值得一提的是，任何对“一个方面”、“一方面”、“一范例”、“一个范例”的提及均意指结合所述方面所述的具体特征部、结构或特征包括在至少一个方面中。因此，在整个说明书的各种位置出现的短语“在一个方面”、“在一方面”、“在一范例中”、“在一个范例中”不一定都指同一方面。此外，具体特征部、结构或特征可在一个或多个方面中以任何合适的方式组合。

本说明书提及和/或在任何申请数据表中列出的任何专利申请，专利，非专利公布或其他公开材料均以引用方式并入本文，只要所并入的材料在此不一致。因此，并且在必要的程度下，本文明确列出的公开内容代替以引用方式并入本文的任何冲突材料。据称以引用方式并入本文但与本文列出的现有定义、陈述或其他公开材料相冲突的任何材料或其部分，将仅在所并入的材料与现有的公开材料之间不产生冲突的程度下并入。

概括地说，已经描述了由采用本文所述的概念产生的许多有益效果。为了举例说明和描述的目的，已经提供了一个或多个形式的上述具体实施方式。这些具体实施方式并非意图为详尽的或限定到本发明所公开的精确形式。可以按照上述教导内容对本发明进行修改或变型。选择和描述的一个或多个形式是为了说明原理和实际应用，从而使本领域的普通技术人员能够利用适用于预期的特定用途的各种形式和各种修改。与此一同提交的权利要求书旨在限定完整范围。