用于眼部治疗期间的眼部追踪的系统及方法

摘要

用于在眼部治疗期间追踪眼部运动的示例系统包括配置为捕获眼部的多个图像的图像捕获装置。系统包括控制器，所述控制器包括接收来自图像捕获装置的多个图像的处理器。处理器实现多个追踪器。每个追踪器配置为检测多个图像中的相应特征并基于该相应特征来提供与眼部运动相关的相应数据集。由多个追踪器检测的相应特征相对于彼此正交，并且由多个追踪器提供的相应数据集彼此独立。处理器合并来自多个追踪器的数据集，并基于合并的数据集确定眼部运动的指示元。

说明书

相关申请的交叉引用

本申请要求2018年9月19日提交的美国临时专利申请号62/733,620的权益及优先权，所述美国临时专利申请的全部内容以引用的方式并入本文中。

背景

领域

本公开涉及用于眼部治疗的系统及方法，且更具体地涉及追踪眼部的移动来将治疗递送到期望的眼部区域的系统和方法。

相关技术的描述

交联治疗可用于治疗有诸如圆锥角膜之类的疾病的眼部。尤其，圆锥角膜是一种眼部退变性疾病，在该疾病中，角膜内的结构性改变导致角膜变弱并变成不正常的圆锥形。交联治疗可以加强并稳定因圆锥角膜而变弱的区域，并防止非期望的形状改变。

交联治疗也可用在诸如激光辅助原位角膜磨镶术(LASIK)手术之类的手术过程后。例如，由于由LASIK手术导致的角膜变薄和变弱，会发生被称为LASIK术后扩张(post-LASIK ectasia)的并发症。在LASIK术后扩张中，角膜经历进行性变陡(凸起)。相应地，交联治疗可以加强并稳定在LASIK手术后的角膜结构并防止LASIK术后扩张。

交联治疗还可用于引起角膜屈光变化，从而矫正诸如近视、远视、散光、不规则散光、远视眼等的疾病。

发明内容

由于交联过程会需要使角膜暴露于光活化光至少若干分钟(比如，一到三十分钟)，因此在该过程期间很可能发生一些眼部移动。为了解决眼部移动的发生，系统和方法会采用眼部追踪系统，以确定角膜位置的任何改变且作为响应调节照射系统，从而将光活化光精确地施加到指定的角膜区域。

用于在眼部治疗期间追踪眼部的运动的示例系统包括配置为捕获眼部的多个图像的图像捕获装置。系统包括一个或多个控制器，所述一个或多个控制器包括配置为执行存储在一个或多个计算机可读介质上的程序指令的一个或多个处理器。所述一个或多个处理器接收来自图像捕获装置的多个图像。一个或多个处理器实现多个追踪器。每个追踪器配置为检测多个图像中的相应特征并基于相应特征提供与眼部的运动相关的相应数据集。由多个追踪器检测的相应特征相对于彼此正交，并且由多个追踪器提供的相应数据集彼此独立。所述一个或多个处理器合并来自多个追踪器的数据集，并基于合并的数据集确定所述眼部的运动的指示元(indicator)。

由于眼部追踪中的错误会导致无效的治疗和/或对患者的损伤/伤害，因此在诸如交联治疗之类的医学治疗中的眼部追踪应该是稳健且准确的。由于各追踪器就多个图像中的正交(不重叠)图像特征获取信息并提供对眼部运动的独立估计，因此示例系统和方法是高度稳健的。这些独立估计比照彼此被分析，这用于减少误差方差并允许以更高的准确度获取对眼部运动的平滑估计。在追踪器有时因图像中的反射及其它阻挡而失效时，系统和方法会虑及(account for)由此类失效所致的错误及缺失信息，由此允许追踪继续。

附图说明

图1图示根据本公开的方面的示例系统，所述系统递送交联剂和光活化光到眼部的角膜以从而生成角膜胶原的交联。

图2图示根据本公开的方面的、带有眼部追踪系统的示例治疗系统。

图3图示根据本公开的方面的、可在由示例眼部追踪系统捕获的眼部的像素化图像中进行检测的特征。

图4图示根据本公开的方面的示例方法，所述方法采用集成追踪器(ensembletracker)来为眼部追踪系统追踪和处理所捕获的眼部图像中的多个特征。

图5A-B图示根据本公开的方面的示例方法，所述方法采用高级元启发式算法(higher-level meta-heuristic)来合并来自三个追踪器的数据以产生与眼部运动相关的最终估计。

图6图示根据本公开的方面的带有图像特征的示例帧，各图像特征被相应的追踪器采用，以基于图5A-B中图示的示例方法确定对于瞳孔中心位置的一致性/共识(consensus)。

图7图示根据本公开的方面的示例眼部追踪过程，所述眼部追踪过程产生这样的追踪，即随着一个时间序列的帧(a time series of frames)F

图8图示根据本公开的方面的、用于以如图7中所示的成熟追踪(Mature Track)来处理一系列帧F

图9A图示一示例图像，该图像捕获作为可能引起误差的现象的、不规则形状的瞳孔或瞳孔形状的改变。

图9B图示一示例图像，该图像捕获作为可能引起误差的现象的、因患者进行治疗所佩戴的面罩而造成的或因眼部被眼睑部分地阻挡而造成的阴影和反射。

图9C图示一示例图像，该图像捕获作为可能引起误差的现象的、供治疗使用的滴管和窥器。

图9D图示一示例图像，该图像捕获作为可能引起误差的现象的、由眼内植入物导致的瞳孔的变灰。

图9E图示一示例图像，该图像捕获作为可能引起误差的现象的、因植入式人工晶状体所致的不规则的反射图案。

图9F图示一示例图像，该图像捕获作为可能引起误差的现象的、诸如手指或滴眼器之类的遮挡。

尽管本公开易于有各种修改和替代形式，本公开的特定实施例已以示例的方式示出在附图中并将在本文中进行详细描述。然而，应理解的是，并不意图将本公开限于所公开的特定形式，而是相反，意图是涵盖落在本公开的精神内的所有的修改、等同物和替代物。

具体实施方式

图1图示出用于在眼部1的角膜2中生成胶原交联的示例治疗系统100。治疗系统100包括用于将交联剂130施加到角膜2的施加器132。在示例实施例中，施加器132可以是将光敏剂130作为滴剂施加到角膜2的滴眼器、注射器等等。在2017年4月13日提交且题为“Systems and Methods for Delivering Drugs to an Eye”的美国专利号10,342,697中描述了用于施加交联剂的示例系统和方法，所述美国专利的全部内容以引用的方式并入本文中。

交联剂130可提供在允许交联剂130传递通过角膜上皮2a并到达角膜基质2b中的下层区域的制剂中。替代地，角膜上皮2a可被去除或以其它方式被切开，以允许交联剂130被更加直接地施加到所述下层组织。

治疗系统100包括照射系统，所述照射系统具有光源110和用于将光引导到角膜2的光学元件112。光导致交联剂130光活化而在角膜2中生成交联活性。例如，交联剂可包括核黄素，并且光活化光可包括紫外线A(UVA)(例如，大约365nm)光。替代地，光活化光也可包括另外的波长，比如可见光波长(例如，大约452nm)。如以下进一步描述的，角膜交联通过按照光化学动力反应体系在角膜组织内创建化学键来改善角膜的强度。例如，核黄素和光活化光可被施加来稳定和/或加强角膜组织，以解决诸如圆锥角膜或LASIK术后扩张之类的疾病。

治疗系统100包括一个或多个控制器120，所述一个或多个控制器控制系统100的包括光源110和/或光学元件112的方面。在实施方式中，角膜2可被更加宽泛地处理为带有交联剂130(例如，利用滴眼器、注射器等)，并且来自光源110的光活化光可被选择性地引导到经处理的角膜2的遵照特定图案的区域。

光学元件112可包括一个或多个反射镜或透镜，所述一个或多个反射镜或透镜用于将光源110发射的光活化光引导和聚焦到角膜2上的特定图案。光学元件112可还包括滤光器，所述滤光器用于部分地挡阻光源110所发射的光的波长，并用于选择待被引导到角膜2来使交联剂130光活化的光的特定波长。此外，光学元件112可包括用于使光源110所发射的光束分离的一个或多个射束分离器，并且光学元件可包括用于吸收光源110所发射的光的一个或多个散热器。光学元件112还可将光活化光准确且精确地聚焦到角膜2内的特定焦平面、例如下层区域2b中期望有交联活性的特定深度处。

此外，光活化光的具体状况(regime)可被调变，以在角膜2的所选区域中实现期望的交联程度。一个或多个控制器120可用于控制光源110和/或光学元件112的操作，以按照以下的任何组合精确地递送光活化光：波长、带宽、强度、功率、位置、穿透深度和/或治疗持续时间(曝光周期的持续时间、暗周期以及曝光周期与暗周期持续时间的比)。

可调节用于交联剂130的光活化的参数，例如以缩减实现期望的交联所需的时间量。在示例实施方式中，时间可以从数分钟被缩减到数秒钟。尽管一些配置会以5mW/cm

治疗系统100的光学元件112可包括用以使光活化光的施加在空间和时间上调变的微机电系统(MEMS)器件，比如数字微镜装置(DMD)。利用DMD技术，来自光源110的光活化光以精确的空间图案被投射，所述空间图案通过以阵列方式布设在半导体芯片上的显微小反射镜被创建。每个反射镜代表所投射的光图案中的一个或多个像素。利用DMD，可以实施形貌(topography)导向交联。对DMD的按照形貌的控制可以采用若干种不同的空间与时间辐照度和剂量分布。这些空间和时间剂量分布可利用连续波照射创建，但也可经由脉冲照射调变，所述脉冲照射通过使照射源在变化的频率和占空比状况下作脉冲调制被实现。替代地，DMD可使不同的频率和占空比以逐个像素为基础进行调变，从而提供使用连续波照射的终极灵活性。或者替代地，脉冲照射与调变式DMD频率和占空比组合两者也可结合。这允许用于针对量的空间确定的角膜交联。该空间确定的交联可以与剂量测定法、干涉量度法、光学相干断层扫描法(OCT)、角膜形貌等相结合用于治疗前的计划和/或用于治疗期间对角膜交联的实时监测和调变。剂量测定系统的方面在以下进一步详细描述。此外，可将临床前患者信息与有限元生物力学计算机建模相结合来创建患者针对性的治疗前计划。

为了控制递送光活化光的方面，实施例还可采用多光子激发显微镜学的方面。尤其，不同于递送特定波长的单个光子到角膜2，治疗系统100可递送较长波长(即较低能量)的多个光子，所述多个光子相结合来引发交联。有利的是，较长的波长在角膜2内的散射程度低于较短的波长，这允许较长波长的光比较短波长的光更高效地透入角膜2。由于在较长波长下光敏剂对光的吸收少很多，因此在角膜内的较深深度处的对入射辐照的屏蔽作用比常规短波长照射也有所减少。这允许增强对深度针对性交联的控制。例如，在一些实施例中，可采用两个光子，其中每个光子携带对于激发交联剂130中的分子来生成以下进一步描述的光化学动力反应所需的能量的大约一半。当交联剂分子同时吸收两个光子时，它吸收足够的能量而在角膜组织中释放活性自由基。实施例也可采用较低能量的光子，使得交联剂分子必须同时吸收例如三个、四个或五个光子才能释放活性自由基。近乎同时地吸收多个光子的可能性不大，因此会需要高通量的激发光子，并且所述高通量可通过飞秒激光器递送。

大量的条件和参数影响角膜胶原与交联剂130的交联。例如，光活化光的辐照度和剂量影响交联的数量和速率。

当交联剂130是尤其核黄素时，UVA光可连续(连续波(CW))施加或作为脉冲光施加，并且这种选择对交联的数量、速率和程度有影响。如果UVA光作为脉冲光施加，则曝光周期的持续时间、暗周期以及曝光周期与暗周期持续时间之比对所得的角膜劲化(cornealstiffening)有影响。在所递送的能量的数量或剂量相同的情况下，脉冲光照射可用来产生与借助连续波照射可实现的相比更大或更小的角膜组织劲化。可以使用适当长度和频率的光脉冲来实现更加优化的化学放大。对于脉冲光治疗，开/关占空比可以在约1000/1至约1/1000之间；辐照度可以在约1mW/cm

治疗系统100可以通过以下方式生成脉冲光，即采用DMD、以电子方式接通和断开光源110、和/或使用机械快门或光电子(例如，Pockels盒)快门或机械斩波器或者旋转光圈。由于DMD的像素针对性调变能力和基于递送到角膜的调变频率、占空比、辐照度和剂量的随后的劲度赋予，复杂的生物力学劲度图案可被赋予角膜以允许用于各种程度(amount)的屈光矫正。这些屈光矫正例如可涉及起因于诸如圆锥角膜、透明边缘型疾病、LASIK术后扩张之类的眼科症征及角膜生物力学改变/变性的其它症征的近视矫正、远视矫正、散光矫正、不规则散光矫正、远视眼矫正和复杂角膜屈光表面矫正的组合。DMD系统及方法的特殊优点在于其允许用于随机异步脉冲形貌式图案化、创建非周期性且均匀显现的照射，这样的照射消除了2Hz与84Hz之间的脉冲频率触发光敏性癫痫发作或闪烁眩晕的可能性。

尽管示例实施例可采用阶梯式开/关脉冲光功能，然而理解的是，也可采用其它用于将光施加到角膜的功能来实现类似的效果。例如，光可按照正弦函数、锯齿函数或其它复杂的函数或曲线、或者函数或曲线的任何组合被施加到角膜。事实上，理解的是，函数可以是大体阶梯式的、其中在开/关值之间可存在更平缓的过渡。此外，理解的是，在关闭周期期间，辐照度不一定要降低到零值，而且可在关闭周期期间高于零。可通过按照在两个或更多个值之间变化辐照度的曲线将光施加到角膜，来实现期望的效果。

例如在2011年3月18日提交且题为“Systems and Methods for Applying andMonitoring Eye Therapy”的美国专利申请公开号2011/0237999、2012年4月3日提交且题为“Systems and Methods for Applying and Monitoring Eye Therapy”的美国专利申请公开号2012/0215155、以及2013年3月15日提交且题为“Systems and Methods forCorneal Cross-Linking with Pulsed Light”的美国专利申请公开号2013/0245536中描述了用于递送光活化光的系统及方法的示例，这些申请的全部内容以引用的方式并入本文中。

氧的添加也影响角膜劲化的量。在人体组织中，O

当核黄素吸收辐射能量、尤其是光时，核黄素经历光活化。核黄素光活化有两种光化学动力路径，即I型和II型。在2016年4月27日提交且题为“Systems and Methods forCross-Linking Treatments of an Eye”的美国专利申请公开号10,350,111中描述了在I型和II型机理两者中所涉及的反应以及生成交联活性的光化学动力反应的其它方面，所述美国专利申请的全部内容以引用的方式并入本文中。

为了治疗圆锥角膜或者例如为了实现屈光矫正，高效的交联过程将光活化光尽可能精确地施加到利用交联剂处理过的角膜的指定区域。光活化光在指定区域外的施加可能会使角膜中产生不希望的结构改变或损伤，并可能会对治疗结果有负面影响。然而，由于在手术期间可能发生的眼部运动，光活化光的精确施加可能难以实现。例如，这样的眼部移动可包括沿着如图1中所示的x-y平面的平移、凝视角度(gaze angle)的改变和/或整体(bulk)头部运动。(在图1中，角膜2的深度是沿着z轴线测量的，并且光活化光的图案可被投射在横向的x-y平面上。)由于交联手术可能需要使角膜暴露于光活化光至少若干分钟(例如，一到三十分钟)，因此在该过程期间很可能出现一些眼部的移动。

为了解决眼部移动的发生，实施例可采用眼部追踪系统，以确定角膜位置的任何改变且作为响应调节照射系统，从而将光活化光精确地施加到角膜的指定区域。图2A图示出带有眼部追踪系统250的示例治疗系统200。治疗系统200包括用于将光活化光引导到眼部1的角膜2的照射系统。照射系统包括如上所述的光源110和光学元件112。光源110例如可包括一个或多个LED，所述一个或多个LED发射UV光来使已被施加到角膜2的核黄素光活化。光学元件112使光活化光沿着x-y平面以精确的空间图案投射到角膜2上。此外，治疗系统200包括一个或多个控制器120，以控制治疗系统200的各方面。

眼部追踪系统250包括摄像机252(图像捕获装置)，所述摄像机动态地捕获眼部1在过程期间的多个图像20。每个图像20可对应于关于运动中的眼部1的视频中的一系列帧中的一幅。在一些实施例中，摄像机252可以是高速红外摄像机，并且图像20可以是像素化的数字图像。基本上，控制器120会处理图像20以检测眼部1的一个或多个几何结构特征相对于摄像机252及因此(相对于)治疗系统200的位置。利用所述一个或多个特征的位置作为参照，控制器120可确定角膜2的指定区域的位置。因此，控制器120可调节治疗系统200来将光活化光递送到所述指定区域的位置。眼部追踪系统250还包括由控制器120用来处理图像20的软件(例如，存储在非暂时性介质上的计算机可读指令)。

如上所述，由于眼部追踪中的错误会导致无效的治疗和/或对患者的损伤/伤害，因此在诸如交联治疗之类的医学治疗中的眼部追踪应是稳健且准确的。一些眼部追踪系统会依赖于在眼部的各图像中所捕获的来自角膜的光反射。例如，图3图示出示例反射28。然而，反射图案可能会为眼部追踪提供不可靠的基础。如在例如图9E中示出的，植入眼内的人工晶状体(IOL)可生成不规则的反射图案。另外，当通过用于在治疗期间限制眨眼的窥器而使眼部持续长时间保持张开时，角膜上的泪膜可能会破碎。干燥且破裂的泪膜(会)形成一反射表面，该反射表面在图像中产生明亮的图案并给基于反射的追踪系统带来更多挑战。因此，为了实现稳健且准确的眼部追踪，实施例采用不依赖于来自角膜的光反射的方法。

图3图示出由摄像机252捕获的、眼部的示例像素化图像20。尤其，图像20包括特征22、24、26。图像特征22对应于由虹膜括约肌和色素性维管基质形成的虹膜区域3中的低级解剖结构。这些解剖结构在图像20中显示为纹理，特别是当图像由高速红外摄像机捕获时。图像特征24对应于通过虹膜区域3与瞳孔区域4之间的对比度限定的、深色的大致圆形或者类似圆形的形状。图像特征26对应于虹膜区域3与瞳孔区域4之间的大致圆形的边界。控制器120可检测图像特征22、24、26，并确定在一个时间序列的图像20上的所述图像特征22、24、26的形状和位置的变化。

眼部追踪系统250可包括如图4中所示的集成追踪器454。尤其，集成追踪器454(如由控制器120实现)采用追踪器A、追踪器B和追踪器C来处理由高速红外摄像机捕获的红外图像20a。全部三个追踪器A、B、C利用局部像素信息非常快速地操作并可并发工作。从追踪器A、B、C中的任何一个可以非常快速地(例如，在几毫秒之内)获取对于眼部的帧间(frame-to-frame)运动估计。

追踪器A专门针对图像特征22(即，虹膜区域中的纹理)进行调适。追踪器A可采用Lucas Kanade Tomasi(LKT)特征追踪器的变型来估计虹膜区域3中的一组特征点的多尺度光流，所述特征点实质上是具有高空间频率的极值点。在追踪开始时检测这些特征点，并且当由于场景变化而丢失特征点时可自动补充这些特征点。

追踪器B专门针对图像特征24(即，虹膜与瞳孔之间的对比度)进行调适。利用在红外图像20a中瞳孔显现得比虹膜暗的事实，追踪器B可使用优化技术来寻找由被虹膜区域3中的较浅颜色的像素所包围的瞳孔区域4中的一系列像素形成的更深色的形状。追踪器B可采用稳健的统计资料来忽略因反射而出现的明亮和饱和像素，例如利用Huber型M估计器。

追踪器C专门针对图像特征26(即，虹膜-瞳孔边界)进行调适。追踪器C可通过对从红外图像20a获取的更高比例尺的边缘图拟合圆形或椭圆形的模型来检测圆形的瞳孔-虹膜边界。

如图4中所示，示例方法400采用集成追踪器454，所述集成追踪器合并来自追踪器A、B、C的数据，以从红外图像20a提供对眼部运动的更加稳健、准确和有效的估计。例如，利用基于与全部三个图像特征22、24、26相关的信息的集成平均运动，集成追踪器454可估计针对瞳孔的参数作为整体眼部运动的指示元。

集成追踪器454是高度稳健的，因为追踪器A、B、C被设计成就图像20a中的正交(不重叠)图像特征获取信息并提供对眼部运动的独立估计。这些独立估计比照彼此、利用高级元启发式过程进行分析，从而减少误差方差并允许以更高的准确度获取对眼部运动的平滑估计。有时，当追踪因反射和其它遮挡(如图9A-E中所示)而变得带有挑战时，追踪器A、B、C可能会失效。然而，高级元启发式过程可虑及因此类失效所致的错误及缺失信息，由此允许追踪继续。

集成追踪器454对在眼部1中发生的特征运动进行高效建模。眼部1的运动，范围从被称为跳动移动的高速激变运动到用于追踪低速移动物体的缓慢而平稳的追随移动。当凝视角度被重新定位时，眼部1还可能经受前庭眼反射和视动反射。另外，当随着物体沿深度(例如，沿着图1中所示的z轴线)移动而使物体维持在双眼视场的中心时，眼部1会经历聚散式移动。集成追踪器454足够快速且稳健而能够虑及在这些典型运动下的眼部几何结构的解剖学变化、虹膜反射率的变化以及瞳孔对比度的变化。

集成追踪器454虑及因在图像20捕获期间存在的照射反射而可能引入的追踪误差。有利地，示例方法400不依赖于照射的几何形状。例如，示例方法400提供高效的眼部追踪，无论照射是由点光源提供还是由环境/漫射光源提供、或者光源是同轴的还是离轴的。尤其，示例方法400可摈弃(reject)从眼部的光学表面(即，角膜和晶状体的前表面和后表面)对光源的回复反射。通过使用高级元启发式算法来组合来自三个独立追踪器A、B、C的追踪数据，可以减少与运动相关的估计的误差方差，并提高追踪器的准确性，并且追踪速度可维持在超实时(即60Hz)条件下。

如上所述，追踪器A、B、C设计成就图像20a中的正交图像特征获取信息并提供与眼部运动相关的估计，集成追踪器454采用高级元启发式算法，以管理追踪器A、B、C并合并来自追踪器A、B、C的数据，以便产生与眼部运动相关的、净估计误差最小化的最终估计。图5A-B图示出示例方法500，方法500采用高级元启发式算法来产生与眼部运动相关的最终估计。眼部运动从眼部瞳孔参数(即，瞳孔中心位置和瞳孔半径)的变化来表示。一个时间序列的红外图像20a产生捕获眼部运动的帧F

可利用对瞳孔中心位置的第一估计508作为初始猜测，来初始化追踪器B和追踪器C。在行为510中，追踪器B通过利用梯度上升法求解优化问题而产生对瞳孔参数的第二估计512。尤其，瞳孔区域的像素强度(pixel intensity)和虹膜区域中的像素强度之间的对比度被最大化，以确定未知的瞳孔中心位置和半径。同时，在行为514中，追踪器C通过对边缘图拟合圆形瞳孔-虹膜边界来确定未知的瞳孔中心位置和半径而产生对瞳孔参数的第三估计516。

在判定518中，评估对瞳孔参数的估计508、512、516以确定它们是否相互一致。高级元启发式算法测量追踪器A、B、C所产生的对瞳孔参数的估计之间的偏差，并基于它们的一致性对它们进行排位。如果最不一致的估计偏离其它两个估计的量大于经验阈值，则这一个不一致的估计被认为是错误的并且被摈弃，并且在行为520中平均剩余的两个相互一致的估计来产生对帧F

总之，追踪器A、B、C设计成使得图像中大部分有用的信息都被用到。每个追踪器针对的是与其它追踪器使用的图像特征互斥且不重叠的特定图像特征。方法因此利用信息的正交片段获取多项测量，且然后以稳健的方式结合(合并)这些测量，从而减少因任何一项特征的不良测量而带来的误差。以这种方式，任何一项特征的失效完全不会影响到追踪器，并且误差方差总是因进行平均而有所减少。

图9A-F图示出可被捕获在图像20a中的并且可产生像差、噪声、失真、遮挡等的各种示例现象，这些现象可影响由追踪器A、B、C产生的估计508、512、516。这类现象可引起误差并导致如上所述的估计508、512、516之间的不一致。具体地，图9A图示出图像90a，图像90a捕获不规则形状的瞳孔或瞳孔形状的改变。图9B图示出图像90b，图像90b捕获因患者进行治疗所佩戴的面罩而造成的或因眼部被眼睑部分地阻挡而造成的阴影和反射。图9C图示出图像90c，图像90c捕获供治疗使用的滴管和窥器。图9D图示出图像90d，图像90d捕获由眼内植入物导致的瞳孔的变灰。图9E图示出图像90e，图像90e捕获因植入的IOL而产生的不稳定的反射图案。图9F图示出图像90d，图像90d捕获诸如手指或滴管之类的遮挡。

高级元启发式算法(如图5中所示)确定分别来自于追踪器A、B、C的估计508、512、516之间的一致性的程度/量(amount)，并尝试通过将各估计比照彼此进行分析来减小误差。如果在给定帧F

如图7中图示的，以上的眼部追踪过程可产生追踪702，追踪702随着一个时间序列的帧F

当追踪702处于初期追踪状态时，对相应帧的处理较慢并且更加详尽，以确保真正地建立追踪702并避免错误的开始。尤其，对每帧的整个图像进行独立搜索(全局搜索)以获取分开的对瞳孔参数的估计。这样，在追踪702的早期阶段，对相继的帧的估计可比照彼此被分析，以验证跨各帧的时间一致性。各帧经历该较慢的、更加详尽的处理，直到对于经验阈值数目(N)幅帧建立起时间一致性为止。在建立起该时间一致性之后，追踪702进入成熟追踪状态。如果一致性检查在任何时候都失败，则该过程重新开始，并且在N个相继的帧被查明为一致之前，追踪702不能被认为处于成熟追踪状态。

在追踪702进入成熟追踪状态之后，可按照示例方法500来处理帧。如上所述，在前一帧F

图8图示出在追踪处于成熟追踪状态时用于处理一系列帧F

如上所述，根据本公开的一些方面，上述和图示的过程中的一些或全部步骤可在控制器(例如，控制器120)的控制下自动进行或指导进行。一般地，控制器可实现为硬件元件和软件元件的组合。硬件方面可包括操作耦接的硬件部件的组合，包括微处理器、逻辑电路、通信/网络端口、数字滤波器、存储器或逻辑电路。控制器可被调适来实施由计算机可执行代码指定的操作，所述计算机可执行代码可被存储在计算机可读介质上。

如上所述，控制器可以是执行软件或所存储的程序指令的可编程处理装置，比如外部常规计算机或板载现场可编程门阵列(FPGA)或数字信号处理器(DSP)。一般来说，本公开的各实施例用来进行任何处理或评估的物理处理器和/或机器可包括按照本公开示例实施例的教导被编程的一个或多个联网的或非联网的通用计算机系统、微处理器、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、微控制器等，如计算机和软件技术领域的技术人员所理解的。物理处理器和/或机器可以与图像捕获装置外部联网，或者也可以集成为驻设在图像捕获装置内。适宜的软件可由具有普通技能的程序员基于示例实施例的教导容易地制备，正如软件技术领域的技术人员所理解的。此外，示例实施例的装置和子系统可通过制备应用专用集成电路或通过使常规部件电路的适宜网络互连来实现，如电气技术领域的技术人员所理解的。因此，示例实施例不限于硬件电路和/或软件的任何特定组合。

被存储在任何一种计算机可读介质上或计算机可读介质的组合上，本公开的实施例可包括用于控制示例实施例的装置和子系统、用于驱动示例实施例的装置和子系统、用于使示例实施例的装置和子系统能够与人类用户交互的软件或者存储的程序指令。这样的软件可以包括但不限于装置驱动器、固件、操作系统、开发工具、应用软件等等。这样的计算机可读介质另外可包括本公开实施例的计算机程序产品，所述计算机程序产品用于实施在各实施方式中实施的处理的全部或者一部分(如果处理是分布式的)。本公开的示例实施例的计算机代码装置可包括任何适合的可解译或可执行的代码机制，包括但不限于脚本、可解译的程序、动态链接库(DLL)、Java类和小程序、完整可执行的程序等等。此外，本公开的示例实施例的部分处理可以是分布式的，以便有更好的性能、可靠性、成本等。

计算机可读介质的常见形式可包括例如软磁盘、软盘、硬盘、磁带、任何其它适合的磁性介质、CD-ROM、CDRW、DVD、任何其它适合的光学介质、打孔卡、纸带、光学标记片、任何其它适合的带有孔图案或其它光学可识别标志的物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其它适合的存储器芯片或盒、载波或者计算机可从中进行读取的任何其它适合的介质。

尽管已经参照一个或多个特定的实施例描述了本公开，然而本领域技术人员将理解的是，在不脱离本公开的精神和范围的情况下，可对这些实施例作出许多变化。这些实施例中的每个以及其明显的变型都被认为落在本公开的精神和范围内。还设想的是，根据本公开的方面的另外的实施例可以与来自本文中所描述的任何实施例的任何数目个特征结合。