首页> 中国专利> 生物标志表达的选择和显示

生物标志表达的选择和显示

摘要

实施例提供一种用户界面,包括用于显示对应于生物样本的图像或图像的部分的视场的图像面板、以及用于显示用于同时查看视场内的区的不同方面的缩略图像的生物标志面板。当选择或更新视场的所选区时,缩略图像可以相应地自动更新以显示新选择的区。图像面板可以包括用于对视场内的区描画的感兴趣区选择组件。感兴趣区选择组件可以覆盖在显示在图像面板中的视场的部分之上,并且可以被用户用来选择或更新显示在生物标志面板中的视场内的区。感兴趣的图像可以被保存到电子记录。

著录项

  • 公开/公告号CN104981798A

    专利类型发明专利

  • 公开/公告日2015-10-14

    原文格式PDF

  • 申请/专利权人 克拉里安特诊断服务公司;

    申请/专利号CN201380063700.9

  • 发明设计人 D.L.亨德森;M.S.拉扎尔;

    申请日2013-12-06

  • 分类号

  • 代理机构中国专利代理(香港)有限公司;

  • 代理人谢攀

  • 地址 美国加利福尼亚州

  • 入库时间 2023-12-18 11:19:06

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2022-01-21

    专利权的转移 IPC(主分类):G06F15/18 专利号:ZL2013800637009 登记生效日:20220111 变更事项:专利权人 变更前权利人:环球生命科技咨询美国有限责任公司 变更后权利人:莱卡微系统 CMS 有限责任公司 变更事项:地址 变更前权利人:美国马萨诸塞州 变更后权利人:德国韦茨拉尔

    专利申请权、专利权的转移

  • 2018-06-08

    授权

    授权

  • 2016-03-02

    专利申请权的转移 IPC(主分类):G06F15/18 登记生效日:20160215 变更前: 变更后: 申请日:20131206

    专利申请权、专利权的转移

  • 2015-12-30

    实质审查的生效 IPC(主分类):G06F15/18 申请日:20131206

    实质审查的生效

  • 2015-10-14

    公开

    公开

说明书

本申请在35 U.S. 119(e)之下要求于2013年10月11日提交的美国临时专利申请序号61/889,820、于2013年5月30日提交的61/828,890以及于2012年12月6日提交的61/734,032的优先权,这些申请的全部内容在此通过引用明确并入本文。

背景技术

被处理以揭示生物标志的表达的组织样本的检查是用于生物学调研和诊疗研究的已知工具。一种这样的处理牵涉到使用感兴趣的抗体或抗体替代品,诸如抗体碎片,其对于生物标志、常见蛋白是特定的。这样的抗体或抗体替代品可以利用能够在适当条件下生成信号的一部分来直接或间接标记。例如,荧光部分可以附接到抗体以针对荧光询问所处理的组织。所获得的信号通常指示所存在的生物标志的存在和量二者。

发明内容

依照一个示例性实施例,提供一种计算机实现的方法以用于显示生物样本的视场(field of view)中的一个或多个生物标志的表达水平。该方法包括将图形用户界面再现在视觉显示设备上。图形用户界面包括主图像面板和生物标志面板。该方法包括接收选择对应于所选生物样本的视场的用户输入,以及在主图像面板上再现对应于生物样本的所选视场的第一图像。该方法包括覆盖在主图像面板中的第一图像上而再现使得用户能够选择第一图像内的第一区的感兴趣区选择组件。该方法还包括在生物标志面板上再现对应于第一图像中的第一区的缩略图像的第一集合,缩略图像的第一集合表示生物标志的集合的表达水平。该方法还包括在主图像面板上接收选择第一图像中的第二区的用户输入,并且基于选择第一图像中的第二区的用户输入来更新生物标志面板,以利用对应于第一图像中的第二区并表示生物标志的集合的表达水平的缩略图像的第二集合来替换缩略图像的第一集合。

依照另一示例性实施例,提供一种计算机系统以用于显示生物样本的视场中的一个或多个生物标志的表达水平。该计算机系统包括用于显示图形用户界面的视觉显示设备,以及耦合到视觉显示设备的计算机处理器。计算机处理器被编程或配置为在视觉显示设备上再现图形用户界面,图形用户界面包括主图像面板和生物标志面板。计算机处理器被编程或配置为接收选择对应于所选生物样本的视场的用户输入,并且在主图像面板上再现对应于生物样本的所选视场的第一图像。计算机处理器被编程或配置为覆盖在主图像面板中的第一图像上而再现使得用户能够选择第一图像内的第一区的感兴趣区选择组件。计算机处理器还被编程或配置为在生物标志面板上再现对应于第一图像中的第一区的缩略图像的第一集合,缩略图像的第一集合表示生物标志的集合的表达水平。计算机处理器还被编程或配置为在主图像面板上接收选择第一图像中的第二区的用户输入,并且基于选择第一图像中的第二区的用户输入来更新生物标志面板,以利用对应于第一图像中的第二区并表示生物标志的集合的表达水平的缩略图像的第二集合来替换缩略图像的第一集合。

依照另一示例性实施例,提供一个或多个非暂时性计算机可读介质。非暂时性计算机可读介质具有编码在其上的一个或多个计算机可执行指令,所述指令当在计算设备上被执行时执行一种用于显示生物样本的视场中的一个或多个生物标志的表达水平的方法。该方法包括在视觉显示设备上再现图形用户界面。图形用户界面包括主图像面板和生物标志面板。该方法包括接收选择对应于所选生物样本的视场的用户输入,并且在主图像面板上再现对应于生物样本的所选视场的第一图像。该方法包括覆盖在主图像面板中的第一图像上而再现使得用户能够选择第一图像内的第一区的感兴趣区选择组件。该方法还包括在生物标志面板上再现对应于第一图像中的第一区的缩略图像的第一集合,缩略图像的第一集合表示生物标志的集合的表达水平。该方法还包括在主图像面板上接收选择第一图像中的第二区的用户输入,并且基于选择第一图像中的第二区的用户输入来更新生物标志面板,以利用对应于第一图像中的第二区并表示生物标志的集合的表达水平的缩略图像的第二集合来替换缩略图像的第一集合。

依照另一示例性实施例,所显示的图像可以被捕获和更新到可检索的记录中。

附图说明

通过参考结合附图考虑的以下描述,示例性实施例的前述和其它目标、方面、特征和优点将变得更明显并且可以更好地理解,其中:

图1A-1C图示了用于存储生物标志表达数据的示例性数据结构。

图2图示了用于显示生物样本的一个或多个视场的示例性用户界面。

图3图示了图2的用户界面,其在主图像面板中显示视场中的生物标志的表达水平。

图4图示了图3的用户界面,其显示被分为相对于彼此水平布置的两个图像子面板的主图像面板。

图5图示了图3的用户界面,其显示被分为相对于彼此竖直布置的两个图像子面板的主图像面板。

图6图示了图4的用户界面,其显示其中左子面板示出视场的左部中的生物标志的表达水平并且右子面板示出视场的右部中的形态学特征的图像。

图7图示了图6的用户界面,其显示可以被用于调整两个或更多图像子面板的大小的滑块(slider)组件。

图8是用于提供生物样本的视场的分屏显示的示例性计算机实现的方法的流程图。

图9A和9B图示了用于存储显示图4的图像子面板所需的图像数据的示例性数据结构。

图10图示了用于显示主图像面板和包括生物标志表达数据的一个或多个缩略图像的生物标志面板的用户界面。

图11图示了图10的用户界面,其以不同变焦(zoom)水平在主图像面板中显示不同视场。

图12图示了图10的用户界面,其中感兴趣的形态学特征在主图像面板中落在感兴趣区选择组件的边界之外。

图13图示了图12的用户界面,其中感兴趣的形态学特征在主图像面板中落在感兴趣区选择组件的边界之内。

图14图示了用于显示主图像面板和包括生物标志表达数据的一个或多个缩略图像的生物标志面板的用户界面。

图15是用于显示生物样本的视场中的一个或多个生物标志的表达水平的示例性计算机实现的方法的流程图。

图16图示了用于显示生物样本的视场的分屏视图以及包括对应于视场的区的生物标志表达数据的一个或多个缩略图像的生物标志面板的用户界面。

图17是在示例性实施例中可使用的示例性网络环境的框图。

图18示出图示了被编程为执行本文所描述的用户界面的任何一个的客户端计算设备与拼块(tile)图像数据服务器之间的交互的示例性流程图。

图19示出了可以由客户端计算设备生成的图像度量请求的示例。

图20示出了针对图19的图像度量请求的基于XML的响应的示例。

图21示出了可以由客户端计算设备生成的拼块图像请求的示例。

图22是图示了被编程为执行本文所描述的用户界面的任何一个的客户端计算设备与拼块图像数据服务器之间的交互的流程图。

图23是在示例性实施例中可使用的示例性计算设备的框图。

图24描绘了本发明的交替查看器。

图25描绘了图24的查看器的部分图像上的以10倍放大率取得的玻片(slide)上的样品的分子H&E图像。

图26描绘了图24的查看器上的CD30的mDAB图像的10倍显示。

图27示出了在查看面板中呈现缩略图像的该功能。

图28描绘了以40倍分辨率获得的多个单色图像的混色。

图29还描绘了由本发明提供在图28的查看面板的部分视图上的混合界面。

图30描绘了本发明的数字棱镜的交替实施例。

图31描绘了选择一个面板上的mDAB CD30图像,以及图28的查看面板的部分视图上的相邻面板中的mDAB Pax5图像。

图32描绘了图31的两个图像的可选择取向。

图33描绘了针对区分被选择用于在图28的查看面板的部分视图上查看的两个图像的条(bar)的一个可选择位置。

图34示出了使用本发明的快照(snapshot)捕获特征所捕获的感兴趣的两个不同区,如在主显示上的两个框中所概述的。

图35描绘了本发明允许使用本发明的快照特征捕获所有缩略图像。

图36描绘了本发明允许使用本发明的快照特征捕获整个场。

图37描绘了使用本发明的标注标签的所捕获的缩略图像的显示。

图38描绘了以列表格式的所捕获的图像的显示。

图39描绘了病理学者能够将所有捕获的图像上载到病例报告中。

具体实施方式

本文所公开的实施例包括用于选择性地可视化生物样本以及对应于生物样本的组织和数据(例如一个或多个生物标志的表达水平、一个或多个形态学特征、一个或多个图像分析方法的结果等)的方法、系统和设备。示例性实施例使得能够实现生物样本的结构化、又快速、灵活且用户友好的显示,其促进生物研究应用并且允许病理学者实现客观且可重复的诊断以及疾病或状况模型。

某些示例性实施例提供用于同时查看生物样本的所选视场的不同部分的分屏显示。取决于所显示的视场的分辨率,本发明预期到视场可以示出生物样本的图像的一部分或全部。预期到,在本发明的大多数应用中,将合期望的是,选择仅是生物样本图像的感兴趣的部分或较小区的视场,以便允许在图像面板中的生物样本图像的该部分的较高放大率显示。因而,当视场被表述为“对应于生物样本”时,本发明意指视场表示生物样本的图像、或图像的部分。分屏显示中的图像面板可以包括或被分成用于显示视场的两个或更多连续部分的两个或更多非重叠图像子面板,使得子面板针对视场的单个部分显示并且使得两个或更多子面板的联合协同地显示整个视场。视场的部分在子面板的边界处精确地且无缝地对准。不同显示类型可以被用于显示子面板中的视场的部分。不同显示类型可以包括但不限于一个或多个生物标志的表达、一个或多个形态学特征的显示、一个或多个分析结果的显示、以及作为一个或多个可视化类型的显示。

某些示例性实施例提供用户界面,其包括用于显示生物样本的视场的图像面板、以及用于显示用于同时查看视场内的区的不同方面(例如该区中的不同生物标志的表达水平)的缩略图像的生物标志面板。当选择或更新视场的所选区后,缩略图像可以相应地自动更新以显示新选择的区。图像面板可以包括感兴趣区选择组件以用于对视场内的区进行描画(delineate)。感兴趣区选择组件可以覆盖在主图像面板中所显示的视场的部分之上,并且可以被用户用来选择或更新显示在生物标志面板中的视场内的区。

示例性组织成像技术

本文所教导的实施例使用对应于可以通过已知技术(诸如着色-漂白-重新着色)生成的复用生物标志图像的生物图像数据。一般地,该技术牵涉到利用荧光标记探针对生物样本着色以生成用于一个或多个探针限度(bound)生物标志的信号,在化学上对这些信号进行漂白,以及对样本重新着色以生成用于一些附加生物标志的信号。化学漂白步骤是方便的,这是因为仅存在有限数目的信号,其可以容易彼此区分,因此可以在特定步骤中检查仅有限数目的生物标志。利用漂白,组织样品可以针对多个步骤被重新探测和重新评价。该循环方法可以在福尔马林固定的石蜡嵌入式组织(FFPE)样品和细胞上使用。样本的数字图像在每一个着色步骤之后被收集。样本的连续图像可以使用诸如DAPI着色的细胞核之类的形态学特征方便地保持在寄存器中,其信号不被化学漂白方法所修改。前述的是复用技术的一个示例,并且用来着色、漂白以及对样品成像的系统是复用平台的示例。

另一方案包括通过对冻结的生物样本迭代地着色并且在应用下一着色集合之前对来自之前的着色步骤的标记进行光子漂白来对所述冻结的生物样本进行检查。然后从适当的图像提取与所评价的每一个生物标志相关联的荧光信号的强度。

所生成的图像可以图示细胞的较大组织样品内的各个细胞对一个或多个生物标志的表达。组织样品可以是来自细胞培养的细胞分组或者器官、肿瘤或伤口的样品。组织样品还可以是已知为群组(cohort)的来自不同对象的类似组织的样本的分组的一部分。这些组织的分组可以表示一个或多个疾病或状况模型、疾病或状况模型内的不同阶段、或者针对疾病或状况的处理的一个或多个响应。

已经对组织处理和检查的技术进行细化,使得可以量化地确定特定细胞或甚至给定细胞的区室(诸如核、细胞质或膜)中的给定生物标识的表达水平。作为整体的细胞或这些区室的边界使用已知的组织学着色来定位。通常地,所处理的组织利用数字成像来检查,并且可以因此容易地量化源自不同生物标志的不同信号的水平。

生物样本的每一个着色的视场的图像使用已知的技术来生成,诸如利用耦合到适当的显微镜和适当的质量控制例程的数字摄像机。自动的图像配准和分析也可以被用来量化针对被描画的各个细胞、细胞的联合或者甚至子细胞区室(诸如核、细胞质和膜)的生物标志表达水平。由细胞或子细胞组成部分的复用化和图像分析产生的数据值可以单独地或与另外的分析(例如碎片分析)的结果结合地存储。数据库可以保存生物标志的表达水平(例如作为数据的不同通道),包括源样本的标识以及样本从其脱出的组织内的位置的标识。所标识的位置可以指示从其导出特定测量的特定细胞和/或组织,并且还可以包括与测量相关联的区室、核、细胞质或膜的标识。与其相关联的数据值可以存储在数据库中,该数据库可以维持在存储设备中或在联网服务器中。

在下文参照附图来描述示例性实施例。本领域一般技术人员将认识到,示例性实施例不限于说明性实施例,并且示例性系统、设备和方法的组件不限于以下所描述的说明性实施例。

用于存储生物图像数据的示例性数据结构

示例性实施例可以以允许以不同分辨率生成图像以用于显示在图形用户界面上的方式来存储关于生物样本的图像数据。生物样本的复用图像可以由计算设备处理以隔离用来形成复用图像的不同标记所对应的数据的不同通道。这些标记可以是生物标志和/或着色,其表达生物样本中的形态学特征(例如核、膜、细胞质)。

在示例性实施例中,对应于复用图像中的每一个通道的像素级图像数据可以存储在适于流送数据的拼块多分辨率或拼块金字塔数据结构中。在该数据结构中,对应于图像数据的相同通道的不同分辨率的多个图像以金字塔格式按照分辨率增加或减小的次序进行存储。在每一个分辨率水平处,图像的像素级数据被分成多个块或拼块。拼块多分辨率格式最大化数据访问和传输的速度和效率。各个图像拼块可以以最小服务器开销以任何分辨率快速地访问和流送,其在访问高分辨率图像数据方面尤其重要。也就是说,对应于一个或多个拼块序列的数据可以从数据存储发送并且由数据请求实体接收。由于数据以不同分辨率可用,所以图像处理不必使图像数据与所请求的分辨率水平一致。

在创建拼块多分辨率数据结构时,对应于单个数据通道的图像(例如单个生物标志)可以由计算设备处理,以便以不同分辨率生成相同图像的两个或更多版本。可以使用用于生成图像的较低分辨率版本的任何常规技术。对应于单个数据通道的图像然后可以以金字塔格式按照分辨率增加或减小的次序进行存储。图1A图示了用于存储生物样本中的第一生物标志的表达数据的拼块金字塔数据结构102;图1B图示了用于存储生物样本中的第二生物标志的表达数据的拼块金字塔数据结构104;并且图1C图示了用于存储生物样本中的第三生物标志的表达数据的拼块金字塔数据结构106。图1A的示例性数据结构102包括以分辨率增加的次序的对应于以四个不同分辨率水平的相同生物样本中的相同标记表达或形态上的数据的四个图像108、110、112、114。

一旦针对单个数据通道生成金字塔数据结构,则不同分辨率层处的每一个图像上的像素级数据被分为块或拼块。图像可以被分为任何适当数目的拼块。例如,图像可以被分为512像素宽乘以512像素高的拼块。存储拼块多分辨率数据结构的存储设备可以唯一地标识每一个数据结构以及数据结构中的每一个拼块以用于基于请求而快速访问。例如,数据结构中的每一个拼块可以在金字塔中的每一个水平处被索引和/或二维坐标可以与金字塔中的每一个水平处的每一个拼块相关联。

尽管结合拼块多分辨率数据存储结构描述了示例性实施例,但是本领域一般技术人员将认识到,也可以或者作为替换地使用其它适当的存储结构。

在一个实施例中,提供如本文所描述的用户界面的任何一个的计算设备可以包括用于将关于生物样本的图像数据存储在拼块多分辨率数据结构中的存储设备。

在另一实施例中,提供如本文所描述的用户界面的任何一个的计算设备可以从存储拼块多分辨率数据结构的远程服务器访问图像数据。在该情形中,运行用户界面的计算设备可以确定针对其目的而选择性需要的数据的拼块,并且可以从服务器仅请求选择性拼块。也就是说,在一些实施例中,关于整个生物样本的图像数据可以不被请求或预加载到用户界面中;但是相反,可以从服务器请求在给定时间所需的仅那些集合的图像数据。这最小化提供请求服务时的服务器开销并且减小需要传递到计算设备以用于其用户界面的图像数据的量,由此使用户界面快速且高效并且高度响应于用户输入和请求。响应于针对数据的请求,服务器可以访问所请求的数据的拼块,并且在一些情形中执行数据的分析或验证。服务器然后可以以流送的方式将数据拼块传递到计算设备。也就是说,对应于一个或多个拼块的序列的数据可以由服务器发送并且由请求数据的计算设备接收。

生物样本的示例性分屏显示

在一些示例性实施例中,使得分屏显示能够同时查看生物样本的所选视场的两个或更多部分或区的不同方面。更具体地,提供图像面板以用于显示生物样本的所选视场。分屏显示中的图像面板可以包括或被分成用于显示视场的两个或更多部分的两个或更多非重叠图像子面板,使得子面板显示视场的单个部分并且使得两个或更多图像子面板的联合协同地显示整个视场。视场的部分可以是连续的。视场的部分在子面板的边界处精确地且无缝地对准。在示例性实施例中,在生物样本的指定视场内,图像子面板可以是具有相同大小和分辨率水平的匹配集合。图像子面板可以被适当地配准,使得当视场被显示在分屏视图中时,组织特征跨子面板适当对准。

在其中提供两个图像子面板的一个示例中,第一子面板可以显示视场的两个部分中的第一个,并且第二子面板可以显示视场的两个部分中的第二个。甚至在被分成子面板之后,图像面板继续以无缝方式显示整个视场。对于所有实施例而言,本发明预期到,术语“无缝”和“连续”也可以应用于具有在子面板之间描画的边沿线的图像面板显示,使得边沿线覆盖在子面板的一个或两个邻接边缘之上或者使得子面板的邻接边缘跨所提供的边沿线的宽度分离。

在示例性实施例中,可以使用不同显示类型来在不同图像子面板中显示视场的部分。在示例性实施例中使用的不同显示类型可以包括但不限于一个或多个生物标志的表达、一个或多个形态学特征的显示、一个或多个分析结果的显示、根据一个或多个可视化类型的显示(例如二进制热图、离散热图、连续热图、灰色或彩色像素的灰度值的强度、两个或更多生物标志表达的混色)、任何上述类型的组合等。

在其中呈现两个图像子面板的一个示例中,第一子面板可以显示视场的第一部分中的第一生物标志的表达水平,并且第二子面板可以显示视场的第二部分中的第二生物标志的表达水平。在其中呈现两个图像子面板的另一示例中,第一子面板可以显示视场的第一部分中的生物标志的表达水平,并且第二子面板可以显示视场的第二部分中的一个或多个形态学特征。在其中呈现两个图像子面板的另一示例中,第一子面板可以显示视场的第一部分中的一个或多个形态学特征,并且第二子面板可以显示视场的第二部分中的一个或多个形态学特征。

由示例性实施例提供的分屏显示能力对于比较生物样本的不同方面在场的不同部分之上如何改变或变化而言是有用的。例如,分屏显示可以使得医疗专业人员或研究人员能够分析感兴趣的不同位置之上的不同生物标志或生物标志的组合(例如,表达一个或多个所成像的生物标志的细胞或细胞簇)。

分屏显示的有利特征在于,其不要求显示在主图像面板中的生物样本的图像或视场的图像在创建图像子面板之前完全加载到计算机存储器中。作为代替,用户可以选择视场的期望部分以用于在子面板中显示,这仅使得与用户选择相关的图像数据被选择性地加载到计算机存储器中以用于分屏显示。

本领域一般技术人员将认识到,可以使用不同显示类型的任何适当组合来在分割图像面板中显示视场。例如,图像面板的不同图像子面板可以被选择成显示零、一或多个不同生物标志表达;零、一或多个形态学特征;零、一或多个不同分析结果;零、一或多个不同可视化类型;或者以上的任何组合。

示例性图像面板可以基于包括但不限于以下各项的一个或多个因素而被分成或提供以任何适当数目的子面板:用户偏好、显示大小、显示分辨率等。在图像面板中形成或提供的子面板的示例性数目可以包括但不限于,1、2、3、4、5、6、7、8、9、10、11、12、13、14、15等。

图像面板可以被加载为预分割成同时显示在图像面板中的两个或更多图像子面板。可替换地,图像面板可以在接收到用户输入时或基于显示设置而被加载之后被分割。

两个或更多示例性图像子面板可以关于彼此以任何适当的方式组织在图像面板中,例如水平地、竖直地、以网格组织。图像子面板的空间组织可以对应于视场中的所显示的部分的空间组织,使得视场的部分在子面板的边界处精确地且无缝地对准。图像子面板适当地配准,使得当视场显示在分屏视图中时,组织特征适当地对准。例如,水平组织的左子面板和右子面板可以无缝地显示视场的左部和右部,而竖直组织的顶子面板和底子面板可以无缝地显示视场的顶部和底部。

图2-7图示了在本文中还被称为“查看器”的示例性图形用户界面(GUI)200,其可以被用来实现分屏显示,尽管可以使用其它适当的用户界面。图2图示了包括用于显示生物样本的视场的主图像面板202。用户可以选择期望的生物样本(例如玻片/点(spot))以用于在主图像面板202中显示。生物样本可以使用GUI 200、命令面板或任何其它适当器件来选择。

所选生物样本可以具有可以在GUI 200中显示的对应存储图像数据。显示类型选择组件204可以被用户用来选择可用于显示在主图像面板202中的一个或多个显示类型。在示例性实施例中使用的示例性显示类型可以包括但不限于,一个或多个生物标志的表达、一个或多个形态学特征的显示、一个或多个分析结果的显示、根据一个或多个可视化类型的显示(例如二进制热图、离散热图、连续热图、灰色或彩色像素的灰度值的强度、两个或更多生物标志表达的混色)、任何上述类型的组合等。例如,图2-7的显示类型选择组件204指示对于所选生物样本而言,VDAB可视化类型可用于CD30生物标志,灰度可视化类型可用于CD30生物标志,并且VHE图像是可用的。

当接收到针对所选生物样本的显示类型的用户选择(例如通过点击选择和/或将其拖拽到主图像面板202上)时,主图像面板202可以根据所选显示类型再现所显示的视场。图3图示了主图像面板202中的生物样本的视场的显示,其表示针对CD30生物标志的VDAB可视化类型。

当在主图像面板202中显示视场时,GUI 200可以被更新以包括图像导航组件206(在图3-7中图示),其显示在主图像面板202中显示的其视场为一部分的总生物样本的图像。图像导航组件206依照由用户选择的显示类型来显示生物样本,所述显示类型例如为用于图3中的CD30生物标志的VDAB可视化类型。

图像导航组件206可以包括图3-7中所图示的视场选择组件208(例如十字线或任何其它适当的组件),以用于对生物样本的总显示内的视场进行描画。这允许用户大体定位在总生物样本(在图像导航组件206中显示)中在何处可以找到视场(在主图像面板202中显示)。视场选择组件208可以是用于使得用户能够选择显示在图像导航组件206中的生物样本中的任何视场以使得主图像面板202被更新以显示所选视场的交互组件。类似地,用户可以使用视场选择组件208来以连续且平滑的方式浏览不同视场。用户可以选择视场选择组件208(例如通过利用鼠标光标点击它)并且将视场选择组件208拖放在新的不同视场上。在示例性实施例中,当通过释放光标而放下(drop)视场选择组件208时,主图像面板202可以自动更新以显示新的视场。在示例性实施例中,主图像面板202也可以在视场选择组件208被用户拖拽时自动更新。在一些实施例中,该更新可以在用户与用户界面交互时实时执行,或者可以可替换地在用户选择用于视场的新位置之后的某一时间延迟之后执行。

在一些实施例中,图像导航组件206小于主图像面板202并且提供生物样本的较低分辨率显示。在其它实施例中,图像导航组件206可以是与主图像面板202相同的大小或者比主图像面板202大。

如图3中所示,主图像面板202可以包括变焦输入工具210以用于允许用户输入特定变焦水平或相对变焦水平(例如使用变焦滑块和/或变焦按钮)。当前相对变焦水平可以采用变焦指示符212在图像面板上指示。在一些情形中,变焦水平可以被用户或自动地被系统重置为默认水平。在一些示例性实施例中,用户界面可以允许例如通过点击鼠标上的右键来直接在主图像面板202上的图像上使用定点设备进行放大和缩小。在一些示例性实施例中,用户界面可以允许使用键盘快捷键来放大和缩小,例如使用“Ctrl”键和“+”键的组合来放大并且使用“Ctrl”键和“-”键的组合来缩小。当主图像面板202根据新变焦水平而更新时,图像导航组件206中的视场选择组件208可以自动更新以对主图像面板202中所示出的经更新的视场正确地描画。在示例性实施例中,运行用户界面的计算设备可以确定新的变焦水平要求来自拼块多分辨率数据结构中的不同分辨率水平的图像数据,并且可以从分辨率水平检索图像数据的一个或多个拼块。

如图3中所示,主图像面板202可以包括用于扫视(pan)到生物样本中的新视场的扫视输入工具214。扫视输入工具214可以允许用户使用滑块输入生物样本中的特定扫视水平或相对扫视水平,以便调整显示在主图像面板202中的视场。在一些情形中,扫视设置可以被重置成在主图像面板202中显示初始所显示的视场。在一些示例性实施例中,用户界面可以允许直接在主图像面板202上使用定点设备来扫视,例如通过在图像之上点击鼠标上的左键,跨图像拖拽光标并释放它以显示新的视场。在一些示例性实施例中,用户界面可以允许使用键盘快捷键来扫视。

在一个实施例中,主图像面板202可以被更新以在释放光标时显示新的视场。在另一实施例中,主图像面板202可以在用户跨图像拖拽光标时以实时方式更新,或者可以可替换地在用户移动所选视场之后的某一时间延迟之后执行。在示例性实施例中,运行用户界面的计算设备可以确定要求图像数据的不同拼块集合来表示新的视场,并且可以从拼块多分辨率数据结构检索拼块集合。

在一些实施例中,扫视输入工具214还可以使得用户能够旋转显示在主图像面板202中的视场。

当主图像面板202被更新以显示新的视场时,图像导航组件206中的视场选择组件208可以自动更新以正确地指示样本中的新视场的位置。

如图4中所示,主图像面板202可以包括一个或多个分割器组件216,其允许用户指示主图像面板202应当被分为或提供以用于同时显示的两个或更多图像子面板,例如子面板218、220。在示例性实施例中,用户可以选择要创建多少子面板以用于同时显示。可替换地,系统可以生成在所存储的默认设置中指示的子面板的数目。在示例性实施例中,用户可以选择子面板要在图像面板202中如何组织。可替换地,系统可以根据所存储的默认设置来组织子面板。在示例性实施例中,可以允许用户从主图像面板202移除图像子面板。

显示类型选择组件204可以被用户用来指示用于在子面板218、220中显示的显示类型。当接收到用于子面板的显示类型的用户选择(例如通过点击选择并且将它们拖拽到子面板上)时,示例性实施例可以在不同子面板218、220中显示视场的连续部分(在图像导航组件206中选择的),使得子面板的联合示出总视场。每一个子面板可以再现用于视场的对应部分的不同显示类型(例如通过再现生物标志的表达水平、分析结果、可视化类型)。

图4图示了主图像面板202中的两个示例性图像子面板218、220的显示,其中子面板相对于彼此水平地组织以便显示视场的左部和右部。对于布置图像子面板而言,任何适当的图案(pattern)是可能的,例如图5中所示的竖直组织(其中顶和底子面板218’、220’显示视场的顶部和底部)、网格状等。在图4中,第一子面板218根据第一显示类型(用于CD30生物标志的VDAB可视化类型)显示视场的左部,并且第二子面板220根据第二显示类型(VHE图像)显示视场的右部。

每一个子面板可以具有用于增加或减小放大率水平的对应的变焦输入工具210’、210’’,以及用于扫视到不同视场的扫视输入工具214’、214’’。当放大或缩小时,新的经放大的视场可以显示在图像面板202上,使得视场的连续部分无缝地表示在子面板中。例如,图6示出图像子面板218、220中的经放大的显示(相比于图4的变焦水平),其中子面板被配置为示出新的经放大的视场的连续部分。图6图示了显示图像的示例性用户界面,其中左子面板示出视场的左部中的生物标志的表达水平并且右子面板示出视场的右部中的形态学特征。在一些实施例中,放大或缩小来更新一个图像子面板的分辨率可以自动更新所有子面板,使得它们以相同尺度或分辨率进行显示。在示例性实施例中,运行用户界面的计算设备可以确定新变焦水平要求来自拼块多分辨率数据结构中的不同分辨率水平的图像数据,并且可以从分辨率水平检索图像数据的一个或多个拼块。

在实施例中,子面板可以以相同图像尺度维持。在其它实施例中,子面板可以以不同尺度进行配置。

每一个子面板218、220还可以包括扫视输入工具212’、212’’。另外,用户可以使用图像导航组件206中的视场选择组件208来扫视到不同视场。当扫视到新的视场时,新的视场可以显示在图像面板202上,使得视场的连续部分无缝地表示在子面板中。例如,图6示出了显示在图像子面板218、220中的不同视场(相比于图4中所示的视场),其中子面板被配置为示出新视场的连续部分。在一些实施例中,当在一个图像子面板中扫视时,所有子面板可以自动更新以相应地扫视。在示例性实施例中,运行用户界面的计算设备可以确定要求图像数据的不同拼块集合来表示新的视场,并且可以从拼块多分辨率数据结构检索拼块集合。

在示例性实施例中,如图4-7中所示,主图像面板202可以包括在两个或更多子面板218、220之间的边界处布置的一个或多个交互式滑块组件222。滑块组件222可以被用来重新配置由不同子面板218、200所占据的图像面板202的相对部分。例如,滑块组件222可以跨图像面板202被拖拽以减小一个或多个子面板的大小和增大所显示的一个或多个其它子面板的大小。这可以创建在另一个之上拖拽一个图像子面板的视觉效果,比如窗口阴影。图7图示了其中滑块组件222被拖拽到右边以减小右子面板220的大小并且增大左子面板218的大小的示例。由子面板218、220的联合显示相同视场,使得子面板显示视场的连续部分。在该示例中,左子面板218被更新以示出相同视场的较大部分(根据与左子面板相关联的显示类型),并且右子面板220被更新以示出相同视场的较小部分(根据与右子面板相关联的显示类型)。

在一些示例性实施例中,用户界面200可以包括用于使得用户能够选择一个或多个形态学特征以用于显示在图像子面板的任何一个中的形态学选择组件。当接收到选择一个或多个形态学特征的用户输入时,这些特征可以在相关图像子面板中表示,例如作为图像覆盖。示例性形态学特征可以包括但不限于,细胞、细胞的联合、子细胞组成部分(例如核、细胞质、膜)等。

在一些实施例中,用户界面可以使得用户能够在任何图像子面板上覆盖图像分析结果(例如碎片分析的结果)。

图8是用于提供生物样本的视场的分屏显示的示例性计算机实现的方法的流程图。在步骤802中,图形用户界面可以被再现在视觉显示设备上。在步骤804中,图像面板可以被再现在用户界面上以用于显示生物样本的视场。在步骤806中,分割器组件可以被再现在用户界面上以使得用户能够将图像面板分成两个或更多图像子面板。

在步骤808中,可以在用于将图像面板分成两个或更多图像子面板的分割器组件上接收用户输入,其中每一个子面板被配置用于显示视场的不同部分。用户输入可以在图形用户界面处或在不同的用户界面或命令提示中接收。在一些示例性实施例中,用户输入可以指定图像子面板在图形用户界面上的组织。可替换地,示例性实施例可以基于所存储的设置来确定是否以及如何分割图像面板。

在步骤810中,可以接收从生物样本的图像选择视场的用户输入。在步骤812中,可以接收选择两个或更多显示类型以用于在不同图像子面板中再现视场的部分的用户输入。

在一个示例中,用户输入可以指定第一图像子面板应当显示视场的第一部分中的第一生物标志的表达水平,并且第二图像子面板应当显示视场的第二部分中的第二生物标志的表达水平。在另一示例中,用户输入可以指定第一图像子面板应当显示视场的第一部分中的生物标志的表达水平,并且第二图像子面板应当显示视场的第二部分中的一个或多个形态学特征。在另一示例中,用户输入可以指定第一图像子面板应当显示视场的第一部分中的一个或多个形态学特征的第一集合,并且第二图像子面板应当显示视场的第二部分中的一个或多个形态学特征。

在步骤814中,对于每一个子面板,示例性实施例可以确定选择性地对应于针对要在子面板中显示的视场的该部分的所选显示类型的图像数据的数据集合。

在示例性实施例中,在步骤814中,提供用户界面的计算设备可以从远程服务器访问图像数据,该远程服务器将关于生物样本的图像数据存储在拼块多分辨率数据结构中。在该情形中,运行用户界面的计算设备可以确定选择性地针对其目的需要的数据拼块,并且可以仅从服务器请求那些选择性拼块。也就是说,关于整个生物样本的图像数据可以在一些实施例中不被请求或预加载到用户界面中;但是相反,可以从服务器仅请求在给定时间所需的图像数据的那些集合。作为一个示例,当调整显示在GUI 200中的图像的变焦水平时,计算设备可以被编程为从适当的金字塔水平请求拼块图像。作为另一示例,当执行针对显示在GUI 200中的图像的扫视操作时,计算设备可以被编程为请求针对要显示在主面板和/或(多个)子面板内的图像的新部分的拼块图像。使用该方案最小化在提供请求服务时的服务器开销并且减小需要传递到计算设备以用于其用户界面的图像数据的量,由此使得用户界面在响应于用户交互和请求方面是快速且高效的。响应于针对数据的请求,服务器可以访问所请求的数据拼块,并且在一些情形中执行数据的分析或验证。服务器然后可以以流送的方式将数据拼块传递到计算设备。

从远程服务器检索分离的像素数据集合以用于不同的图像子面板。对于每一个图像子面板,提供用户界面的计算设备可以确定生物样本的标识以及要显示在子面板中的一个或多个生物标志和/或形态学特征的标识。基于该标识,计算设备可以被编程为确定要访问的适当数据结构。例如,如果第一图像子面板显示包括第一生物标志的表达水平的来自特定玻片-点的生物样本,则计算设备可能能够标识图9A中所图示的特定于第一生物标志和特定玻片-点二者的第一数据结构902。类似地,如果第二图像子面板显示包括第二生物标志的表达水平的来自玻片-斑的生物样本,则计算设备可能能够标识图9B中所图示的特定于第二生物标志和玻片-点二者的第二数据结构904。

对于每一个图像子面板而言,计算设备可以被编程为确定应当针对图像数据而访问拼块多分辨率数据结构中的哪一分辨率层。为此目的,计算设备可以确定图像子面板要以其显示视场或者请求图像子面板以其显示视场的分辨率(例如通过查看变焦设置和/或面板大小)。基于该确定,计算设备可以访问适当分辨率层处的数据结构中的图像。例如,如图6中所示,如果图像子面板示出视场的经放大的版本,则计算设备可以确定应当访问数据结构的最高分辨率层处的图像。

对于每一个图像子面板而言,计算设备可以被编程为确定应当访问图像中的哪些图像数据拼块。为此目的,计算设备可以分析要显示在主图像面板中的生物组织的视场,以及要显示在图像子面板中的视场的部分。基于该分析,计算设备可以确定要访问的图像数据的拼块或部分。图像数据的相关拼块由此对应于显示图像子面板所必需的像素数据,使得图像子面板的联合具有正确对准的边界,以使得它们在主图像面板中联合显示无缝且连续的视场。

图9A和9B图示了对应于两个图像子面板的数据结构902、904的表示。在该示例中,使用包含在第一数据结构902中的数据来生成第一子面板,并且使用包含在第二数据结构904中的数据来生成第二子面板。计算设备可以被编程为确定第一子面板对应于包含第一数据结构902中的像素图像数据的第一拼块集合906,并且第二子面板对应于包含第二数据结构904中的像素图像数据的第二拼块集合908。计算设备可以被编程为创建从第一数据结构902选择性地检索第一拼块集合906并且从第二数据结构904选择性地检索第二拼块集合908的请求。该请求可以被传输到存储数据结构的远程服务器。作为响应,服务器可以容易地且快速地访问所请求的拼块并且将它们传输到计算设备。在其它实施例中,与提供用户界面的计算设备不同的计算设备可以执行确定步骤814。

在步骤816中,示例性实施例可以为了在步骤814中针对不同图像子面板所确定的选择性数据集合而请求存储图像数据的服务器。在步骤818中,示例性实施例可以基于请求从服务器以流送的方式接收所请求的数据集合。在示例性实施例中,数据集合可以在用户与用户界面交互时实时地被接收,或者可以可替换地在用户与用户界面交互之后的某一时间延迟之后被接收。

在步骤820中,示例性实施例可以基于来自步骤812的用户输入而将图像面板分成多个图像子面板。可替换地,图像面板可以预加载有图像子面板。

在步骤822中,示例性实施例可以基于从服务器所接收的数据而在不同图像子面板中显示所选视场的不同部分,使得子面板的联合显示总视场。示例性实施例可以对准或配准子面板的边界以形成分屏显示。

示例性实施例允许用户平滑地浏览生物样本的不同视场,而同时维持用户界面中的子面板配置。当用户改变视场时,新的视场被显示在图像面板中,使得新的视场的连续部分自动显示在对应图像子面板中。在步骤824中,可以接收用户输入以改变显示在图像面板中的生物样本的视场。因此可以重复步骤810-822。

本领域一般技术人员将认识到,图8的示例性方法可以包括比示例性流程图中所示的那些更多或更少的步骤,并且示例性流程图中的步骤可以以与所示出的不同的次序来执行。

生物样本中的生物标志表达的示例性选择和显示

在一些示例性实施例中,可以提供主图像面板以用于显示对应于生物样本的图像或图像的部分的视场,并且可以提供生物标志面板以用于显示同时查看区的不同方面(例如该区中的不同生物标志的表达水平)的视场的区的缩略图像。本发明的该特征可以通俗地被称为“数字棱镜”,这是因为缩略图可以期望地描绘主显示中的图像的构成特征。当选择或更新视场的所选区时,缩略图像可以相应地自动更新以显示最新选择的区。主图像面板期望地包括生物样本的图像并且可以包括用于对显示在主图像面板中的视场内的区进行描画的感兴趣区选择组件(例如十字线或任何其它适当的组件)。在示例性实施例中,感兴趣区选择组件可以覆盖在显示于主图像面板中的视场的一部分之上,并且可以被用户用来选择或更新显示在生物标志面板中的视场的区。

生物标志面板可以被配置为包括在感兴趣区选择组件内描画的视场的区的一个或多个缩略图像的集合。缩略图像可以表示相同区的不同方面或显示类型,例如不同生物标志的表达、形态学单元的表达、分析结果、以上显示类型的组合等。例如,每一个缩略图像可以在视场的相应区中显示不同生物标志或生物标志的组合的表达水平。在示例性实施例中,如果主图像面板显示一个或多个生物标志的表达水平,则生物标志面板可以提供哪个缩略图像对应于显示在主图像面板中的生物标志的指示。缩略图像可以由用户选择以更新主图像面板来使得其显示所选缩略图像的生物标志。

缩略图像使得能够以简单且经组织的方式在生物标志面板中查看视场的区的不同方面。在一些示例性实施例中,缩略图像可以在大小和尺度方面小于主图像面板,并且因此不会导致用户不友好的、繁忙的界面。此外,缩略图像中的显示(虽然在一些实施例中很小)是基于比整个视场更小的区,并且因此仍可以以足够高的分辨率显示以用于容易地查看和解释缩略图像。

感兴趣区选择组件还使得能够自动更新缩略图像以选择性地显示在主图像面板中再现的视场中的感兴趣的任何区。用户可以容易地且快速地聚焦于主图像面板中的感兴趣的区上,例如包括一个或多个感兴趣的形态学特征(例如细胞、细胞的联合、子细胞组成部分)的区。该能力将缩略图从简单导航辅助变换为可以用来快速询问生物标志表达图案的工具。

使用示例性用户界面的某些诊疗应用要求以快速方式评估多于一个生物标志。该评估通过生物标志面板加速,该生物标志面板基于其整个可视化的缩略图像来提供生物标志之间的快速且直观的导航。评估还通过显示缩略图像中的作为目标的信息而加速。例如,当缩略图像可以被更新以表示生物样本的视场中的确切的感兴趣的区时,缩略图像变得甚至更有益。霍奇金淋巴癌——其中仅Reed Sternberg细胞的生物标志表达在诊断上是重要的——的评估是其中示例性实施例的能力特别有用的示例性应用。

示例性生物标志面板可以被配置为包括任何适当数目的缩略图像。在生物标志面板中提供的缩略图像的示例性数目可以包括但不限于,1、2、3、4、5、6、7、8、9、10、11、12、13、14、15等。

生物标志面板可以基于要显示在生物标志面板中的一个或多个生物标志上的所存储的默认设置而被加载为包括缩略图像的集合。可替换地,当接收到要显示在生物标志面板中的一个或多个生物标志上的用户输入时,生物标志面板可以被提供以缩略图像的集合。

两个或更多示例性缩略图像可以关于彼此以任何适当的图案或方式在生物标志面板中进行组织,例如相对于彼此水平地,相对于彼此竖直地或以网格配置。缩略图像可以采用所存储的默认设置或用户偏好中所指定的组织而加载到生物标志面板中。可替换地,用户可以指定缩略图像要如何组织在生物标志面板中。另外,在使用期间,用户可以例如基于生物标志的诊疗相关性而在生物标志面板中重新组织缩略图像(例如通过使用鼠标光标进行拖放)。在诊断生物样本中的诊疗状况时非常相关的生物标志的缩略图像可以例如首先置于缩略图像的次序中。缩略图像的排序或重新排序可以作为设置来保存,使得当缩略图像被重新加载以用于生物样本时,缩略图像如所保存的设置中所指定的那样进行组织。

图10-14图示了可以用来使得能够选择和显示生物样本中的生物标志表达的示例性图形用户界面(GUI)1000,尽管可以使用其它适当的用户界面。图10图示了GUI 1000,其包括用于显示生物样本的视场的主图像面板1002,以及用于显示与生物样本的视场中的区相关联的生物标志表达的缩略图像的生物标志面板1004。本发明预期到,在主图像面板1002中表示的视场通常对应于生物样本的整个图像的部分。

用户可以选择期望的生物样本(例如玻片/点)以用于显示在主图像面板1002中。生物样本可以使用GUI 1000、命令面板或任何其它适当的器件来选择。所选生物样本可以具有可以显示在GUI 1000中的对应存储图像数据。示例性图像数据可以包括但不限于,关于一个或多个生物标志的表达数据、关于一个或多个形态学特征的显示数据、一个或多个图像分析技术的结果等。显示类型选择组件1006可以被用户用来指示可用于主图像面板1002中的显示的一个或多个显示类型。在示例性实施例中使用的示例性显示类型可以包括但不限于,一个或多个生物标志的表达、一个或多个形态学特征的显示、一个或多个分析结果的显示、根据一个或多个可视化类型的显示(例如二进制热图、离散热图、连续热图、灰色或彩色像素的强度、或两个或更多生物标志表达的混色)、任何的上述类型的组合等。

当接收到用于所选生物样本的显示类型的用户选择(例如通过点击选择并将其拖拽到主图像面板1002上)时,主图像面板可以根据所选显示类型再现所显示的视场。图11图示了主图像面板1002中的生物样本的视场的显示,其表示用于CD30生物标志的VDAB可视化类型。

在一些示例性实施例中,用户界面1000可以包括用于使得用户能够选择一个或多个形态学特征以显示在主图像面板1002中的形态学选择组件。当接收到选择一个或多个形态学特征的用户输入时,这些特征可以表示在主图像面板1002中,例如作为图像覆盖。示例性形态学特征可以包括但不限于,细胞、细胞的联合、子细胞组成部分(例如核、细胞质、膜)等。

在一些实施例中,用户界面可以使得用户能够在主图像面板1002上覆盖图像分析结果(例如碎片分析的结果)。

当在主图像面板1002中显示视场时,GUI 1000可以被更新以包括图像导航组件1008,其显示主图像面板1002中所显示的其视场为一部分的总生物样本。图像导航组件1008依照由用户选择的显示类型来显示生物样本。

图像导航组件1008可以包括用于对生物样本的总显示内的视场进行描画的视场选择组件1010(例如十字线或任何其它适当的组件)。这允许用户大体定位可以在总生物样本(在图像导航组件1008中显示的)中何处找到视场(在主图像面板1002中显示的)。视场选择组件1010可以是用于使得用户能够选择显示在图像导航组件1008中的生物样本中的任何视场以使得主图像面板1002被更新以显示所选视场的交互组件。类似地,用户可以使用视场选择组件1010来以连续且平滑的方式浏览不同视场。用户可以选择视场选择组件1010(例如通过利用鼠标光标点击它)并且将视场选择组件1010拖放在新的不同视场上。在示例性实施例中,当通过释放光标来放下视场选择组件1010时,主图像面板1002可以自动更新以显示新视场。在示例性实施例中,主图像面板1002也可以在视场选择组件1010被用户拖拽时自动更新。在一些实施例中,该更新可以在用户与用户界面交互时实时执行,或者可以可替换地在用户选择针对视场的新位置之后的某一时间延迟之后执行。

在一些实施例中,图像导航组件1008小于主图像面板1002并且提供生物样本的较低分辨率显示。在其它实施例中,图像导航组件1008可以与主图像面板1002具有相同大小或者比它大。

在图11中所示的示例性实施例中,主图像面板1002可以包括用于允许用户输入特定变焦水平或相对变焦水平(例如使用变焦滑块和/或变焦按钮)的变焦输入工具1012。当前相对变焦水平可以采用变焦指示符1014在图像面板上指示。在一些情形中,变焦水平可以被用户或者自动被系统重置。在一些示例性实施例中,用户界面可以允许直接在主图像面板1002上的图像上使用定点设备来放大和缩小,例如通过点击鼠标上的右键。在一些示例性实施例中,用户界面可以允许使用键盘快捷键来放大和缩小,例如使用“Ctrl”键与“+”键的组合来放大以及使用“Ctrl”键与“-”键的组合来缩小。当主图像面板1002根据新变焦水平更新时,图像导航组件1008中的视场选择组件1010可以自动更新以对主图像面板1002中所示出的对应经更新的视场正确描画。在示例性实施例中,运行用户界面的计算设备可以确定新变焦水平要求来自拼块多分辨率数据结构中的不同分辨率水平的图像数据,并且可以从分辨率水平检索图像数据的一个或多个拼块。

在示例性实施例中,主图像面板1002可以包括用于扫视到生物样本中的新视场的扫视输入工具1016。扫视输入工具1016可以允许用户使用滑块来输入生物样本中的特定扫视水平或相对扫视水平。在一些情形中,扫视设置可以被重置以显示主图像面板1002中的最初显示的视场。在一些示例性实施例中,用户界面可以允许直接在主图像面板1002上使用定点设备进行扫视,例如通过在图像之上点击鼠标上的左键,跨图像拖拽光标并释放它以显示新视场。在一个实施例中,主图像面板1002可以被更新以在释放光标时显示新视场。在实施例中,主图像面板1002也可以在用户跨图像拖拽光标时以实时方式更新,或者可以可替换地在用户与用户界面交互之后的某一时间延迟之后执行。在一些示例性实施例中,用户界面可以允许使用键盘快捷键进行扫视。当主图像面板1002被更新以显示新视场时,图像导航组件1008中的视场选择组件1010可以自动更新以正确地指示主图像面板1002中所示出的样本中的新视场的位置。

主图像面板1002可以包括用于对主图像面板1002中所显示的视场内的区进行描画的感兴趣区选择组件1018(例如十字线或任何其它适当的组件)。在示例性实施例中,感兴趣区选择组件1018可以覆盖在显示于主图像面板1002中的视场的一部分之上。生物标志面板1004可以被配置为包括在感兴趣区选择组件1018内描画的视场的部分的一个或多个缩略图像的集合。缩略图像可以表示相同区的不同方面或显示类型,例如不同生物标志的表达、形态学单元的表达、分析结果、以上显示类型的组合等。例如,每一个缩略图像可以显示视场的区中的不同生物标志或生物标志的组合的表达水平。例如,生物标志表达水平可以显示在任何适当的可视化类型中例如(例如二进制热图、离散热图、连续热图、灰色或彩色像素的灰度值的强度、两个或更多生物标志表达的混色)。

在示例性实施例中,如果主图像面板1002显示一个或多个生物标志的表达水平,则生物标志面板1004可以提供哪个缩略图像对应于主图像面板中所显示的生物标志的指示。

在一些示例性实施例中,可以接收选择对应于特定生物标志的缩略图像的用户输入。作为响应,示例性实施例可以更新主图像面板1002以显示生物样本的视场中的特定生物标志的表达水平。

缩略图像使得能够以简单且经组织的方式在生物标志面板1004中查看视场的区的不同方面。在一些示例性实施例中,缩略图像可以在大小和/或尺度方面比主图像面板1002中的显示更小,并且因此不会导致繁忙的界面。在其它实施例中,缩略图像可以在大小和/或尺度方面等于或大于主图像面板1002中的显示。缩略图像中的显示(尽管在一些实施例中很小)是基于比整个视场更小的区,并且因此,缩略图像仍可以以足够高的分辨率显示以用于容易查看和解释缩略图像。

生物标志面板1004的大小和/或空间尺寸可以基于显示的缩略图像的数目和/或大小而自动设置和/或缩放。在一些情形中,所显示的缩略图像的数目继而可以基于多少生物标志正被查看。在一些实施例中,可以使得用户能够手动地设置或重置生物标志面板1004的大小和/或尺寸。

生物标志面板1004中的缩略图像的大小和/或空间尺寸可以基于所显示的缩略图像的数目和/或生物标志面板1004的大小而自动设置和/或缩放。在一些实施例中,可以使得用户能够手动地设置或重置缩略图像的大小和/或尺寸。

如图14中所示,每一个缩略图像可以具有用于接收针对显示在缩略图像中的生物标志表达的可视化类型的用户选择的相关联的工具1020。例如,用户可以从包括以下各项的组中选择可视化类型:二进制热图、离散热图、连续热图、灰色或彩色像素的灰度值的强度、模拟亮场图像等。

如图14中所示,每一个缩略图像可以具有用于接收关于从生物标志面板1004移除缩略图像的用户输入的相关联的工具1022(例如交叉图标)。当接收到用于移除缩略图像的用户输入时,生物标志面板1004可以自动更新以移除所选缩略图像。类似地,生物标志面板1004可以包括使得用户能够将新的缩略图像添加到生物标志面板1004的工具。当接收到用于添加新的缩略图像的用户输入时,生物标志面板1004可以自动更新以添加所选缩略图像。

可以在生物标志面板1004上接收用户输入以改变生物标志面板中的第一缩略图像的尺度或分辨率。用户输入可以例如通过拖拽边界以改变第一缩略图像的大小来提供。响应于用户输入,示例性实施例可以更新生物标志面板以改变第一缩略图像的尺度或分辨率。在实施例中,生物标志面板1004还可以被更新以将其余缩略图像的尺度或分辨率设置为第一缩略图像的尺度或分辨率,以使得所有缩略图像具有统一的分辨率。

可以在感兴趣区选择组件1018上接收用户输入以改变显示在生物标志面板1004中的第一缩略图像中的视场的部分。用户输入可以例如通过拖拽边界以改变感兴趣区选择组件1018的大小来提供。响应于用户输入,示例性实施例可以更新生物标志面板1004以改变显示在第一缩略图像中的视场的部分。在实施例中,生物标志面板1004还可以被更新以使得所有缩略图像显示视场的相同区。

感兴趣区选择组件1018使得能够自动更新缩略图像以选择性地显示在主图像面板1002中再现的视场中的感兴趣的任何区。用户可以容易地且快速地聚焦于主图像面板1002中的感兴趣的区上,例如包括感兴趣的一个或多个形态学特征(例如细胞、细胞的联合、子细胞组成部分)的区。该能力将缩略图从简单导航辅助变换为可以用来快速询问生物标志表达图案的工具。为了实现该能力,感兴趣区选择组件1018可以被配置为交互组件,其用于使得用户能够选择显示在主图像面板1002中的视场中的任何区。用户可以使用感兴趣区选择组件1018来以连续且平滑的方式浏览视场中的不同区。用户可以选择感兴趣区选择组件1018(例如通过利用鼠标光标点击它)并且将感兴趣区选择组件1018拖放在视场的不同区上。在示例性实施例中,当通过释放光标而放下感兴趣区选择组件1018时,生物标志面板1004中的缩略图像可以自动更新以显示视场中的新的区。在示例性实施例中,缩略图像也可以在感兴趣区选择组件1018被用户拖拽时自动更新。在一些实施例中,该更新可以在用户与用户界面交互时实时执行,或者可以可替换地在用户与用户界面交互之后的某一时间延迟之后执行。

可替换地,为了浏览视场中的不同区,用户可以选择显示在主图像面板1002中的图像(例如通过利用鼠标光标在图像上点击)并且相对于感兴趣区选择组件1018拖放图像,以使得图像中的不同区位于感兴趣区选择组件1018的边界内。在示例性实施例中,当通过释放光标而放下图像时,生物标志面板1004中的缩略图像可以自动更新以显示由感兴趣区选择组件1018所描画的视场中的新的区。在示例性实施例中,缩略图像也可以在图像被用户拖拽时自动更新。在一些实施例中,该更新可以在用户与用户界面交互时实时地执行,或者可以可替换地在用户与用户界面交互之后的某一时间延迟之后执行。

示例性实施例可以使得用户能够将感兴趣区选择组件1018锁定在相对于在主图像面板1002中显示的图像的固定位置处。用户还可能能够解锁定感兴趣区选择组件1018,以使得其相对于显示在主图像面板1002上的图像是可移动或可拖拽的。

图12和13图示了更新生物标志面板1004以聚焦于感兴趣的形态学特征1018(例如感兴趣的细胞)的示例性使用。图12图示了其中形态学特征1200落在感兴趣区选择组件1018的边界之外的主图像面板1002。因此,生物标志面板1004图示了不包括感兴趣的形态学特征1200的主图像面板1002中的视场的区。图13图示了其中感兴趣的形态学特征1200已经被带到感兴趣区选择组件1018的边界之内(通过调整感兴趣区选择组件1018相对于显示在主图像面板1002中的图像的位置,和/或通过调整显示在主图像面板1002中的图像相对于感兴趣区选择组件1018的位置)的主图像面板1002。在该情形中,生物标志面板1004中的缩略图像自动更新以显示包括现在由感兴趣区选择组件1018描画的形态学特征1200的视场的部分。

图15是用于显示对应于生物样本的图像或图像的部分的视场中的一个或多个生物标志的表达水平的示例性计算机实现的方法的流程图。在步骤1502中,图形用户界面可以被再现在视觉显示设备上。在步骤1504中,主图像面板和生物标志面板可以被再现在用户界面上。

在步骤1506中,可以接收选择生物样本的视场的用户输入。在步骤1508中,所选视场的第一图像可以被再现在主图像面板上。

在步骤1510中,感兴趣区选择组件可以覆盖在主图像面板中的第一图像上。感兴趣区选择组件可以对第一图像中的第一区进行描画。在步骤1512中,缩略图像的第一集合可以被再现在与在感兴趣区选择组件中描画的第一区对应的生物标志面板中。在示例性实施例中,缩略图像的第一集合中的不同缩略图像可以以不同显示类型显示第一图像的相同第一区。例如,不同缩略图像可以显示在感兴趣区选择组件中描画的区中的不同生物标志的表达水平。

在步骤1514中,可以接收用户输入来选择第一图像中的不同区以用于更新缩略图像。在示例性实施例中,所接收的用户输入可以包括用户选择感兴趣区选择组件(例如通过使用鼠标光标在其边界上点击)、将感兴趣区选择组件拖拽到第一图像上的不同位置(例如通过拖拽光标)、以及在第一图像上的新位置处释放感兴趣区选择组件(例如通过释放光标)。可替换地,所接收的用户输入可以包括用户选择主图像面板上的第一图像(例如通过使用鼠标光标在第一图像上点击)、相对于感兴趣区选择组件拖拽第一图像(例如通过拖拽光标)、以及释放第一图像以使得第一图像的新区被布置在感兴趣区选择组件之下(例如通过释放光标)。

示例性实施例可以确定与在感兴趣区选择组件中描画的视场的新区中的生物标志表达选择性地对应的一个或多个数据集合。示例性实施例可以请求存储生物标志表达数据的服务器以得到针对视场的新区所确定的选择性的数据集合。示例性实施例可以基于请求而以流送方式从服务器接收所请求的数据集合。在示例性实施例中,数据集合可以在用户与用户界面交互时实时地接收,或者可以可替换地在用户与用户界面交互之后的某一时间延迟之后执行。

在示例性实施例中,提供用户界面的计算设备可以从远程服务器访问图像数据,该远程服务器将关于生物样本的生物标志数据存储在拼块多分辨率数据结构中。在该情形中,运行用户界面的计算设备可以确定选择性地针对其目的需要的数据拼块,并且可以从服务器请求选择性的拼块。也就是说,关于整个生物样本的图像数据可以在一些实施例中不被请求或预加载到用户界面中;但是相反,可以从服务器仅请求在给定时间例如针对缩略图像所需的图像数据的那些集合。作为一个示例,当调整显示GUI 200中的图像的变焦水平时,计算设备可以被编程为从适当的金字塔水平请求拼块图像。作为另一示例,当执行针对GUI 200中所显示的图像的扫视操作时,计算设备可以被编程为针对要显示在主图像面板和/或(多个)子面板内的图像的新部分来请求拼块图像。使用该方案最小化提供请求服务时的服务器开销并且减小需要传递到计算设备以用于其用户界面的图像数据的量,由此使得用户界面在响应于用户交互和请求时是快速且高效的。响应于针对数据的请求,服务器可以访问所请求的数据拼块,并且在一些情形中执行数据的分析或验证。服务器然后可以以流送方式将数据拼块传递到计算设备。

对于每一个图像缩略图像,提供用户界面的计算设备可以确定生物样本的标识和显示在用户界面中的一个或多个生物标志和/或形态学特征的标识。基于该标识,计算设备可以确定要访问的适当数据结构。例如,如果第一缩略图像显示包括第一生物标志的表达水平的来自特定玻片-点的生物样本,则计算设备可能能够标识特定于第一生物标志和特定玻片-点二者的第一数据结构。类似地,如果第二缩略图像显示包括第二生物标志的表达水平的来自玻片-点(spot)的生物样本,则计算设备可能能够标识特定于第二生物标志和玻片-点二者的第二数据结构。

对于每一个缩略图像,计算设备然后可以确定应当针对图像数据而访问拼块多分辨率数据结构中的哪一分辨率层。为此目的,计算设备可以确定缩略图像以其显示视场的区或者要求缩略图像以其显示视场的区的分辨率(例如通过查看缩略图像中的变焦水平和/或缩略图像和生物标志面板的大小)。基于该确定,计算设备可以访问适当分辨率层处的数据结构中的图像。例如,如果缩略图像显示区的经放大的版本,则计算设备可以确定应当访问数据结构的最高分辨率层。

对于每一个缩略图像,计算设备然后可以确定应当访问所选数据结构中的图像数据的哪些拼块。为此目的,计算设备可以分析显示在主图像面板中的生物组织的视场,以及要显示在缩略图像中的视场的区。基于该分析,计算设备可以确定要访问的图像数据的拼块或部分。图像数据的相关拼块由此对应于显示缩略图像所必需的像素数据。

在步骤1516中,响应于用户输入和所接收的生物标志数据,生物标志面板可以被更新以利用显示在感兴趣区选择组件中描画的第一图像的新区的缩略图像的第二集合来替换缩略图像的第一集合。

在示例性实施例中,主图像面板上的第一图像可以被更新以指示在步骤1514中所选择的新区或对其进行描画,例如通过再现感兴趣区选择组件以对第一图像中的新区进行描画。

本领域一般技术人员将认识到,图15的示例性方法可以包括比示例性流程图中所示那些的更多或更少的步骤,并且示例性流程图中的步骤可以以与所示出的不同次序来执行。

针对生物样本的示例性分屏显示和生物标志显示

在一些实施例中,可以提供图形用户界面以将图2-7中所图示的界面(以使得能够查看生物样本的视场的分屏显示)和图10-14中所图示的界面(以使得能够查看生物样本的视场的区中的不同生物标志的表达水平)的特征相组合。图16是实现这两种能力的示例性图形用户界面1600。图形用户界面1600包括例如用于显示生物样本的图像或图像的部分的图像导航组件1602、用于显示生物样本的图像中的视场的主图像面板1604、以及用于显示在主图像面板1604中所显示的视场中的区内的一个或多个生物标志的表达水平的生物标志面板1606。主图像面板1604可以通过边沿被分成或者被提供以用于显示视场的两个连续部分的两个示例性图像子面板1608、1610。结合图2-15更详细地描述在图16中图示的示例性特征及其操作。

用于数据访问的示例性网络架构

图17描绘了适于实施例的实现的示例性网络环境1710。网络环境1710可以包括经由通信网络1710耦合到一个或多个客户端1706和1708的一个或多个服务器1702和1704。显然,一个或多个服务器1702和1704以及一个或多个客户端1706和1708中的每一个可以实现为如关于图23所描述的计算设备2300。因而,一个或多个服务器1702和1704以及一个或多个客户端1706和1708中的每一个可以包括网络接口2312和网络设备2322以使得服务器1702和1704能够经由通信网络1710与客户端1706和1708通信。通信网络1710可以包括但不限于,因特网、内联网、LAN(局域网)、WAN(广域网)、MAN(城域网)、无线网络、光学网络等。由通信网络1710提供的通信设施能够支持如本文所公开的协同分析和研究工作。

在示例性实施例中,一个或多个服务器1702、1704可以有利地提供用于存储涉及本文所描述的方法的数据的云环境和能力,例如依照参考图1A-1C所描述的数据存储系统。某些示例性服务器可以是将图像数据作为离散的数据拼块存储在不同分辨率层处的拼块服务器。服务器1702、1704可以在需要的时候以流送方式将图像数据传递到请求客户端。在一些示例性实施例中,一个或多个服务器1702、1704还可以提供用于分析涉及本文所描述的方法的数据的环境和能力。

一个或多个客户端1706、1708可以托管或实现本文所描述的一个或多个图形用户界面以用于由客户端计算设备的用户使用。客户端1706、1708可以远程地访问一个或多个服务器1702、1704以请求需要再现和/或更新图形用户界面的数据的部分(例如一个或多个数据拼块)。作为响应,服务器可以仅检索所请求的那些数据部分并且可以以流送方式将数据传递到请求客户端。在一些实施例中,数据可以由客户端请求并且由服务器在用户与再现在客户端上的图形用户界面交互时以实时方式传递给客户端,或者可以可替换地在用户与用户界面交互之后的某一时间延迟之后执行。

在示例性实施例中,从客户端到服务器的请求的传递和/或从服务器到客户端的数据的传递可以经受特定条件,诸如许可证协定。

在示例性实施例中,被实现为拼块服务器的服务器可以操作以响应于从被编程为执行GUI 100、1000和/或1600的实施例的一个或多个客户端接收到的请求而检索、处理和提供各个拼块。客户端与拼块服务器之间的通信可以经由诸如像超级文本传输协议之类的通信协议来促进。拼块服务器可以由客户端使用处理程序接口(诸如标准基于网络的HTTP接口)而可访问。处理程序接口可以提供灵活的数据请求结构,其例如利用对拼块服务器的功能性进行封装的加密的基于JavaScript对象表示法(JSON)的图像数据查询。

图18示出图示了被编程为执行GUI 100、1000和/或1600的实施例的客户端计算设备与拼块服务器之间的基于可以提交至拼块服务器的拼块图像请求的交互的示例性流程图。为了请求拼块,客户端可以被编程为在步骤1800中提交图像度量请求。图像度量请求可以被客户端用来获得可以用来询问拼块服务器以得到拼块的信息。例如,过程请求可以请求图像度量,诸如图像高度、图像宽度、拼块高度、拼块宽度、图像目录数目、最小金字塔水平(例如最小分辨率水平)、以及最大金字塔水平(例如最大分辨率水平),其可以由拼块服务器返回给客户端。拼块服务器可以在步骤1802中将所请求的图像度量返回给客户端。

一旦客户端已经接收到所请求的图像度量,则客户端可以在步骤1804使用图像度量中来请求特定拼块图像。在示例性实施例中,拼块可以由客户端序列地请求。针对由客户端创建的拼块的请求可以包括指定期望什么拼块图像的信息。响应于针对拼块的请求,拼块服务器处理该请求,并且在步骤1806中标识拼块图像。在步骤1808中,拼块服务器将所请求的拼块图像流送到客户端,并且在步骤1810中,拼块服务器等待来自客户端的下一拼块请求。如果客户端请求另一拼块图像,则该过程从步骤1804重复。否则,该过程在步骤1812处结束。在示例性实施例中,拼块服务器可以使用高速缓存来减小对情形管理器和/或文件系统的冗余和耗时的调用,由此使其对客户端请求的响应性提速。

当客户端请求拼块时,请求可以包括标识所请求的特定拼块的信息。在一个实施例中,可以基于针对每一个拼块的单独的HTTP请求而从拼块服务器检索拼块。在示例性实施例中,由客户端发起的请求可以包括针对玻片图像的缩略图的请求、针对包括一个或多个通道的拼块的请求、针对包括图像大小、拼块大小和可用的金字塔水平的图像度量的请求,和/或可以包括针对信息的任何其它适当的请求。

在示例性实施例中,由客户端发起的请求可以利用统一资源定位符(URL)协议来创建包含参数(例如图像度量)的URL查询,诸如信息参数、索引参数、水平参数、图像高度参数、图像宽度参数、拼块高度参数、拼块宽度参数和/或用于指定要检索的特定拼块的任何其它适当的信息。如本文所描述的,客户端可以被编程为提交针对参数的图像度量请求,并且服务器可以通过提供参数及其相关联的值而对请求做出响应。info参数可以是指示由URL查询所请求的信息类型(例如图像度量或拼块图像)的Boolean值。例如,当info参数被设置为“真”时,URL查询被配置为请求图像度量,并且如果info参数被设置为“假”或者未指定,则URL查询被配置为请求拼块图像。索引参数可以包括指示针对所请求的拼块的x轴和y轴拼块位置的整数值。水平参数可以包括指示应当从图像金字塔返回的水平(例如尺度和/或分辨率)的整数值。在示例性实施例中,水平参数可以包括指示来自图像金字塔的最低水平的最小水平参数和指示来自图像金字塔的最高水平的最大水平参数。图像高度参数对应于整个图像的高度并且图像宽度参数对应于整个图像的宽度。拼块高度参数对应于针对整个图像的拼块的高度并且拼块宽度参数对应于针对整个图像的拼块的宽度。

图19示出了可以由客户端创建的图像度量请求1900的示例,其中info参数1902被设置为“真”,并且图20示出了针对由拼块服务器提供的图像度量请求的基于XML的响应20的示例,其包括例如用于图像高度参数2002、图像宽度参数2004、拼块高度参数2006、拼块宽度参数2008、以及最小金字塔水平参数2010、以及最大金字塔水平参数2012的值。图21示出了可以由客户端创建的拼块图像请求2100的示例。拼块图像请求2100可以包括用于图像度量2104的值2102以指定请求2100中的特定拼块图像。

图22是图示了被编程为执行GUI 100、1000和/或1600的实施例的客户端与拼块服务器之间的基于可以提交至拼块服务器的缩略图像请求的交互的流程图。对于其中缩略图可以由执行GUI 100、1000和/或1600的实施例的客户端显示的实施例而言,客户端可以提交图像度量请求并且可以从拼块服务器接收图像度量,这如上文关于图18-20所描述的。一旦客户端已经接收到所请求的图像度量,则客户端可以在步骤2200中使用图像度量来请求特定缩略图像。针对由客户端创建的缩略图的请求可以包括指定在缩略图中应当包括整个图像的什么部分的信息。响应于针对缩略图的请求,拼块服务器处理该请求,并且在步骤2202中标识对应于要包括在缩略图像中的整个图像的部分的拼块。可以从最紧密匹配请求中所指定的缩略图像的变焦水平的最大金字塔水平检索由拼块服务器标识的拼块。在步骤2204中,拼块服务器可以将针对缩略图所检索的拼块组合到单个图像中,并且在步骤2206中,拼块服务器将图像按比例缩小到期望大小。在步骤2208中,图像被裁切以与所请求的缩略图像的尺寸匹配,并且在步骤2210中,图像被传输到客户端以用于作为缩略图像在GUI 100、1000和/或1600中的一个或多个中显示。

示例性计算设备

本文所公开的系统和方法可以包括具有保持在一个或多个计算机可读介质、RAM、ROM、硬盘驱动器和/或硬件上的与其相关联的可执行指令的一个或多个可编程处理单元。在示例性实施例中,硬件、固件和/或可执行代码可以例如提供为(多个)升级模块以用于与现有基础设施(例如现有设备/处理单元)结合使用。硬件可以例如包括用于执行本文教导为计算过程的实施例的组件和/或逻辑电路。

如本文所使用的,术语“计算机可读介质”是指可以由控制器、微处理器、计算系统或计算系统的模块访问以在其上编码计算机可执行指令或软件程序的非暂时性存储硬件、非暂时性存储设备或非暂时性计算机系统存储器。“计算机可读介质”可以由计算系统或计算系统的模块访问以检索和/或执行编码在介质上的计算机可执行指令或软件程序。非暂时性计算机可读介质可以包括但不限于,一种或多种类型的硬件存储器、非暂时性有形介质(例如,一个或多个磁性存储盘、一个或多个光盘、一个或多个USB闪存驱动器)、计算机系统存储器或随机存取存储器(诸如,DRAM、SRAM、EDO RAM)等。

根据本公开,还可以包括显示器和/或其它反馈器件例如以用于再现图形用户界面。显示器和/或其它反馈器件可以是独立的装置和/或可以被包括为(多个)处理单元的一个或多个组件/模块。在示例性实施例中,显示器和/或其它反馈器件可以被用来同时描述对应于生物组织样品的图像或图像的部分的视场的形态学和统计学表示二者。

可以被用来实现本实施例中的一些的实际软件代码或控制硬件并不意图限制这样的实施例的范围。例如,本文所描述的实施例的某些方面可以使用任何适当的编程语言类型来在代码中实现,所述编程语言类型诸如例如汇编代码、C、C#、或C++,其例如使用常规或面向对象的编程技术。这样的代码存储或保持在任何类型的适当的非暂时性计算机可读介质或多个介质上,诸如例如磁性或光学存储介质。

如本文所使用的,“处理器”、“处理单元”、“计算机”或“计算机系统”可以例如为无线或有线种类的微计算机、小型计算机、服务器、大型计算机、膝上型计算机、个人数字助理(PDA)、无线电子邮件设备(例如“黑莓”、“安卓”或“苹果”、交易指定的设备)、蜂窝电话、寻呼器、处理器、传真机、扫描仪或被配置为通过网络传输和接收数据的任何其它可编程设备。本文所公开的计算机系统可以包括用于存储在获取、处理和传送数据中所使用的某些软件应用的存储器。可以理解的是,这样的存储器可以在所公开的实施例的内部或外部。存储器还可以包括用于存储软件的非暂时性存储介质,包括硬盘、光盘、软盘、ROM(只读存储器)、RAM(随机存取存储器)、PROM(可编程ROM)、EEPROM(电子可擦除PROM)、闪存存储设备等。

图23描绘了表示可以用来实现本文所公开的系统和方法的示例性计算设备2300的框图。计算设备2300可以为任何计算机系统,诸如工作站、桌上型计算机、服务器、膝上型计算机、手持式计算机、平板计算机(例如iPadTM平板计算机)、移动计算或通信设备(例如iPhoneTM移动通信设备、AndroidTM移动通信设备等)、或者能够通信并且具有足够的处理器能力和存储器能力以执行本文所描述的操作的其它形式的计算或电信设备。在示例性实施例中,分布式计算系统可以包括多个这样的计算设备。

计算设备2300包括具有编码在其上的一个或多个计算机可执行指令或软件以用于实现本文所描述的示例性方法的一个或多个非暂时性计算机可读介质。非暂时性计算机可读介质可以包括但不限于,一种或多种类型的硬件存储器和其它有形介质(例如,一个或多个磁性存储盘、一个或多个光盘、一个或多个USB闪存驱动器)等。例如,包括在计算设备2300中的存储器2306可以存储计算机可读和计算机可执行指令或软件以用于实现如本文所描述的图形用户界面。计算设备2300还包括处理器2302与相关联的核2304,以及(在一些实施例中)一个或多个附加处理器2302’和一个或多个相关联的核2304’(例如在具有多个处理器/核的计算机系统的情形中),以用于执行存储在存储器2302中的计算机可读和计算机可执行的指令或软件以及用于控制系统硬件的其它程序。处理器2302和(多个)处理器2302’均可以是单核处理器或多核(2304和2304’)处理器。

可以在计算设备2300中采用虚拟化以使得计算设备中的基础设施和资源可以动态地共享。可以提供虚拟机2314以处理在多个处理器上运行的过程,以使得过程看起来仅使用一个计算资源而不是多个计算资源。多个虚拟机也可以与一个处理器一起使用。

存储器2306可以包括计算机系统存储器或随机存取存储器,诸如DRAM、SRAM、EDO RAM等。存储器2306也可以包括其它类型的存储器或其组合。

用户可以通过诸如屏幕或监视器之类的视觉显示设备2318与计算设备2300交互,其可以显示依照本文所描述的示例性实施例而提供的一个或多个图形用户界面2320。视觉显示设备2318还可以显示与示例性实施例相关联的其它方面、元素和/或信息或数据。

计算设备2300可以包括用于从用户接收输入的其它I/O设备,例如键盘或任何适当的多点触摸接口2308、定点设备2310(例如鼠标、直接与显示设备交互的用户手指)。如本文所使用的,“定点设备”是任何适当的输入接口,具体地是人类接口设备,其允许用户将空间数据输入到计算设备或系统。在示例性实施例中,定点设备可以允许用户使用物理手势将输入提供给计算机,所述物理手势例如为指向、点击、拖拽、放下等。示例性定点设备可以包括但不限于,鼠标、触摸板、直接与显示设备交互的用户手指等。

键盘2308和定点设备2310可以耦合到视觉显示设备2318。计算设备2300可以包括其它适当的常规I/O外围设备。I/O设备可以促进一个或多个图形用户界面2320的实现,例如实现本文所描述的一个或多个图形用户界面。

计算设备2300可以包括一个或多个存储设备2324,诸如持久性盘存储(其可以包括任何适当的光学或磁性持久性存储设备,例如RAM、ROM、闪存、USB驱动器、或其它基于半导体的存储介质)、硬盘驱动器、CD-ROM、或其它计算机可读介质,以用于存储实现如本文所教导的示例性实施例的数据和计算机可读指令和/或软件。在示例性实施例中,一个或多个存储设备2324可以提供针对可以由本公开的系统和方法生成的数据的存储。例如,存储设备2324可以提供针对与生物样本对应的图像数据2326(例如以拼块多分辨率数据结构的形式)的存储,生物标志面板显示模块2328被编程和配置为实现本文所描述的生物标志面板与相关联的缩略图像,并且分屏显示模块2330被编程或配置为实现如本文所描述的分屏显示。一个或多个存储设备2324可以进一步提供针对涉及如本文所描述的一种或多种方法的计算机可读指令的存储。一个或多个存储设备2324可以提供在计算设备2300上和/或与计算设备2300分离地或远程地提供。

计算设备2300可以包括网络接口2312,其被配置为经由一个或多个网络设备2322通过各种连接与例如局域网(LAN)、广域网(WAN)或因特网的一个或多个网络交互,所述各种连接包括但不限于,标准电话线、LAN或WAN链接(例如802.11、T1、T3、56kb、X.25)、宽带连接(例如ISDN、帧中继、ATM)、无线连接、控制器区域网络(CAN)或上述的任何或所有的某一组合。网络接口2312可以包括内置网络适配器、网络接口卡、PCMCIA网络卡、卡总线网络适配器、无线网络适配器、USB网络适配器、调制解调器、或者适于将计算设备2300对接到能够通信和执行本文所描述的操作的任何类型网络的任何其它设备。网络设备2322可以包括用于通过网络接收和传输通信的一个或多个适当的设备,包括但不限于,一个或多个接收器、一个或多个发射器、一个或多个收发器、一个或多个天线等。

计算设备2300可以运行任何操作系统2316,诸如任何版本的Microsoft? Windows?操作系统、不同发布的Unix和Linux操作系统、用于Macintosh计算机的任何版本的MacOS?、以及任何嵌入式操作系统、任何实时操作系统、任何开放源操作系统、任何专用操作系统、用于移动计算设备的任何操作系统、或者能够在计算设备上运行并且执行本文所描述的操作的任何其它操作系统。在示例性实施例中,操作系统2316可以以本机模式或仿真模式运行。在示例性实施例中,操作系统2316可以运行在一个或多个云机器实例上。

本领域一般技术人员将认识到,示例性计算系统2300可以包括比图23中所示那些更多或更少的模块。

现在参照图24-39,本发明提供一种GUI 2500,其提供本发明的分屏和数字棱镜特征二者,以及用于将所选图像上载到电子记录中的快照捕获特征,该电子记录可以被保存并提供或格式化以用于详细说明对给定病例中的用户病理发现的支持的报告。例如,快照捕获特征或“快照特征”或简单地“快照”可以允许将所有缩略图像或分屏图像保存到记录中,该记录然后保存在本地存储介质上或硬接线网络内的服务器上或甚至云服务器上。该记录然后合期望地连同其它病人信息一起可用于本地和/或远程查看者。术语“快照”是指由快照捕获特征所记录的图像。本发明预期到,本发明的快照特征可以供GUI采用,GUI提供本发明的分屏特征和数字棱镜特征中的任一个或二个。

本发明的快照捕获特征(以及由该特征所获得的图像的快照)向用户提供多个益处。例如,快照可以按照需要而被修改和重新定大小。所捕获的区可以在可见框内标注,合期望地利用明显线颜色来标注,其与玻片的图像待在一起直到快照被删除。合期望地,快照可以利用信息来默认命名,该信息可以将快照与特定玻片和特定捕获区联系起来,该名称可以合期望地在需要的时候被编辑。本发明预期到,快照可以在列表模式或图库模式中被查看。合期望地,在图库模式中,快照预览的大小可以增加或减小以适合用户的需要或品味。本发明提供查看器界面上的“更新报告数据”按钮,使得快照可以通过点击“更新报告数据”按钮而被上载到病例报告。对于病例报告,本发明为病理学者提供包括所查看的所有、一些图像或没有图像的选项。本发明还预期到通过从其获取图像的区来对所保存的所述图像进行分类。本发明允许将快照保存到本地盘或其它远程存储介质以便被回调以用于在呈现或进一步研究中使用。还可以保存全分辨率图像。本发明还提供可以由用户利用自由形式的文本标注快照。本发明还预期到,快照可以保存到向报告建立器工具提供输入的服务器,使得每一个所保存的快照然后可用于连同随附标注一起包括在诊断报告或研究报告中。

本发明的数字棱镜快照还提供对利用单个生物标志混合所呈现的所选区的图像的捕获并且还可以捕获相同位置中的其余生物标志的相应图像。附加地,数字棱镜快照允许用户查看患者样品的图像上的位置中的第一生物标志并且然后捕获该生物标志的表达的图像以及针对使用第一生物标志所选择的相同位置或区中所表达的其它生物标志的图像二者。

图24描绘了本发明的实施例,其提供一种允许用户直观地浏览已经在复用平台上获取的任何数据的GUI 2500。其可以被病理学者用来评价来自例如霍奇金淋巴癌实验室研发的测试(LDT)的结果。

GUI 2500可以看作是本发明的GUI 1000的修改,并且预期到类似的特征以提供类似的能力和功能,包括如针对GUI 1000的示例所描述的那些。GUI 2500包括用于显示生物样本的视场的主图像面板2502以及区管理器面板2504,在所述区管理器面板2504中用户可以选择显示涉及捕获区的信息的捕获区标签2507或者显示涉及被捕获以用于在报告中使用的快照的信息的报告快照标签2509。如图24中所示,当用户选择捕获区标签2507时,面板2504显示针对从主图像面板2502中的样品图像选择的每一个捕获区的可选标签2503的列表。如图27中所示,当用户选择特定标签2503时,面板2504将在该所选标签2503之下显示数个缩略图像2505,其每一个针对该捕获区描绘与生物样本的视场中的区相关联的生物标志表达。在主图像面板2502中表示的视场通常对应于生物样本的整个图像的部分,但是可以合期望地示出关于面板2504中所选的捕获区的区。

特别地参照图24,GUI 2500包括显示类型选择组件2506,其将玻片上的每一个区列出为文件夹2506a并且将该区内的每一个图像列出为文件夹元素,并且其可以被用户用来指示可用于主图像面板2502中的显示的一个或多个显示类型。例如,显示类型2506a-1、2506a-2和2506a-3可以分别为CD30 mDAB、mHE、CD30 Low Mag(单色),其每一个可以提供为整个组织区的文件夹2506a之下的文件夹元素。当在主图像面板2502中显示视场时,GUI 2500可以被更新以包括图像导航组件2508,其显示在主图像面板2502中显示的其视场为部分的总生物样本。图像导航组件2508依照由用户选择的显示类型来显示生物样本。

图像导航组件2508合期望地包括视场选择组件2510(例如十字线或任何其它适当的组件)以用于对生物样本的总显示内的视场进行描画。视场选择组件2510允许用户大体定位在总生物样本(在图像导航组件2508中显示)中什么地方可以找到视场(在主图像面板2502中显示)。在一些实施例中,图像导航组件2508比主图像面板2502小并且提供生物样本的较低分辨率显示。在其它实施例中,图像导航组件2508可以具有与主图像面板2502相同的大小或者更大。主图像面板2502可以包括变焦输入工具2512以用于允许用户输入特定变焦水平或相对变焦水平(例如使用变焦滑块和/或变焦按钮)。当前相对变焦水平可以以变焦指示符2514在图像面板上指示。当主图像面板2502根据新变焦水平而更新时,图像导航组件2508中的视场选择组件2510可以自动更新以对主图像面板2502中所示出的对应经更新的视场正确地描画。在示例性实施例中,运行用户界面的计算设备可以确定新变焦水平要求来自拼块多分辨率数据结构中的不同分辨率水平的图像数据,并且可以从分辨率水平检索图像数据的一个或多个拼块。

主图像面板2502包括用于扫视到生物样本中的新视场的扫视输入工具2516。扫视还可以通过在主图像面板2502中的图像上点击和保持以及跨面板拖拽光标来执行,从而利用它移动下层图像。主图像面板2502还包括捕获区指示符组件2540(例如十字线或任何其它适当的组件)以用于对主图像面板2502中所显示的视场内的每一个捕获区的位置描画。一旦来自所选捕获区的附加高分辨率图像已经被获取并加载到GUI 2500中,则例如如图27中所示的区管理器面板2504被配置为包括表示新获取的捕获区图像的一个或多个缩略图像2505的集合。这些图像然后可以通过点击缩略图而被加载到主图像面板2502中,在其之后区管理器面板2504可以提供哪一缩略图像对应于主图像面板中所显示的图像的指示。

如针对GUI 1000所描述的,生物标志标签2503中的缩略图像2505的大小和/或空间尺寸可以基于所显示的缩略图像的数目和/或区管理器面板2504的大小来自动设置和/或缩放。在一些实施例中,可以使得用户能够手动地设置或重置缩略图像的大小和/或尺寸。

当标签2507被选择时,面板2504提供用于捕获所显示的缩略图2505的快照的第一快照捕获按钮2590以及用于捕获来自主图像面板2502的图像的第二快照捕获按钮2592。按钮2590和2592合期望地允许用户将快照图像的位置保存到主服务器,其随后可以被检索。GUI 2500还包括更新报告数据按钮2595,其允许用户将来自所选快照的图像保存到可检索的电子记录中。更新报告数据按钮2595合期望地使所保存的图像输出到可以用作针对用户的报告工具的输入的目录中。

合期望地,病理学者可以通过任何因特网浏览器远程地访问和操作GUI 2500。一旦在GUI 2500上,他们就可以浏览病例列表并且选择他们希望回顾的病例。可替换地,可以提醒病理学者特定病例准备好被回顾并且将为他们提供到该病例的直接链接。

一旦从服务器或用于电子记录的其它适当的存储设备访问病例,则病理学者可以从图像选择组件2506选择以查看以10倍放大率获取的玻片的概览,诸如分子H&E(mH&E)图像,这如图25中所示。使用将灰度免疫荧光图像转换为对于病理学者更熟悉且更易于从其提取视觉信息的图像的算法来生成mH&E。mH&E允许病理学者评估样品的总形态。

图24-27描绘了以如由十字线2510所描绘的不同变焦水平获取的低分辨率图像的不同视图。系统允许用户指定用于不同高分辨率成像的区,如图28-34中所描绘的。一旦已经分别拍摄感兴趣的样品及其区的低分辨率和高分辨率(在此分别被示出为10倍和40倍)图像,则它们通过GUI 2500被链接到一起以允许在低分辨率图像与高分辨率图像之间进行导航。

图26示出了CD30的mDAB图像的10倍显示。在主图像面板2502的左侧可以看到变焦指示符2514,其可以用来放大和缩小图像。之前选择的捕获区在此处看到的框2540中高亮。病理学者可以通过简单地将期望的图像从GUI 2500的左手侧上的图像选择组件中的图像列表拖放到主图像面板2502中或者通过经由生物标志标签2503从所获取的捕获区选择缩略图2505来访问其它图像。如图26中所示,病理学者在查看着色的CD30的分子DAB图像。类似于mH&E,mDAB使用着色的生物标志的灰度图像并且将它们转换为对亮场DAB着色图像的其进行重组的图像。例如,在霍奇金淋巴癌LDT中,CD30是关键着色,原因在于其标识将通过未来的成像过程来询问的潜在Reed-Sternberg(RS)细胞。在潮湿实验室协议的开始中,病理学者将查看该10倍CD30 mDAB图像并且选择将在随后成像过程中成像的ROI(或捕获区)。已经选择的一些ROI在CD30 mDAB图像的顶部上的框2540中标出。

围绕图像的导航是容易且直观的。在期望的情况下,通过围绕主图像面板2502点击和拖拽图像或者通过使用扫视工具2516来执行扫视。可以通过滚动鼠标滚轮、拖拽变焦输入工具2512的滑块条或选择期望的放大率水平来完成放大和缩小。病理学者可以围绕10倍图像导航直到他们找到他们希望调研的预先选择的ROI。他们可以在期望的ROI上双击并且在右手区管理器面板2504上高亮。他们然后可以扩展期望的ROI以查看可用于回顾的所有不同可视化类型和生物标志。在一个图像的缩略图2505上的类似点击将在主图像面板2502上打开它。图27示出该功能,其中ROI已经被双击以使其活动。由框2540示出的ROI然后利用不同颜色的框2550来标示并且其对应标签2503在面板2504上高亮。

一旦病理学者已经通过围绕10倍图像导航而标识感兴趣的区,他们就可以查看以高分辨率(40倍)针对该区所获取的可用图像和混色。他们还可以通过组合两个或更多单色图像来创建混色。图28在其显示5个不同生物标志时示出该特征,其中每一个生物标志采用不同颜色。

如图29中所示,对于更习惯传统免疫荧光图像的病理学者而言,图像混合特征可以证明是非常有用的。通过将多个灰度图像2521从图像选择组件2506点击和拖拽到主图像面板2502中,他们可以利用表示每一个生物标志的不同颜色来将高达5个图像混合在一起。通过打开混合界面2555,向病理学者提供可选控制,所述控制允许选择他将偏好的针对不同生物标志的哪种颜色组合以及针对每一个生物标志的相对强度。

参照图30,一旦使用数据棱镜特征,病理学者就可以查看所有可用生物标志,在该情形中为九个不同生物标志。通过点击位于活动缩略图像(即对应于主显示面板2502中所示出的图像的特定缩略图像2505)上的按钮2560(此处视为齿轮图标),向病理学者呈现框2565,其本身可以被称为“数字棱镜”。当他或她将该框移动到感兴趣的特定细胞或区时,右手侧上的缩略图2505将更新以反映针对9个生物标志中的每一个的数字棱镜2565内是什么。图30示出数字棱镜,其中存在由主显示中的框2565选择的区并且右手侧上的各个生物标志的缩略图像2505已经更新以包括处于该框2565内的细胞。例如,对于霍奇金淋巴癌LDT,最重要的信息是CD30阳性细胞的什么表现型处于面板的其它8个生物标志的上下文中。那8个生物标志为:CD15、CD20、Bobl、Oct2、Pax5、CD45、CD3和CD79a。复用化允许病理学者确定地表述单个细胞中的所有9个生物标志的表达是什么。在过去,病理学者会依赖于针对每一个生物标志的单独序列部段,因此相同细胞不被评价。

霍奇金淋巴癌生物标志面板包括9个生物标志。病理学者可以继续使用本发明的分屏显示特征以用于逐个比较,或者他们可以使用本发明的数字棱镜特征一次性查看所有9个生物标志。通过点击位于缩略图像上的按钮,向病理学者呈现上文所述的蓝色框或数字棱镜特征。当他或她将该框移动到感兴趣的特定细胞或区时,右手侧上的缩略图将更新以反映针对9个生物标志中的每一个的数字棱镜内是什么。再次参照图30,人们可以清楚地看出病理学者所聚焦的该单个细胞是CD30阳性,Pax5阴性,以及其它生物标志在其相应缩略图像中的相对存在或缺失。

在图31中,病理学者已经选择第一子面板2570上的mDAB CD30图像,以及相邻第二子面板2572中的mDAB Pax5图像。如果期望的话,他们可以将两个图像的取向改变为水平或竖直,如图32中所示。在任一取向中,他们然后可以跨图像拖拽条2575以连续地在CD30与Pax5图像之间切换,如条在图33中的不同位置中所描绘的。通过这样做,人们可以清楚地看出跨组织的相同区的生物标志表达中的差异。这样的复用允许用户确定对于一个生物标志为阳性的细胞是否也对于另一生物标志为阳性,诸如在该示例中CD30阳性细胞是否也针对CD15为阳性。

在病理学者确定必须包括在病例报告中的感兴趣的区之后,他们可以利用本发明的快照特征来捕获GUI 2500上所显示的图像。图34示出所捕获的两个不同快照,如在主图像面板2502上的框2580和2582中所标示的。其还示出在面板2504上所获取的快照列表。在标签2509被选择的情况下,病理学者可以使用快照以两种方式之一来捕获图像。第一种方式是捕获数字棱镜的结果所得的缩略图像2505。为此,他们将数字棱镜框2565移动到感兴趣的细胞,将棱镜重新定大小以对图像适当地制定,并且保存缩略图位置。如图35中所示,他们然后可以点击第一快照捕获按钮2590并且针对所有9个生物标志捕获相同区,这如GUI 2500的区管理器面板2504部分中所描绘的。病例学者可以捕获图像的第二种方式是通过捕获整个场,一次一种着色。当必须查看整个区而不仅仅是单个细胞或两个时,这是有用的。为了捕获整个场,他们简单地点击主图像面板2502上的第二快照捕获按钮2592,如图36中的主图像面板2502的部分中所示。所捕获的所有图像可以通过点击快照标签2509来回顾。图像可以以缩略图像的格式来查看,如图37中所示。可替换地,图像可以作为描述性列表来查看,如图38中所示。报告快照标签2509的图库子面板2546包括图库切换器2548,其允许用户在缩略图像的显示(如图37中所示)或图像的描述性列表(如图38中所示)之间选择。从图38中所示的列表,病理学者可以通过点击相关联的垃圾桶图标2596来擦除任何捕获的图像。同样地,用户可以通过使列表上的图像高亮,点击编辑切换器2598以及然后调整主图像面板2502上的对应框的位置来更改他们想要的任何图像。附加地,标签2509还提供快速保存按钮2597,其允许用户将图像保存到本地介质。一旦病理学者满意于所有捕获的图像,他们就可以利用更新报告数据按钮2595的单击而将图像上载到病例报告,如图39中所描绘的。

在描述示例性实施例中,出于清楚起见而使用特定术语。出于解释性目的,每一个特定术语意图至少包括以类似方式操作来达成类似目的的所有技术和功能等价物。附加地,在其中特定示例性实施例包括多个系统元件或方法步骤的一些实例中,那些元件或步骤可以利用单个元件或步骤来替换。同样地,单个元件或步骤可以利用服务于相同目的的多个元件或步骤来替换。另外,除非以其它方式明确指示,在用于各个属性的参数在本文中针对示例性实施例指定的情况下,那些参数可以调大或调小二十分之一、十分之一、五分之一、三分之一、二分之一等、或者其四舍五入近似。此外,尽管已经参照其特定实施例示出和描述了示例性实施例,但是本领域一般技术人员将理解,可以在不偏离本发明的范围的情况下在本文中做出形式和细节方面的各种替换和变更。另外,其它方面、功能和优点也处于本发明的范围之内。

本文出于说明性目的而提供示例性流程图并且所述流程图是方法的非限制性示例。本领域一般技术人员将认识到,示例性方法可以包括比示例性流程图中所图示的那些更多或更少的步骤,并且示例性流程图中的步骤可以以与所示出的不同次序来执行。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号