首页> 中国专利> 利用高级语义分割和对抗训练进行细粒度HIL指数确定的方法和设备

利用高级语义分割和对抗训练进行细粒度HIL指数确定的方法和设备

摘要

一种表征样本容器中的样本的血清或血浆部分的方法提供了样本的血清或血浆部分的细粒度HILN指数(溶血、黄疸、血脂、正常),其中,H、I和L类别可各自具有五至七个子类别。HILN指数也可具有一个未离心类别。可通过在一些实施例中具有超过100层的深度语义分割网络来处理样本容器的输入图像的像素数据。小型前端容器分割网络可用来确定容器类型和边界,容器类型和边界可附加地被输入到深度语义分割网络。判别网络可用来训练深度语义分割网络以生成同质地结构化的输出。还描述了被构造成实施该方法的质量检查模块和测试设备以及其他方面。

著录项

  • 公开/公告号CN112424334A

    专利类型发明专利

  • 公开/公告日2021-02-26

    原文格式PDF

  • 申请/专利权人 美国西门子医学诊断股份有限公司;

    申请/专利号CN201980039776.5

  • 发明设计人 马锴;张耀仁;T·陈;B·S·波拉克;

    申请日2019-06-10

  • 分类号C12M1/34(20060101);

  • 代理机构72001 中国专利代理(香港)有限公司;

  • 代理人曹凌;王丽辉

  • 地址 美国纽约州

  • 入库时间 2023-06-19 10:00:31

说明书

相关申请的交叉引用

本申请要求2018年6月15日提交的美国临时申请序列号62/685,335的优先权,该申请的内容通过引用整体地并入本文中。

技术领域

本公开涉及用于在自动化诊断分析系统中表征样本容器(和其中的样本)的方法和设备。

背景技术

自动化诊断分析系统可使用一种或多种试剂进行测定或临床分析,以识别样本中的分析物或其他成分(诸如,尿液、血清、血浆、间质液、脑脊髓液等)。此类样本通常被包含在样本容器(例如,样本收集管)内。测试反应生成各种变化,可读取和/或操纵这些变化以确定样本中的分析物或其他成分的浓度。

自动化测试技术的改进已伴随着预分析样本制备和处理操作的对应进步,诸如通过自动化样本制备系统进行分选、批量制备、使样本容器离心以分离样本组分、移除帽以促进流体进入、预筛选HILN(溶血、黄疸和/或血脂、或正常)等,该自动化样本制备系统被称为实验室自动化系统(LAS)。LAS还可将样本容器中的样本自动地运送到若干个样本处理站,使得可对其执行各种操作(例如,预分析或分析测试)。

LAS可处理被包含在标准的有条形码标签的样本容器中的若干不同样本,这些样本容器可具有不同的大小(例如,直径和高度)。条形码标签可包含登录号(accessionnumber),所述登录号可包含患者信息和其他信息或与患者信息和其他信息相关,该患者信息和其他信息可连同测试订单(test order)一起输入到医院的实验室信息系统(LIS)中。操作者可将有标签的样本容器放置到LAS系统上,该LAS系统可自动地路由样本容器以进行预分析操作,诸如离心、去帽(de-capping)和/或等分试样(aliquot)制备,之后使样本经受由一个或多个分析仪(例如,临床化学或测定仪器)进行的临床分析或测定,所述分析仪也可以是LAS的一部分。

对于某些测试,可分析诸如血清或血浆部分(通过离心从全血获得)之类的生物液体。在样本是全血的情况下,可将凝胶分离物(gel separator)添加到样本容器以帮助从血清或血浆部分分离沉降的血液部分。在预处理之后,可将样本容器运送到适当的分析仪,该分析仪可从样本容器提取生物流体的一部分(例如,血清或血浆部分),并将流体与一种或多种试剂以及可能地其他材料在反应器皿(例如,比色皿)中组合。然后,可通过使用询问辐射(interrogating radiation)束等经由光度或荧光吸收读数来执行分析测量。这些测量允许确定终点速率或其他值,使用众所周知的技术从其确定生物流体中的分析物或其他成分的量。

然而,样本中任何干扰物(例如,溶血、黄疸和/或血脂)的存在(其可由患者状况或样品处理造成)可对从所述一个或多个分析仪获得的分析物或成分测量的测试结果产生不利影响。例如,样本中溶血(H)的存在(其可与患者的疾病状态无关)可引起对患者的疾病状况的不同解释。此外,样本中黄疸(I)和/或血脂(L)的存在也可引起对患者的疾病状况的不同解释。

在一些系统中,熟练的实验室技术人员可目检样本的血清或血浆部分的完整性,并将其评定为正常的(N)抑或具有H、I和/或L程度(例如,通过指派指数)。这可涉及对照已知标准来审查血清或血浆部分的颜色。然而,这种人工目检是非常主观的、费力的并且充满可能的人为误差。

由于人工检验可能成问题,因此已努力不使用由实验室技术人员进行的目检,而是通过使用自动化的机器视觉检验设备来评估样本完整性,其中,此类评估是在预分析测试(下文中为“预筛选”)期间进行的。预筛选涉及对通过分馏(例如,通过离心)从全血获得的血清或血浆部分中的干扰物(诸如,H、I和/或L)的自动化检测。

然而,在一些情况下,可将上述条形码标签中的一者或多者直接贴附在样本容器上。此类标签可部分地遮盖和遮蔽样本的某些侧向视点,使得可能存在不提供视觉观测血清或血浆部分的明确机会的一些取向。因此,此类预筛选的自动化已包括例如以允许对H、I和/或L或N进行自动化预筛选这样的方式来对样本进行旋转定向(见例如美国专利号9,322,761)。在其他系统中,从多个视点使样本容器和样本成像并利用基于模型的系统对其进行处理,使得不需要旋转样本容器(见例如WO 2016/133,900)。

在一些情况下,只有血清或血浆部分的一小部分可能是可见的,使得在血清或血浆部分上获得的任何H、I和/或L或N读数都可能不涉及高置信水平。此外,此类系统可能是复杂的,并且对图像数据的处理可能是计算繁重的。

因此,存在对一种强健且高效的方法和设备的未满足需求,所述方法和设备用于表征样本的血清或血浆部分以便确定溶血(H)、黄疸(I)和/或血脂(L)的存在和程度,或者确定样本的血清或血浆部分是否为正常的(N)。更特别地,存在对改进的方法和设备的未满足需求,所述改进的方法和设备用于确定样本是否包括H、I和/或L以及到什么程度或者确定样本是否为正常的(N)。

发明内容

根据第一方面,提供了一种表征样本容器的方法。该方法包括利用图像捕获装置来捕获样本容器的图像,其中,样本容器包括在其中的样本的血清或血浆部分。该方法还包括使用在一些实施例中包括超过100个层的深度语义分割网络来处理样本容器的图像的像素数据,该深度语义分割网络在计算机上执行以确定血清或血浆部分的分类指数。该方法进一步包括从深度语义分割网络输出血清或血浆部分的分类指数,其中,分类指数包括溶血、黄疸、血脂和正常类别,并且溶血、黄疸和血脂类别中的每一者包括五至七个子类别。

根据另一个方面,提供了一种质量检查模块。质量检查模块包括:多个图像捕获装置,其操作成从样本容器的一个或多个视点捕获一个或多个图像,该样本容器在其中包含样本的血清或血浆部分;以及计算机,其联接到所述多个图像捕获装置。计算机被构造和操作成使用在一些实施例中包括超过100个层的深度语义分割网络来处理样本容器的所述一个或多个图像的像素数据,该深度语义分割网络在计算机上执行以确定血清或血浆部分的分类指数。计算机还被构造和操作成从深度语义分割网络输出血清或血浆部分的分类指数,其中,分类指数包括溶血、黄疸、血脂和正常类别,并且溶血、黄疸和血脂类别中的每一者包括五至七个子类别。

在另外的方面中,提供了一种样本测试设备。样本测试设备包括轨道、能够在轨道上移动的载体、围绕轨道布置的多个图像捕获装置、以及联接到所述多个图像捕获装置的计算机。载体被构造成包含样本容器,该样本容器在其中包含样本的血清或血浆部分,并且所述多个图像捕获装置操作成从样本容器和样本的血清或血浆部分的一个或多个视点捕获一个或多个图像。计算机被构造和操作成使用在一些实施例中包括超过100个层的深度语义分割网络来处理样本容器的所述一个或多个图像的像素数据,该深度语义分割网络在计算机上执行以确定血清或血浆部分的分类指数。计算机还被构造和操作成从深度语义分割网络输出血清或血浆部分的分类指数,其中,分类指数包括溶血、黄疸、血脂和正常类别,并且溶血、黄疸和血脂类别中的每一者包括五至七个子类别。

通过图示若干示例实施例和实施方式(包括被构想用于实施本发明的最佳模式),本公开的再其他方面、特征和优点可容易从以下描述显而易见。本公开还可能够具有其他和不同实施例,并且其若干细节可在各个方面进行修改,所有这些都不脱离本发明的范围。本公开旨在覆盖落入所附权利要求书的范围(进一步见下文)内的所有修改、等同物和替换方案。

附图说明

下文描述的附图是出于图示性目的,并且不一定按比例绘制。因此,附图和说明书本质上将被视为是图示性的,而不是限制性的。附图不旨在以任何方式限制本发明的范围。

图1图示了根据一个或多个实施例的样本测试设备的顶部示意图,该样本测试设备包括被构造成实施HILN检测方法的一个或多个质量检查模块。

图2图示了样本容器的侧视图,该样本容器包括具有包含干扰物的血清或血浆部分的分离样本,并且其中,该样本容器包括在其上的标签。

图3A图示了样本容器的侧视图,该样本容器包括标签、包括包含干扰物的血清或血浆部分的分离样本、以及其中的凝胶分离物。

图3B图示了在保持器中被保持处于直立取向中的图3A的样本容器的侧视图。

图4A图示了根据一个或多个实施例的质量检查模块(其中顶部被移除)的示意性顶视图,该质量检查模块包括多个视点并被构造成捕获和分析多个背光图像以使得能够确定干扰物的存在和程度。

图4B图示了根据一个或多个实施例的沿着图4A的剖面线4B-4B截取的图4A的质量检查模块(其中前围护壁被移除)的示意性侧视图。

图5图示了根据一个或多个实施例的质量检查模块的功能部件的框图,该质量检查模块包括分割卷积神经网络(SCNN),该SCNN操作成输出样本容器中的样本的血清或血浆部分的干扰物分类指数。

图6图示了根据一个或多个实施例的图5的SCNN的深度语义分割网络(DSSN)的架构的框图。

图7图示了根据一个或多个实施例的图5和图6的DSSN的训练网络的框图。

图8是根据一个或多个实施例的表征样本容器的方法的流程图。

具体实施方式

在对被包含在样本容器中的样本进行预筛选期间,诸如在下文进一步描述的质量检查模块处,根据实施例提供一种确定样本的血清或血浆部分中的干扰物的存在和程度的方法。血清或血浆部分可以是血液的液体组分,并且可被发现位于在分馏(例如,通过离心)后的沉降的血液部分上方。沉降的血液部分可以是堆积的半固体,其由诸如白细胞(白血球)、红细胞(红血球)和血小板(凝血细胞)之类的血细胞构成。血浆和血清的凝血组分(主要是纤维蛋白原)含量可不同。血浆可以是未凝结的液体,而血清可指代已被允许在内源酶或外源组分的影响下凝结的血液血浆。

如本文中所使用的干扰物(interfered)(诸如,H、I和/或L)或正常(N)的确定(下文中为“HILN”)指代在样本的血清或血浆部分中存在溶血(H)、黄疸(I)或血脂(L)中的至少一者。“N”指代“正常”,其可被定义为包括可接受地低量的H、I和L的血清或血浆部分。溶血可被定义为血清或血浆部分中的一种状况,其中,在处理期间,红细胞被破坏,这导致血红蛋白从红细胞释放到血清或血浆部分中,使得血清或血浆部分呈现微红色彩。溶血的程度可通过指派溶血指数来量化。黄疸可被定义为血液的一种状况,其中,血清或血浆部分由胆汁色素(胆红素)的积累引起褪色,呈深黄色。黄疸的程度可通过指派黄疸指数来量化。血脂可被定义为血液中存在异常高浓度的乳化脂肪,使得血清或血浆部分具有发白或乳白色外观。血脂的程度可通过指派血脂指数来量化。

根据实施例的方法可仅确定HILN,或者确定H的度数或子类别(例如,在一些实施例中为H0-H6,且在其他实施例中更多或更少)、I的度数或子类别(例如,在一些实施例中为10-16,且在其他实施例中更多或更少)和/或L的度数或子类别(例如,在一些实施例中为L0-L4,且在其他实施例中更多或更少)。在一些实施例中,该方法可包括针对尚未离心的样本的血清或血浆部分的未离心(U)类别。另外,该方法可对样本容器和样本的各个区域进行分类(或“分割”),诸如血清或血浆部分、沉降的血液部分、凝胶分离物(如果使用的话)、空气、标签、样本容器的类型(指示例如高度和宽度/直径)、和/或样本容器帽的类型和/或颜色。样本容器保持器或背景也可进行分类。从包括样本容器上的一个或多个标签的区域区分出血清和血浆部分是一个特别令人烦恼的问题,因为所述一个或多个标签可在各种程度上包绕在样本容器上。因此,所述一个或多个标签可遮蔽一个或多个视图,使得可难以获得血清或血浆部分的清晰视图。

因此,由于来自所述一个或多个标签的干扰,血清或血浆部分的分类可能是具有挑战性的,标签的放置从一个样本容器到下一个样本容器可基本上不同。特别地,考虑到所述一个或多个标签可出现在背侧且因此可影响在前侧处接收的光传输,由所述一个或多个标签所引起的遮挡可严重地影响诸如来自各种视点的光谱响应。

此外,自动化诊断分析系统的质量检查模块以及在其中执行的相关联的表征方法应是计算高效的。因此,考虑到上文描述的挑战,在第一广泛方面中,本公开的实施例提供了被构造成使用分割卷积神经网络(SCNN)来确定HILN的存在和程度的方法和设备,该SCNN包括深度语义分割网络(DSSN),该DSSN输出具有超过20个血清类别的分类网络。在一些实施例中,DSSN可包括大于100个操作层,这在下文进一步描述。SCNN还可包括前端容器分割网络(CSN),以确定容器类型和容器边界。然后,可经由附加的输入通道将该确定的容器信息输入到DSSN,如下文进一步描述的。

在一些实施例中,到SCNN的输入可以是多光谱、多曝光图像数据,其可被合并和归一化,并且可从多个图像捕获装置获得。图像捕获装置可以是能够捕获用于分析的像素化图像(例如,数字图像)的任何装置,诸如数字相机、CCD(电荷耦合装置)、一个或多个CMOS(互补金属氧化物半导体)传感器、传感器阵列等。所述多个图像捕获装置可被布置和构造成从多个视点(例如,三个视点;其他数量的视点是可能的)捕获图像。本文中所描述的方法可使用样本容器和血清或血浆部分的高动态范围(HDR)图像处理作为到SCNN的输入。HDR成像可涉及在使用多个光谱照明时捕获多个曝光。在一些实施例中,训练SCNN以辨识被样本容器上的一个或多个标签遮盖的区域,使得从表征HILN的任何视点来看,SCNN都可以更好地考虑在样本容器的背侧上标签的存在。

结果,在存在标签遮挡的情况下,血清或血浆区域的更有效的分类可以是可获得的,并且可以改进血清或血浆部分的被标签遮盖的那些区域的强度读数中的置信度。因此,可以从DSSN输出对HILN和/或HIL的程度的改进的确定。

样本可被收集在样本容器(诸如,血液收集管)中,并且可包括在分馏(例如,通过离心而分离)后的沉降的血液部分以及血清和血浆部分。在一些样本容器中,可使用凝胶分离物,该凝胶分离物在离心期间将其自身定位在沉降的血液部分和血清或血浆部分之间。凝胶分离物用作两个部分(液体和半固体、沉降的血细胞)之间的物理屏障,并且可使其再混合最小化。样本容器可具有不同的大小,且因此可被供应来进行预筛选并以若干不同的构型被供应到分析仪。例如,样本容器可具有诸如13 mm×75 mm、13 mm×100 mm、16 mm×100 mm和16 mm×125 mm之类的大小。可使用其他合适的大小。

根据一个方面,表征方法可由质量检查模块并且在样本测试系统中实施,每个样本测试系统包括SCNN。SCNN可包括操作层,包括例如BatchNorm、ReLU激活、卷积(例如,2D)、析出(dropout)和解卷积(例如,2D)层以提取特征,诸如简单边缘、纹理以及血清或血浆部分和包含标签的区域的部分。顶层(诸如,全卷积层)可用来提供各部分之间的相关性。该层的输出可被馈送到SoftMax层,SoftMax层在每像素(或每块(patch)-包括n x n像素)基础上产生有关每个像素或块是否包括HILN的输出。在一些实施例中,可从SCNN仅提供HILN的输出。在其他实施例中,SCNN的输出可以是细粒度HILN,其具有HILN的大于20个血清类别,使得对于存在的每种干扰物,也获得了干扰物的水平(指数)的估计。

如果发现样本包含H、I和L中的一者或多者,则可将合适的通知提供给操作者,和/或可将样本容器从线上取下(1)以执行补救来纠正H、I或L中的所述一者或多者、(2)以重新汲取样本、或(3)以执行其他处理。因此,预筛选HILN(诸如,在离心后且在通过一个或多个分析仪进行分析前的第一可能实例处)的能力可有利地:(a)最小化分析不具有用于分析的恰当质量的样本所浪费的时间、(b)可避免或最小化错误的测试结果、(c)可最小化患者测试结果延迟、和/或(d)可避免浪费患者样本。

在一些实施例中,可提供分割输出和HILN输出的组合。这些输出可由SCNN的多个分支造成。分支可包括单独的卷积层以及解卷积和SoftMax层,其中,一个分支可专用于分割(例如,CSN),且其他分支(例如,DSSN)专用于HILN检测。也可提供多分支实施例,包括HILN、分割、样本容器类型检测和/或帽类型检测。

本文中将参考图1-8来进一步描述本发明的表征方法、被构造成实施表征方法的质量检查模块、以及包括一个或多个质量检查模块的样本测试设备的另外的细节。

图1图示了样本测试设备100,其能够自动地处理包含样本212的多个样本容器102(见例如图2-3B)。可在装载区域105处将样本容器102提供在一个或多个支架104中,之后将这些样本容器运送到一个或多个分析仪(例如,绕样本测试设备100布置的第一分析仪106、第二分析仪108和/或第三分析仪110)并由它们对这些样本容器进行分析。可使用更多或更少数量的分析仪。分析仪可以是临床化学分析仪和/或测定仪器等的任何组合。样本容器102可以是任何合适的透明或半透明容器,诸如血液收集管、试管、样品杯、比色皿或能够包含样本212并允许使在其中包含的所述样本成像的其他透明或不透明玻璃或塑料容器。样本容器102的大小可以是变化的。

可将样本212(图2-3B)提供给样本容器102中的样本测试设备100,该样本容器可用帽214盖住。帽214可具有不同的类型和/或颜色(例如,红色、宝蓝色、浅蓝色、绿色、灰色、棕褐色、黄色或颜色组合),这在样本容器102被用于什么测试、在其中包括的添加物类型、容器是否包括凝胶分离物等方面可具有意义。可使用其他颜色。在一个实施例中,可通过本文中所描述的表征方法来确定帽类型。

样本容器102中的每一者可设置有标签218,该标签可包括在其上的识别信息218i(即,标记),诸如条形码、字母、数字或其组合。识别信息218i可在绕样本测试设备100的各种位置处是机器可读的。机器可读信息可比标签材料(例如,白纸)更暗(例如,黑色),使得它可以被容易地成像。识别信息218i可经由实验室信息系统(LIS)147指示以下内容或者可以以其他方式与以下内容相关:患者的身份识别(identification)以及要对样本212执行的测试。识别信息218i可指示其他或附加信息。可将此类识别信息218i提供在标签218上,该标签可粘附到管215的外部表面上或者以其他方式提供在管215的外部表面上。如图2中所示,标签218可不一直围绕样本容器102延伸,或者全部都沿着样本容器102的长度延伸,使得从所示的特定前视点来看,大部分的血清或血浆部分212SP是可视的(该部分以虚线示出)并且未被标签218遮挡。

然而,在一些实施例中,可已提供了多个标签218(诸如来自已处理了样本容器102的多个设施),并且它们可在某种程度上彼此重叠。例如,可提供两个标签(例如,制造商的标签和条形码标签),并且它们可以是重叠的,且可遮盖(遮挡)一个或多个视点中的一些或全部。

因此,应理解的是,在一些实施例中,尽管(一个或多个)标签218可遮盖样本212的某个部分(被遮盖部分),但是样本212以及血清和血浆部分212SP的某个部分仍然可从至少一个视点可视(未被遮盖部分)。因此,根据本公开的另一个方面,可以训练被构造成实施表征方法的SCNN的实施例以辨识被遮盖部分和未被遮盖部分,使得可提供改进的HILN检测。

再次参考图2,样本212可包括被包含在管215内的血清或血浆部分212SP和沉降的血液部分212SB。空气216可被提供在血清和血浆部分212SP上方,并且它们之间的分界线被定义为液体-空气界面(LA)。血清或血浆部分212SP和沉降的血液部分212SB之间的分界线被定义为血清-血液界面(SB)。空气216和帽214之间的界面被定义为管-帽界面(TC)。管的高度(HT)被定义为从管215的最底部部分到帽214的底部的高度,并且可用于确定管大小。血清或血浆部分212SP的高度是(HSP),并且被定义为从血清或血浆部分212SP的顶部到沉降的血液部分212SB的顶部的高度。沉降的血液部分212SB的高度是(HSB),并且被定义为从沉降的血液部分212SB的底部到SB处的沉降的血液部分212SB的顶部的高度。HTOT是样本212的总高度,并且等于HSP加HSB。

在使用凝胶分离物313的情况下(图3A),血清或血浆部分212SP的高度是(HSP),并且被定义为从LA处的血清或血浆部分212SP的顶部到SG处的凝胶分离物313的顶部的高度,其中,SG是血清或血浆部分212SP和凝胶分离物313之间的界面。沉降的血液部分212SB的高度是(HSB),并且被定义为从沉降的血液部分212SB的底部到BG处的凝胶分离物313的底部的高度,其中,BG是沉降的血液部分212SB和凝胶分离物313之间的界面。HTOT是样本212的总高度,并且等于HSP加HSB加凝胶分离物313的高度。在每种情况下,Tw是壁厚,W是外宽度(其也可用于确定样本容器102的大小),并且Wi是样本容器102的内宽度。

更详细地,样本测试设备100可包括基座120(图1)(例如,框架、地板或其他结构),轨道121可安装在该基座上。轨道121可以是:有轨轨道(例如,单轨或多轨);输送带、输送链、可移动平台的集合;或任何其他合适类型的输送机构。在一些实施例中,轨道121可以是圆形或任何其他合适的形状,并且可以是闭合轨道(例如,无端轨道)。在操作中,轨道121可将样本容器102中的单个样本容器运送到载体122中绕轨道121间隔开的各种位置。

载体122可以是无源的、非机动圆盘(puck),其可被构造成在轨道121上携带单个样本容器102,或者可选地,可以是包括机载驱动马达(诸如,线性马达)的自动化载体,其被编程为绕轨道121移动并且在预编程位置处停止。可使用载体122的其他构型。载体122可各自包括保持器122H(图3B),该保持器被构造成将样本容器102保持在限定的直立位置和取向中。保持器122H可包括将样本容器102固定在载体122上的多个指状物或叶片弹簧,但是一些可以是能够移动的或柔性的以适应不同大小的样本容器102。在一些实施例中,载体122可在从所述一个或多个支架104卸载之后从装载区域105离开。装载区域105可提供双重功能,即在完成预筛选和/或分析之后还允许将样本容器102从载体122重新装载到装载区域105。

机器人124可设置在装载区域105处,并且可被构造成从所述一个或多个支架104抓取样本容器102并将样本容器102装载到载体122上,诸如装载到轨道121的输入道(inputlane)上。机器人124还可被构造成将样本容器102从载体122重新装载到所述一个或多个支架104。机器人124可包括一个或多个(例如,至少两个)机器人臂或部件,所述机器人臂或部件能够进行X(侧向)和Z(竖直——页面外,如所示的);Y和Z;X、Y和Z;或者r(径向)和θ(旋转)运动。机器人124可以是龙门式(gantry)机器人、关节式机器人、R-θ机器人或其他合适的机器人,其中,机器人124可装备有被定向、定大小和构造成拾取和放置样本容器102的机器人爪手(robotic gripper finger)。

在被装载到轨道121上时,由载体122携带的样本容器102可前进到第一预处理站125。例如,第一预处理站125可以是被构造成实施样本212的分馏的自动化离心机。携带样本容器102的载体122可通过流入道或其他合适的机器人转移到第一预处理站125。在离心之后,样本容器102可在流出道上离开,或者以其他方式由机器人移除,并且沿着轨道121继续。在所描绘的实施例中,接下来,可将载体122中的样本容器102运送到质量检查模块130以实施预筛选,如本文中将参考本文中的图4A-8进一步描述的。

质量检查模块130被构造成预筛选和实施本文中所描述的表征方法,并且被构造成自动地确定被包含在样本212中的H、I和/或L的存在以及范围或程度或者样本是否为正常的(N)。如果发现包含有效低量的H、I和/或L以便被认为是正常的(N),则样本212可在轨道121上继续,且然后可由所述一个或多个分析仪(例如,第一分析仪106、第二分析仪108和/或第三分析仪110)进行分析。此后,样本容器102可返回到装载区域105以便重新装载到所述一个或多个支架104。

在一些实施例中,除了对HILN的检测之外,可进行样本容器102和样本212的分割。根据分割数据,可使用后处理以便对样本212进行量化(即,确定HSP、HSB、HTOT,以及确定SB或SG以及LA的位置)。在一些实施例中,可在质量检查模块130处进行样本容器102的物理属性(例如,大小—高度和宽度/直径)的表征。此类表征可包括确定HT和W、以及可能地TC和/或Wi。根据该表征,可提取样本容器102的大小。此外,在一些实施例中,质量检查模块130还可确定帽类型,帽类型可被用作安全检查并且可了解(catch)是否已将错误的管类型用于所安排(ordered)的测试。

在一些实施例中,可在样本测试设备100上提供远程站132,该远程站不直接链接到轨道121。例如,独立机器人133(以虚线示出)可将包含样本212的样本容器102携带到远程站132,并且在测试/预处理之后使它们返回。可选地,可手动地移除和返回样本容器102。远程站132可用来测试某些成分(诸如,溶血水平),或者可用于进一步处理,以便例如通过一次或多次添加和/或通过附加的处理来降低血脂水平,或者以移除凝块、气泡或泡沫。可在远程站132处完成使用本文中所描述的HILN检测方法进行的其他预筛选。

可在轨道121上或沿着轨道121的一个或多个位置处提供(一个或多个)附加站。所述(一个或多个)附加站可包括去帽站、等分试样站、一个或多个附加的质量检查模块130等。

样本测试设备100可包括在围绕轨道121的一个或多个位置处的若干传感器116。传感器116可用来借助于读取识别信息218i或在每个载体122上提供的类似信息(未示出)来检测样本容器102在轨道121上的位置。可使用用于跟踪位置的任何合适的器件,诸如接近传感器。所有的传感器116都可与计算机143对接,使得可始终知道每个样本容器102的位置。

预处理站和分析仪106、108和110可装备有:机器人机构和/或流入道,其被构造成从轨道121移除载体122;以及机器人机构和/或流出道,其被构造成使载体122重新进入到轨道121。

样本测试设备100可由计算机143控制,该计算机可以是基于微处理器的中央处理单元CPU,其具有合适的存储器以及用于操作各种系统部件的合适的调节电子设备和驱动器。计算机143可被收容为样本测试设备100的基座120的一部分或与其分离。计算机143可进行操作以控制载体122去往和来自装载区域105的移动、绕轨道121的运动、去往和来自第一预处理站125的运动以及第一预处理站125(例如,离心机)的操作、去往和来自质量检查模块130的运动以及质量检查模块130的操作、以及去往和来自每个分析仪106、108、110的运动以及每个分析仪106、108、110的操作以便实施各种类型的测试(例如,测定或临床化学)。

对于除质量检查模块130以外的所有模块,计算机143可根据软件、固件和/或硬件命令或电路(诸如,在由纽约塔里敦的西门子医疗诊断公司(Siemens HealthcareDiagnostics Inc.)出售的dimension®临床化学分析仪上使用的那些)来控制样本测试设备100,并且此类控制对于基于计算机的机电控制编程领域的技术人员来说是典型的,并且在本文中将不进一步描述。然而,可使用用于控制样本测试设备100的其他合适的系统。质量检查模块130的控制也可由计算机143提供,但是是根据本文中详细描述的本发明的表征方法。

用于图像处理和用来实施本文中所描述的表征方法的计算机143可包括CPU或GPU、足够的处理能力和RAM、以及合适的存储装置(storage)。在一个示例中,计算机143可以是装备有多处理器的PC,其具有一个或多个GPU、8 GB Ram或更多、以及太字节或更大的存储装置(storage)。在另一个示例中,计算机143可以是装备有GPU的PC,或者可选地是以并行模式操作的装备有CPU的PC。也可使用MKL、8 GB RAM或更多、以及合适的存储装置(storage)。

可使用计算机接口模块(CIM)145来实施本公开的实施例,该CIM允许用户容易且快速地访问多种控制和状态显示屏幕。这些控制和状态显示屏幕可显示并使得能够控制用于制备和分析样本212的多个相互关联的自动化装置的一些或所有方面。CIM 145可被采用来提供关于多个相互关联的自动化装置的操作状态的信息、以及描述任何样本212的位置的信息、以及要对样本212执行或正对其执行的测试的状态。因此,CIM 145被适配成促进操作者和样本测试设备100之间的交互。CIM 145可包括显示屏幕,该显示屏幕操作成显示包括图标、滚动条、框和按钮的菜单,操作者可通过该菜单与样本测试设备100对接。菜单可包括若干功能元件,这些功能元件被编程为显示和/或操作样本测试设备100的功能方面。

图4A和图4B示出了质量检查模块130的第一实施例,该质量检查模块被构造成实施如本文中示出和描述的表征方法。质量检查模块130可被构造成预筛选样本212中(例如,在其血清或血浆部分212SP中)的干扰物(例如,H、I和/或L)的存在和程度,之后由所述一个或多个分析仪106、108和110对干扰物进行分析。以这种方式进行的预筛选允许在不浪费宝贵的分析仪资源或可能地使干扰物的存在影响测试结果的真实性的情况下对样本212进行附加的处理、附加的量化或表征、和/或丢弃和/或重新汲取样本212。

除了本文中所描述的干扰物检测方法之外,还可在质量检查模块130处在被包含在样本容器102中的样本212上进行其他检测方法。例如,可在质量检查模块130处实施一种方法以提供分割作为来自CSN的输出。可在后处理步骤中使用分割数据来量化样本212,即,确定样本212的某些物理尺寸特性(例如,LA和SB,和/或确定HSP、HSB和/或HTOT)。量化还可涉及估计例如血清或血浆部分的体积(VSP)和/或沉降的血液部分的体积(VSB)。还可确定其他可量化的几何特征。

此外,质量检查模块130可用来量化样本容器102的几何结构,即,量化样本容器102的某些物理尺寸特性,诸如TC的位置、样本容器102的HT和/或W或Wi。

现在参考图1、图4A和图4B,质量检查模块130可包括多个图像捕获装置440A-440C。示出了三个图像捕获装置440A-440C并且它们是优选的,但可选地可以使用两个或四个或更多个。图像捕获装置440A-440C可以是用于捕获界限清楚的数字图像的任何合适的装置,诸如能够捕获像素化图像的常规数字相机、电荷耦合装置(CCD)、光电检测器阵列、一个或多个CMOS传感器等。例如,在图4A中图示了三个图像捕获装置440A、440B、440C,并且它们被构造成从三个不同的侧向视点(被标记为1、2和3的视点)捕获图像。所捕获的图像大小可以是例如约2560 x 694像素。在另一个实施例中,图像捕获装置440A、440B、440C可捕获例如可以是约1280 x 387像素的图像大小。可使用其他图像大小和像素密度。

图像捕获装置440A、440B、440C中的每一者可被构造成并可操作以捕获样本容器102的至少一部分和样本212的至少一部分的侧向图像。例如,图像捕获装置440A-440C可捕获标签218的一部分、以及血清或血浆部分212SP的一部分或全部。在一些情况下,例如,视点1-3的一部分可被标签218部分地遮盖。在一些实施例中,视点1-3中的一者或多者可被完全地遮盖,即,血清或血浆部分212SP的清晰视图也许是不可能的。然而,即使在视点1-3的一侧(前侧或背侧)被一个或多个标签218完全遮盖的情况下,表征方法可仍然能够通过所述一个或多个遮盖标签218来区分血清或血浆部分212SP的边界。

在所示的实施例中,所述多个图像捕获装置440A、440B、440C被构造成在成像位置432处从多个视点1-3捕获样本容器102和样本212的侧向图像。视点1-3可布置成使得它们彼此近似等间隔,诸如如所示的彼此约120°。如所描绘的,图像捕获装置440A、440B、440C可围绕轨道121布置。可使用所述多个图像捕获装置440A、440B、440C的其他布置。以这种方式,在成像位置432处,可在样本容器102驻留在载体122中的同时拍摄样本容器102中的样本212的图像。由图像捕获装置440A、440B、440C获得的多个图像的视野可在周向范围(extent)内略微重叠。

在一个或多个实施例中,载体122可在质量检查模块130中的预定位置处停止,诸如在成像位置432处,即,诸如在来自图像捕获装置440A、440B、440C中的每一者的法向向量彼此相交的点处。可提供门(gate)或载体122的线性马达以使载体122在成像位置432处停止,使得可在那里捕获多个质量图像。在质量检查模块130处存在门的实施例中,可使用一个或多个传感器(比如传感器116)来确定在质量检查模块130处载体122的存在。

可紧邻成像位置432处的图像窗口提供图像捕获装置440A、440B、440C并且将它们训练或聚焦以捕获成像位置432处的图像窗口,其中,该图像窗口是包括样本容器102的预期位置的区。因此,在一些实施例中,可使样本容器102停止,使得其近似位于视图窗口(view window)的中心。在所捕获的图像内,可存在一个或多个参考基准。

在质量检查模块130的操作中,响应于可由计算机143发送的通信线路443a、443b、443c中提供的触发信号,可触发和捕获每个图像。根据一个或多个实施例,可由计算机143处理所捕获的图像中的每一者。在一种特别有效的方法中,可使用高动态范围(HDR)处理来捕获和处理来自所捕获的图像的图像数据。更详细地,在以一个或多个不同的光谱按顺序对样本212进行照明时,在质量检查模块130处以多个不同的曝光(例如,在不同的曝光时间)捕获该样本的多个图像。例如,每个图像捕获装置440A、440B、440C可在不同的曝光时间以多个光谱中的每一者拍摄包括血清或血浆部分212SP的样本容器102的4-8个图像。例如,在利用具有红色光谱的光源444A对样本212进行背光照明时,可由图像捕获装置440A在视点1拍摄4-8个图像。可在视点2和3处按顺序拍摄附加的相似图像。

在一些实施例中,可使用发射不同光谱照明的不同光源444A-444C来完成多个光谱图像。光源444A-444C可对样本容器102进行背光照明(如图所示)。在一些实施例中,光扩散器可与光源444A-444C结合使用。多个不同光谱光源444A-444C可以是RGB光源,诸如发射634nm +/- 35nm(红色)、537nm +/- 35nm(绿色)和455nm +/- 35nm(蓝色)的标称波长的LED。在其他实施例中,光源444A-444C可以是白光源。在标签218遮蔽多个视点的情况下,可使用IR背光照明或NIR背光照明。此外,即使当存在标签遮盖时,在一些情况下也可使用RGB光源。在其他实施例中,光源444A-444C可发射具有在约700 nm和约1200 nm之间的标称波长的一个或多个光谱。

通过非限制性示例,为了以第一波长捕获图像,可使用三个红色光源444A-444C(波长为约634 nm +/- 35 nm)以从三个侧向位置按顺序照明样本212。当由每个图像捕获装置440A-440C在不同的曝光时间从每个视点1-3捕获多个图像(例如,4-8个图像或更多)时,可发生由光源444A-444C进行的红色照明。在一些实施例中,曝光时间可在约0.1 ms和256 ms之间。可使用其他曝光时间。在一些实施例中,例如,可按顺序拍摄每个图像捕获装置440A-440C的相应图像中的每一者。因此,对于每个视点1-3,按顺序获得一组图像,该组图像具有红色光谱背光照明和诸如不同的曝光时间之类的多次(例如,4-8次)曝光。这些图像可以以轮循(round robin)的方式拍摄,例如,其中从视点1拍摄所有图像,接着是按顺序从视点2和3拍摄所有图像。

在每个实施例中,质量检查模块130可包括壳体446,该壳体可至少部分地包围或覆盖轨道121以使外部照明影响最小化。在图像拍摄序列期间,样本容器102可位于壳体446内部。壳体446可包括一个或多个门446d,以允许载体122进入到壳体446中和/或从壳体446离开。在一些实施例中,顶板(ceiling)可包括开口446O,以允许由包括可移动机器人指状物的机器人从上方将样本容器102装载到载体122中。

一旦在图4A-4B的实施例中捕获到红色照明图像,就可接通另一种光谱的光,例如,绿色光谱光源444A-444C(标称波长为约537 nm,其中带宽为约+/- 35 nm),并且可由每个图像捕获装置440A、440B、440C在不同的曝光时间按顺序捕获多个图像(例如,4-8个或更多个图像)。对于每个图像捕获装置440A、440B、440C,这可利用蓝色光谱光源444A-444C(标称波长为约455 nm,其中带宽为约+/- 35 nm)进行重复。例如,可通过光板来完成不同标称波长的光谱光源444A-444C,所述光板包括可以选择性地接通和切断的成排的不同所期望的光谱光源(例如,R、G、B、W、IR和/或NIR)。可使用其他用于背光照明的器件。

可快速连续地获得针对每个相应波长光谱以多个曝光(例如,曝光时间)拍摄的多个图像,使得例如可在不到几秒钟内获得来自多个视点1-3的样本容器102和样本212的背光图像的整个集合。在一个示例中,使用图像捕获装置440A、440B、440C以及利用RGB光源444A-444C进行的背光照明在三个视点1-3处针对每个波长的四个不同曝光图像将导致4个图像×3个光谱×3个图像捕获装置=36个图像。在另一个示例中,使用图像捕获装置440A、440B、440C以及利用R、G、B、W、IR和NIR光源444A-444C进行的背光照明在三个视点处针对每个波长的4个不同曝光图像将导致4个图像×6个光谱×3个相机=72个图像。

根据表征方法的实施例,图像数据的处理可涉及预处理步骤,该预处理步骤包括例如从以每个光谱波长在不同的曝光时间且针对每个图像捕获装置440A-440C捕获的多个图像中选择最佳曝光像素,以便为每个光谱且为每个视点1-3生成最佳曝光图像数据。这在本文中被称为“图像合并”。

对于每个对应的像素(或块),对于来自每个图像捕获装置440A-440C的图像中的每一者,可从每个视点1-3的不同曝光图像中的每一者中选择展现最佳图像强度的像素(或块)。在一个实施例中,最佳图像强度可以是例如落在预定强度范围内(例如,按0-255的比例尺在180-254之间)的像素(或块)。在另一个实施例中,最佳图像强度可例如按0-255的比例尺在16-254之间。如果两个曝光图像的对应像素(或块)位置中的多于一个像素(或块)被确定为是最佳曝光的,则可选择两者中的较高者。

展现最佳图像强度的所选像素(或块)可通过其相应的曝光时间来归一化。其结果是用于照明光谱(例如,R、G、B、白光、IR和/或IR——取决于所使用的组合)以及用于每个图像捕获装置440A-440C的多个归一化且合并的光谱图像数据集,其中所有的像素(或块)都是最佳曝光的(例如,每个光谱一个图像数据集)。换句话说,对于每个视点1-3,由计算机143实施的数据预处理可导致多个最佳曝光且归一化的图像数据集,每个所采用的照明光谱对应一个。

图5示出了包括功能部件的设备500,这些功能部件被构造成实施本文中所描述的HILN表征方法。设备500可被体现为由计算机143控制的质量检查模块130。如上文讨论的,在功能框502中,可将样本容器102设置在质量检查模块130的成像位置432(图4A和图4B)处。在功能框504中,可由所述多个图像捕获装置440A-440C来捕获多视图图像。如上文讨论的,在功能框506中,可预处理多视图、多光谱、多曝光图像中的每一者的图像数据,以提供多个最佳曝光和归一化的图像数据集(下文中称为“图像数据集”)。样本容器的图像的图像数据(即,像素数据)可作为输入而提供给分割卷积神经网络(SCNN)535。

在非接触式实验室自动化程序期间的一项重要任务是样本容器(诸如例如,样本容器102)的详细表征。这包括例如将样本容器与其背景分离、理解血清或血浆部分的含量、以及分割贴附到样本容器的任何标签。所有这些任务都可利用SCNN 535来完成,该SCNN执行像素级分类。给定输入图像(即,像素数据),SCNN 535操作成将分类指数指派给图像的每个像素(基于如由其像素数据值指示的其局部外观)。所提取的像素指数信息可以由SCNN535进一步处理,以确定最终的HILN分类指数。在一些实施例中,分类指数可包括21个血清类别,包括未离心类别、正常类别和19个HIL类别/子类别,如下文更详细描述的。

确定HIL分类指数的挑战可由H、I和L类别的每个子类别内的细微外观差异造成。即,相邻子类别的像素数据值非常类似。附加的挑战由不同的样本容器大小和形状以及可以出现的各种样本容器标签遮盖造成,如上文所描述的。例如,样本容器标签会挡住样本容器中的样本的视图,或者会在样本容器的背侧上生成阴影区域,该阴影区域会使样本的外观变暗。

为了克服这些挑战,SCNN 535包括超深度语义分割网络(DSSN)538,在一些实施例中,该DSSN包括超过100个操作层。具有此类深度网络的益处是,它可增加网络接收字段,从而利用更多的上下文信息而不是小的局部区域。此外,致密地连接的网络将特征从低阶的层级联到高阶的层,以及将特征从编码区域级联到解码区域。通过这样做,与被构造成用于同一任务的一些已知卷积神经网络相比,可更容易地训练DSSN 538以从图像中辨识更多详细特征。

为了克服可由样本容器类型(例如,大小和/或形状)的变化所引起的外观差异,SCNN 535还在DSSN 538的前端处包括小型容器分割网络(SCN)536。SCN 536被构造和操作成确定容器类型和容器边界。容器类型和容器边界信息537可经由附加的输入通道被输入到DSNN 538,并且在一些实施例中,SCNN 535可提供所确定的容器类型和边界539作为输出。在一些实施例中,SCN 536可具有与DSSN 538类似的网络结构,但是更浅(即,具有少得多的层)。

为了克服可由(一个或多个)样本容器标签所引起的外观差异,网络损失函数已被构造成支持多标签损失。即,在一些已知的网络中,可针对每个图像像素仅输出一个值。在SCNN 535中,针对每个图像像素输出两个值——一个用于血清类别,且一个用于样本容器标签类别。样本容器标签类别的值的范围可从0(意指无样本容器标签)到3(意指像素可被标签的三个层覆盖)。通过将两个值组合,SCNN 535能够更好地确定隐藏在一个或多个样本容器标签后面的样本流体区域的血清或血浆部分类别。

如图5中所示,SCNN 535的输出可以是分类指数540,在一些实施例中,该分类指数可包括未离心类别540U、正常类别540N、溶血类别540H、黄疸类别540I和血脂类别540L。在一些实施例中,溶血类别540H可包括子类别H0、H1、H2、H3、H4、H5和H6。黄疸类别540I可包括子类别I0、I1、I2、I3、I4、I5和I6。血脂类别540L可包括子类别L0、L1、L2、L3和L4。在其他实施例中,溶血类别540H、黄疸类别540I和/或血脂类别540L中的每一者可具有其他数量的细粒度子类别。

图6图示了根据一个或多个实施例的DSSN 538的架构638。DSSN 538可使用任何合适的科学计算框架、程序或工具箱来编码,诸如例如,可从伯克利视觉和学习中心(BerkleyVision and Learning Center)(BVLC)获得的Caffe、Theano、用于快速计算数学表达式的Python框架、TensorFlow、Torch等。架构638可包括以下操作层: 两个卷积(CONV)层601和647;十一个致密块层DB4 603、DB5 607、DB7 611、DB10 615、DB12 619、DB15 623、DB12627、DB10 631、DB4 635、DB5 639和DB4 643;五个过渡向下层TD 605、TD 609、TD 613、TD617和TD 621;五个过渡向上层TU 625、TU 629、TU 633、TU 637和TU 641;以及完全连接层645,如图6中布置的,其中,输出分类指数540。

致密块层DB4 603、635和643中的每一者可包括四个致密层。致密块层DB5 607和639中的每一者可包括五个致密层。致密块层DB7 611可包括七个致密层。致密块层DB10615和631中的每一者可包括十个致密层。致密块层DB12 619和627中的每一者可包括十二个致密层。并且,致密块层DB15 623可包括十五个致密层。每个致密层可包括批归一化操作、ReLU层和具有析出值(dropout)p = 0.2的3x3卷积层,其中,第一致密层接收输入并输出若干像素标签图,这些像素标签图被级联到该输入。然后,第二致密层接收级联的输出作为其输入,并输出若干像素标签图,这些像素标签图再次被级联到先前的像素标签图。这可针对致密块层中的每个致密层进行重复。

每个过渡向下层TD 605、TD 609、TD 613、TD 617和TD 621可包括批归一化操作,接着是ReLu层,接着是具有析出值(dropout)p = 0.2的3x3卷积层,接着是2x2最大池化层。请注意,取决于得出最佳结果的实验测试运行,析出值(dropout)的范围可从0到1。在一些实施例中,在TD 605的输出处像素标签图的数量可以是112,在TD 609的输出处像素标签图的数量可以是192,在TD 613的输出处像素标签图的数量可以是304,在TD 617的输出处像素标签图的数量可以是464,并且在TD 621的输出处像素标签图的数量可以是656。在其他实施例中,可输出的像素标签图的其他数量是可能的。

在该实施例中,每个过渡向上层TU 625、TU 629、TU 633、TU 637和TU 641可包括步长为2的3×3转置卷积层。其他过渡向上层参数也是可能的。

在一些实施例中,在DB15 623的输出处像素标签图的数量可以是896,在DB12 627的输出处像素标签图的数量可以是1088,在DB10 631的输出处像素标签图的数量可以是816,在DB4 635的输出处像素标签图的数量可以是578,在DB5 639的输出处像素标签图的数量可以是384,并且在DB4 643的输出处像素标签图的数量可以是256。在其他实施例中,可输出的像素标签图的其他数量是可能的。

如本文中所使用的,卷积层是处理步骤,其可将滤波器(也称为内核)应用于输入的图像数据(例如,像素强度值)以输出激活图,该激活图可指示在图像数据中的某个空间位置处对某种特定类型的颜色或特征(例如,在应用几个卷积层之后,在将第一卷积层应用于稍微更复杂的特征之后,来自简单的曲线)的检测。

最大池化层是处理步骤,即,其可应用滤波器以生成出现在从卷积层接收的所述一个或多个激活图中的具有最大像素值的激活图。

ReLU(整流线性单元)层是处理步骤,其可将非线性函数应用于所接收的激活图中的所有值,从而导致例如所有负激活值都指派有零值。

完全连接层是处理步骤,其聚合先前的激活图(这些激活图中的每一者可指示对较低阶(level)特征的检测),以指示对较高阶(level)特征的检测。

softmax层通常是最终处理步骤,其输出根据图像特征的类别来突出显示或识别一个或多个图像的最可能的特征的概率分布。

确定HIL分类指数的另一个挑战是使SCNN 535输出同质结构。即,挑战在于避免使血清或血浆部分被分类为不同HIL类别的组合。这可由于语义分割网络中的损失函数可单独地评估每个像素而发生。尽管DSSN 538响应于大的接收字段而使用上下文信息,但是针对样本容器的同一图像的每个像素输出同质类别原本可能没有限制。

为了克服这一挑战,作为利用判别网络进行的训练过程的结果,DSSN 538可“被迫”输出同质结构,该判别网络类似于已知的生成式对抗网络。如图7中所示,根据一个或多个实施例,训练网络700包括DSSN 538,该DSSN联接到判别网络702以区分所生成的像素标签图。判别网络702可指示所生成的像素标签图是从DSSN 538还是从真实(ground truth)注释图生成。在分割真实图作为正样品且DSSN 538的输出(仅在几个迭代期(epoch)后才训练)作为负样品的情况下,可预训练判别网络702。如果DSSN 538输出与真实图非常不同的像素标签图(指示分类),则判别网络702可为DSSN 538生成附加损失以在反向传播过程中使用,从而共计像素标签图损失。DSSN 538可根据总损失来更新权重,并且可试图在未来的迭代中减小误差。最终,DSSN 538输出可进行收敛以生成判别网络702不能通过使输出与真实图非常类似来区分的结果。这可导致输出对于血清或血浆部分被同质地结构化。换句话说,在该训练过程期间,DSSN 538和判别网络702可同时改进并收敛于平衡点处,在该平衡点处,DSSN 538可输出判别网络702不能与真实注释图区分的合成的像素标签图(指示分类指数)。

SCNN 535组合了几种不同的解决方案,以至少克服由样本容器表征(在例如质量检查模块130处执行)的复杂成像环境带来的上述挑战。如本文中所描述,SCNN 535有利地包括若干个卷积神经网络,这些卷积神经网络用于表征(CSN 536和DSSN 538)和用于训练(判别网络702)。由硬件在质量检查模块130处创建的样本容器图像被输入到SCNN 535,该SCNN在计算机143上执行。样本容器内样本的血清或血浆部分的分类指数540可从SCNN 535输出,然后可将其用于进一步分析,如上文所描述的。

图8图示了根据本公开的一个或多个实施例的表征方法800的流程图。表征方法800可由如本文中所描述的质量检查模块130来实施。特别地,根据一个或多个实施例,表征方法800可确定样本212中的干扰物的存在,且特别地可确定样本212中存在的干扰物的程度。表征方法800可包括:在过程框802中,利用图像捕获装置(例如,图像捕获装置440A-440C中的一者)来捕获样本容器(例如,样本容器102)的图像。样本容器可包括在其中的样本(例如,样本212)的血清或血浆部分(例如,血清或血浆部分212SP)。图像可来自多个视点(例如,图4A的视点1、2和3)中的一者。此外,样本容器102可包括在其上的一个或多个标签(例如,标签218),并且图像可以是数字的像素化图像。

表征方法800可进一步包括:在过程框804中,使用在一些实施例中包括超过100个层的深度语义分割网络(例如,DSSN 538)来处理样本容器的图像的像素数据,该深度语义分割网络在计算机(例如,计算机143)上执行以确定血清或血浆部分的分类指数(例如,分类540)。

在过程框806中,表征方法800可包括从深度语义分割网络输出血清或血浆部分的分类指数,其中,分类指数包括溶血、黄疸、血脂和正常类别,并且溶血、黄疸和血脂类别中的每一者包括五至七个子类别。例如,分类指数可以是分类指数540(图5和图6),在一些实施例中,其可包括以下类别(和子类别): 540U、540N、540H(H0、H1、H2、H3、H4、H5、H6)、540I(I0、I1、I2、I3、I4、I5、I6)和540L(L0、L1、L2、L3和L4)。

在一些实施例中,表征方法800还可包括:使用前端容器分割网络(例如,CSN 536)来处理样本容器的图像的像素数据,该前端容器分割网络在计算机(例如,计算机143)上执行以确定容器类型和容器边界;以及经由附加的输入通道将容器类型和容器边界从前端容器分割网络输入到深度语义分割网络(例如,DSSN 538),以确定血清或血浆部分的分类指数。

在一些实施例中,除了输出分类指数之外,表征方法800还可进一步包括从前端容器分割网络(例如,CSN 536)输出容器类型和容器边界信息(例如,容器类型和边界信息539)。这可包括例如:帽类型,其可以是被预训练到例如CSN 536中的特定帽形状或帽颜色;和/或分割数据,其可包括类别,诸如(1)管、(2)凝胶分离物、(3)帽、(4)空气、(5)标签、(6)沉降的血液部分和/或(7)血清或血浆部分。可使用其他数量的类别。

请注意,在一些实施例中,可在各种曝光时间中的一者和/或在若干种光谱照明条件(例如,R、G、B、白光、IR和/或近IR)中的一者下捕获样本容器的图像。例如,在不同的光谱照明条件下,可存在针对每个视点在不同的曝光时间拍摄的4-8次不同的曝光或更多。

因此,基于前述内容,应显而易见的是,提供了一种改进的表征方法800,其通过考虑可能遮盖一个或多个视点的标签并通过在HIL指数内提供细粒度干扰水平来更好地表征血清或血浆部分212SP。

如还应该显而易见的是,可使用质量检查模块(例如,质量检查模块130)来实施以上的表征方法,该质量检查模块包括:多个图像捕获装置(例如,图像捕获装置440A-440C),其围绕成像位置(例如,成像位置432)布置并被构造成从样本容器102的一个或多个视点(例如,图4A的视点1-3)捕获一个或多个图像,该样本容器包括一个或多个标签218并包含样本212的血清或血浆部分212SP;以及计算机(例如,计算机143),其联接到所述多个图像捕获装置并被构造成处理所述一个或多个图像的像素数据。计算机(例如,计算机143)可被构造成并且能够进行操作以处理来自所述一个或多个视点(例如,视点1-3)的所述一个或多个图像,从而在HIL的许多子类别内提供HILN确定连同管类型和管边界信息。

进一步地,可在包括质量检查模块130的样本测试设备100上实施表征方法800。样本测试设备100可包括轨道121和能够在轨道121上移动的载体122。载体122可被构造成:包含和支撑样本容器102,该样本容器包括所述一个或多个标签218并且包含样本212的血清或血浆部分212SP;以及将样本容器102携带到质量检查模块130以完成对干扰物(interfered)的存在的表征和预筛选。

虽然本公开易受各种修改和替换形式的影响,但是特定的方法和设备实施例已在附图中通过示例而示出并在本文中进行了详细描述。然而,应理解的是,本文中所公开的特定方法和设备并不旨在限制本公开,而是相反地,旨在覆盖落入所附权利要求书的范围内的所有修改、等同物和替换方案。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号