首页> 中国专利> 用于自动估计病变特质的光声图像分析方法和系统

用于自动估计病变特质的光声图像分析方法和系统

摘要

提供了用于执行光声分类预测的系统和方法。该方法针对感兴趣体积利用与接收OA特征分数相关的一个或多个处理器,该OA特征分数与从患者检查中收集的OA图像相关。感兴趣体积包括病变。该方法将所述OA特征分数应用于分类模型以获得指示病变的特质的预测结果。

著录项

  • 公开/公告号CN113194815A

    专利类型发明专利

  • 公开/公告日2021-07-30

    原文格式PDF

  • 申请/专利权人 西诺医疗器械股份有限公司;

    申请/专利号CN201980076919.X

  • 发明设计人 B.克林曼;S.G.戴克斯;

    申请日2019-09-26

  • 分类号A61B5/00(20060101);G16H50/20(20180101);G16H30/40(20180101);G06T7/00(20170101);

  • 代理机构11105 北京市柳沈律师事务所;

  • 代理人李文娟

  • 地址 美国德克萨斯州

  • 入库时间 2023-06-19 12:02:28

说明书

相关申请的交叉引用

本申请要求2019年6月19日提交的美国非临时申请第16/445,765号的优先权,并要求2018年10月11日提交的美国临时申请第62/744,606号的优先权,其中每个申请的主题通过引用全部并入本文。

技术领域

本文的实施例总体涉及光声(OA)成像方法。

背景技术

在世界范围内,乳腺癌是最常见的诊断癌症,并且是女性癌症死亡的第二大原因。虽然近20年来,乳腺癌的死亡率已经显著下降,但乳腺癌仍是西方女性发病率和死亡率的主要原因之一。

如今,超声被用于可疑乳腺肿块的评估,以及指导活检。然而,由乳腺超声成像非侵入地评估组织架构不能提供关于癌症的足够的预后信息,因此除了对肿瘤大小和形态的评估外,对临床医生具有的价值有限。

仍然需要改进最优声学图像分析。

发明内容

根据本文的实施例,提供了用于执行光声分类预测的方法。该方法针对感兴趣体积利用与接收OA特征分数相关的一个或多个处理器,该OA特征分数与从患者检查中收集的OA图像相关。感兴趣体积包括病变。方法将OA 特征分数应用于分类模型以获得指示病变的特质的预测结果,并输出该预测结果。

可选地,方法可以针对感兴趣体积接收与从患者检查中收集的非OA图像相关的非OA特征分数。方法可以将非OA特征分数与OA特征分数结合应用于分类模型以获得预测结果。预测结果可以是i)指示病变可能是处于恶性类或良性类的可能性,ii)指示护理路径决策,和/或iii)病变可能是处于恶性类或良性类的恶性可能性(LOM)标志符。LOM标志符可以表示平均置信度区间。预测结果还可以包括置信度区间范围。应用操作可以包括将OA特征分数应用到分类模型的集合(ensemble)。至少一部分分类模型可以输出对应的预测结果。

可选地,该方法还可以包括组合预测结果以形成指示病变可能处于恶性类的可能性的复合预测结果。分类模型可以表示决策树,该决策树可以包括决策点、分支和病变特质。应用操作可以包括在决策点处测试OA特征分数,并且可以基于测试通过决策树进行分支,直到达到病变特质之一。分类模型可以利用预测性机器学习分类器和标签数据集来建立,该标签数据集可以包括OA特征分数和针对数据集中病变的恶性或良性标签。

根据本文的实施例,提供了用于建立与光声(OA)分类预测相关的分类模型的方法。方法利用与接收针对多个患者的标签数据集相关的一个或多个处理器。标签数据集包括来自针对多个患者的检查的感兴趣体积的OA图像中的病变的OA特征分数。标签数据集包括指示病变特质的类标志符。该方法基于标签数据集利用预测性机器学习(PML)分类器来以建立分类模型的集合。分类模型中的每一个都包括指示病变特质的预测结果。

可选地,标签数据集可以包括以下各项的组合:i)来自针对多个患者的检查的OA图像的OA特征分数,ii)已经被确定并与OA特征分数一起记录的类标志符,以及iii)针对来自多个患者的检查的非OA图像的非OA特征分数。PML分类器可以包括分类和回归树(CART)、C4.5决策树、K最近邻、支持向量机(SVM)和朴素贝叶斯分类器中的一种或多种。PML分类器可以利用随机森林算法来形成对应于分类模型的决策树的集合。PML分类器可以利用极端梯度提升算法,与分类和回归树(CART)决策树组合来形成分类模型。分类模型可以表示决策树,该决策树包括决策点、分支和病变特质。

根据本文的实施例,提供了用于执行光声分类预测的系统。该系统包括被配置为存储程序指令的存储器。提供了一个或多个处理器,该一个或多个处理器当执行程序指令时,被配置为:针对感兴趣体积接收与从患者检查中收集的OA图像相关的OA特征分数,感兴趣体积包括病变,将OA特征分数应用于分类模型以获得指示病变是处于恶性类或良性类的可能性的预测结果,并输出预测结果。

可选地,一个或多个处理器还可以被配置为:针对感兴趣体积接收与从患者检查中收集到的非OA图像相关的非OA特征分数。系统可以将非OA 特征分数与OA特征分数组合应用于分类模型以获得预测结果。预测结果可以包括病变可能是处于恶性类或良性类的恶性可能性(LOM)标志符。LOM 标志符可以表示平均置信度区间。预测结果还可以包括置信度区间范围。一个或多个处理器还可以被配置为将OA特征分数应用到分类模型的集合。至少一部分分类模型可以输出对应的预测结果。

可选地,处理器还可以被配置为组合预测结果以形成指示病变可能处于恶性类的可能性的复合预测结果。分类模型可以表示决策树,该决策树包括决策点、分支和病变特质。应用操作可以包括在决策点处测试OA特征分数,并且可以基于测试通过决策树进行分支,直到达到病变特质之一。分类模型可以利用预测性机器学习分类器和标签数据集来建立,该标签数据集可以包括OA特征分数和数据集中病变的恶性或良性标签。

根据本文的实施例,提供了用于建立与光声(OA)分类预测相关的分类模型的系统。该系统包括被配置为存储程序指令的存储器。提供了一个或多个处理器,该一个或多个处理器当执行程序指令时,被配置为接收多个患者的标签数据集。标签数据集包括来自多个患者的检查的感兴趣体积的OA图像中的病变的OA特征分数。标签数据集包括表示病变是处于良性类还是恶性类的类标志符。该系统利用预测性机器学习(PML)分类器来基于标签数据集建立分类模型的集合。分类模型中的每一个都包括指示病变处于恶性类或良性类的可能性的预测结果。

可选地,标签数据集可以包括以下各项的组合:i)来自针对多个患者的检查的OA图像的OA特征分数,ii)已经被确定并与OA特征分数一起记录的类标志符,以及iii)针对来自多个患者的检查的非OA图像的非OA特征分数。PML分类器可以包括分类和回归树(CART)、C4.5决策树、K最近邻、支持向量机(SVM)和朴素贝叶斯分类器中的一种或多种。PML分类器可以利用随机森林算法来形成对应于分类模型的决策树的集合。PML分类器可以利用极端梯度提升算法,与分类和回归树(CART)决策树组合来形成分类模型。分类模型可以表示决策树,该决策树包括决策点、分支和病变特质。

附图说明

图1示出了根据本文实施例的PML分类系统的基本组件的框图。

图2A示出了根据本文实施例的用于建立分类模型的集合的过程。

图2B示出了来自根据本文实施例建立的分类模型的决策树的示例。

图3示出了根据本文实施例的交叉验证的示例。

图4示出了本文实施例的分类概率与测量的PPV之间的关系。

图5A示出了分布式操作图,以进一步描述根据本文实施例由临床医生计算设备和计算服务器执行的操作。

图5B示出了根据本文实施例将OA(和非OA)特征分数应用于分类模型以获得指示病变处于恶性类或良性类的可能性的病变特质的过程。

图6示出了根据本文实施例可以以其显示作为结果的预测结果的方式的示例。

图7示出了根据本文实施例经由光路和电路连接到系统底盘的探头。

图8示出了根据本文实施例的过程。

具体实施方式

下面的描述和图示是例示性的,不应解释为限制性的。为了提供彻底的理解,描述了许多具体细节。然而,在某些实例中,为了避免模糊描述,没有描述众所周知或常规的细节。本公开中对一个或一实施例的引用不一定是对同一实施例的引用;并且,这样的引用意味着至少一个。

本说明书中提及“一个实施例”或“一实施例”意味着结合实施例描述的特定特征、结构或特性包括在本公开的至少一个实施例中。在说明书中各种地方出现的短语“在一个实施例中”不一定都是指同一实施例,也不是相互排斥其他实施例的单独的或替代的实施例。此外,描述了各种特征,这些特征可能由一些实施例展示,而不是由其他实施例展示。类似地,描述了各种要求,这些要求可能是一些实施例的要求,而不是其他实施例的要求。

下面将参照提供具有平面外伪影抑制的光声成像的方法和设备的框图、操作例示和算法等来描述系统和方法。可以理解的是,框图、操作例示和算法中的每个块,以及框图、操作例示和算法中的块的组合,都可以通过模拟或数字硬件和计算机程序指令的手段来实现。

这些计算机程序指令可以存储在计算机可读介质上,并被提供给通用计算机、专用计算机、ASIC或其他可编程数据处理装置的处理器,以使得其经由计算机或其他可编程数据处理装置的处理器执行的指令实施了框图、一个或多个操作块和或算法中指定的功能/行为。

在某些情况下,为了性能,基于频域的算法需要零或对称的填充。这种填充对于描述算法的实施例来说并不是必不可少的,因此有时在处理步骤的描述中省略了它。在一些情况下,其中在步骤中公开了填充,该算法仍然可以在没有填充的情况下被执行。然而,在一些情况下,填充是必不可少的,并且不能在不破坏数据的情况下删除。

在一些替代实施方式中,块中所指出的功能/行为可以不按操作例示中所指出的顺序发生。例如,取决于所涉及的功能/行为,连续示出的两个块实际上可以基本上同时执行,或者有时可以以相反的顺序执行块。

现在将更详细地参考本发明的各种实施例,其示例在附图中示出。如同对本领域的技术人员将显而易见的那样,在不偏离本文公开的精神和本文发明的范围的情况下,本文所描述的数据结构和处理步骤可以以各种其它方式实施,并且不应解释为限制于本文所阐述的实施例。相反,提供这些实施例是以使得本公开将彻底和完整,并且能够向本领域的熟练人员充分传达本公开的概念。

本文的实施例可以与以下专利、出版物和/或已发布的申请中的一个或多个中所描述的系统和方法中的一个或多个结合实施,所有这些专利、出版物和/或已发布的申请都通过引用将其全部明确地并入本文:

2018年8月31提交的题为“Qualitative Optoacoustic Imaging(OA/US)Features of Breast Cancers Correlated with Molecular Subtypes”的美国临时申请62/725,632;

2007年7月23日提交的题为“Laser-Activated Nanothermolysis Of Cells”的美国专利7,999,161;

2012年6月13日提交的并且题为“System and method for AcquiringOptoacoustic Data and Producing Parametric Maps Thereof”的美国专利9,289,191;

2013年11月25日提交的题为“System And Method For Acquiring OptoacousticData And Producing Parametric Maps Using Subband Acoustic Compensation”的美国专利9,517,055;

2013年12月13日提交的题为“System And Method For Mixed ModalityAcoustic Sampling”的美国专利9,724,072;

2013年12月19日提交的题为“System And Method For Acquiring OptoacousticData And Producing Parametric Maps Using Interframe Persistent ArtifactRemoval”的美国专利9,456,805;

2016年3月22日提交的题为“System And Method For Acquiring OptoacousticData And Producing Parametric Maps thereof”的美国公开 2016/0199037;

2016年10月18日提交的题为“System And Method For Mixed ModalityAcoustic Sampling”的美国公开2017/0035388;

2016年11月17日提交的题为“System And Method For Acquiring OptoacousticData And Producing Parametric Maps Using Subband Acoustic Compensation”的美国专利9,792,686;

2017年6月30日提交的题为“System And Method For Mixed Modality AcousticSampling”的美国公开2017/0296151;

2011年11月2日提交的题为“Handheld Optoacoustic Probe”的美国公开 2013/0109950;

2016年5月2日提交的题为“Handheld Optoacoustic Probe”的美国公开 2016/0296121;

2011年12月31日提交的题为“System And Method For Adjusting The LightOutput Of An Optoacoustic Imaging System”的美国专利8,686,335;

2014年3月31日提交的题为“System And Method For Adjusting The LightOutput Of An Optoacoustic Imaging System”的美国专利9,528,936;

2016年12月27日提交的题为“System And Method For Adjusting The LightOutput Of An Optoacoustic Imaging System”的美国公开2017/0108429;

2013年3月11日提交的题为“Statistical Mapping In An OptoacousticImaging System”的美国专利9,330,452;

2016年5月3日提交的题为“Statistical Mapping In An Optoacoustic ImagingSystem”的美国专利9,836,838;

2017年11月6日提交的题为“Statistical Mapping In An OptoacousticImaging System”的美国公开2018/0061050;

2012年6月13日提交的题为“System And Method For Adjusting The LightOutput OfOptoacoustic Data”的美国专利9,610,043;

2016年12月21日提交的题为“System And Method For Adjusting The LightOutput Of Optoacoustic Data”的美国公开2017/0100040;

2012年6月13日提交的题为“System And Method For Storing Data AssociatedWith The Operation Of A Dual Modality Optoacoustic/Ultrasound System”的美国公开2013/0338501;

2012年6月13日提交的题为“Optoacoustic Imaging System With Fiber OpticCable”的美国公开2013/0338475;

2014年1月13日提交的题为“Multi-Layer Coating For Optoacoustic Probe”的美国公开2014/0194723;

2017年1月31日提交的题为“Optoacoustic Probe With Multi-Layer Coating”的美国公开2017/0150890;

2012年6月14日提交的题为“Methods And Compositions For Carrier AgentsAnd Clearing Agents Used In Optoacoustic Imaging Systems”的美国专利 9,615,750;

2012年10月19日提交的题为“Optoacoustic Imaging Systems And MethodsWith Enhanced Safety”的美国公开2013/0116538;

2015年1月23日提交的题为“Optoacoustic Imaging Systems And Methods WithEnhanced Safety”的美国公开2015/0297090;

2012年11月2日提交的题为“Dual Modality Imaging System For CoregisteredFunctional And Anatomical Mapping”的美国公开2013/0289381;

2012年11月2日提交的题为“Method For Dual Modality OptoacousticImaging”的美国专利9,757,092;

2013年1月22日提交的题为“Optoacoustic Imaging System Having HandheldProbe Utilizing Optically Reflective Material”的美国公开 2014/0039293;

2016年9月27日提交的题为“Dual Modality Imaging System For CoregisteredFunctional And Anatomical Mapping”的美国公开2017/0014101;

2012年11月2日提交的题为“System And Method For Dynamically Varying TheAngle Of Light Transmission In An Optoacoustic Imaging System”的美国公开2013/0303875;

2012年12月21日提交的题为“System And Method For Normalizing Range InAn Optoacoustic Imaging System”的美国专利9,445,785;

2012年12月21日提交的题为“System And Method For Detecting AnomalousChannel In An Optoacoustic Imaging System”的美国专利9,282,899;

2012年12月21日提交的题为“System And Method For Providing SelectiveChannel Sensitivity In An Optoacoustic Imaging System”的美国公开 2014/0005544;

2016年7月11日提交的题为“System And Method For Providing SelectiveChannel Sensitivity In An Optoacoustic Imaging System”的美国公开 2016/0317034;

2013年1月22日提交的题为“Interframe Energy Normalization In AnOptoacoustic Imaging System”的美国专利9,445,786;

2016年9月19日提交的题为“Interframe Energy Normalization In AnOptoacoustic Imaging System”的美国公开2017/0000354;

2013年1月22日提交的题为“Probe With Optoacoustic Isolator”的美国公开2014/0206978;

2013年3月15日提交的题为“Playback Mode In An Optoacoustic ImagingSystem”的美国专利9,743,839;

2017年7月27日提交的题为“Playback Mode In An Optoacoustic ImagingSystem”的美国公开2017/0332916;

2014年3月11日提交的题为“System And Method For Diagnostic VectorClassification Support”的美国专利9,398,893;

2016年7月19日提交的题为“System And Method For Diagnostic VectorClassification Support”的美国专利10,026,170;

2018年6月28日提交的题为“System And Method For Diagnostic VectorClassification Support”的美国申请第16/022138号;

2013年3月15日提交的题为“Diagnostic Simulator”的美国专利9,730,587;

2017年7月27日提交的题为“Diagnostic Simulator”的美国公开 2017/0332915;

2013年3月15日提交的题为“Light Output Calibration In An OptoacousticSystem”的美国专利8,823,928;

2014年7月11日提交的题为“Light Output Calibration In An OptoacousticSystem”的美国专利9,163,980;

2013年3月15日提交的题为“Noise Suppression In An Optoacoustic System”的美国专利9,814,394;

2017年11月13日提交的题为“Noise Suppression In An Optoacoustic System”的美国公开2018/0078144;

2013年3月15日提交的题为“Optoacoustic Component Utilization Tracking”的美国专利9,733,119;

2017年7月27日提交的题为“Optoacoustic Component Utilization Tracking”的美国公开2017/0322071;

2014年10月13日提交的题为“Systems And Methods For Component SeparationIn Medical Imaging”的美国公开2015/0101411;

2015年2月27日提交的题为“Probe Adapted To Control Blood Flow ThroughVessels During Imaging And Method Of Use Of Same”的美国公开 2015/0305628;

2015年10月30日提交的题为“Opto-Acoustic Imaging System With DetectionOf Relative Orientation Of Light Source And Acoustic Receiver Using AcousticWaves”的美国公开2016/0187481;

Siegel RL,Miller KD,Jemal A.Cancer statistics,2018.CA Cancer J Clin2018;67:7–30.doi:10.3322/caac.21387

Polyak K.“Heterogeneity in breast cancer”.J Clin Invest 2011;121:3786– 3788.doi:10.1172/JCI60534

Perou CM,Sorlie T,Eisen MB,van de Rijn M,Jeffrey SS,Rees CA,et al.“Molecular portraits of human breast tumours”.Nature 2000;406:747–52.doi:10.1038/35021093

Sorlie T,Perou CM,Tibshirani R,Aas T,Geisler S,Johnsen H,et al.“Geneexpression patterns of breast carcinomas distinguish tumor sub-classes withclinical implications”.Proc Natl Acad Sci U S A.2001;98:10869-74.doi:10.1073/pnas.191367098

Russnes HG,

Kim YJ,Kim JS,Kim IA.“Molecular subtype predicts incidence andprognosis of brain metastasis from breast cancer in SEER database”.J CancerRes Clin Oncol.2018;144:1803-1816.doi:10.1007/s00432-018-2697-2.

Clarke M.“Meta-analyses of adjuvant therapies for women with earlybreast cancer:the Early Breast Cancer Trialists′Collaborative Groupoverview”.Ann Oncol.2006;10:59-62.doi:10.1093/annonc/mdl238.

“Early Breast Cancer Trialists′Collaborative Group(EBCTCG).Effects ofchemotherapy and hormonal therapy for early breast cancer on recurrence and15-year survival:an overview of the randomised trials”.Lancet.2005;365:1687-717.Doi:10.1016/S0140-6736(05)66544-0.

Loibl S,GianniL.“HER2-positive breast cancer”.Lancet.2017 17;389:2415- 2429.doi:10.1016/S0140-6736(16)32417-5.

Pinker K,Chin J,Melsaether AN,Morris EA,Moy L.“Precision Medicine andRadiogenomics in Breast Cancer:New Approaches toward Diagnosis andTreatment”.Radiology.2018;287:732-747.doi:10.1148/radiol.2018172171.

Chen J,Wang Z,Lv Q,Du Z,Tan Q,Zhang D,et al.“Comparison of CoreNeedle Biopsy and Excision Specimens for the Accurate Evaluation of BreastCancer Molecular Markers:a Report of 1003 Cases”.Pathol Oncol Res. 2017;23:769-775.doi:10.1007/s12253-017-0187-5.

Valluru KS,Wilson KE,Willmann JK.“Photoacoustic Imaging in Oncology:Translational Preclinical and Early Clinical Experience”.Radiology 2016;280:332–349.doi:10.1148/radiol.16151414.

Schellenberg MW,Hunt HK.“Hand-held optoacoustic imaging:A review.Photoacoustics”.20186;11:14-27.doi:10.1016/j.pacs.2018.07.001.

Neuschler EI,Butler R,Young CA,Barke LD,Bertrand ML,

Neuschler EI,Lavin PT,Tucker FL,Barke LD,Bertrand ML,

Menezes GLG,Pijnappel RM,Meeuwis C,Bisschops R,Veltman J,Lavin PT,van de Vijver MJ,Mann RM.“Downgrading of Breast Masses Suspicious for Cancerby Using Optoacoustic Breast Imaging”.Radiology.2018;288:355-365.doi:10.1148/radiol.2018170500.

Lundgren K,Holm C,Landberg G.“Cell Mol Life Sci.Hypoxia and breastcancer:prognostic and therapeutic implications”.2007;64:3233-3247.doi:10.1007/s00018-007-7390-6

Vleugel M.M.,Greijer A.E.,Shvarts A.,et al:“Differential prognosticimpact of hypoxia induced and diffuse HIF-1alpha expression in invasivebreast cancer”. J Clin Pathol 2005;58:172-177.DOI:10.1136/jcp.2004.019885

van der Groep P,Bouter A,Menko FH,van der Wall E,van Diest PJ.“Highfrequency of HIF-1alpha overexpression in BRCA1 related breast cancer BreastCancer Res Treat”.2008;111:475-80.doi:10.1007/s10549-007-9817-z

Gilkes DM,Semenza GL.“Role of hypoxia-inducible factors in breastcancer metastasis”.Future Oncol.2013;9:1623-1636.doi:10.2217/fon.13.92.

Kraby MR,Kr ü ger K,Opdahl S,Vatten LJ,Akslen LA,Bofin AM.“Microvascular proliferation in luminal A and basal-like breast cancersubtypes”. J Clin Pathol.2015;68:891-897.doi:10.1136/jclinpath-2015-203037..

Lin NU,Vanderplas A,Hughes ME,Theriault RL,Edge SB,Wong YN,et al.Cancer 2012;118:5463-5472.doi:10.1002/cncr.27581.

Ugras S,Stempel M,Patil S,Morrow M.“Estrogen receptor,progesteronereceptor,and HER2 status predict lymphovascular invasion and lymph nodeinvolvement”.Ann Surg Oncol.2014;21:3780-3786.doi:10.1245/s10434-014- 3851-y.

Yang WT,Dryden M,Broglio K,Gilcrease M,Dawood S,Dempsey PJ,et al.“Mammographic features of triple receptor-negative primary breast cancers inyoung premenopausal women”.Breast Cancer Res Treat.2008;111:405-410.doi:10.1007/s10549-007-9810-6

Wang Y,Ikeda DM,Narasimhan B,et al.“Estrogen receptor-negativeinvasive breast cancer:imaging features of tumors with and without humanepidermal growth factor receptor type 2 overexpression”.Radiology 2008; 246:367–375.doi:10.1148/radiol.2462070169

Uematsu T,Kasami M,Yuen S.“Triple-negative breast cancer:correlationbetween MR imaging and pathologic findings”.Radiology 2009;250:638-647.

Dogan BE,Gonzalez-Angulo AM,Gilcrease M,Dryden MJ,Yang WT.“Multimodality imaging of triple receptor-negative tumors with mammography,ultrasound,and MRI”.AJR Am J Roentgenol.2010;194:1160-1166. doi:10.2214/AJR.09.2355.

Wang C,Wei W,Santiago L,Whitman G,Dogan B.“Can imaging kineticparameters of dynamic contrast-enhanced magnetic resonance imaging bevaluable in predicting clinicopathological prognostic factors of invasivebreast cancer?” Acta Radiol.2018;59:813-821.doi:10.1177/0284185117740746.

Huuse EM,Moestue SA,Lindholm EM,Bathen TF,Nalwoga H,Kr ü ger K et al.“In vivo MRI and histopathological assessment of tumor microenvironment inluminal-like and basal-like breast cancer xenografts”.J Magn ResonImaging.2012; 35:1098-1107.doi:10.1002/jmri.23507.

Ye IC,Fertig EJ,DiGiacomo JW,Considine M,Godet I,Gilkes DM.“Molecular Portrait of Hypoxia in Breast Cancer:A Prognostic Signature andNovel HIF-regulated Genes”.Mol Cancer Res.2018 Jul 23.pii:molcanres.0345.2018 doi:10.1158/1541-7786.MCR-18-0345.

Viale G,Giobbie-Hurder A,Regan MM,Coates AS,Mastropasqua MG,Dell’Orto P,et al.“Breast International Group Trial 1-98:Prognostic and predictivevalue of centrally reviewed Ki67 labeling index in postmenopausal women withendocrine-responsive breast cancer:results from Breast International GroupTrial 1- 98 comparing adjuvant tamoxifen with letrozole”J Clin Oncol 2008;26:5569– 5575.doi:10.1200/JCO.2008.17.0829.

ParkerJS,MullinsM,CheangMC,et al.“Supervised risk predictor of breastcancer based on intrinsic subtypes”.J Clin Oncol.2009;27:1160-1167.doi:10.1200/JCO.2008.18.1370.

PratA,PinedaE,AdamoB,et al.“Clinical implications of the intrinsicmolecular subtypes of breast cancer”.Breast.2015;24Suppl 2:S26-35.doi:10.1016/j.breast.2015.07.008.

术语“标签数据集”是指以下各项的组合:i)来自检查患者的OA图像的OA特征分数,和ii)已经为病变确定并与OA特征分数一起记录的类指定或结果标志符。个体的标签数据集可以包括从其获得OA特征分数的医疗诊断图像集。标签数据集可以包括来自患者的检查的非OA图像的非OA特征分数。作为另一示例,标签数据集可以包括OA/非OA特征分数,该特征分数是从组合来自OA图像和非OA图像的信息而创建的。标签数据集可以对应于单一患者和/或多个患者的组,对于这些患者,已经获得了对应的多项检查。标签数据集中的类指定指示病变是良性的或恶性的。

术语“光声图像”和“OA图像”指由光声成像系统捕获的图像,该光声成像系统利用以一个或多个频率将光发射到感兴趣体积中,并接收经处理并被转换为OA图像的超声数据集。

术语“非OA图像”是指由一种或多种医学成像模式捕获的除OA图像以外的任何医学诊断图像。非OA图像构成基于成像原理捕获的图像,该成像原理不利用光学光在两个不同的频率范围内的传输来使感兴趣体积生成声学信号。非OA图像的非限制性示例包括:超声(US)图像(透射和/或反射)、MRI图像、X射线图像、CT图像、PET图像和SPECT图像。当非OA图像是US图像时,US图像可由与OA成像系统集成、耦合或完全独立于OA 成像系统的US成像系统捕获。

术语“特征”和“感兴趣的特征”指OA图像、US图像及其特征组合的特征。非OA特征可以是US特征、MRI特征、X射线特征、CT特征、PET 特征、SPECT特征或另一种医学诊断成像模式。OA特征的非限制性示例包括:1)内部血管和脱氧,2)肿瘤周围边界区血管和脱氧,3)内部脱氧腮红 (Interval De-Oxy Blush),4)内部总血,5)外部肿瘤周围放射血管,6)干扰伪影。超声特征的非限制性示例包括:1)US形状分数,2)US内部纹理, 3)US声音传输,4)US囊状区或边界区,5)US外围区,6)患者年龄,7) 乳房X光检查-BIRADS,8)病变大小(cm),9)病变后深度(cm)。额外和替代特征在nthony Thomas Stavros等人的美国专利9,398,893中进行了描述,该专利标题为“system and method for diagnostic vectorclassification support”,于2014年3月11日提交,申请序列号为14/205,005,并于2016年7月26 日发布(以下简称Stavros的893专利),该专利的完整和全部主题通过引用将其全体明确地并入本文。

术语“特征分数”指的是描述OA图像和/或非OA图像中特征的一个或多个特性的等级、评级、排名或其他评价信息。特征分数的非限制性示例包括:i)沿数值范围的数值,ii)从OA或非OA图像测量的维度,和/或iii) 描述特征的特性的单词、短语或句子。

术语“观察”是指在OA检查期间从患者收集的一个或多个OA图像(单独的或者与一个或多个非OA图像组合)。观察还可以包括由临床医生输入的诊断信息,例如OA特征分数和/或非OA特征分数。

根据本文的实施例,预测性机器学习(PML)分类器建立分类模型并联合光声成像利用该分类模型来帮助放射科医生预测病变是属于恶性类还是良性类。PML分类器建立模型,该模型将概率分配给预测。本文的一个独特的方面是PLM分类器以其建立模型以基于某些类型的阈值将概率分配给预测的方式。为了提供预测,PML分类器将概率与一个或多个阈值相组合。在哪里设置阈值的标准与建立模型是分离的。在本文的实施例中,标准是基于从众多个体收集并由读者分析的训练标签数据来设置的。该标准还基于以下前提设置,即如果将某些阈值应用于研究数据,则预测结果将产出期望的灵敏度水平(例如,98%)。相比之下,传统方法可能基于商业因素、成本、对假阳性或假阴性的更大惩罚来设置阈值。根据本文的各个方面,利用来自一项或多项研究的数据来训练模型以达到期望的灵敏度水平。

本文的实施例提供了PML分类器和分类模型,该分类器是与光声(OA) 成像系统联合使用的软件工具,以帮助放射科医生确定乳腺病变是否具有足够高的癌变风险以保证活检。分类模型的输入包括一组由放射科医生或超声科医生分配的特征值(如OA和US特征分数),以及包括估计的恶性可能性 (LOM)的输出。下面的描述提供了机器学习分类器、训练方法和性能指标的基本概念的概述。该描述解释了PML分类器和分类模型的基本原理,这些原理将随着具体模型随着时间的演进而保持恒定。PML分类器和分类模型被配置为由放射科医生使用,作为OA和超声(US)图像评估的辅助。由PML 分类器和分类模型作出的预测受限于分类算法的固有统计性质,更重要的是受限于用于训练分类模型的数据。在某些实施例中,由PML分类器和分类模型进行的预测可以考虑到对放射科医生可用的信息的选定部分。然而在某些情况下,PML分类器和分类模型可以作为第二意见,以建议放射科医生何时应重新检查图像并重新考虑评估。

基本模型

在基础水平上,可以构建模型,该模型包括分类预测(NPC)模型和POM 预测(NPP)模型,其中POM表示恶性的概率。NPC和NPP模型利用各种 US和OA特征分数,并且可以基于由人类专家分配的一组特征分数进行训练,同时查看从一组个体收集的图像数据集中存在的病变。

虽然NPC和NPP模型是有益的,但NPP模型和NPC模型之间存在重要区别。NPC模型表示基于活检结果(例如,恶性或良性)训练的逻辑回归分类器。相反,NPP模型表示基于由人类专家分配的POM估计值进行训练的线性回归方程。而NPC模型预测的是活检结果,NPP模型预测的是读者对POM 的估计。活检结果是二元结果:恶性或良性。POM是0.0到1.0之间的连续值,包括0.0和1.0在内。因为线性回归方程中的因变量必须是连续值而不是二元类别,所以活检结果不能用于训练NPP模型。

基础模型可以作为启发式规则应用,其中,如果NPP和NPC概率的平均值达到或低于概率阈值(例如,10%或更少),则指示人类专家仅将病变的 OA乳腺成像报告和数据系统(BI-RADS)类别从原US BI-RADS类别降级。虽然这种启发式方法防范了恶性病变的过度降级,但概率阈值可能不够准确以直接用于预测恶性可能性。

根据本文的实施例,已经开发了预测性机器学习(PML)分类模型,与上面讨论的基本模型相比,它提供了更好的恶性可能性的预测器。顾名思义, PML分类模型使用预测性机器学习方法和支持性软件框架进行训练。

图1示出了根据本文实施例的PML分类系统的基本组件的框图。PML 分类系统100包括一个或多个计算设备120,其表示由临床医生利用的“读者计算机”,以分析个体患者的OA/US图像数据集和与个体患者有关的其他医疗信息。计算设备120可以实施为各种类型的计算机,诸如工作站、笔记本电脑、平板设备、智能手机等。计算设备120包括执行存储在存储器中的程序指令的一个或多个处理器,以提供图形用户界面(GUI)104等。GUI 104 使得放射科医生和其他专家能够输入特征分数并查看预测结果。GUI 104可以用诸如HTML和JavaScript的任何合适的网络语言开发。GUI 104可以为不同的情形量身定制,诸如可行性研究、关键性研究和商业使用。GUI 104可以在任何合适的平台上实施,包括平板电脑和工作站。GUI 104独立于分类模型102。

计算设备120还包括应用编程接口(API)108。API 108呈现了定义GUI 104和远程计算服务器106之间的通信的协议。API 108是用于在分类模型 102、GUI 104和服务器106之间通信的一组规则。API 108将GUI 104从由服务器106实施的计算软件解耦,这简化了PML分类器和分类模型的开发和验证,并鼓励为各种平台诸如平板电脑、智能手机和工作站建立GUI 104。

计算设备120与远程计算服务器106通信。可以实施远程计算服务器106 的实体的非限制性示例包括医疗网络、医疗设施、成像设备制造商、第三方数据管理服务、第三方诊断图像筛选服务等。计算服务器106包括执行程序指令的一个或多个处理器,以实施本文所描述的操作,以及与医疗诊断成像、诊断、疗法计划、疗法递送等相关的其他操作。服务器106从API 108接收请求,计算预测,并返回预测结果。服务器106的程序指令可以安装在远程数据中心的计算机上、本地网络上、一个或多个工作站、笔记本电脑、手持电子设备(例如,平板设备、智能手机)、与GUI 104相同的物理设备等。

远程计算服务器106包括实施程序指令的一个或多个处理器,以提供网络服务管理器、网络服务接口134和PML分类器136。网络服务管理器132 接收来自计算设备120的请求并返回对应的回复。网络服务接口134提供网络服务管理器132和PML分类器136之间的接口。远程计算服务器106包括数据存储器138,该数据存储器138包括分类模型102等。如本文所解释的,分类模型可以以各种方式组织,诸如分类模型102的一个或多个集合。根据某些类型的PML分类器136,每个分类模型102可以被建立以包括一个或多个决策树(例如,一个分类模型中的10、50、100个决策树)。

分类模型102由数学算法、表示特征的独立变量和通过训练所确定的参数定义,该训练基于对照组的个体的一个或多个标签数据集。PML分类系统 100的基础设施允许建立多个模型102,以便更好地支持各种特征集和随时间的改进。例如,分类模型102的一个集合可以仅利用OA特征,而分类模型 102的另一集合可以利用OA和US特征的组合。作为进一步示例,分类模型 102的一个集合可以结合恶性肿瘤的第一亚型利用,而分类模型的另一集合可以结合恶性肿瘤的第二亚型利用。

分类模型102可以由PML分类器136开发和训练,该PML分类器136 利用各种语言,诸如用于统计计算和图形的R语言(从https://www.r-project.org 可获得)。例如,服务器106将PML分类器136实施为从分类模型102计算分类概率的一组R脚本。分类模型102不是单一模型;而是利用不同算法、特征和训练数据集的模型的合集或集合。分类模型102通过机器学习实施分类,其中模型基于OA图像和非OA图像的标签数据进行训练。例如,分类模型102可以利用基于可用的标签数据集的全部或基本全部建立的主模型建立,并且可以建立为包括一个或多个自助模型和留出模型。自助模型表示从标签数据集的选定子集形成的分类模型。留出模型表示利用交叉验证或另一相关模型评估技术形成的分类模型。在本文的实施例中,分类是使用二元分类器的模式识别问题,作为其中只存在两种结果的特殊情况。分类器可以有许多类。例如,一组动物图像可以被分类为“猫”“狗”“鸟”等。用数学术语,类标签是分类变量。当分类器应用于观察时,它估计了该观察属于特定类的概率。PML分类器和分类模型并不决定类,相反,PML分类器和分类模型应用导致预测结果的阈值(或切点)。阈值的选择可能会有所不同。

每个分类模型102由三个元素定义:算法、特征和参数,以下将连同对模型从训练数据集“学习”的解释,对它们进行一般性描述。分类方案有两种基本类型:参数方程和机器学习算法。参数方程更加透明,因为每个特征的效果很容易理解。然而方程受限于它们可以模拟的内容。机器学习方法可以更广泛地应用,但通常难以理解模型如何工作以及它发现的重要内容。

本文的实施例在PML分类器136内利用机器学习算法。机器学习算法的非限制性示例包括分类和回归树(CART)、C4.5决策树、K最近邻、支持向量机(SVM)和朴素贝叶斯分类器。无论哪种算法,单一模型通常遭受不准确或过拟合。为了克服不准确或过拟合的可能性,本文的实施例训练和利用多个模型来为观察生成多个预测。分类模型的合集被称为模型的“集合”。本文的实施例利用随机森林算法以形成决策树的集合,和/或利用极端梯度提升 (XGB)算法以形成可以与CART决策树或与线性分类器一起使用的集合。XGBOOST算法在适当调谐时通常优于其他算法,并可以用于海量数据集。

图2A示出了根据本文实施例的用于建立分类模型的集合的过程。图2A 的操作可以由位于一个位置或服务器的系统的处理器实施,或由分布在多个远程位置或服务器之间的处理器实施。

在202处,一个或多个处理器获得多个患者的标签数据集连同特征和参数的合集。在204-218处的操作基于正被利用来建立分类模型的集合的PML 分类器算法的类型,以各种方式对标签数据集进行单步调试。认识到,与图 2A相关描述的特定分支、决策点和操作顺序将在本文所设想的实施例内变化,但仍然导致如本文所描述的分类模型的集合。

在204处,一个或多个处理器开始分析当前决策树中的当前决策点的标签数据集。处理器计算一个或多个感兴趣的特征的结果分数。结果分数指示特定的感兴趣的特征将标签的患者数据分离到恶性类或良性类的程度。

在206处,一个或多个处理器回顾结果分数并选择期望的特征,以及要应用于该特征的阈值。在206处选择的特征和阈值可以表示“最佳”特征和阈值,该“最佳”特征和阈值基于决策树中的当前点将标签数据集分离为恶性类和良性类。

示例特征在Stavros的893专利中描述。特征表示一组独立变量,其值可以是任何类型(连续的、区间的、序数的或分类的)。特征定义一般会影响模型的成功。此外,更好的特征简化模型,使其更容易解释结果。特征工程是创建、测试和改进特征的过程。特征选择是在包括所有相关特征和避免能够导致过拟合的额外特征之间的权衡。过多的特征也会对训练产生不利影响,因为所需的数据量一般会随着特征数量的增加而指数型增长。

参数定义了本文利用的各种分类模型。作为非限制性示例,基于机器学习的模型中的参数定义了决策树中的分支标准。为了进一步例示参数,考虑基于病变形状、方向和边缘,预测病变是否为恶性的决策树。第一分支,或决策点,使用从良性病变分离恶性病变时提供最多信息的特征。圆形的形状可以采取一个分支,所有其他形状采取另一分支。在另一决策点,在一个范围内的方向可以采取一个分支,而在另一范围内的方向可以采取另一分支。

虽然学习方法取决于算法而不同,但数学的核心是在特征空间上的迭代搜索。迭代搜索是计算密集型的,特别是当存在大量特征和/或大量数据时。减少搜索空间可以加快这个过程,但趋向找到不那么优化的解。和之前一样,考虑以决策树作为示例。决策树通过寻找最优标准来学习,以将树分割成多个分支。穿过树的每条路径在叶子处结束,目标是找到分割,或者说决策点,以使得每个叶子主要包含一个类。通过考虑所有可能的特征及其值,并选择能提供期望结果的特征(例如,最好的特征),来找到为分割所选择的特征。作为一个示例,选择可以是是否使用边界分数或内部容器分数作为决策点分析的特征。除了选择在每个分支处使用的特征外,PML分类器还确定在决策点处对特征应用什么阈值水平。例如,当选择边界分数作为特定分支点的感兴趣的特征时,那么PML分类器还分配边界阈值,以使得当边界分数高于边界阈值时,决策向第一方向分支,而当边界分数低于边界阈值时,决策向第二方向分支。

作为一个示例,在204、206处的操作可以通过计算称为“基尼杂质指数”的分数来执行,该分数用于选择具有最低分数的分割。每个分割考虑许多特征,树包含多个分割,集合体包含许多树。除了特征级参数之外,实施例还可以利用具有被调整的超参数的机器学习算法。例如,使用XGBOOST树的实施例具有一大组超参数,包括树的数量、最大树层深度和学习速率。超参数增加了搜索空间的维度,并因此增加了训练的计算量。

在208处,一个或多个处理器将决策点保存在当前决策树内。在210处,一个或多个处理器确定是否应该继续当前决策树中的更多决策点进行分析和 /或是否应该继续为下一决策树进行分析。如果是,则流分支到212。否则,流继续到214。在212处,一个或多个处理器步进到当前决策树中的下一决策点。例如,分支继续进行,直到最大树深度、病变特质被识别或其他标准被满足。分支的数量、每个分支处使用的特征以及每个分支处用于分离的值都是模型的参数。从本质上讲,参数体现了训练数据。好的参数源于对特征、数据和算法调谐等细节的关注的组合。当决策树最终确定后,处理器还将病变特质(如良性类、恶性类、癌症亚型)分配到最后层。病变特质可以基于各个对应的决策树利用分类概率来存储。

替代地,当在210处完成决策树并要开始新的决策树时,在212处的操作步进至下一决策树,流返回到204。在204-212处的操作被连续操作,直到建立期望数量的决策树中的决策点的全部被建立。

在214处,一个或多个处理器将决策树的合集保存为当前模型,这些决策树中的每一个由从上文描述的特征分数、特征选择和阈值选择而建立的一组决策点组成。

在216处,一个或多个处理器确定是否要从标签数据集建立另一模型。如果是,则流分支到218。在218处,一个或多个处理器在下一模型内填充起始点。否则,图2A的过程结束。

根据图2A的操作,和/或替代的操作序列,本文的实施例通过训练或学习过程将模型参数拟合到标签数据集。训练/学习过程也被称为“建立”模型。

接下来,描述可以结合本文实施例实施的预测性机器学习算法的两个示例。

逻辑回归模型

本文可以实施的预测性机器学习算法的一个示例是逻辑回归。逻辑回归是一种监督式机器学习算法,因为它使用真标签进行训练。监督学习算法在训练模型时具有输入变量(x)和目标变量(Y),如逻辑回归算法中那样。本文的实施例形成逻辑回归模型的集合(例如100),每个模型在对照数据集的子集上训练。预测被返回为来自该集合的预测的平均置信度区间(恶性可能性或LOM)和置信度区间范围(例如,90%)。预测值作为对应于分类器概率的阳性预测值(PPV)返回。

逻辑回归模型利用训练数据集,该训练数据集包括观察或读数的合集(例如,100、1000、10000)。观察中的每一个包含一组OA图像、US图像、OA/US 图像的组合、OA特征分数和US特征分数。OA和US特征分数可以由分割和分析OA图像、US图像和组合图像的计算系统自动分配。额外地或者替代地,OA和US特征分数可以由一个或多个人类独立读者分配。OA和US分数与单个患者的OA和US图像集中的一个或多个病变的一个或多个特性有关。训练数据集包括若干阳性病例(恶性)和若干阴性病例(良性)的图像的合集。

逻辑回归模型利用包括OA和US特征的读者分配分数、患者年龄和由现场放射科医生分配的乳腺影像(MMG)BI-RADS类别的特征集。MMG BI- RADS并不是为所有的观察定义的。举例来说,逻辑回归模型包括启发式规则中应用的5个或更多OA特征分数、5个或更多US特征分数、年龄和MMG BI-RADS。例如,MMG BI-RADS启发式规则可以被定义为{2,3,4a,4b,4c, 5}。最初,MMG BI-RADS可能不会被利用为逻辑回归算法中的特征,因为数据集中太多的病变可能会缺少MMG数据。然而,一旦数据集收集了足够量的MMG数据,逻辑回归算法可以在具有MMG数据的数据子集上进行训练。可选地,即使在MMG BI-RADS可能不被用作特征时,MMG BI-RADS 也可以被应用为启发式规则,如果MMG BI-RADS处于某一水平(例如4c或 5),则禁止降级。对于MMG BI-RADS评级达到或超过设定水平的情况, SenoGram会返回分类器预测值和该类别基准PPV中的最大值,计算作为范围的中点(例如4c为70%,5为95%)。如果MMG BI-RADS评级缺失或不确定,则不应用MMG BI-RADS启发式规则。

前述逻辑回归机器学习算法使用具有5次重复、10个折叠的重复的K折交叉验证进行评估。对50个测试集的指标进行平均,得到以下大致结果: AUC在0.92和0.96之间,pAUC在0.75和0.80之间,灵敏度达到或在97.0%以上,特异度达到或在52.0%以上。

极端梯度提升树(XGBTree)

额外地或者替代地,机器学习算法(PML分类器)可以利用极端梯度提升树(XGBTree)机器学习算法来实施。为了理解XGBTree,首先应理解决策树。决策树是基于特征对数据进行分割以对某个一值进行分类或预测的方法。决策树中的每个分支将数据分到两个(或几个,如果树不是二元的)组中的一个。每个叶节点被分配有单一标签(类或预测值)。当使用决策树进行预测时,数据被分配到适当的叶节点上,并且预测是该叶节点的标签。决策树具有灵活性和可解释性。但是,单一的决策树易于产生过拟合,而且不太可能有很好的泛化性。存在限制决策树的灵活性各种方法,诸如通过限制决策树的深度,但这些方法就会导致决策树欠拟合。这就是为什么决策树一般不单独使用的原因:相反,多个决策树被一起使用。梯度提升决策树是将多个决策树的预测组合起来,以做出泛化良好的预测的一种方法(在许多方法当中)。尽管它们很强大,但XGBTree算法背后的思想非常基本:通过将预测加在一起来组合多个决策树的预测。XGBTree是迭代训练的——即一次只训练一个树。例如,XGBTree算法首先基于数据训练简单的弱决策树。决策树被训练成最小化目标函数——使用损失项——诸如均方误差——通过递归分割数据的方式,最大化某个标准,直到满足某一限制——诸如树的深度。选择标准以使得损失函数通过每次分割(近似)最小化。一个通常使用的标准是分类准确度,其是通过分割被正确划分的观察的部分。

决策树的训练是递归处理。然后训练下一树,以当其输出被加到第一树上时损失函数最小。这(大约)是通过根据新的标准递归地分割数据来实现的。例如,可以基于梯度统计(每个数据点的梯度的值)为数据的任何分割的简单地计算出标准。应该注意的是,计算最佳分割需要模型经过各种分割,并计算每个分割的标准。对于确定每个阶段的最佳分割,不存在分析性的解决方案。

XGBTree机器学习算法形成XGBTree模型的集合,每个模型在数据集的全部或子集上训练。与逻辑回归机器学习算法一样,预测作为集合的平均值和90%置信度区间返回,分类概率映射到训练数据中观察到的PPV。XGBTree 机器学习算法可以利用与逻辑回归MLA相同或不同的训练数据。此外, XGBTree MLA还可以利用单个人类专家数据。XGBTree MLA利用与逻辑回归MLA相同的特征,并可能添加伪影分数、病变大小和/或病变方向。取决于缺失MMG数据的量,MMG BI-RADS类别可以被包括为XGBTree MLA 的特征,而不是应用在启发式规则中。

在生长XGBTree时,XGBoost和lightGBM两者都使用逐叶(leaf-wise) 生长策略。当训练每个单独的决策树并分割数据时,存在可以被采用的两种策略:逐级(level-wise)和逐叶。逐级策略可以保持平衡的树,而逐叶策略则会分割最大程度减少损失的叶子。逐级训练可以看作是一种正规化训练的形式,因为逐叶训练可以构建逐级训练可以构建的任何树,而反之则不成立。因此,逐叶训练更易于过拟合,但更灵活。这使得它成为大型数据集的更好选择。与逐级生长的情况相比,当叶子数量相同时,利用逐叶生长的树会更深。这意味着,取决于生长策略,相同的max_depth参数可以导致具有迥异复杂度水平的树。

训练XGBTree的重要挑战是为每片叶子寻找最佳分割的过程。当朴素地完成时,此步骤需要算法经过每一数据点的每一特征。因此计算复杂度为O (n_{data}n_{features})。现代数据集趋向于样本数和特征数两者都大。例如,具有100万个词汇量的100万个文档的tf-idf矩阵将有一万亿个条目。因此,朴素的GBDT在这样的数据集上训练需要花费很长时间。不存在可以在避免经过所有数据点的所有特征的同时,找到最佳的分割的方法。因此,XGBoost 和lightGBM呈现的各种方法都是寻找近似最佳分割的方法。

可选地,可以利用基于直方图的方法(XGBoost和lightGBM)。构建树所需的时间与必须评估的分割数成正比。通常情况下,分割的微小改变不会对树的性能产生太大的差异。基于直方图的方法利用了这一事实,将特征分组到一组仓中,并对仓而不是特征进行分割。这相当于对模型评估的分割次数进行子采样。由于在建立每棵树之前都可以对特征进行分仓,所以这种方法可以大大加快训练速度,将计算复杂度降低到0(n_{data}n_{bins})。虽然概念上很简单,但基于直方图的方法却呈现了用户必须要做的几个选择。首先,仓的数量在速度和准确度之间产生了权衡:仓越多,算法越准确,但速度也越慢。其次,如何将特征划分为离散的仓是一个非平凡的问题:将仓划分为相等的区间(最简单的方法)往往会导致数据的不平衡分配。XGBoost提供了选项tree_method=approx,它在每次分割时使用梯度统计计算出一组新的仓。LightGBM和XGBoost在tree_method设置为histogram的情况下,都会在训练开始时计算仓,并在整个训练过程中重复使用相同的仓。

图2A的操作或另一模型建立过程可以利用对照患者群体的可用标签数据集的不同组合多次实施。例如,可以利用患者群体的全部或大多数的标签数据集的全部或大多数来建立主模型。根据本文的实施例,然后利用主分类模型来计算预测结果等。

此外,标签的数据集可以被细分为折或子集,其中标签数据集中的观察的不同子集被定义为“留出”观察。在交叉验证过程中,利用标签数据集中未被留出的部分建立留出模型。如本文所解释的,标签数据集中被留出的部分随后可应用于与计算分类概率相关的留出模型,从该计算建立阳性预测值、假阴性率等的映射函数。

额外地或者替代地,可以利用来自标签数据集的观察的子集来建立自助模型。例如,标签的数据集可包括100个观察,从中选择观察的随机抽样并利用其建立第一自助模型。基于来自对照患者群体的标签数据集的观察样本的不同组合建立多个自助模型。一旦分类模型建立后,当获得新患者的新观察时,再利用自助模型结合计算预测结果,即计算新OA和非OA特征分数的预测区间。

图2B示出了来自根据本文实施例建立的分类模型的决策树的示例。例如,决策树250可以由XGBtree算法在一次或多次迭代期间通过图2A的操作建立。另外,决策树250可以由XGBtree或其他算法在不同于图2A的操作之后建立。决策树包括决策点、决策点之间的分支和病变特质。病变特质从多个决策树中获得,并通过数学组合形成病变展示出对应观察的特定特质的分类概率(例如基于分配给检查的OA和非OA图像的OA和非OA特征分数)。决策树250包括多个层252-265,包括第一至第十层。第十层256也由标签“L10”表示。每个层252-256包括一组决策点(DP)。每个决策点相对于阈值测试感兴趣的特征。例如,决策点可以测试本文所描述的OA和US 特征,其中每个OA和/或US特征分数与阈值进行比较。

在图2B的示例中,示出了决策点的非限制性示例。第一层252中的第一决策点260可以测试OA特征“内部血管和脱氧”是否被赋予“小于3”的 OA特征分数。回想一下,OA特征由人类专家手动评分,和/或又分类支持系统自动评分,如Stavros的893专利(或通过引用并入本文的其他文件)中所描述的。决策树从DP 260分支到第二层253中的决策点262和264。作为示例,决策点262测试OA特征“内部脱氧腮红”是否被赋予“大于或等于4”的OA特征分数,而决策点264测试OA特征“内部总血”是否被赋予“大于或等于2”的OA特征分数。作为其他示例,决策点266、268、270、272 测试是否赋予OA特征“肿瘤周围边界区血管和脱氧”“大于或等于4”的OA 特征分数等。如L10_DP1至L10_DP512处所述,决策树250继续多层,直到达到深度限制(例如,10层)。第10层中的每个决策点基于在第10层要测试的特征和分数阈值分支到两个病变特质(LT)280。在图2B的示例中,在具有10层的决策树中,1024个病变特质(LT1至LT1024)是可用的,其中每个决策点分割成两个分支。

取决于决策树的性质,病变特质可以对应于不同的信息。例如,病变特质可以简单地表示关于病变的特质的两个二元选择之一,即恶性类或良性类。例如,病变特质1-10、20、32-40和100-140可以指定病变特质对应于恶性类,而剩余的病变特质指定病变对应于良性类。额外地或者替代地,每个病变特质可以包括与之相关的分类概率。例如,决策树的输出可以指定病变特质处于恶性类的可能性为40%。可选地,当决策树被建立以指定癌症亚型时,病变特质可以表示两个以上的二元选择,而不是指定病变性状为各种癌症亚型和/或良性之一。额外地或者替代地,决策树可以输出病变类型对应于癌症亚型或良性类的分类概率。

分类概率提供了观察(例如,当前患者的OA和非OA特征分数集)处于特定类别(即恶性类或良性类)的置信度。

图2B的示例示出了二元类型的决策树。额外地或者替代地,当每个决策点的测试包括2个以上的结果时,决策树可以从每个节点包括2个以上的分支。图2B在决策点的示例示出了OA特征分数测试。认识到,这些决策点中的许多将包括对于US特征分数阈值的US特征分数的测试。额外地或者替代地,分数阈值可以不是简单的数值,而是定性描述符(例如,暗、亮、大、小、不透明)、尺寸(例如,直径、厚度、长度、宽度)等。

基于至少部分不同的标签数据集、至少部分不同的特征和/或至少部分不同的参数,PML分类器算法建立包括类似于决策树250的多个决策树的主模型。特征集和参数被调整为假阴性率与恶性可能性的权衡的部分。虽然假阴性率与恶性可能性有关,但它是一根本不同的量。该差异之所以重要,是因为在放射科医生熟悉的BI-RADS词库中,对于报告临床研究结果,使用FNR (或灵敏度)与使用PPV(或恶性可能性),存在着分歧。虽然PPV和恶性可能性有时可互换地使用,但这并不严格正确,因为恶性可能性是指整个群体;而PPV是基于群体样本的可能性的估计。该区别类似于群体平均值和样本平均值之间的差异。

FNR、灵敏度和特异性是诊断测试的优选指标中的至少两者,因为它们是对测试固有的,并且不依赖于研究群体中疾病或状况的流行程度。相反, PPV确实取决于流行程度;更高的流行程度会增加PPV。当报告研究的PPV 时,也应报告流行程度。

基本而言,FNR是相对于全部群体中的阴性总数而言的,而PPV是相对于全部群体中的某一类别中的阳性和阴性的数量而言的。更精确的定义在下面的公式中给出,该公式使用BI-RADS 3和4A之间的阈值比较针对BI-RADS 3的PPV和FNR:

FNR-[100%(N

应当注意,FNR和灵敏度只取决于恶性病变,而PPV取决于恶性病变和良性病变。选择阈值以使得其对应于期望的FNR(例如,2%),这等价于期望的灵敏度(例如,98%)。阈值之所以基于FNR,是因为灵敏度和特异性是成像研究的主要指标,也是诊断测试选择的FDA指标。然而灵敏度和特异性是对数据集的总结统计,可能对放射科医生应用SenoGram结果对单一病变没那么有帮助。

根据本文的实施例,向放射科医生提供了一个更有用的指标,即病变的恶性可能性。恶性可能性可以从数据集的测量的PPV来估计。美国放射学会 (ACR)为每个BI-RADS类别提供了基准PPV(见表1)。ACR对BI-RADS 类别的基准PPV是基于文献中报道的临床研究数据。放射科医生在提出活检建议时,习惯于应用BI-RADS词库。SenoGram相应地调整MLA的输出,并示出预测的癌症可能性,如附图中所示出。

表1-BI-RADS各类别的恶性可能性

分类模型PPV以比为整个类别简单计算BI-RADS PPV更精细粒度地映射PPV的方式进行计算。相反,PML分类器为分类概率中的多个百分比区间 (例如,每1-5%区间)中的每一个提供PPV。PPV与概率数据被拟合为非线性函数,并且PML分类器应用该函数将分类器输出转换为在GUI中显示的恶性可能性估计。

图4示出了根据本文实施例结合对照群体的标签数据集计算的一组映射函数。在图4中,横轴对应于病变已被指定具有特定特质(诸如在恶性类中) 的分类概率。水平轴被划分为与期望长度的概率增量相对应的仓,诸如1%。根据本文的实施例,服务器106的处理器基于从留出模型计算的分类概率(上文结合图3描述)建立图4中的映射函数。如本文所述,每个留出模型基于标签数据集的一部分进行训练,并且此后将标签数据集的剩余部分应用于对应的留出模型以获分类概率。在图3的示例中,利用100个观察生成10个留出模型,该10个留出模型中的每一个产生10个分类概率,导致100个分类概率。

图4中图的垂直轴对应于表征分类模型和标签数据集的各种统计参数,包括阳性预测值(PPV)、假阴性率(FNR)、假阳性率(FPR)和病变百分比。服务器106的处理器根据由留出模型生成的分类概率对来自标签数据集的观察进行排序(以升序或降序)。然后,处理器将这些观察和对应的分类概率分仓或分组到图4中分配给图的水平轴的增量中。

例如,考虑在79%-80%之间的1%概率增量。处理器识别具有在79%-80%之间的分类概率的任何观察。分类概率必定是整数,并且可以具有类似或相同的分类概率。因此,多个观察可以被分仓到单一1%的概率增量中。作为非限制性的示例,如果将观察#5、#7、#10、#45和#67应用于对应的留出模型,则观察#5、#7、#10、#45和#67可能导致分类概率分别为79.02、79.07、79.6、 79.8和79.92。因此,观察#5、#7、#10、#45和#67将在图4的图内被分组到单一的1%概率增量。进一步分析观察#5、#7、#10、#45和#67的标签数据集,以识别与病变相关联的实际诊断,即病变(在活检后)被确定为恶性还是良性。例如,在活检后,观察#5、#7、#10和#45可以被发现是恶性的,而观察 #67可以被发现是良性的。从实际诊断中计算出阳性预测值,如在79%和80%的分类增量中,恶性的观察数除以观察总数(例如,[4恶性]/[5总数])。然后,在大约80%的PPV和79%-80%的分类概率下沿垂直轴输入数据点。

对沿X轴的每个概率增量重复上述过程,直到为每个概率增量分配一 PPV值。在图4的示例中,将PPV与分类概率相关联的数据点由括号402指出。基于括号402内的数据点,一个或多个处理器计算将分类概率映射到阳性预测值的映射函数403。

如本文结合图5A所解释,服务器106的一个或多个处理器可以利用PPV 作为预测结果。为此,处理器将新的观察应用于主分类模型,以获得对应的分类概率。然后,处理器利用新观察的分类概率作为到映射函数403中的输入。映射函数403输出由服务器106的处理器返回作为预测结果的对应的PPV 值。

额外地或者替代地,服务器的处理器可以基于标签数据集和上文描述的分类概率的分仓,计算与FNR、FPR和病变百分比相关联的映射函数。PPV 点显示在由括号402表示的区域,FNR点显示在由括号404表示的区域,FPR 点由括号406表示,病变百分比点记在408处。

图4还示出了由服务器106的处理器计算的决策阈值410。决策阈值410 表示在其处临床医生选择是否执行活检或不执行活检的点。为了在图4的图内定位决策阈值410,一个或多个处理器首先接收作为输入的灵敏度或假阴性率的指定(例如,2%的FNR,或98%的灵敏度)。然后,处理器沿Y轴应用所选择的FNR水平,直到与由括号404指定的FNR的映射函数相交,以识别沿x轴的相应分类概率。在图4的示例中,98%的灵敏度或2%的FNR 率对应于10%的分类概率。10%的分类概率,当映射到PPR映射函数403时,对应于大约5%的PPR水平。可选地,可以向用户呈现与决策阈值410相关联的PPR水平相对应的活检/不活检阈值。

模型评估

一旦模型被训练,在使用前对模型进行测试。本文的实施例将训练过程与评估过程分离。最终模型使用完整的数据集进行训练,而模型的评估则通过将数据集分为训练数据集和测试数据集来完成。训练数据集用于建立临时模型,测试数据集用于评估临时模型。利用不同的数据分割重复该过程,并对结果进行平均,以获得对最终模型将如何执行的估计。

学习中的基本问题是过多的训练(“过拟合”)和过少的训练(“弱学习者”) 之间的权衡。过拟合使模型变得脆弱,因为模型在训练数据上执行良好,但在新数据上执行不佳。过少的训练产生鲁棒的模型,但降低了模型的准确度。本文对这个困境的一个解决方案是使用聚合弱学习者合集的集合,从而产生既鲁棒又更准确的集合模型。建立集合模型可能会增加训练时间,然而并行编程方法可以将训练时间减少到更合理的水平。扩大训练集中的数据量和多样性可以改进模型,特别是当存在大量特征时。出于这个原因,本文的实施例在更多数据可用时重新训练模型。重新训练模型提高其准确性,并允许其随着群体演进而调整。

根据本文的实施例,一旦建立了主分类模型和/或任何其它分类模型,就可以对其进行评估。存在用于评估分类模块的各种算法,诸如K折交叉验证。在K折交叉验证期间,本文的实施例计费了多个“留出”模型,如下所述。

图3示出了根据本文实施例实施的K折交叉验证过程的示例。K折交叉验证过程建立了被评估以测试主分类模型的留出模型。此外,如本文所描述,利用留出模型,结合计算映射函数,用于要与随后患者利用的分类概率。在交叉验证中,标签数据集302被随机分割(例如,利用层别法)成为折304。处理器(例如,服务器106的处理器)通过基于折304的子集建立和评估留出模型来估计主分类模型的性能。

例如,利用训练折(training flod)306的子集(折1-9)训练第一留出模型,而“留出”测试折308(折10)不用于训练第一模型。一旦建立了第一留出模型,则将来自留出折308的观察应用于第一留出模型以获得对应的分类概率。作为进一步的示例,可以假设标签数据集302包括100个观察(对应于100个不同病变的100个不同患者的检查)。那么,每个折304将包括10 个观察。第一留出模型将基于前9个折中的90个观察进行训练,之后,来自留出折308的最后10个观察将被应用于第一留出模型以获得10个对应的分类概率(称为估计1或E1)。每个分类概率指示,留出模型将对应的观察分类为以对应的概率具有特定的病变特质(例如在良性类、恶性类或特定的癌症亚型)。在利用决策树集合的分类模型中,分类概率指示决策树总数中产生特定病变特质的决策树的数量。

处理器还建立基于折1-8和10训练的第二留出模型,而折9表示不用于训练第二留出模型的留出折。相反,折9中的观察被应用于第二留出模型以获得10个对应的分类概率(称为估计2或E2)。处理器重复前述操作以建立额外的留出模型,直到标签数据集的每个折已被利用为留出折并应用于对应的留出模型(不使用观察的该留出折而建立的留出模型)。在图3的示例中, 10个留出折被训练,然后被测试以获得10个估计,其中每个估计包括来自10个对应观察的10个分类概率。

可选地,数据可以被分割成更多或更少的折304,这将产生相等数量的估计模型。然后,对K个性能估计进行平均,以给出具有置信度区间的聚合估计314。额外地或者替代地,可以使用不同的随机数种子分割折来重复K折交叉验证过程。例如,可以使用重复的K折交叉验证来评估分类模型(例如,使用5次重复和10个折,共50次测量)。

例如,考虑这样的示例,其中分类模型包括10个决策树的集合。OA特征分数和非OA特征分数被应用于10个决策树中的每一个,响应于此,每个决策树输出单一的分类概率。例如,基于OA和非OA特征分数,决策树中的6个可将观察分类为包括恶性类中的病变特质,而其他4棵决策树则将观察结果分类为包括良性类中的病变特质。在前述示例中,分类模型将输出病变性状处于恶性类的分类概率为60%。

作为替代示例,分类模型的10个决策树可以包括基于观察的OA和非 OA特征分数输出指示病变特质为第一癌症亚型的8个分类概率的决策树,而剩余两个决策树输出指示病变类型处于良性类或其他癌症亚型的对应分类概率。在该替代示例中,分类模型将输出病变特质处于第一种癌症亚型的分类概率为80%。

回到图3,对于100个观察的标签数据集,估计1-10中的每一个将包括 10个对应观察的特定病变类型的10个分类概率,从而从为包括100个观察的标签数据集建立的10个留出模型组中产生100个分类概率。如以下所解释的,分类概率被利用于进一步的计算。

实施例可以利用各种评估指标。评估指标的非限制性示例包括二元分类器,准确度、灵敏度、特异性和ROC(接收器操作特性)曲线下面积(AUC) 的指标。选择取决于类分布和预期用途。当各类不平衡时,准确度是很差的指标。如果在所有阈值上的性能是相关的,则AUC是合适的;然而,在焦点在ROC曲线的小区域的情况下,诸如高灵敏度或高特异性,则部分AUC (pAUC)是更好的指标。

PML分类器被设计为帮助活检/不活检决策,其中假阴性与重罚相关联。因此,实施例利用灵敏度和pAUC作为第一指标,其中在95%至100%的灵敏度上计算了部分AUC。灵敏度和特异性依赖于所应用的阈值,这意味着为了评估和比较模型,应指定阈值。当前的医学实践是,当放射科医生估计癌症的可能性超过2%时,建议进行活检。因此,本文的PML分类系统和方法利用了目标是2%假阴性率(FNR)的阈值。例如,如果测试患者数据集包含 500个阳性病例的观察(即具有恶性癌症的患者),则选择阈值,以使得PML 分类系统和方法在基于感兴趣的特征从500个观察预测恶性肿瘤的可能性时,经历不超过10个假阴性。分类模型的最终阈值是跨测试患者数据集来自重复的K折交叉验证的平均阈值。

图5A示出了分布式操作图,以进一步描述根据本文实施例由临床医生计算设备和计算服务器执行的操作。图的左侧表示由临床医生计算设备(诸如图1中的设备120)执行的操作,而图的右侧的操作由服务器(诸如服务器 106)执行。在502处开始,计算设备120的一个或多个处理器获得OA和US 图像。例如,OA和US图像可以简单地从本地或远程存储器中读取。额外地或者替代地,OA和US图像可以实时获得,诸如当计算设备120连接到光声成像系统或与光声成像系统形成间隔时。在504处,计算设备120的一个或多个处理器分配OA和US特征分数。例如,OA和US特征分数可以由人类专家在察看OA和US图像时分配。额外地或者替代地,OA和US特征分数可以由处理器基于OA和US图像的自动分段和分析而自动分配。OA在US 特征的自动分配可以与人类专家的察看完全分开执行,或者与人类专家的察看联合执行。例如,OA特征分数可以涉及以下OA特征中的一个或多个:1) 内部血管和脱氧,2)肿瘤周围边界区血管和脱氧,3)内部脱氧腮红,4)内部总血,5)外部肿瘤周围放射血管,6)干扰伪影。例如,非OA特征分数可以涉及以下超声特征中的一个或多个:1)US形状分数,2)US内部纹理, 3)US声音传输,4)US囊状区或边界区,5)US外围区,6)患者年龄,7) 乳房X光检查-BIRADS,8)病变大小,和/或9)病变后深度。

接下来,描述506-508处的可选操作。在506处,计算设备120生成对可以利用的可用模型的列表的请求。该请求将由计算设备120自动生成,而无需用户输入。可选地,该请求可以响应于来自临床医生通过GUI的指令生成。在507处,服务器106的处理器接收该对模型列表的请求,并基于此识别可用模型。在508处,服务器106的处理器将可用模型列表返回给计算设备120。可用模型可以以各种方式确定。例如,可以与一种类型的PML分类器相结合地存储多个模型的集合。例如,XGBTree PML分类器可以生成多个模型集合,其中每个模型集合基于不同的对照标签数据集。额外地或者替代地,每个模型的集合可以利用不同类型的PML分类器来生成。例如,XGB树 PML分类器可以利用对照标签数据集生成第一模型的集合,而逻辑回归PML 分类器可以利用相同的控制标签数据集生成第二模型的集合。可以利用其他类型的PML分类器形成模型的集合。

一旦在508处返回模型列表,计算设备120选择一个模型的集合以与当前个体患者相关地使用。模型集合的选择可以由临床医生通过GUI手动执行。额外地或者替代地,计算设备120的处理器可以基于各种标准自动选择模型的集合。例如,计算设备120可以基于对目前单个患者可用的信息量、基于 OA和US图像的性质等自动选择模型的集合。额外地或者替代地,当不同的癌症亚型被分离建模时,可以结合感兴趣的特定癌症亚型选择特定的模型的集合。当多个模型的集合可用时,利用在506-508处的操作。可选地,当仅有单一模型的集合可用时,可以完全省略506-508处的操作。

在510处,计算设备120生成并向服务器106发送LOM请求(更一般地,预测结果请求)。LOM请求(预测结果请求)可以包括确定要利用的模型的集合,以及OA和US特征分数和其他患者特定数据(例如年龄、Bi-RAD 分数)等。服务器106接收与从针对感兴趣体积的患者检查中收集的OA图像和非OA图像相关的OA特征分数和非OA特征分数,其中感兴趣体积包括可疑病变。

在512处,服务器106的处理器将当前观察的OA特征分数和非OA特征分数应用于指定的主分类模型和引导分类模型,以获得指示病变特质的预测结果(例如,病变处于恶性类或良性类的可能性)。在514处,服务器106 的处理器基于应用于主分类模型的当前观察的OA特征分数和非OA特征分数获分类概率。额外地或者替代地,服务器106的处理器可以基于PPV映射函数402(图4)和当前观察的当前分类概率,获得阳性预测值。在516处,服务器106的处理器基于应用于自助分类模型的当前观察的OA调整分数和非OA特征分数,获得预测区间。

在518处,服务器106的处理器作为综合预测结果(PR)响应,返回分类概率和/或PPV的组合,以及还原区间。如本文所述,分类概率或PPV可以被利用为恶性可能性。在520处,计算设备120的处理器输出复合PR(例如LOM和预测区间),诸如通过GUI 104显示复合PR。复合PR的输出还可以包括与患者的记录相关地存储复合PR。额外地或者替代地,计算设备120 可以基于复合PR执行其他动作。例如,计算设备可以向其他医疗人员发送通知、启动报告、启动后续程序的调度等。作为进一步示例,当LOM和置信度区间指示病变为良性时,计算设备120可以自动向患者发送通知或报告(例如经由文本消息、电子邮件或其他电子通知手段)。此后,图5A的操作结束。

图5B示出了根据本文实施例将OA(和非OA)特征分数应用于分类模型以获得指示病变处于恶性类或良性类的可能性的病变特质的过程。服务器 106可以利用一个或多个处理器来应用OA特征分数和非OA特征分数。图 5B的示例示出了作为分类模型的决策树250(上文结合图2B描述)。服务器 106从临床医生的计算设备120接收请求550。服务器106的一个或多个处理器将来自请求550的OA特征分数552和非OA特征分数554应用到决策树 250。在260处,处理器确定内部血管和脱氧的OA特征分数是否小于3。在图5B的示例中,测试为真,因此流分支向决策点264,如由虚线决策路径556 所指示。在264处,处理器确定内部总血量分数的OA特征分数是否大于或等于2。在264处的测试失败,因此流分支向决策点270,在该决策点,处理器确定内部血管和脱氧是否等于2。处理器继续测试OA特征分数252和非OA特征分数254,直到到达病变特质1022。

虽然图5B中的决策点仅示出与OA特征有关的测试,但可以理解的是,决策树还可以包括测试非OA特征的决策点,以便将非OA特征分数与OA 特征分数相组合应用于决策树,以获得病变特质和/或与病变特质相关联的分类概率。

虽然没有示出,但服务器106的处理器将请求550应用于主分类模型的多个决策树,其中这些决策树中的每一个都输出对应的病变特质。服务器106 的处理器组合从主分类模型获得的病变特质以获分类概率。然后,该分类概率可以被利用为恶性可能性。替代地,分类概率可以应用于映射函数402(图 4)以确定对应的阳性预测值,然后将该阳性预测值利用为恶性可能性。

额外地或者替代地,服务器16的处理器可以将请求550应用于自助模型的决策树。自助模型中的每一个将返回当前观察的分类概率。处理器将分类概率排序为升序或降序。然后,处理器基于预测区间的目标大小,选择预测区间的上限和下限。例如,在90%的预测区间中,处理器将选择在5%水平处的分类概率作为预测区间的下限,并选择在95%水平处的分类概率作为预测区间的上限。进一步的示例,如果训练了100个自助模型,并将当前患者的当前观察应用到该100个自助模型中,则将返回100个分类概率。处理器会将这100个分类概率排序为升序或降序,然后选取第五个最低和第五个最高的分类概率作为90%预测区间的上限和下限。替代地,如果期望不同的预测区间范围(例如80%),处理器将类似地挑选对应的分类概率上限和下限(例如在第10个最低和第10个最高处)。

可选地,最后层的叶子节点(对应于病变特质)可以包含分类概率(例如,观察属于恶性类的概率)。叶子节点处的分类概率可在建立树时计算。分割过程使训练集中的所有观察最终在一个且仅在一个叶子中。与叶子节点相关联的分类概率是叶子中被标签为恶性的观察的部分。

图6示出了根据本文实施例可以以其显示作为结果的预测结果的方式的示例。预测结果600可以沿着表示恶性可能性标度的颜色编码标尺602呈现,其中该颜色编码标尺从在开始604处的0%(例如0%的恶性可能性)延伸到在结束606处的100%(例如100%的恶性可能性)。颜色编码标尺602可以包括过渡的颜色渐变,诸如在608处的绿色区域、黄色区域610和橙色区域612 以及红色区域614之间,其中颜色在区域之间合并。预测结果600包括LOM 620,其可以对应于由主复合模型确定的分类概率和/或由PPV映射函数402 确定的阳性预测值。预测结果600还包括在LOM 620的任一侧延伸的预测区间622。在本示例中,预测区间622在病变展示特定特质(例如处于恶性类) 的14%至16%的可能性的上限和下限之间延伸。

可选地,可以在颜色编码标尺602上提供决策阈值630,其中决策阈值 630指示临床医生可以选择以做出护理决策的点,在该点上,患者获得病变的活检。例如,决策阈值630可以对应于98%的灵敏度。

用于呈现光声数据的系统和方法

光声成像(OA)是使用脉冲激光照亮组织,然后解析由在入射激光脉冲被多种吸收剂(诸如血红蛋白、脱氧血红蛋白)吸收后的瞬时热弹性膨胀生成的光声波的成像技术。使用线性阵列超声(US)换能器的光声系统利用了使用内部组织对比度的优势,增加了解剖学灰度US成像的功能价值。之前的临床试验示出,当作为与US联合使用时,乳腺肿块的OA特征具有帮助更好地从良性肿块区分恶性肿块的潜力,显著降低假阳性US评定,具有减少不必要的活检的潜在的下游效应。在乳腺癌中,缺氧之所以发生主要是因为癌症对现有血管的外向生长,并引起导致疗法反应和肿瘤进展的适应性反应。近年来,缺氧在乳腺肿瘤微环境中作为预后不良的重要指标的重要性已被充分认识。血红蛋白浓度及其氧合状态的成像与肿瘤图像实时配准,可以帮助更好地预后表征乳腺癌,并帮助临床管理决策。因此,我们着手了这项研究以调查影像衍生的OA/US特征是否与由组织免疫组化确定的乳腺癌分子亚型相关。

如下所描述的光声/超声成像系统通过在组织部位的皮肤无创地可视化薄组织切片。术语“组织部位”泛指动物和人类组织和器官(诸如例如,乳腺组织)的位置或目标。组织部位可以包含各种不同的“组织结构”,其可包括例如肿瘤、血管、组织层和血液的组分。如以下所描述,正弦图可以包含响应于冲击组织部位的一个或多个光事件而在一段时间上发生的声活动的样本记录。在正弦图中捕获的声活动可以包括光声响应,即,作为由组织部位内的材料(诸如例如,吸收电磁能量的各种组织结构)吸收的电磁波能量的结果而创建的声信号。这些光信号源于响应于光事件的组织结构内的热弹性应力约束的释放。

转到图7,如下面在标题“光声系统和方法”下一般描述的那样,是设备 100,包括经由光路径132和电路径108连接到系统底盘101的探头102。在系统底盘101内封装有光的子系统129和计算子系统128。计算子系统128 包括一个或多个计算组件,用于光声控制和分析等等。在实施例中,通过对探头102中换能器的采样,设备100可以获得响应于以下情况而接收的数据:由脉冲光源130、131引起的刺激(即,光声返回信号);以及由超声换能器元件的声输出引起的刺激。

在实施例中,为了获得对应于在组织体积中发生的单一光事件的光声返回信号,探头102中的换能器可以在光事件之后的一段时间内被采样。在实施例中,探头102中的换能器可以在光事件之后的一段时间内被采样,该时间大约等于声音在组织中传播期望的距离所花费的时间。在实施例中,期望的距离可以是至少一厘米。在实施例中,期望的距离可以是至少两厘米。在实施例中,采样时段将对应于声音在组织中传播至少1厘米但不超过15厘米将花费的时间量。采样率应足以获得光声返回信号中的足够信息。在实施例中,采样率高于20兆赫兹(MHz),在另一实施例中,采样率高于约30MHz。

如下面进一步讨论的,在实施例中,设备100包括至少两个在不同的光波长操作的光源130、131。在实施例中,利用在不同的光波长操作的两个光源130、131,从一个光事件来自光源中的每一个光源的光声返回信号可以方法和系统中使用用于呈现光声数据。在实施例中,设备100包括可以在不同波长下操作的单一光源,诸如可以足够快地改变波长以用于如本文所描述的使用的可调谐激光器。在实施例中,设备100包括至少两个光源130、131,每个光源能够被调谐到多个不同的波长。在实施例中,设备100包括操作一个光波长的一个光源130,以及能够被调谐到多个不同波长的至少一个额外的光源131。

如本文所使用的,术语正弦图是指对应于单一光事件的采样数据或处理过的采样数据。术语正弦图有时也用于指通过使用原始或过滤的采样数据作为灰度或颜色数据来呈现的图像,其中数据中的采样和图像中的体素之间存在对应关系。在实施例中,使用来自两个不同光事件的光声返回信号,每个光事件对应于不同波长的光,术语短正弦图是指对应于生成光事件的较短波长的光的正弦图,术语长正弦图是指对应于生成光事件的较长波长的光的正弦图。因为可以使用两个以上不同的波长,所以术语短波长和长波长的使用是为了体现具有任意数量的波长的系统的扩展上下文。

在实施例中,如下面更详细地讨论的,正弦图被处理以产生包络图像。如本文所使用的,术语短包络图像是指对应于短正弦图的包络图像,而术语长包络图像是指对应于长正弦图的包络图像。在实施例中,短正弦图和长正弦图各自被分离处理以分别产生短包络图像和长包络图像。然后,短包络图像和长包络图像被一起使用以生成参数图像。从参数图像中,可以创建氧合、血红蛋白和掩蔽氧合的映射。这些映射可以是表示基本相同体积的超声图像的配准数据,并且此后可以产生氧合图像、血红蛋白图像和掩蔽氧合图像中的一个或多个。在实施例中,氧合图象、血红蛋白图象和掩蔽氧合图象反映关于组织体积的组成的信息。术语参数映射和参数图像在某些情况下可互换使用。术语地图的使用一般涉及图像和体积之间的对应。参数映射可以以多种方式表示,包括例如,作为单通道(即,灰度)表示,作为颜色(即,RGB) 表示,或作为带有透明度的颜色(RGBA)表示。参数映射可用于传达关于一个或多个参数的定性或定量信息。参数映射或参数图像可以在计算机存储器中表示或作为显示的表示而呈现,因此,如本文所使用的,术语“图像”或“映射”不一定暗示着视觉表示。

出于各种原因,正弦图可能包含不需要的、不准确的或比例不足的数据。正弦图数据的这些弊病可以源于无数原因,包括测量仪器(例如,探头)或所使用的光的特性,体积(即组织)的特性,体积与探头或光、外部刺激或其他源之间的交互的特性。无论来源,可以使用各种过程来移除正弦图数据的不需要的方面。

一般地,在处理正弦图的以下步骤的每一个步骤中,处理是对时域信号执行的。在优选的实施例中(并且如下面所讨论的),探头102包括声透镜,该透镜使正弦图数据更聚焦于换能器的平面下方的平面上的东西--图像平面。在实施例中,探头包括具有10至40毫米之间的焦距的声透镜。在例示性实施例中,探头包括具有20毫米的焦距的声透镜。在实施例中,探头可包括具有焦距的声透镜,该焦距可以在硬件中或软件中放大或缩小。

如上文所讨论,在例示性实施例中,正弦图数据的每个通道表示体积中约100毫米的距离。声透镜通常拒绝从图像平面外(例如,正交(orthogonal)) 的点传播的信号的至少一些部分。然而,每个换能器接收来自位于大约100毫米距离内的图像平面的基本上所有点的信号。通道的接收信号可以被认为包括图像平面上半径100毫米的半圆的区域。

转到图8,示出了示例过程的概览,从三个数据集的获取开始,即短正弦图(步骤205)、长正弦图(步骤210)和超声图像(步骤215),并对数据进行处理以产生可以对察看那些获取的数据的各方面有用的最多六个分离的图像。在示例性实施例中,可以使用探头102(图7)获取三个所获取的数据的集合。本文为了例示的目的,可以假定如果有的话,探头102在步骤205、 210和215中的三个数据集的获取之间的移动是最小的。在示例性实施例中,合理的帧率(例如,10Hz),连同在手持探头时使用的合理稳定的手,可以产生具有在其间发生的基本上最小的移动的三个数据集。应当注意,本文描述的过程并不限于利用三个已识别的数据集使用。额外的数据集的使用,诸如例如,来自额外的波长的光的数据集,可以被用于进一步改进所导致的图像。

如下面将更详细地讨论的,以一种或多种单独的方式对短和长正弦图数据进行预处理(步骤220),以减少或补偿正弦图中的不期望的数据,包括测量仪器(例如,探头)或使用的光的特性,体积(即,组织)的特性,体积与探头或光、外部刺激或其他源之间的交互的特性。在预处理之后,重建分离的短图像和长图像(步骤225)。在实施例中,复合短图像和长图像的分离的实部和虚部源于重建步骤。在实施例中,执行对重建的图像的处理(步骤230)。处理(步骤230)可以移除在重建图像中可以识别的额外的伪影,并在任何事件中创建短包络图像(232)和长包络图像(234)。在实施例中,短包络图像和长包络图像(232,234)用于生成参数图像(步骤240)过程。生成的参数图像(步骤240)过程输出氧合映射(250)、血红蛋白映射(255)和掩蔽氧合映射(260)。在实施例中,这三个映射中的任何或所有映射与超声图像配准并重叠在超声图像上(步骤265)。可以提供显示器,用于步骤270、275、 280、285、290和295中显示的可显示图像中的一个或多个的显示。在实施例中,可以在同一屏幕上显示一组两个或更多个图像,并且可以是通常的缩放和大小。在实施例中,所有六个图像的组可以显示在同一屏幕上,并且可以是通常的缩放和大小。

在实施例中,对光声数据执行处理的系统,和/或显示光声输出的系统-- 其可以但不需要与获取正弦图的系统相同的系统--将为操作者提供在处理或察看光声图像时变化处理中使用的参数的能力。在实施例中,对光声数据执行处理的系统和/或显示光声输出的系统将为操作者提供开启和关闭以及可能变化用于处理光声图像的处理步骤的顺序的能力。

回到图7,一般地,设备100提供了光声系统,该系统也可被采用为多模态、组合的光声和超声系统。在实施例中,设备100包括经由光路径132和电路径108连接到系统底盘101的探头102。在系统底盘101内封装有光的子系统129和计算子系统128。计算子系统128包括一个或多个用于超声控制和分析以及光声控制和分析的计算组件;这些组件可以是分离的,或是是集成的。在实施例中,计算子系统包括中继系统110、光声处理和叠加系统 140和超声仪器150。

在实施例中,光的子系统129能够产生至少两种不同波长的光脉冲。在实施例中,光的子系统129的输出应该能够产生这些波长中的每个波长的短脉冲光,例如,持续小于约100ns的脉冲,并且可能短至约5ns。如从本公开对本领域普通技术人员将显而易见的是,本文所公开的发明也可以使用包含持续大于100ns的脉冲的脉冲光来实践。在实施例中,光的子系统129包括两个分离的光源130、131。光的子系统129的输出经由光路径132递送到探头102。在实施例中,光源130、131是产生红外、近红外和/或可见光谱的光的激光器。在实施例中,光源130和光源131各自在红外或近红外光谱中的不同波长处产生光。在实施例中,用于将光从光的子系统129递送到探头 102的光路径132是由多股光纤组成的光纤束。在实施例中,光路径132包括足够大小(直径)的足够的光纤,以将短的高功率光脉冲携载到光路径132 的远端。在实施例中,在光路径132上携载的总脉冲能量可以在一个或多个毫焦耳的阶数上。在实施例中,从光路径132递送的每光脉冲的总能量小于约100毫焦耳。在实施例中,通过光路径132携载的每光脉冲的总能量在约 50-90毫焦耳的范围内,并且光路径132包含每根在约100和300微米之间的在约1000和2000根之间的光纤。在实施例中,可以使用单一光纤作为光路径132。在这样的实施例中,光纤的直径可以是1000-1500微米。当然,这样的单一光纤的直径可以更小,例如,400微米。考虑到在光纤上携载的所需的总脉冲能量,本领域的熟练人员可以相应地计算出光纤所需的直径。

在例示性实施例中,光的子系统129可以使用铷雅克激光器和紫翠玉激光器作为其两个光源130、131,尽管也可以使用其他类型或波长的光,以及额外的光。光源130、131应能产生短的光脉冲,例如,脉冲持续时间小于约 100ns,更优选地约5ns。在实施例中,两个光源130、131可以分开被触发。在实施例中,由光源130、131输出的光可以通过使用光学元件133投射到同一光路径132上,该光学元件133一般允许一个光130从第一面通过到第二面,同时反射一个打到第二面的光源131。光学元件133或类似的元件的使用允许将诸如激光器的两个光源130、131的输出对齐到光路径132的近端。在实施例中,光学元件133可以例如通过使用多个光学元件133来对齐来自两个以上激光器的光输出。在实施例中,可以采用多个光系统和光路径,每个光系统的光在分离光纤或光纤组上被携载,这些光纤或光纤组可以在其远端混合和/或随机化(下文进一步讨论)和/或分组。如在此上下文中使用的那样,混合是指在光路径中的光纤的映射,以使得光纤一般以相对均匀的方式分布在远端分组中。因此,在光路径的近端上的多个相邻光纤一般将在远端上被大约均匀地划分到分组中。作为例示性示例,在存在两个远端分组的情况下,在近端上任何任意选择的足够多的相邻光纤组,都应该在两个远端分组之间大约均匀地分割。随机化、混合和/或分组不需要在光路径132上的任何特定位置进行。换句话说,例如,光纤电缆从一个近端组到两个远端组的划分可以发生在沿着光路径132的任何点,或者沿着光路径132的基本上整个长度。类似地,随机化和/或混合不需要沿着光路的整个长度进行,而是例如可以沿着例如光路径任一端附近的几厘米或更多的距离,或者沿着光路径132的任何其他地方进行。在光路径的一端和另一端之间随机化光纤,防止影响输入上的相邻组光纤的局部异常影响输出上的重要相邻组光纤。在光路径的一端和另一端之间混合光纤,防止影响输入上的光纤的相邻组的局部异常不成比例地影响输出上的光纤的一个组或子组。

在光路径终止于多个光纤分组(或子分组)的情况下,分组(或子分组) 的远端可以熔合,或搭接和抛光,或只是固定在一起(可移除的或其它)。在实施例中,光路径的远端形成为多个组,这些组以这样的方式间隔开,以便允许光在换能器阵列的每一侧发射。在实施例中,光路径的远端形成为多个组,这些组以这样的方式间隔开,以便允许光在整个换能器阵列周围发射。在实施例中,光路径的远端形成为两个或更多组,并且该两个或更多组细分为分别由光条导引器固定的子组,该光条导引器可以与组相关联。在实施例中,光学元件133可以包括用于测量光能量以确定每个光脉冲能量的光学元件。

虽然在光路径132上携载每个光脉冲的总能量在数十毫焦耳的阶数,但因为光源130、131的脉冲如此短,所以在光路径132上的峰值功率输出经常接近或在兆瓦范围内。因此,光源130、131的输出具有使光纤和/或光纤上的包层烧毁、变色或以其他方式降级的能力。这样的降级的光纤和/或包层,无论是烧焦、变色或以其他方式,都会加剧问题,因为它们开始传输更少的光功率并引起更多的发热。因此,在实施例中,光路径132中存在足够数量和大小的光纤,以允许处理峰值功率负载并避免光纤烧毁。为了适应更高的峰值功率,可以使用更大的光纤束。对于本领域的技术人员来说,将显而易见的是,光纤束的峰值功率能力可以通过增加光纤的数量,或光纤的直径,或两者来增加。然而,值得注意的是,随着光纤束尺寸的增加,光路径132的重量和灵活性可能变得不那么期望。此外,当使用更多的光纤,或更大直径的光纤时,光的子系统129的输出必须跨过较大束的更宽的直径递送到光路径132。在实施例中,不管光路径132的近端的最终大小,光的子系统129的输出都应该跨其横截面充分地分布,以在期望的峰值功率范围内操作时防止烧坏故障。

在实施例中,光路径132的近端的光纤可以被熔合以为光的子系统129 的输出形成光路径132的熔合入口点。在实施例中,光纤端可以通过加热来熔合。在实施例中,熔接端可以用金属环包围。在实施例中,熔接端可以用不锈钢环包围。一旦光路径132的近端已经被熔合,它将在基本上更高的峰值功率下抵抗烧毁。例如,使用熔合端光路径132可以允许携载三倍、四倍或甚至五倍这么多的峰值功率。在给定的光路径132中携载基本上更高的峰值功率的能力允许使用更灵活和更轻的光纤束来携载与未熔合的光路径132相同的峰值功率。因此,在实施例中,在形成光路径的未熔合光纤束中可能已经需要1/2"(12.7毫米)光纤束的情况下,可以使用具有熔合近端的1/4"(6.35 毫米)光纤束来携载相同的峰值功率。带有熔接近端的1/4"(6.35毫米)光纤束的重量约为1/2"(12.7毫米)光纤束的1/4,并且比1/2"(12.7毫米)光纤束灵活得多。此外,光路径132近端的熔合可以产生甚至更小的熔合区域,以使用光源132照明,因为熔合移除了本来存在于圆截面光纤束端的光纤间空间。因此,通过熔断包含光路径132的光纤的近端可以取得以下一个或多个优点:减少光路径的重量;增加光路径的灵活性;减少故障;增加可靠性;更高的峰值功率容量。

在实施例中,光路径132的近端可以为光源132中的分离光源130、131 分离为分离组,并且由光源130、131输出的光可以投射到光路径132的不同近端组。可以使用两个以上的分离的光,并且光路径132的近端可以为每个光分离为至少一个组。光路径132的近端的每组光纤可以熔合在一起,以为与其相关联的光形成到光路径132的熔合入口点。在实施例中,在近端上具有多个组的光路径的光纤,并且相对于近端上的组或子组是混合的。在实施例中,在近端上具有多个组的光路径的光纤,并且相对于近端上的组或子组是随机的。在实施例中,光路径被提供有熔合的近端(输入)和其远端(输出)上的至少两个组,光纤被混合和随机化,从而防止影响在光路径的输入处的相邻光纤的局部异常:(I)导致影响输出上的相当多的相邻光纤的异常;和(ii)不成比例地影响输出之一。在实施例中,光路径被提供有在其近端(输入)上的至少两组和在其远端(输出)上的至少两组光纤,光纤被混合和随机化,从而防止影响在光路径的输入处的相邻光纤的局部异常:(I)导致影响输出上的相当多的相邻光纤的异常;和(ii)不成比例地影响输出之一。在实施例中,光路径被提供有在其近端(输入)上的至少两个熔合组和在其远端(输出)上的至少两个熔合组,光纤被混合和随机化,从而防止影响在光路径的输入处的相邻光纤的局部异常:(I)导致影响输出上的相当多的相邻光纤的异常;和(ii)不成比例地影响输出之一。

在实施例中,可以在光路径132中使用的类型的光纤包括由具有较低折射率的透明包层材料包围的透明芯。芯可以从任何透明材料制成,尽管已经观察到使用纯玻璃(即,二氧化硅)的优良结果。在实施例中,在要熔合一束光纤的地方,可以在要熔接的区域中移除包层。在实施例中,可以使用化学过程移除包层。例如,对于一些包层,可以使用热硫酸或丙酮。在熔合之前移除包层减少了包层材料的颗粒嵌入到熔合端中的机会;因为这样的颗粒可能会干扰跨光路径132的光传输。

在实施例中,由光源130、131输出的光经由光路径(其可以包括光元件 133,在光的子系统129的内部)向光路径132近端的融合光纤束发送。在实施例中,光的子系统129是能够将一个或多个波长的激光光脉冲输出到光路径132上的激光系统。在实施例中,光路径132是具有接近光的子系统129 的融合端的光纤束。

在实施例中,设备100还包括向和/或从探头102延伸到系统底盘101的电路径108。在实施例中,电路径108向和/或从探头102延伸到系统底盘101 内的中继系统110。电路径108可以与光路径132靠近、并排或与同轴地从探头102延伸向系统底盘101上的他们各自的连接。在实施例中,电路径108 包括多条分离的同轴线缆。在实施例中,电路径108与光路径132的至少一部分在公共护套中延伸。将电路径108与至少一部分光路径132在共同的护套中延伸,减少了从系统底盘101到探头102延伸的电缆数量。将电路径108 与至少一部分光路径132在共同的护套中延伸,可以最小化从系统底盘101 延伸到探头102的组合电缆(即,光路径132和电气路径108)的直径和重量,并增加其耐久性。

提供其可以是触摸屏显示器的一个或多个显示器112、114,用于显示图像和设备100用户界面的全部或部分。可以提供一个或多个其他用户输入设备(未示出),诸如键盘、鼠标和各种其他输入设备(例如,转盘和开关),用于接收来自操作者的输入。作为选择,电源和控制路径109向探头102携载功率和在探头102与计算子系统128之间的控制信号。

结语

如图中所示并在此描述的各种方法表示方法的示例性实施例。这些方法可以用软件、硬件或其组合来实施。在各种方法中,可以改变步骤的顺序,并且可以添加、重新排序、组合、省略、修改(等)各种元素。各种步骤可以自动地(例如,不由用户输入直接提示)和/或以编程方式(例如,根据程序指令)执行。

可以做出各种修改和改变,这对于具有本公开的利益的本领域技术人员来说是显而易见的。其意图包含所有这样的修改和改变,并且相应地,上述描述应被视为在说明性而非限制性的意义上。

本公开的各种实施例利用本领域技术人员所熟悉的至少一个网络来支持使用各种商用协议(诸如传输控制协议/互联网协议(“TCP/IP”)、用户数据报协议(“UDP”)、在开放系统互连(“OSI”)模型各层中操作的协议、文件传输协议(“FTP”)、通用即插即用(“UpnP”)、网络文件系统(“NFS”)、通用互联网文件系统(“CIFS”)和AppleTalk)中的任何一个的通信。例如,网络可以是局域网、广域网、虚拟专用网、互联网、内网、外网、公共交换电话网、红外网、无线网、卫星网及其任意组合。

在利用网络服务器的实施例中,网络服务器可以运行各种服务器或中层应用的任何一种,包括超文本传输协议(“HTTP”)服务器、FTP服务器、通用网关接口(“CGI”)服务器、数据服务器、Java服务器、Apache服务器和业务应用服务器。(多个)服务器还可以能够执行程序或脚本以响应来自用户设备的请求,诸如通过执行一个或多个网络应用,这些应用可以实施为以任何编程语言(诸如

如上所述,环境可以包括各种数据存储和其他存储器和存储介质。这些可以驻留在各种位置,诸如在本地于(和/或驻留在)计算机中的一个或多个的或跨网络远程于计算机的任何或全部的存储介质上。在实施例的特定集合中,信息可以驻留在本领域技术人员所熟悉的存储区域网络(“SAN”)中。类似地,执行归因于计算机、服务器或其他网络设备的功能的任何必要文件可以适当地本地和/或远程存储。在系统包括计算机化设备的情况下,每个这样的设备可以包括可以经由总线电连接的硬件元件,这些元件包括(例如)至少一个中央处理单元(“CPU”或“处理器”)、至少一个输入设备(例如,鼠标、键盘、控制器、触摸屏或键盘)和至少一个输出设备(例如,显示设备、打印机或扬声器)。这样的系统还可以包括一个或多个存储设备,诸如磁盘驱动器、光存储设备和固态存储设备,诸如随机存取存储器(“RAM”)或只读存储器(“ROM”),以及可移动介质设备、存储卡、闪存卡等。

这样的设备还可以包括计算机可读存储介质阅读器、通信设备(例如,调制解调器、网卡(无线或有线)、红外通信设备等)和上文描述的工作存储器。计算机可读存储介质阅读器可以与计算机可读存储介质连接,或者被配置为接收计算机可读存储介质,其表示远程、本地、固定和/或可移动存储设备以及用于临时和/或更永久地包含、存储、传输和检索计算机可读信息的存储介质。系统和各种设备还典型地将包括位于至少一个工作存储器设备内的若干软件应用程序、模块、服务或其他元素,包括操作系统和应用程序,诸如客户端应用或网页浏览器。应当理解,替代实施例可能具有与上文描述的众多变化。例如,还可以使用订制的硬件和/或特定的元素可以在硬件、软件(包括便携式软件,如小程序)或两者中实施。此外,可以采用到其他计算设备 (诸如网络输入/输出设备)的连接。

各种实施例还可包括在计算机可读介质上接收、发送或存储根据前述描述实施的指令和/或数据。用于包含代码或代码部分的存储介质和计算机可读介质可以包括本技术领域已知或使用的任何适当的介质,包括存储介质和通信介质,诸如但不限于在任何方法或技术中实施的用于信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的存储和/或传输的易失性和非易失性、可移动和不可移动的介质,包括RAM、ROM、电子可擦除可编程只读存储器(“EEPROM”)、闪存或其它存储器技术、压缩型光盘只读存储器(“CD- ROM”)、数字多功能盘(DVD)或其它光存储、磁带盒、磁带、磁盘存储或其它磁存储设备或可以用于存储期望的信息并可以由系统设备访问的任何其它介质。基于本文提供的公开和教导,本领域普通技术人员将了解实现各种实施例的其他方式和/或方法。

因此,说明书和附图应被视为说明性而非限制性的。然而,显而易见的是,在不偏离如权利要求书中阐述的本发明更广泛的发明精神和范围的情况下,可以对其进行各种修改和改变。

其它的变化都在本公开的精神内。因此,虽然所公开的技术容易受到各种修改和替代构造的影响,但其某些例示性实施例已在图中示出,并已在上面详细描述。然而,应当理解,并不意图将本发明限制于所公开的具体形式,相反,意图是涵盖落入如所附权利要求书所定义的本发明的精神和范围内的所有修改、替代构造和等效物。

在描述所公开的实施例的上下文中(特别是在权利要求的上下文中),术语“一”和“一个”和“该”以及类似的参照的使用应被解释为涵盖单数和复数两者,除非本文以其他方式指示或与上下文明确矛盾。除非另有说明,术语“包括”“具有”“包涵”和“包含”应被解释为开放式术语(即,意味着“包括但不限于”)。术语“连接”,当未经修饰且指的是物理连接时,应解释为部分或全部包含在其中、附着或连接在一起,即使存在东西在中间。本文数值的范围的复述仅仅是为了充当单独指代落在范围内的每个分离数值的速记方法,除非本文另有指示,并且每个分离的数值都被纳入到说明书中,就像在此处单独复述一样。术语“集合(例如,“项目的集合”)”或“子集”的使用,除非另有说明或与上下文相矛盾,否则应解释为包含一个或多个成员的非空合集。此外,除非另有说明或与上下文矛盾,对应集合的术语“子集”不一定表示对应集合的适当子集,但子集和对应集合可以相等。

除非本文另有说明或由上下文明确矛盾,否则可以以任何合适的顺序执行本文描述过程的操作。本文描述的过程(或变体和/或其组合)可以在配置有可执行指令的一个或多个计算机系统的控制下执行,并可以通过硬件或其组合实施为在一个或多个处理器上集体执行的代码(例如,可执行指令、一个或多个计算机程序或一个或多个应用)。代码可以存储在计算机可读存储介质上,例如,以包含由一个或多个处理器可执行的多个指令的计算机程序的形式。计算机可读存储介质可以是非暂时性的。

本文引用的所有参考文献,包括出版物、专利申请和专利,在此通过引用并入,其程度与每个参考文献单独地、特别地指明要以引用方式并入的程度相同,并在此完整地列出。

应当理解的是,本文描述的主题在其应用中并不限于本文的描述中阐述的或在本文附图中示出的结构细节和组件布置。本文所描述的主题能够具有其他实施例,并且能够以各种方式实践或贯彻。另外,应当理解的是,本文使用的短语和术语是为了描述的目的,而不应被视为限制性的。本文的“包括”“包含”或“具有”及其变体的使用是打算包含其后列出的项目及其等同物以及附加项目。

应当理解的是,上文的描述旨在例示性,而非限制性。例如,上文描述的实施例(和/或其方面)可以与彼此组合使用。此外,在不偏离其范围的情况下,可以做出许多修改以使特定的情况或材料适配于本发明的教导。虽然本文描述的维度、材料的类型和物理特性旨在定义本发明的参数,但它们绝不是限制性的,而是示范性实施例。在回顾上文描述后,许多其它实施例对于本领域技术人员将是显而易见的。因此,本发明的范围应该参考所附权利要求书以及这些权利要求书所享有的等同物的全部范围来确定。在所附权利要求中,术语“包括”和“其中”被用作各自术语“包含”和“在其中”的纯中文等同物。此外,在权利要求中,术语“第一”“第二”和“第三”等仅仅作为标签使用,而不是为了对其对象强加数字要求。此外,权利要求的限制不是以部件加功能的格式书写的,并且不打算基于美国法典第35卷第112条6 款进行解释,除非并且直到这些权利要求的限制明确使用“用于……的部件”的短语,其中间是没有进一步结构的功能的声明。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号