用于对超声信号进行自适应波束形成的方法和系统

摘要

本发明涉及一种用于对超声信号进行自适应波束形成的方法，所述方法包括以下步骤：(a)接收由多个超声换能器元件响应于超声发送而采集的时间对准RF信号；(b)通过将经训练的人工神经网络(16)应用于所述时间对准RF信号确定用于将所述时间对准RF信号进行波束形成的内容自适应切趾权重；并且(c)将所述内容自适应切趾权重应用于所述时间对准RF信号以计算波束形成输出信号。本发明还涉及一种用于训练在对超声信号进行自适应波束形成中有用的人工神经网络(16)的方法，以及相关的计算机程序和系统。

说明书

技术领域

本发明涉及一种用于对超声信号进行自适应波束形成的方法、一种用于训练在对超声信号进行自适应波束形成中有用的人工神经网络的方法、以及一种相关的计算机程序和系统。

背景技术

常规超声成像方法通常由于其低复杂性和快速重建时间通常使用延时-相加(delay-and-sum)(DAS)波束形成，如在K.E.Thomenius,“Evolution of ultrasoundbeamformers,”(1996IEEE Ultrason.Symp.Proc.、第2卷、第1615-1622页、1996年)中所描述的。该方法使用用于接收信道的固定的、内容不变的、切趾权重。尽管其重建速度允许实时成像，但是DAS波束形成不提供最佳图像对比度和分辨率，因为其缺少内容自适应阵列切趾。例如，来自离轴分量的反向散射未足够地补偿。为了改进该相对差的质量，经改进的图像常常通过复合多个采集和/或使用聚焦波束来获得，两者以增加的采集时间为代价。

自适应波束形成算法通过基于所采集的RF信号确定最佳内容自适应切趾权重并且将其应用于接收信道对此进行改进。然而，这些方法是计算上更要求高的并且因此导致显著地更长的重建时间。因此，当前已知的自适应波束形成算法不适合于实时超声成像。

已知自适应波束形成算法是最小方差(MV)波束形成器，其中，切趾权重被连续地优化以使在切趾之后接收信号的方差最小化，同时维持期望方向上的单位增益。该过程有效地抑制通常导致杂波图像的来自不期望方向的干扰信号的功率。尽管MV波束形成已经示出与DAS相比较显著地改进分辨率和对比度，但是其也是非常缓慢的，这依赖于具有n

例如，在I.K.Holfort，Adaptive Beamforming for Medical UltrasoundImaging(PhD Thesis，Technical University of Denmark，Lyngby，2009年11月)和J.F.

在MV波束形成中，切趾权重w通过求解以下来确定：

min w

经受w

其中，a是转向向量，并且R是输入阵列的协方差矩阵。该最小化问题的解是

由于协方差矩阵R的逆特别地针对大矩阵是计算上非常昂贵的，因此其不适于实时实施。

人工神经网络已经在用于图像形成和表征的超声成像的背景下提出，参见例如WO2018/127498 A1。根据该文档，超声成像系统可以包括：超声换能器，其被配置为采集回波信号；以及信道存储器，其被配置为存储采集的回波信号。系统还包括：神经网络，其被耦合到信道存储器并且被配置为接收采集的回波信号或波束形成信号或两者的一个或多个样本；并且基于采集的回波信号的一个或多个样本来提供成像数据。神经网络被训练以产生成像数据或者提取组织信息。

根据Adam Luchies和Brett Byram，“Suppressing off-axis scattering usingdeep neural networks”(Proceedings of SPIE 10580，Medical Imaging 2018：Ultrasonic Imaging and Tomography，105800G，2018年3月6日)，从超声换能器元件采集的RF信号(也被称为信道数据)被短时间傅里叶变换并且用作到深度神经网络的输入，其因此在频率域中操作。输出具有与输入相同的结构并且逆短时间傅里叶变换被用于将经处理的数据转换回到时间域，以生成跨信道求和的经处理的信道数据。

本发明的目的是提供一种自适应波束形成方法，其能够提供高图像质量，同时与已知内容自适应波束形成方法相比较具有减少的计算成本。特别地，本发明的目的是提供一种方案，其能够提供与常规自适应波束形成算法(诸如MV波束形成)相同的高图像质量，同时将计算时间减少到其可以用于实时超声成像的这样的程度。

发明内容

这些目标通过根据权利要求1所述的用于对超声信号进行自适应波束形成的方法、根据权利要求13所述的提供经训练的人工神经网络的方法、根据权利要求14所述的计算机程序和根据权利要求15所述的系统满足或者超过。关于要求保护的方法的本文所描述的任何特征、优点或备选实施例还适用于其他权利要求类别，特别地要求保护的系统、计算机程序和超声成像设备。特别地，经训练的神经网络可以通过要求保护的训练方法来调整。此外，所述人工神经网络的输入数据可以包括输入训练数据的有利特征和实施例，并且反之亦然。此外，所述经训练的神经网络的输出(内容自适应切趾权重)可以包括输出训练数据的有利特征和实施例，并且反之亦然。

根据第一方面，本发明提供了一种用于对超声信号进行自适应波束形成的方法，所述方法包括以下步骤：(a)接收由多个超声换能器元件响应于超声发送而采集的RF信号；并且(b)通过将经训练的人工神经网络应用于所述RF信号确定用于将所述RF信号进行波束形成的内容自适应切趾权重。

因此，发明方法能够通过将人工神经网络(NN)用作当前计算上昂贵的方法的备选方案(诸如MV波束形成)，以内容自适应方式获得最佳或接近于最佳切趾权重。该背景下的“内容自适应”意指切趾权重取决于采集的RF信号，即，其适于所述信号的内容。在超声成像的情况下，其适于成像视场。与现有技术相反，所述NN的输出不采取RF信号(信道数据)或波束形成图像的形式，但是所述输出是用于每个信道的切趾权重，其可以然后应用于所述RF信号以以通常的方式产生波束形成输出信号，例如通过乘法和加法。因此，所述NN的输入是所述RF信号，并且这些相同信号可以然后乘以所述NN的输出，即，所述切趾权重，并且随后求和，以产生波束形成输出信号。

完整内容自适应波束形成或图像重建过程可以分成3个步骤：1)飞行时间校正，2)所述切趾权重的调整(和应用)和3)包络检测。发明方法聚焦于所述自适应切趾权重的计算，其对上文所提到的3个步骤是计算上最昂贵的。

所述NN的输入是由多个超声换能器元件响应于到介质(诸如人类或动物身体的部分)中的超声发送而采集的射频(RF)信号。如采集的所述RF信号具有幅度和相位两者。因此，被用作到NN中的输入的RF信号可以采取实或复表示。在超声成像中，通过所述超声发送所成像的区被称为视场。所述多个超声换能器元件可以是阵列换能器的多个或所有元件，例如，线性换能器或相控阵列。在一些实施例中，切趾权重将针对从阵列中的换能器元件所采集的所有RF信号来计算，但是还存在在其中仅阵列中的换能器元件的子集在任何给定的时间处接收RF信号的成像方法。

在有用的实施例中，所述NN的输入是时间对准RF信号，即，时间移位RF信号或在飞行时间校正之后的RF信号，其中，在所述飞行时间校正中应用的延迟是相对于换能器几何结构的。这样的时间校正可以以与在DAS波束形成中相同的方式完成。优选地，所述方法在时间域中操作，即，在所述时间域中的信号上。为了生成可以形成用于所述NN的输入的时间对准RF信号，根据有用的实施例，逐像素飞行时间校正被应用于如接收到的所述RF信号(原始RF信号)。这导致大小为N的数据阵列，其中，N对应于贡献换能器元件的数目。因此，所述方法可以额外地包括以下步骤：在所述信号上执行飞行时间校正以生成时间对准信号。

所述RF信号(还被称为信道数据)被馈送到经训练的人工神经网络中，也被称为“神经网络”或NN。人工神经网络(NN)基于还被称为节点的连接人工神经元的集合，其中，每个连接(还被称为边缘)可以从一个节点到另一个节点发送信号。接收信号的每个人工神经元可以对其进行处理并且将其传送到连接到其的另外的人工神经元。在有用的实施例中，发明NN的人工神经元分层布置。所述输入信号(例如，所述时间对准RF信号)从第一层(也被称为输入层)行进到最后一层(输出层)。在有用的实施例中，所述NN是前馈网络，尽管其还可能是递归神经网络的部分或可能是递归神经网络，使得其可以记住其内部状态并且将其使用在相关输入的序列的处理中。在有用的实施例中，所述NN基于机器学习技术(特别地深度学习)来训练，例如通过反向传播。使用的训练数据可以是高质量自适应波束形成算法的输出，诸如作为训练目标的MV波束形成器，以及作为输入训练数据的相关时间对准RF信号。在有用的实施例中，本发明讲基于模型的方法使用到设计的NN架构，采用自适应波束形成器的结构，同时使用神经网络执行计算上要求高的计算。

根据本发明的经训练的人工神经网络可以以软件程序的形式提供，但是也可以被实施为硬件。另外，所述经训练的NN可以以不必以与训练的神经网络相同的方式确切地结构化的训练函数的形式提供—例如，如果特定连接/边缘具有权重0，则在训练之后，这样的连接可以当提供基于经训练的人工NN的经训练的函数时被省略。

在训练之后，发明NN的使用证明导致近似(如果未改进超过)MV波束形成器的结果然而小部分计算时间处的较高图像质量。根据当前实验，时间增益是近似500倍。因此，本发明提供极其高质量的自适应波束形成方法，其提供与已知自适应波束形成算法(诸如MV波束形成器)相同的质量，但是以小部分计算成本。因此，发明方法允许实时获得超声图像的好得多的质量。因此，本发明提供可与自适应波束形成技术相比较但是在高速率处的图像质量，同时使用常规和/或GPU加速硬件。

根据有用的实施例，所述人工神经网络的输入节点的数目和所述人工神经网络的输出节点的数目对应于贡献RF信号的数目，其中，“贡献”意指所述贡献RF信号正在贡献于相应波束形成输出信号，例如特定的波束形成像素。因此，输入节点的数目N对应于接收超声换能器元件的数目，其可以是换能器阵列中的所有换能器元件或其子集。优选地，每个输出节点为馈送到一个特定输入节点的一个RF信号供给内容自适应切趾权重。因此，在大多数实施例中，输入节点的数目将与所述NN的输出节点的数目相同或者近似相同。

在有利的实施例中，在下一步骤中，由所述NN确定的内容自适应切趾权重应用于所述RF信号-即，馈送到所述NN的相同RF信号-以计算波束形成输出信号。这可以通过从所述输入(例如，所述时间对准RF信号)添加到乘法和加法元素的第二连接完成，其中，逐信号地，所述乘法在时间对准的所述RF信号中的每个RF信号与在所述NN的输出处出现的切趾权重中的每个切趾权重之间执行。所述波束形成输出信号优选地是对应于所述视场中的超声图像中的像素的RF信号。因此，在有用的实施方式中，对应于一个接一个像素的时间对准RF信号将通过所述神经网络来传播，并且利用所述内容自适应切趾权重加权的相同RF信号被求和以逐像素产生所述波束形成输出信号。所述波束形成输出信号可以通过本领域中已知的另外的方法步骤(特别地包络检测)来进一步处理，以产生相应的像素值。

在有用的实施例中，所述方法包括以下步骤：接收由多个超声换能器元件响应于超声发送而从视场采集的原始RF信号，跟随有飞行时间校正，以生成所述时间对准RF信号。这样的飞行时间校正可以根据本领域中已知的方法完成，例如，如I.K.Holfort的论文Adaptive Beamforming for Medical Ultrasound Imaging(PhD Thesis,TechnicalUniversity of Denmark,Lyngby、2009年11月)中所描述的。所述时间对准RF信号通常可以具有1-50MHz的范围内的频率。由所述换能器元件采集的信号的采样速率将通常比50MHz更高，例如在100-400MHz处，通常200MHz。

根据有用的实施例，发明方法是一种用于对超声信号进行自适应波束形成的计算机实施的方法，所述方法包括以下步骤：

a)接收由超声换能器的阵列响应于超声发送而从视场采集的原始RF信号；

b)在所述原始RF信号上执行飞行时间校正以生成时间对准RF信号；

c)通过将经训练的人工神经网络应用于所述时间对准RF信号确定用于将所述时间对准RF信号进行波束形成的内容自适应切趾权重；

d)将所述内容自适应切趾权重应用于所述时间对准RF信号以计算波束形成输出信号。

所述神经网络优选地包括若干层，包括隐藏层，并且因此优选地是深度网络。第(N+1)层的节点的值基于第N层的节点的值来计算。这可以通过将第N层中的每个节点的值乘以相应连接/边缘的相关联的权重(不与所述切趾权重混淆)并且将其添加到第(N+1)层中的一个或若干节点来完成。该操作等效于矩阵乘法。全连接层可以通过以下事实来定义：全连接层的节点与后续层的节点或者先前层的节点之间的大多数(特别地所有)边缘存在，并且其中，可以个体地调节所述边缘中的每个边缘的权重。另外，偏置可以添加到层的每个节点的值，并且其中，所述偏置也是可训练的参数。

在优选的实施例中，所述人工神经网络包括至多四个全连接层。在一些实施例中，甚至两个或三个全连接层可能是足够的。发明人已经发现，相对小的神经网络(因此仅需要很少计算努力)足以实现完美结果。例如，可以存在完全连接输入层和一个或两个全连接隐藏层，以及全连接输出层。备选地，可以存在全连接输入层和两个或三个全连接隐藏层，其中，最后全连接隐藏层直接地连接到所述输出层。在有用的实施例中，所述NN包括至多两个或三个全连接隐藏层。

在有用的实施例中，所述NN还将包括激活层，其优选地被布置在所述全连接层之间。激活层是将非线性函数(被称为“激活函数”或“传递函数”)应用于每个节点的值并且将所述激活函数的输出传播到跟随层中的对应节点的激活层。在一些命名法中，所述激活函数还被称为层，但是部分被认为是另一层(即，全连接层)，但是在该文档中，其应当被称为“激活层”。

在有用的实施例中，所述人工神经网络包括至少一个激活层，包括传播具有无界输出值的正和负输入值两者的激活函数。通过“无界”，其意指激活函数的输出值不限于任何特定值(诸如+1或-1)。优选地，可以原则上获得任何值，从而保留所述RF信号的动态范围。这样的函数的范例可以是反整流器函数或者连结整流器线性单元(CReLU)，如在Shang等人的文章“Understanding and Improving Convolutional Neural Networks viaConcatenated Rectifier Linear Unit”(Proceedings of the 33rd InternationalConference on Machine Learning,New York,USA,2016年)中所描述的。

由于馈送到NN的RF信号的大动态范围(其此外具有正和负分量)，因此常规激活函数，诸如双曲正切和整流器线性单元(ReLU)非常不适合于本发明的应用。ReLU避免归因于其正无界输出的消失梯度。然而，这样的非线性可能当处理RF输入数据时是不适当的，因为其固有地导致许多临终节点，这损害训练过程。相对地，双曲正切激活能够保留负值。然而，其被限制在-1与1之间，并且因此倾向于针对具有大动态范围的信号迅速地饱和，这导致反向传播期间的消失梯度。代替地，在有用的实施例中，本发明使用引入非线性的激活函数，同时保留负信号分量以及所述信号的动态范围。因此，使用这样的激活函数改进波束形成输出图像的质量。另外，神经网络可以被设计为准确地再现自适应波束形成目标图像，同时具有最小网络大小。

在另外的有用的实施例中，所述神经网络包括至少一个激活层，包括激活函数，所述激活函数连结所述输入值的正和负部分，其中，“输入值”意指馈送到所述激活层的值，即，所述激活层的节点的值。因此，负和正值被传播到下一层中的不同节点中，其中，这两个节点中的至少一个的值是0。因此，下一层的节点的数目与所述激活层中的节点的数目的两倍一样高。换句话说，所述激活层的输出将具有所述输入的大小的两倍。在有用的实施例中，所述输出将总是正的，其具有以下优点：所述激活保留能量信息，即，其保持信号的模块，但是还保留正和负信号信息两者。

在有用的实施例中，所述激活函数可以是反整流器函数，其将逐样本L2归一化与两个ReLU激活组合，从而连结输入的正部分和负部分，如在F.Chollet，“Antirectifier，”GitHub，2018.[Online].Available：https：//github.com/keras-team/keras/blob/4f2e65c385d60fa87bb143c6c506cbe428895f44/examples/antirectifier.py中所描述的。

该反整流器操作可以被描述为：

其中，μ

根据有用的实施例，所述人工神经网络包括至多三个激活层。在有用的实施例中，激活层被放置在两个全连接层之间，优选地激活层被放置在每对全连接层之间，即，在除最后一个之外的全连接层中的每一个之后(其优选地直接地连接到所述输出层)。

在有用的实施例中，所述波束形成输出信号被用于重建视场的超声图像，其中，所述信号，优选地时间对准RF信号，在应用经训练的人工神经网络之前重新布置，使得与所述超声图像中的一个或至多几个像素有关的RF信号(RF数据)由所述NN以一个或多个批次处理。同时如果向量是馈送到NN的输入层中的值集，则批次将是这样的向量的序列，其一起包括重建波束形成超声图像中的一个(或若干)像素所需的所有数据。换句话说，所述NN可以被布置为逐像素输出所述切趾权重。为了这样做，在一些实施方式中，重新布置所述时间对准RF信号是有用的，使得贡献于每个像素的RF信号放在彼此后面，使得每个像素可以独立地处理。馈送到所述NN中的数据的每个批次涉及一个(或至多几个)特定像素，其中，所述RF信号的一些部分可以在重新布置中被复制，因为其贡献于若干像素。

在优选实施例中，与所述超声图像的一个单个像素有关的RF信号通过所述NN在一个批次中处理，其中，输入节点的数目对应于贡献于所述一个像素的RF信号的数目。

在另一实施例中，所述NN扩展以通过还将相邻像素并入波束形成过程中增加其视场。从而，与若干相邻像素(例如，多达9个)有关的RF数据通过所述神经网络在一个批次中处理。因此，所述NN的输入节点的数目增加。该实施例改进杂波抑制，因此进一步增加图像质量，然而，以由于所述增加的网络大小的较高硬件要求为代价。若干相邻像素可以在任何方向上彼此相邻，即，在所述超声图像的平面内或跨图像深度。

在另一实施例中，除一个或若干全连接层之外或作为一个或若干全连接层的备选方案，所述人工NN包括至少一个卷积层。这样的卷积层可以跨所述时间对准RF信号应用，或者可以跨输入空间应用。卷积神经网络通常包括至少卷积层和池化层，其中，内核被应用于所述卷积层。在所述卷积层的节点的子集上执行内核操作，并且所述输出被传播到所述池化层中的一个节点。通常，在卷积神经网络内，所述卷积层的节点可以被认为被布置为d维矩阵，诸如d维图像。使用卷积层的优点在于，特别地所述输入值的局部相关性可以通过节点或层之间的局部连接性图案利用，特别地通过每个节点仅被连接到先前层的节点的小区域。

因此，卷积层的使用降低可训练的参数的量并且加速训练和预测两者。在有用的实施例中，所述全连接层之一由卷积层(并且可能地后续池化层)替换。在另一有用的实施例中，所有隐藏层是卷积层(可能地跟随有池化层)。

在另一有用的实施例中，所述NN是递归神经网络(RNN)或是递归神经网络(RNN)的部分。在递归网络中，所述反馈创建记忆函数，从而向所述网络给定记忆特性。这样的记忆函数可以在相关数据的处理序列中是有用的，诸如实时超声图像，其中，所述换能器在成像的身体部分上缓慢地移动，使得所述超声图像的视场从一幅图像不完全地改变到下一图像。在有用的实施例中，所述RNN具有若干层，其中，所述隐藏层中的至少一个使用1的固定权重被连接到背景节点的集合。在每个时间步处，所述输入通过层前馈。固定背面连接将隐藏节点的先前值的副本存储在背景节点中。因此，所述网络可以维持一种状态，这允许其执行诸如序列预测的这样的任务，其超过标准前馈NN的能力。

根据有用的实施例，所述人工神经网络的权重的一些或全部被量化，特别地量化为1至4比特。因此，所述权重四舍五入到有限数目的可能值中的一个，例如，2个值(0和1)中的一个、或者4或8个值中的一个。从而，所述NN的存储器和处理要求被降低。在有用的范例中，所述权重被量化为1比特，使得其可以仅采用二进制值。该实施例对于诸如现场可编程门阵列(FPGA)上的存储器约束实施方式是非常有利的。出人意料地，已经示出，即使所述权重因此在存储器大小方面是受限的，也可以获得好的结果。

在有用的实施例中，本发明的经训练的神经网络可以是较大神经网络的部分，所述较大神经网络完全地处理从超声换能器采集的RF信号，例如以最后生成重建图像或者提供所述图像上的分析数据。优选地，本发明的经训练的神经网络是提供在内容自适应波束形成中有用的切趾权重的较大神经网络的部分。

根据有用的实施例，本发明的经训练的神经网络包括具有比所述人工神经网络的输入层和/或输出层更少的节点的至少一个隐藏层，例如2-32倍，优选地22至24倍更少的节点。在有用的实施例中，所有隐藏全连接层具有比输入和输出层更少的节点。该维度缩减迫使所述网络找到有助于噪声抑制的数据的更紧凑的表示。例如，第一隐藏全连接层可以具有比输入层少2-16倍、优选地4-8倍的节点。

根据另一方面，本发明提供一种用于提供在超声信号的内容自适应波束形成中有用的经训练的人工神经网络的方法，所述方法包括：(a)接收输入训练数据，即，由多个超声换能器元件响应于超声发送而采集的RF信号，例如，时间对准RF信号；(b)接收输出训练数据，其中，所述输出训练数据是内容自适应切趾权重，其中，这样的内容自适应切趾权重已经通过内容自适应波束形成算法，特别地最小方差算法根据所述RF信号计算，或者其中，所述输出训练数据是通过内容自适应波束形成算法根据所述RF信号计算的波束形成输出信号；(c)通过使用所述输入训练数据和所述输出训练数据来训练人工神经网络；并且(d)提供所述经训练的人工神经网络。

因此，在第一实施例中，使用波束形成RF信号作为训练目标来训练所述NN。这些目标信号应当表示当使用所述经训练的NN时产生的信号的期望质量和特性(例如，具有高空间分辨率、最小杂波或最大对比度)。这些目标信号可以起源于提供输入信号和相关联的波束形成输出信号的数值模拟。备选地或者额外地，这些输入信号可以起源于已经利用已知提供具有期望的质量和已知期望特性的波束形成输出信号的波束形成算法处理的捕获的RF信号。该波束形成算法可以是内容自适应波束形成算法，特别地最小方差波束形成算法。所述NN然后被布置为以内容自适应方式计算切趾权重。在该实施例中，优选地在训练期间使用切趾权重合计达1的约束，使得与1的任何偏离通过添加到成本函数来惩罚。

在第二实施例中，所述NN通过提供内容自适应切趾权重作为训练目标来训练，所述内容自适应切趾权重已经使用已知内容自适应波束形成算法计算，诸如最小方差算法。这些已知技术通常是试图自适应地处理可用信道数据以便抑制离轴杂波和/或产生超出衍射极限的横向分辨率的数据相关波束形成方法。其他已知自适应波束形成技术包括在指定域中实施稀疏性的非线性反演方案(如在压缩感测中使用的)、幅度和相位估计(APES)和孔径域模型图像重建(ADMIRE)。然而，这些算法是计算上非常昂贵的并且因此可以仅在训练数据上而不在实际实时图像数据上使用。例如，针对最小方差波束形成，矩阵求逆必须针对所述图像中的每一个像素执行。

如上文所描述的，可以布置所述人工神经网络，即，其可以是具有若干层的深度网络，优选地多达四个全连接层并且多达三个激活层。所述训练可以通过反向传播完成。在该方法中，时间对准RF信号使用边缘的预定权重传播通过所述NN。所述输出使用误差或成本函数与输出训练数据相比较，其输出通过所述NN传播回来，从而计算梯度以找到产生最小误差的网络权重(并且可能地其他参数，诸如偏置)。这可以通过调节边缘的权重和成本函数中的跟随负梯度来完成。已经发现，根据本发明，神经网络的权重非常迅速地收敛到最小值，使得所述NN可以在与仅一幅或几幅超声图像有关的非常有限数目的数据上训练。

在有用的实施例中，所述神经网络在训练期间使用丢弃层。从而，所述丢弃层中的特定节点/连接随机地被选择并且值/权重被设置为0。例如，丢弃层可以具有丢弃节点的预定百分比，诸如30-80％，例如所有节点的50％被丢弃并且其值/权重被设置为0。针对训练数据的下一反向传播，所述丢弃层中的节点的不同集合被设置为0。这在训练期间产生噪声，但是具有训练收敛到有用最小值的优点。因此，所述NN当使用丢弃层时是更好得多地可训练的。在有用的实施例中，一个、两个或三个全连接层在训练期间跟随有丢弃层。通过使用丢弃层，连接的数目减少，并且在反向传播的每次迭代期间，仅子网络被训练。然而，在使用中的实际网络是完全NN(在没有丢弃层的情况下)。

在所述人工神经网络包括至少一个激活层(其包括使用L2归一化的激活函数)的情况下其在训练期间是进一步有用的。这将使得训练将更迅速地收敛。

根据另一实施例，由所述NN产生的切趾权重通过实施惩罚与单位增益的偏离的成本函数(也被称为损失函数)约束。因此，所述神经网络产生切趾权重，其总和接近于1。在有用的实施例中，这在对神经网络的训练期间未严格地实施，但是与1的总和的任何偏离通过添加到所述成本函数来惩罚。

因此，本发明有利地提供产生保持与所述输入成比例的输出信号的鲁棒的波束形成器。

优选地，在确定内容自适应切趾权重中使用的经训练的人工神经网络利用以上方法训练。更优选地，发明方法的经训练的人工神经网络由以上训练方法提供。

本发明还涉及一种包括指令的计算机程序，所述指令当所述程序由计算单元执行时，使所述计算单元执行发明方法。这针对所述自适应波束形成方法和所述训练方法两者是真实的。备选地，所述神经网络可以被实施为硬件，例如利用芯片或其他处理单元上的固定连接。可以执行发明方法的计算单元可以是任何处理单元，诸如CPU(中央处理单元)或GPU(图形处理单元)。计算单元可以是计算机、云、服务器、移动设备(诸如膝上型计算机、移动电话、智能电话)等的部分。特别地，所述计算单元可以是超声成像系统的部分。

本发明还涉及一种包括指令的计算机可读介质，所述指令当由计算单元执行时，使所述计算单元执行根据本发明的方法。这样的计算机可读介质可以是任何数字存储介质，例如硬盘、服务器、云服务器、光学或磁性数字存储介质、CD-ROM、SSD卡、SD卡、DVD或USB或其他记忆棒。

根据另一方面，本发明还涉及一种用于对超声信号进行自适应波束形成的系统，所述系统包括：a)第一接口，其被配置用于接收由多个超声换能器元件响应于超声发送而采集的RF信号；b)计算单元，其被配置用于将经训练的人工神经网络应用于所述RF信号，其中，用于对所述RF信号进行波束形成的内容自适应切趾权重被生成，并且所述计算单元用于将所述内容自适应切趾权重应用于所述RF信号以计算波束形成输出信号；c)第二接口，其被配置用于输出所述波束形成输出信号。

所述系统优选地被配置为执行用于对超声信号进行自适应波束形成的发明方法。这样的系统可以被实施在超声成像系统上，例如，其被实施在其处理单元之一上，诸如GPU。然而，还可以设想的是，由超声成像系统的超声换能器采集的RF信号例如经由因特网本地或远程传送到另一计算单元，并且所述自适应切趾权重从那里传送回来并且使用在计算所述波束形成输出信号中。

另外，本发明还涉及一种用于通过发明训练方法训练人工神经网络的系统。

根据另一方面，本发明涉及一种超声成像系统，包括：超声换能器阵列，其被配置为发送和接收超声信号；多个信道，其操作地耦合到所述超声换能器阵列，其被配置为至少部分地基于接收到的超声信号来发送信道数据，也被称为RF信号；波束形成器，其操作地耦合到所述多个信道，其中，所述波束形成器被配置为将所述信道数据进行时间对准；以及信号处理器，其操作地耦合到所述波束形成器，其中，所述信号处理器被配置为执行根据权利要求1-12中的任一项所述的方法。由于所述方法的低计算成本，这样的信号处理器可以集成到现有超声系统中。

附图说明

本发明的有用实施例现在应当参考附图描述描述。相似元件或者特征利用附图中的相同附图标记指定。在附图中：

图1是常规DAS波束形成技术的示意性图示。

图2描绘了自适应波束形成器的示意性概述。

图3是根据本发明的实施例的神经网络的简化图示。

图4是发明方法的实施例的实施方式的示意性概述。

图5示出了根据本发明的实施例的人工神经网络的示意性表示。

图6示出了根据本发明的实施例的利用(A)常规DAS波束形成、(B)最小方差波束形成、(C)基于深度学习的波束形成器获得的超声图像。

图7示出了根据本发明的实施例的超声成像系统。

图8示出了备选基于神经网络的波束形成方法的概述。

图9示出了来自在备选方法中使用的模拟体模的训练数据集，其中，在左边示出了原始图像，在中间示出了由备选神经网络方法获得的图像，并且在右边示出了最小方差波束形成图像。

图10示出了来自属于备选方法的模拟体模的测试数据集，其中，在左边示出了原始图像，在中间示出了由备选神经网络方法获得的图像，并且在右边示出了最小方差波束形成图像。

具体实施方式

图1图示了利用延时-相加(DAS)方法的常规波束形成。响应于例如由换能器元件的阵列4发送的超声脉冲，回波3从视场中的点结构(焦点)2反射。回波3由超声换能器的阵列4记录。因此，采集的原始RF信号5也被称为信道数据，每个原始RF信号5已经由一个换能器元件采集并且因此与一个信道有关。图1中的范例示出了8个信道。针对波束形成，信道数据5是在步骤6中校正的飞行时间，即，根据换能器阵列4和焦点2的几何结构，校正在其中回波3由阵列4采集的不同时间移位t

图2示出了自适应波束形成方法。在该方面中，时间对准RF信号18S

根据本发明，常规自适应波束形成算法/处理器14由神经网络替换。图3示出了这样的神经网络16的范例。该范例网络被布置为层20、24、26、28、32、36，每个层包括多个节点，其中，相邻层之间的节点由边缘连接。每个边缘/连接对应于简单操作，其在第一节点的值上执行，并且该操作的值被添加到连接节点的值。特别地，实或复数可以作为值被分配给神经网络的每个节点。

神经网络16接收从多个超声换能器采集的时间对准RF 18S

在该实施例中，输入层20是全连接层，即，输入层中的每个节点21通过边缘22与下一层24中的每个节点23连接。该操作对应于矩阵乘法，其中，输入层20的每个值乘以将其连接到下一层24中的节点23的边缘的权重。

下一层是激活层24，在该范例中，反整流器层。反整流器有效地引入非线性，同时保留负信号分量以及输入的动态范围。由于其连结输入的正和负部分，有效地加倍跟随层26中的节点25的数目，因为每个节点23取决于其是否具有正或负输入值而具有不同输出，如由两个边缘24a和24b所图示的。否则，在跟随层26中包含的节点25的结构等效于激活层24中的节点23的结构，即，不存在层24中的相邻节点23之间的相互连接。

跟随激活层24的层26再次是全连接层，即，该层中的每个节点25连接到跟随层28中的每个节点27。该跟随层28具有显著地比先前层26更少的节点27。通过降低节点的数目，需要训练的参数/权重的数目降低。这导致网络中的计算量降低和过拟合的控制。例如，可以存在3-6倍的维度缩减，在示出的范例中，因子是3，即，层28具有先前层26的大小的三分之一。在有用的实施例中，因子将是5。层28再次是激活层，即，反整流器层，其将逐样本L2归一化与两个ReLU激活组合，从而连结输入的正和负部分。这导致下一层32中的节点29的数目的加倍。该层32再次是全连接层，因为层32中的每个节点连接到输出层36中的每个节点34。在输出层36处输出的值是内容自适应切趾权重w

在图3的实施例中，神经网络具有三个全连接层(输出层36未计数为一个，因为其未将任何值传播到跟随层)，其中，全连接层被命名20、26和32。另外，网络具有两个激活层23和28，各自在全连接层对之间。在其他有用的实施例中，可以存在跟随有激活层的另一全连接层，即，总计4个全连接层和三个激活层。

在图4中，给定发明方法的可能实施方式的示意性概述。在40处，(原始)RF信号被图示为输入数据，其中，数据包括多个信道，每个信道具有多个轴向样本。在步骤42中，原始RF数据使用常规方法时间来对准，其中，不同平面代表不同信道的数据。在该实施例中，RF信号的飞行时间校正事先被计算并且存储在缓冲器中。备选地，飞行时间校正还可以在GPU中在运行中计算，从而降低通信和存储器开销。另外，在该实施方式中，在步骤44中，与一个像素有关的来自各种信道的所有数据43被重新布置为新格式45，使得针对每个像素的数据43可以被处理为NN中的单个批次。在46处示出了将NN 16应用于时间对准和重新布置的RF信号45的下一步骤。在50处，跳过连接48从输入(时间对准RF信号)添加到输出，其中，时间对准RF信号在步骤52中乘以由NN生成的切趾权重。结果是与一个像素54有关的波束形成RF数据55，其被用于重建超声图像51。在由NN进行波束形成之后，波束形成像素根据其空间位置重新布置。

图5更详细地示出了该优选实施例的神经网络16。在每个层之上，指示其输出大小(针对128个贡献RF信号)。全连接层由浓阴影图示，反整流器层以白色图示，并且丢弃层(其仅在网络的训练期间存在)以淡阴影图示。该NN 16包括四个全连接层，包括用于输入层和输出层的128个节点，以及用于内层的32个节点。跟随第一反整流器层的8(23)倍或相对于输入层的4倍的该维度缩减58迫使网络找到数据的更紧凑表示。全连接层(除最后一层之外)中的每个跟随有反整流器层。最后全连接层60要么是输出层要么直接地连接到输出层(未示出)。

在训练期间，在每对全连接层之间应用丢弃，例如，以0.2的概率。换句话说，在训练期间，丢弃层中的节点的固定百分比被丢弃。因此，丢弃层仅在训练网络期间存在。丢弃有助于减小将神经网络过拟合到训练数据。

NN可以使用具有TensorFlow(Google,CA,USA)后端的Keras API以Python实施。为了训练，Adam优化器利用推测地跨属于单幅图像的一批像素优化的0.001的学习速率使用。图5所示的神经网络在体内超声图像数据上实施和训练。

当训练图5所示的神经网络时，由使用常规算法的已知自适应波束形成技术计算的切趾权重可以用作输出训练数据。输入训练数据是对应的时间对准RF信号。在训练期间，NN 16应用于训练输入数据以生成计算的输出数据。计算的输出数据与输出训练数据之间的比较被用于递归地调整神经网络16内的权重，在这种情况下以例如0.0005至0.01的学习速率。为了防止过拟合，可以使用人工计算的数据或者基于归一化的权重衰减使用正则化的方法，即，节点的丢弃。

图5的NN在使用单个平面波发送采集的图像上测试，并且图6示出了结果。被指定为A的图像示出利用DAS波束形成器重建的图像。图像B使用最小方差波束形成器，并且在图C中，应用根据本发明的实施方式的基于深度学习的波束形成器。可以观察到，NN波束形成器能够生成具有显著较少杂波的可与MV目标相比较的高对比度图像。另外，这两种自适应技术示出与DAS相比较的CNR(对比噪声比)和分辨率的增加，其中，可能由于其通过平均训练数据的统计数据将可生成的先验并入波束形成过程中的能力，NN甚至胜过后者上的MV目标。较高质量图像上的训练允许甚至更进一步改进NN的性能。

根据本发明的该实施例的方法还在模拟图像上测试以便比较分辨率和对比度。分辨率通过评价所有点散射体的平均半高全宽(FWHM)来评估。对比度使用无回声囊肿的平均CNR来估计。表1中示出了结果。因此，NN波束形成器能够生成比MV目标具有显著地更少杂波的高对比度图像。

表1：分辨率和对比度度量

图7是根据本发明的实施例并且被配置为执行发明方法的超声系统100的示意性表示。超声系统100包括通用超声硬件单元102，包括CPU 104、GPU 106和数字存储介质108，例如硬盘或固态盘。计算机程序可以从CD-ROM 110或通过因特网112加载到硬件单元中。硬件单元102连接到用户接口114，用户接口114包括键盘116和任选地触摸板118。触摸板118还可以充当用于显示成像参数的显示设备。硬件单元102连接到超声探头120，超声探头120包括超声换能器122的阵列，其允许从对象或患者(未示出)采集实况超声图像。利用超声探头120采集并且根据由CPU 104和/或GPU执行的发明方法波束形成的实况图像124被显示在屏幕126上，屏幕12可以是任何可商购的显示单元，例如屏幕、电视机、平面屏幕、投影仪等。

另外，可以存在到远程计算机或服务器128的连接，例如经由因特网112。根据本发明的方法可以由硬件单元102的CPU 104或GPU 106执行，但是也可以由远程服务器128的处理器执行。

图8至图10涉及本发明的备选方面，其中，NN不被用于计算切趾权重，但是输出自适应波束形成RF数据。该备选方面的目标可以被描述为通过学习涉及每信道数据(即，RF信号)和波束形成RF数据的自适应BF算法的实际数学运算而不是仅学习纯在图像域中的自适应波束形成的效应而更准确地学习给定自适应波束形成(BF)算法的行为。该备选方面提供涉及多层感知(MLP)的机器学习框架以学习计算上昂贵的自适应波束形成算法，诸如MV或上文所描述的其他技术。然而，与来自原始和自适应波束形成图像的像素值之间的映射相反，该机器学习框架旨在学习对准复每信道数据与自适应波束形成RF数据之间的映射。

MLP是前馈人工神经网络，其采取输入数据集并且映射到适当的输出集上。MLP包括多层神经元，其具有非线性激活函数，其中，每个层完全连接到下一个。先前已经证明，表示任意连续映射y＝f(x

其中，b

其中，λ确定从0到1的转换的斜率。权重矩阵W

该备选方面中使用的神经网络首先被训练以基于已经由Field II模拟生成的训练数据集学习自适应波束形成算法，并且然后，经训练的神经网络应用于两个不同测试数据集以证明构思。备选方面是可以一般化到许多其他计算上昂贵的自适应波束形成技术的框架，只要足够量的输入-输出数据对是可用的。

备选方面提供可以从有限量的训练数据集学习计算上昂贵的自适应波束形成算法并且经由推理以显著地更低的计算成本在新数据集上应用学习的算法的机器学习框架。本发明的备选方面可以是以其他方式对于实时运行非常困难的计算上昂贵的自适应波束形成算法的实时处理的启用器，有时甚至利用高于平均价格点的GPU。

本发明的备选方面的主要元件是将时间对准复每信道RF数据映射到复波束形成RF数据的神经网络。尽管若干类型的神经网络(如多层感知(MLP)、卷积神经网络(CNN)和更高级的网络，诸如回归和/或生成网络)可以被用于执行类似任务，但是备选方面使用MLP模型来证明使用机器学习/深度学习框架来学习和应用高级自适应波束形成技术的可行性。MV波束形成器被用作测试算法，但是此处呈现的核心构思也可以扩展到其他自适应波束形成算法。

在训练本发明的备选方面中的神经网络中使用的输入-输出对不是来自原始和MV波束形成器图像的像素，而是输入数据包括给定深度处的时间对准复信道RF信号，并且输出数据是针对MV波束形成器的对应的复波束形成器输出。

图8中图示了主要步骤。在步骤1中，准备用于神经网络训练的训练数据集。其包括时间对准复每信道数据作为输入，并且包括复MV波束形成RF数据作为目标。针对N信道系统，M个输入-输出对从给定像素位置处的2N个输入每信道数据(实和虚)和对应的MV波束形成器输出(实和虚)获得。输入和输出数据两者具有实部和虚部。因此，输入数据矩阵是M×2N，并且输出数据矩阵是M×2。MV波束形成应当离线执行以获得这样的输入-输出对。由于MV波束形成仅在数据准备阶段处被执行一次，因而与其相关联的计算负担不是方法的限制。

在步骤2中，训练数据集被用于训练学习算法。该步骤迭代地执行，直到映射误差收敛到特定预指定水平。MLP模型被用于证明构思。然而，可以使用涉及卷积神经网络的更高级的网络架构。这稍后将更详细地被描述为实施例。

在步骤3中，引入学习算法之前尚未观察的时间对准复每信道数据的形式的测试数据集。训练的算法在输入数据上操作以预测(或推断)其复MV波束形成器输出。由于其近似仅使用加法和乘法的MVBF中的计算密集运算，因此推理步骤被预期以显著地比MVBF的直接计算更快。例如，与标准DAS相关联的计算复杂性与元件的数量成线性关系O(N)。然而，针对MVBF的计算复杂性与子阵列大小L成比例并且由于计算最佳孔径权重所需的矩阵求而变为O(L

图9和图10中提供了一些初步模拟结果：图9示出了来自包含单个大无回声囊肿的模拟体模的训练数据集，示出了原始图像(左)、神经网络图像(中间)、以及真实MVBF图像(右)。模拟64元件P4-2相控阵列。所有图像是预扫描转换图像，并且所有图像在60dB动态范围上显示。注意，MVBF图像呈现更精细的斑点大小和囊肿内的减少数量的旁瓣。神经网络图像还示出了囊肿中的减少的旁瓣和轻微的更小的斑点大小。

图10示出了来自包含3个小无回声囊肿的模拟体模的测试数据集。示出了原始图像(左)、神经网络图像(中间)和真实MVBF图像(右)。模拟64元件P4-2相控阵列。所有图像是预扫描转换图像，并且所有图像在60dB动态范围上显示。注意，MVBF图像呈现更精细的斑点大小和无回声囊肿内的减少的旁瓣。神经网络图像还示出了类似改进。

其他网络架构可以被用于学习自适应波束形成算法。关键组分在于，网络从每信道输入映射到波束形成输出。例如，卷积神经网络被预期以给出好的结果。输入数据是对准的实(或复)每信道数据。处理可以是局部的(从相关每信道数据学习一个像素值)或全局的(从全部对准数据栈学习全部波束形成RF帧)。局部处理好像适于无论如何模拟其输入数据是局部的算法(诸如最小方差波束形成器)。假如提供足够的数据，全局算法还具有学习和使用解剖结构信息的潜力。

与本发明的该备选方面的基本原理一致，以下描述了关于卷积神经网络的局部方法。针对每个像素的对准的每信道数据在感兴趣的样本深度周围快速裁剪，产生(numTime*numElements)数据矩阵。时间维度通常是对转向效应敏感的几个波长。训练数据集大小由可用图像的数目中的这样的数据窗口的数目确定。一个单幅图像可以通常产生成千上万的独立训练输入-输出对。具有跨越全部输入数据和输出单个标量的接收域的完全卷积神经网络可以被训练以学习感兴趣深度处的自适应波束形成值。

以上讨论旨在仅仅说明本系统并且不应当被解释为将权利要求书限于任何特定实施例或者实施例组。因此，尽管已经参考示范性实施例以特定细节描述了本系统，但是还应意识到，在不脱离如下面的权利要求中阐述的本系统的较宽和预期精神和范围的情况下，可以由本领域的普通技术人员设想许多修改和备选实施例。因此，说明书和附图将以说明性方式看待而不旨在限制权利要求书的范围。