针对基于合成孔径雷达(SAR)的对象检测对电光(EO)知识进行迁移的系统和方法

摘要

描述了一种将学习到的知识从电光(EO)域迁移到合成孔径雷达(SAR)域的系统。该系统使用测量的EO域与SAR域之间的相似性来训练模型，该模型用于使用先前从电光(EO)域学习到的知识对SAR图像进行分类。使用所训练的模型处理SAR图像，以确定SAR图像中的关注区域。对关注区域进行分类，以确定关注区域是否对应于关注对象，并且输出包含关注对象的已分类关注区域。在可视化地图上显示关注对象，并且自动更新可视化地图，以反映关注对象的位置变化。

说明书

相关申请的交叉引用

本申请是2019年3月12日在美国提交的名称为“System and Method forTransferring EO Knowledge for SAR-Based Object Detection”的美国临时申请No.62/817,403的非临时申请，其全部内容通过引用并入本文。

本申请还是2019年3月13日在美国提交的名称为“System and Method forTransferring EO Knowledge for SAR-Based Object Detection”的美国临时申请No.62/817,720的非临时申请，其全部内容通过引用并入本文。

本申请还是2019年2月19日在美国提交的名称为“System and Method forUnsupervised Domain Adaptation Via Sliced-Wasserstein Distance”的美国临时申请No.62/807,716的非临时申请，其全部内容通过引用并入本文。

发明背景

(1)技术领域

本发明涉及一种将知识从电光(EO)域迁移到合成孔径雷达(SAR)域的系统，并且更具体地，涉及一种用于使用半监督域适应框架将知识从EO域迁移到SAR域的系统。

(2)背景技术

电光(EO)图像是在监督学习的计算机视觉应用中作为输入传感数据收集和处理的主要视觉数据。在现有技术的自主系统中用于对象检测的深度卷积神经网络(CNN)在数据驱动方案中使用巨大的已标记图像数据集来训练，以自动学习用于对象检测的高质量特征。尽管EO成像具有广泛的适用性，但在需要长时间成像的连续环境监测和大规模监视(参见参考文献18)和地球遥感等应用中，EO成像是不可行的。在这些应用中，使用SAR成像是不可避免的，因为SAR成像可以使用雷达信号来提供高分辨率的图像，所述雷达信号可以在锢囚(occluded)天气和夜间传播。

出于以下原因，为SAR图像生成大的已标记训练数据集是极具挑战性的。与EO数据集相比，准备仅采集SAR数据以生成训练数据集的设备要昂贵得多(参见参考文献21)。SAR图像通常是分类数据，使得对SAR数据的访问受到严格管制和限制。这限制了可以被雇用来帮助进行处理和标记的参与者的数量。标记SAR图像通常需要经过培训的专家，而非自然EO域图像中的任务(参见参考文献27)。这使得标记SAR数据更昂贵。SAR数据的连续收集在SAR应用中是常见的。这可以使标记数据不能标识当前分布，迫使模型再训练持久性标记(参见参考文献11)。此外，使用大多数现有SAR数据集训练CNN导致过拟合模型，该过拟合模型不能很好地推广到测试集(参见参考文献3和28)。

一些先前的工作已经将迁移学习的思想应用于SAR域。Huang等人(参见参考文献11)通过无监督学习解决SAR域中已标记数据不足的问题。该思想是使用大量的未标记SAR数据来训练自动编码器。结果，由自动编码器学习的嵌入空间是有区别的，并且可以用作更好的特征提取以受益于知识迁移的手段。经训练的编码器子网络可以与分类器网络连接，并且两者都将使用已标记数据部分进行细调，以将数据点映射到标记空间。Hansen等人(参见参考文献21)提议使用易于生成的合成SAR图像来迁移知识。它们的主要新颖性在于证明如何基于模拟目标雷达反射率生成给定SAR问题的模拟数据集。然后在合成数据集上预训练CNN，然后将其用作真实SAR域问题的初始化。由于预训练阶段，可以使用少量的真实已标记数据点来细调模型。

Zhang等人(参见参考文献30)提议迁移来自次级源SAR任务的知识，在次级源SAR任务处已标记数据是可用的。它们的思想是用已标记数据预训练任务上的CNN，然后在目标任务上将其进行细调。Lang等人(参见参考文献19)使用自动识别系统(AIS)作为知识迁移的次要域。AIS是用于监控船舶的运动的跟踪系统，其可以提供标记信息。Shang等人(参见参考文献28)修改了带有信息记录仪的CNN。该记录器用于存储标记样本的空间特征，记录的特征用于基于空间相似性来预测未已标记数据点的标记，以增加已标记样本的数量。最后，Wang等人(参见参考文献29)使用一种方法在学习流水线中使用VGGNet作为特征提取器来迁移知识，该学习流水线本身已经在大EO数据集上进行了训练。这些过去的工作主要使用经预训练的深度网络，所述经预训练的深度网络使用了次级知识源来训练，然后使用目标SAR任务上的少量已标记数据点来对其进行细调。因此，知识迁移作为使用次级源选择更好的初始点的结果而发生。

在计算机视觉文献中已经针对广泛的场景研究了域适应(DA)。目标是学习关于具有足够数据的源数据分布上的模型，使得其很好地推广到不同但相关的具有不足已标记数据的目标数据分布上。早期的DA算法开发出域不变和稳定的特征，其可用于两个域(参见参考文献6)或学习将目标数据点映射到源域的函数(参见参考文献26)。尽管是非常不同的解决方案，但是两种方法都试图预处理数据，使得预处理之后两个域的分布变得相似。结果，使用源数据训练的分类器也可用于目标域。

公开了从EO到SAR的迁移学习的现有方法解决了极少标记(即，小样本(few-shot))场景中的挑战。当仅有少量标记的SAR图像可用时，这些方法存在困难，而且计算量昂贵。因此，存在对迁移学习系统的持续需要，所述迁移学习系统利用其在EO域中学习到的知识来执行在仅具有极少量的已标记数据样本的SAR域中的对象检测。

发明内容

本发明涉及一种将知识从电光(EO)域迁移到合成孔径雷达(SAR)域的系统，并且更具体地，涉及一种使用半监督域适应框架将知识从EO域迁移到SAR域的系统。该系统包括非暂时性计算机可读介质和一个或更多个处理器，所述非暂时性计算机可读介质上编码有可执行指令，使得可执行指令在被执行时，该一个或更多个处理器执行多个操作。该系统使用测量的EO域与SAR域之间的相似性来训练模型，所述模型用于使用先前从电光(EO)域学习到的知识对SAR图像进行分类。该系统使用所训练的模型处理SAR图像，以确定SAR图像中的关注区域。对关注区域进行分类，以确定关注区域是否对应于关注对象，并且输出包含关注对象的已分类关注区域。将关注对象显示在可视化地图上，并且自动更新可视化地图，以反映关注对象的位置变化。

在另一方面中，利用EO域中的一组已标记数据点来训练模型，并且使用SAR域中的一组已标记数据点来调整所训练的模型，其中，SAR域中的所述一组已标记数据点中的数据点的数量明显少于EO域中的一组已标记数据点中的数据点的数量。

在另一个方面，Sliced-Wasserstein距离(SWD)被用于确定所测量的相似性。

在另一方面，SWD被用于使神经自动编码器的潜在空间中的EO域概率分布与SAR域概率分布之间的差异最小化，以便监督域特定编码器的训练。

在另一方面，SAR域中的一组已标记数据点和SAR域中的一组未标记数据点被用于使EO概率分布与SAR域概率分布对准。

最后，本发明还包括计算机程序产品和计算机实现的方法。所述计算机程序产品包括存储在非暂时性计算机可读介质上的计算机可读指令，所述指令可由具有一个或更多个处理器的计算机执行，使得在执行所述指令时，所述一个或更多个处理器执行本文列出的操作。另选地，计算机实现的方法包括使计算机执行这些指令并执行所得操作的动作。

附图说明

根据结合以下附图对本发明各个方面的以下详细描述，本发明的目的、特征和优点将显而易见，其中：

图1是描绘根据本公开的一些实施方式的将知识从电光(EO)域迁移到合成孔径雷达(SAR)域的系统的部件的框图；

图2是根据本公开的一些实施方式的计算机程序产品的图示；

图3是根据本公开的一些实施方式的EO域中的已学习知识迁移到SAR域的图示；

图4是示出根据本公开的一些实施方式的将知识从EO域迁移到SAR域的框架的框图；

图5是根据本公开的一些实施方式的SAR测试性能相对于每类已标记数据的数量的图示；

图6A是根据本公开的一些实施方式的具有真实标记的EO域的Umap可视化的图示；

图6B是根据本公开的一些实施方式的具有真实标记的SAR域的Umap可视化的图示；

图6C是根据本公开的一些实施方式的具有预测标记的EO域的Umap可视化的图示；

图6D是根据本公开的一些实施方式的具有已标记数据和未标记数据的SAR域的Umap可视化的图示；

图7是根据本公开的一些实施方式的测试性能相对于嵌入空间的维数的图示；

图8A是根据本公开的一些实施方式的用于消融研究(ablation study)的具有真实标记的EO域的Umap可视化的图示；

图8B是根据本公开的一些实施方式的用于消融研究的具有真实标记的SAR域的Umap可视化的图示；

图8C是根据本公开的一些实施方式的用于消融研究的具有预测标记的EO域的Umap可视化的图示；

图8D是根据本公开的一些实施方式的用于消融研究的具有预测标记的SAR域的Umap可视化的图示；以及

图9是根据本公开的一些实施方式的用于船舶监视和跟踪的可视化地图的图示。

具体实施方式

本发明涉及一种将知识从电光(EO)域迁移到合成孔径雷达(SAR)域的系统，并且更具体地，涉及一种使用半监督域适应框架将知识从EO域迁移到SAR域的系统。呈现以下描述以使本领域普通技术人员能够制造和使用本发明并将其并入特定应用的上下文中。对于本领域技术人员而言，各种修改以及在不同应用中的多种用途将显而易见，并且本文限定的一般原理可以被应用于广泛的方面。因此，本发明并非旨在限于所呈现的方面，而是与符合本文所公开的原理和新颖特征的最广范围相一致。

在下面的详细描述中，阐述了许多具体细节以便提供对本发明的更透彻理解。然而，对本领域技术人员而言将显而易见的是，本发明可以在不必限于这些具体细节的情况下来实践。在其他情况下，公知结构和设备以框图形式示出，而非详细示出，以避免模糊本发明。

请读者关注与本说明书同时提交并且与本说明书一起开放以供公众查阅的所有文件和文档，并且所有这些文件和文档的内容通过引用并入本文。除非另有明确说明，否则本说明书(包括任何所附权利要求、摘要以及附图)中公开的所有特征可以由用于相同、等同或相似目的的另选特征来代替。因此，除非另有明确说明，否则所公开的各个特征仅是一系列的等同或相似特征中的一个示例。

此外，权利要求中没有明确陈述用于执行指定功能的“设备”或用于执行特定功能的“步骤”的任何要素不应被解释为如35U.S.C.第112节第6款中规定的“装置”或“步骤”条款。特别地，在本文的权利要求中使用“……的步骤”或“……的动作”并非旨在触发35U.S.C.第112节第6款的条款。

在详细描述本发明之前，首先提供参考文献列表。接下来，提供本发明各个主要方面的描述。最后，提供本发明各个实施方式的具体细节，以使得能够理解具体方面。

(1)并入的参考文献列表

贯穿本申请引用且并入以下参考文献。为清楚和方便起见，本文中为读者列出这些参考文献作为集中式资源。以下参考文献通过引用并入于此，如同在本文中充分阐述一样。这些参考文献通过参照如下对应文献参考编号而在本申请中加以引用：

1.Nicolas Bonneel,Julien Rabin,Gabriel Peyre’,and HanspeterPfister.Sliced and Radon Wasserstein barycenters of measures.Journal ofMathematical Imaging and Vision,51(1):22–45,2015.

2.Mathieu Carriere,Marco Cuturi,and Steve Oudot.Sliced wassersteinkernel for persistence diagrams.arXiv preprint arXiv:1706.03358,2017.

3.S.Chen,H.Wang,F.Xu,and Y.Jin.Target classification using the deepconvolutional networks for SAR images.IEEE Trans.on Geo.and Remote Sens.,54(8):4806–4817,2016.

4.N.Courty,R.Flamary,D.Tuia,and A.Rakotomamonjy.Optimal transport fordomain adaptation.IEEE TPAMI,39(9):1853–1865,2017.

5.B.Damodaran,B.et al.,Deepjdot:Deep joint distribution optimaltransport for unsupervised domain adaptation.arXiv preprint arXiv:1803.10081,2018.

6.H.Daume’III.Frustratingly easy domain adaptation.arXiv preprintarXiv:0907.1815,2009.

7.Hal Daume III and Daniel Marcu.Domain adaptation for statisticalclassifiers.Journal of artificial Intelligence research,26:101–126,2006.

8.I.Goodfellow,et al.,Generative adversarial nets.In Advances inneural information processing systems,pages 2672–2680,2014.

9.Arthur Gretton,et al.,Covariate shift by kernel meanmatching.Dataset shift in machine learning,3(4):5,2009.

10.R.Hammell.Ships in satellite imagery,2017.Data retrieved fromKaggle at h t t p s://w w w.kaggle.com/rhammell/ships-in-satellite-imagery.

11.Z.Huang,Z.Pan,and B.Lei.Transfer learning with deep convolutionalneural network for sar target classification with limited labeled data.RemoteSensing,9(9):907,2017.

12.Diederik P Kingma and Jimmy Ba.Adam:A method for stochasticoptimization.arXiv preprint arXiv:1412.6980,2014.

13.E.Kodirov,T.Xiang,Z.Fu,and S.Gong.Unsupervised domain adaptationfor zero-shot learning.In Proceedings of the IEEE International Conference onComputer Vision,pages 2452–2460,2015.

14.Soheil Kolouri,Se Rim Park,Matthew Thorpe,Dejan Slepcev,andGustavo K Rohde.Optimal mass transport:Signal processing and machine-learningapplications.IEEE Signal Processing Magazine,34(4):43–59,2017.

15.Soheil Kolouri,Philip E Pope,Charles E Martin,and Gustavo KRohde.Sliced-wasserstein auto-encoders.International Conference on LearningRepresentation(ICLR),2019.

16.Soheil Kolouri,Gustavo K Rohde,and Heiko Hoffman.SlicedWasserstein distance for learning Gaussian mixture models.In IEEE Conferenceon Computer Vision and Pattern Recognition,pages 3427-3436,2018.

17.Soheil Kolouri,Yang Zou,and Gustavo K Rohde.Sliced wassersteinkernels for probability distributions.In Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition,pages 5258–5267,2016.

18.V.Koo,Y.Chan,G.Vetharatnam,M.Y.Chua,C.Lim,C.Lim,C.Thum,T.Lim,Z.binAhmad,K.Mahmood,et al.A new unmanned aerial vehicle synthetic aperture radarfor environmental monitoring.Progress In Electromagnetics Research,122:245–268,2012.

19.Haitao Lang,Siwen Wu,and Yongjie Xu.Ship classification in sarimages improved by ais knowledge transfer.IEEE Geoscience and Remote SensingLetters,15(3):439–443,2018.

20.Mingsheng Long,JianminWang,Guiguang Ding,Jiaguang Sun,and Philip SYu.Transfer joint matching for unsupervised domain adaptation.In Proceedingsof the IEEE conference on computer vision and pattern recognition,pages 1410–1417,2014.

21.D.Malmgren-Hansen,A.Kusk,J.Dall,A.Nielsen,R.Engholm,andH.Skriver.Improving sar automatic target recognition models with transferlearning from simulated data.IEEE Geoscience and Remote Sensing Letters,14(9):1484–1488,2017.

22.Leland McInnes,John Healy,and James Melville.Umap:Uniform manifoldapproximation and projection for dimension reduction.arXiv preprint arXiv:1802.03426,2018.

23.J.Rabin,G.Peyr′e,J.Delon,and M.Bernot.Wasserstein barycenter andits application to texture mixing.In International Conference on Scale Spaceand Variational Methods in Computer Vision,pages 435–446.Springer,2011.

24.Julien Rabin,Gabriel Peyr′e,Julie Delon,and MarcBernot.Wasserstein barycenter and its application to texture mixing.InInternational Conference on Scale Space and Variational Methods in ComputerVision,pages 435–446.Springer,2011.

25.A.Redko,I.and Habrard and M.Sebban.Theoretical analysis of domainadaptation with optimal transport.In Joint European Conference on MachineLearning and Knowledge Discovery in Databases,pages 737–753.Springer,2017.

26.K.Saenko,B.Kulis,M.Fritz,and T.Darrell.Adapting visual categorymodels to new domains.In European conference on computer vision,pages 213–226.Springer,2010.

27.C.Schwegmann,W.Kleynhans,B.Salmon,L.Mdakane,and R.Meyer.Very deeplearning for ship discrimination in synthetic aperture radar imagery.In IEEEInternational Geo.and Remote Sensing Symposium,pages 104–107,2016.

28.Ronghua Shang,Jiaming Wang,Licheng Jiao,Rustam Stolkin,Biao Hou,and Yangyang Li.Sar targets classification based on deep memory convolutionneural networks and transfer parameters.IEEE Journal of Selected Topics inApplied Earth Observations and Remote Sensing,11(8):2834–2846,2018.

29.Z.Wang,L.Du,J.Mao,B.Liu,and D.Yang.Sar target detection based onssd with data augmentation and transfer learning.IEEE Geoscience and RemoteSensing Letters,2018.

30.Jia Zhang,D.,W.Heng,K.Ren,and J.Song.Transfer learning withconvolutional neural networks for SAR ship recognition.In IOP ConferenceSeries:Materials Science and Engineering,volume 322,page 072001.IOPPublishing,2018.

(2)主要方面

本发明的各种实施方式包括三个“主要”方面。第一个主要方面是将知识从电光(EO)域迁移到合成孔径雷达(SAR)域的系统。该系统通常采用计算机系统操作软件的形式或采用“硬编码”指令集的形式。该系统可以并入提供不同功能的各种各样的设备中。第二个主要方面是利用数据处理系统(计算机)操作的通常采用软件形式的方法。第三个主要方面是计算机程序产品。计算机程序产品通常表示存储在诸如光学存储设备(例如，光盘(CD)或数字通用盘(DVD))或磁存储设备(例如，软盘或磁带)之类的非暂时性计算机可读介质上的计算机可读指令。计算机可读介质的其他非限制性示例包括：硬盘、只读存储器(ROM)以及闪存型存储器。这些方面将在下面进行更详细描述。

图1中提供了描绘本发明的系统(即，计算机系统100)的示例的框图。计算机系统100被配置成执行与程序或算法相关联的计算、处理、操作和/或功能。在一个方面，本文讨论的某些处理和步骤被实现为驻留在计算机可读存储器单元内并由计算机系统100的一个或更多个处理器执行的一系列指令(例如，软件程序)。在执行时，所述指令使计算机系统100进行特定动作并展现特定行为，如本文所描述的。

计算机系统100可以包括被配置成传送信息的地址/数据总线102。另外，一个或更多个数据处理单元(诸如处理器104(或多个处理器))与地址/数据总线102联接。处理器104被配置成处理信息和指令。在一方面，处理器104是微处理器。另选地，处理器104可以是不同类型的处理器，诸如并行处理器、专用集成电路(ASIC)、可编程逻辑阵列(PLA)、复杂可编程逻辑器件(CPLD)或现场可编程门阵列(FPGA)。

计算机系统100被配置成利用一个或更多个数据存储单元。计算机系统100可以包括与地址/数据总线102联接的易失性存储器单元106(例如，随机存取存储器(“RAM”)、静态RAM、动态RAM等)，其中，易失性存储器单元106被配置成存储用于处理器104的信息和指令。计算机系统100还可以包括与地址/数据总线102联接的非易失性存储器单元108(例如，只读存储器(“ROM”)、可编程ROM(“PROM”)、可擦除可编程ROM(“EPROM”)、电可擦除可编程ROM(“EEPROM”)、闪速存储器等)，其中，非易失性存储器单元108被配置成存储用于处理器104的静态信息和指令。另选地，计算机系统100可以执行从诸如“云”计算中的在线数据存储单元取回的指令。在一方面，计算机系统100还可以包括与地址/数据总线102联接的一个或更多个接口，诸如接口110。所述一个或更多个接口被配置成使得计算机系统100能够与其他电子设备和计算机系统连接。由所述一个或更多个接口实现的通信接口可以包括有线(例如，串行电缆、调制解调器、网络适配器等)和/或无线(例如，无线调制解调器、无线网络适配器等)通信技术。

在一个方面，计算机系统100可以包括与地址/数据总线102联接的输入设备112，其中，输入设备112被配置成将信息和命令选择传送至处理器100。根据一个方面，输入设备112是字母数字输入设备(诸如键盘)，其可以包括字母数字键和/或功能键。另选地，输入设备112可以是除字母数字输入设备之外的其他输入设备。在一方面，计算机系统100可以包括与地址/数据总线102联接的光标控制设备114，其中，光标控制设备114被配置成将用户输入信息和/或命令选择传送至处理器100。在一方面，光标控制设备114是利用诸如鼠标器、轨迹球、轨迹板、光学跟踪设备或触摸屏的设备来实现的。尽管前述如此，但在一方面，诸如响应于使用与输入设备112相关联的特殊键和键序列命令，光标控制设备114经由来自输入设备112的输入而被引导和/或启用。在另选方面，光标控制设备114被配置成通过话音命令管理或引导。

在一方面，计算机系统100还可以包括一个或更多个可选计算机可用数据存储设备，诸如与地址/数据总线102联接的存储设备116。存储设备116被配置成存储信息和/或计算机可执行指令。在一个方面，存储设备116是诸如磁盘驱动器或光盘驱动器(例如，硬盘驱动器(“HDD”)、软盘、光盘只读存储器(“CD-ROM”)、数字通用盘(“DVD”))的存储设备。依据一个方面，显示设备118与地址/数据总线102联接，其中，显示设备118被配置成显示视频和/或图形。在一方面，显示设备118可以包括：阴极射线管(“CRT”)、液晶显示器(“LCD”)、场发射显示器(“FED”)、等离子体显示器，或适于显示视频和/或图形图像以及用户可识别的字母数字字符的任何其他显示设备。

本文所呈现的计算机系统100是根据一方面的示例计算环境。然而，计算机系统100的非限制示例并不严格限于作为计算机系统。例如，一个方面提供了计算机系统100表示可以根据本文所述各个方面使用的一类数据处理分析。此外，还可以实现其他计算系统。实际上，本技术的精神和范围不限于任何单一数据处理环境。因此，在一方面，使用通过计算机执行的计算机可执行指令(诸如程序模块)来控制或实现本技术的各个方面的一个或更多个操作。在一个实现中，这样的程序模块包括被配置成执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件和/或数据结构。另外，一个方面提供了通过利用一个或更多个分布式计算环境来实现本技术的一个或更多个方面，诸如，在该计算环境中，任务由通过通信网络链接的远程处理设备执行，或者诸如，在该计算环境中，各种程序模块位于包括存储器-存储设备的本地和远程计算机存储介质中。

图2中描绘了具体实施本发明的计算机程序产品(即，存储设备)的示图。计算机程序产品被描绘为软盘200或诸如CD或DVD的光盘202。然而，如先前提到的，该计算机程序产品通常表示存储在任何兼容的非暂时性计算机可读介质上的计算机可读指令。如关于本发明所使用的术语“指令”通常指示要在计算机上执行的一组操作，并且可以表示整个程序的片段或单个分离的软件模块。“指令”的非限制性示例包括计算机程序代码(源或目标代码)和“硬编码”电子设备(即，编码到计算机芯片中的计算机操作)。“指令”被存储在任何非暂时性计算机可读介质上，诸如存储在计算机的存储器中或软盘、CD-ROM以及闪存驱动器上。无论如何，这些指令被编码在非暂时性计算机可读介质上。

(3)各种实施方式的具体细节

描述了一种机器学习系统和方法，该机器学习系统和方法能够将在光电(EO)域中学习到的知识迁移到合成孔径雷达(SAR)域，并且仅利用极少量的已标记数据样本(例如，O(10))对SAR图像执行可靠的对象检测。如图3所示，系统使得机器学习代理能够将其在EO域(元素300)中学习到的(或经训练的)信息/数据(即，知识)迁移到在SAR域(元素302)中使用的知识，诸如执行包括对象检测、对象识别和预测的各种视觉任务。简言之，独特的半监督域适应框架被设计为使用数学过程将知识(元素304)从EO域(元素300)迁移到SAR域(元素302)，如下面将详细描述的。在一个实施方式中，使用Sliced-Wasserstein距离(SWD)测量(参见参考文献24、17和16)来测量神经自动编码器的潜在空间中的源域分布与目标域分布之间的差异并使其最小化，以便监督域特定编码器的训练。

SAR域中少量可访问的已标记数据点(即，图像)以及未标记数据点被用于将两种分布分类有条件地对准，以应对分类匹配挑战(参见参考文献13)。实验结果验证了本文所述方法在海域感知领域的有效性，其中目标是从SAR图像中检测出船舶。结果证明了根据本发明的实施方式的学习系统是有效的，并且导致在从SAR图像的对象检测中的最新性能。

假设

为了解决标记缺乏的问题，考虑域适应场景，其中在相关源EO域问题中存在对足够的已标记数据点的访问。令

假设源样本是从具有边缘分布p

其中

这是贝叶斯最优推理的目标函数。这意味着如果从p

在根据本公开的实施方式的方法中，EO深度网络f

图4描绘根据本公开的实施方式的将知识从EO域迁移到SAR域的框架的框图可视化。具有共享输出空间的两个深度卷积神经网络(即，深度编码器：编码器A(元素400)和编码器B(元素402))预处理数据，以强制EO域(元素300)数据和SAR域(元素302)数据在其共享输出中具有类似的概率分布。该空间可被认为是来自各个域的输入空间与两个域之间的共享分类器子网(元素406)的标记空间之间的中间嵌入空间(元素404)。共享分类器子网(元素406)对SAR图像中的关注区域进行分类，以确定关注区域是否对应于关注对象，并且输出包含关注对象的关注区域(元素408)。训练深度编码器(元素400和元素402)，使得在共享嵌入空间(元素404)中最小化源域分布与目标域分布之间的差异，同时通过EO域(元素300)已标记数据来监督整体分类。本程序通过对手学习(参见参考文献8)和概率匹配目标优化问题(参见参考文献4)完成。

为了最小化两个概率分布之间的距离，执行关于两个经验分布之间的距离的测量的最小化。域适应的早期工作为此目的使用最大平均差异(MMD)度量(参见参考文献9)。MMD将两个分布之间的距离测量为它们的平均值之间的欧几里德距离。然而，当分布是多模态时，MMD可能不是精确的量度。其他常见的差异量度(例如KL散度和Jensen-Shannon散度)可以用于更宽范围的域适应问题，如参考文献7中所描述的。然而，当分布太远时，这些量度的梯度消失，这使得它们不适于深度学习，因为深度网络是使用基于梯度的一阶优化(参见参考文献15)来训练的。为此，在深度学习的最近工作中使用Wasserstein距离(WD)度量作为目标函数来匹配分布。WD具有不消失的梯度，但是它不具有闭型定义并且被定义为线性规划(LP)问题。对于高维分布，解决LP问题在计算上可能是昂贵的。为了避免这种挑战，使用了Sliced Wasserstein距离(SWD)。SWD将WD近似为具有闭型解的一维分布的多个Wasserstein距离的和(参见参考文献1、2、15和24)。

(3.1)设计的优化解决方案

在本文描述的解决方案中，需要学习编码器子网络(编码器A(元素400)和编码器B(元素402))，使得在编码器输出中提取的特征是有区别的。只有那样，类对于分类器子网络(元素406)才可以变得可分离。这是EO编码器(编码器A(元素400))的监督学习的直接结果。另外，编码器(元素400和元素402)应当混合SAR域(元素302)和EO域(元素300)，使得嵌入成为域不变的。因此，间接地强制SAR编码器(编码器B(元素402))对SAR域有区别(元素302)。可以通过最小化嵌入空间中的两个域的分布之间的差异来实施域不变性(元素404)。根据上述内容，可以根据以下式表示用于计算v、u和w的最优值的以下优化问题：

其中D(·,·)是概率之间的差异度量，并且λ和η是折衷参数。和中的索引在所有类上变化。对于各个类，C是固定的，然后计算距离。式(3)中的前两项分别是对EO已标记数据点和SAR已标记数据点进行分类的经验风险。第三项是跨域无条件概率匹配损失。使用来自两个域的所有可用数据点来计算匹配损失以学习编码器子网络(元素400和元素402)的可学习参数，并且使用来自两个域的已标记数据来同时学习分类器子网络(元素406)。最后，添加式(3)中的最后项，以加强两个域之间的语义一致性。该项对于知识迁移是重要的。为了阐明这一点，注意，域可以被对准，使得它们的边缘分布φ(p

最后的关键问题是选择适当的度量来计算式(2)的最后两项中的D(·,·)。KL散度和Jensen-Shannon散度已经广泛地用于测量概率分布的接近度，因为最大化对数似然等效于最小化两个分布之间的KL散度，但是注意，由于SGD将用于求解式(2)中的优化问题，所以它们是不合适的。这是对手学习成功的主要原因，如参考文献8中所述的。

此外，分布φ(p

Wasserstein距离被定义为线性规划问题的解。然而，对于一维概率分布的情况，该问题具有可以有效计算的闭型解。该解等于两个分布的累积分布函数的倒数之间的

其中δ(·)表示克罗内克增量(delta)函数，<·,·>表示向量点积，并且

通过对所有γ上的切片的分布之间的Wasserstein距离进行积分来计算SWD：

其中W(·,·)表示Wasserstein距离。直接计算上述积分在计算上是昂贵的。然而，通过选择L个随机投影方向γ并且在计算Wasserstein距离之后沿着随机方向求平均，可以使用蒙特卡罗型积分来近似式(5)中的积分。

在这里描述的问题中，仅存在对来自源分布和目标分布两者的样本的访问，因此一维Wasserstein距离被近似为排序样本之间的

其中

算法1 FCS(L,η,λ)

1.输入：数据

2.

3.预训练：初始化

4.

5.针对itr＝1,...,ITR，执行

6.使用以下内容更新编码器参数：

7.

8.

9.更新整个参数：

10.

11.

(3.2)实验研究

本文描述的方法的有效性在关于SAR船舶检测的海域感知领域中得到证明。

(3.2.1)船舶检测数据集

在使用SAR图像的船舶检测的二元问题(参见参考文献27)中测试了根据本发明的实施方式的方法。该问题出现在海事领域意识(MDA)中，其中目标是监测大的海洋区域以解译可能影响安全和环境的海事活动。船舶是本申请中的重要目标，因为大多数重要活动与船舶有关。为了达到这个目的，SAR成像是非常有效的，因为监测是在延长的时间间隔内连续进行的。

为了使监测过程自动化，使用经典的图像处理技术来确定空中SAR图像中的关注区域。首先，除去陆地区域，然后识别船舶、船类似物(ship-like)和海洋区域，然后提取为方形图像片(patches)。然后将这些图像片馈送到分类算法中，以确定该区域是否对应于船(即，关注对象)。将包含关注对象的区域输出给用户，或用于进一步处理，诸如对象跟踪或基于该区域使另一项目运动(例如，使车辆执行机动以避免碰撞等)。

使用的数据集是从南非专属经济区的空中SAR图像获得的。数据集被预处理为51像素×51像素的子图像(参见参考文献27)。每个实例包含船舶(正数据点)或非船舶(负数据点)。数据集包含1436个正示例和1436个负子图像。标记由专家提供。该问题被重铸为小样本学习问题。为了使用知识迁移来解决该问题，使用“卫星图像中的EO船舶(EO ship insatellite imagery)”数据集(参见参考文献10)。本公开使用的EO数据集和SAR数据集不必是相同的时间和位置。准备数据集以自动监测港口活动水平和供应链分析，并包含从具有4000个RGB 80×80图像的旧金山海湾地区的行星卫星影像中提取图像。同样，每个实例是船舶图像(正数据点)或非船舶图像(负数据点)。将数据集均匀分成正样本和负样本。来自两个数据集的实例在图4中被可视化。注意，与EO船舶/非船舶图像相比，对于未经训练的人眼，SAR图像是混乱的，这表明SAR标记更具挑战性并且需要专业知识。

(3.2.2)方法学

具有2层卷积滤波器的深度CNN被考虑用于SAR域，在这些层中分别具有16个滤波器和32个滤波器。MaxPool和批归一化层两者被用于这些卷积层。这些层被用作框架φ中的SAR编码器子网络。这些层之后是作为具有f维的嵌入空间的平坦层和随后的致密层，f可以作为参数来被潜在地调整。在嵌入空间层之后，使用基于式(3)的浅两层分类器。除了使用三个卷积层之外，EO编码器具有类似的结构。已经使用了三层，因为EO数据集似乎具有更多细节，并且更复杂的模型可能是有帮助的。在一个实施方式中，使用TensorFlow用于实现和Adam优化器(参见参考文献12)。

出于比较目的，将实验结果与以下学习设置进行比较：1)在SAR域的监督训练(ST)：使用少量已标记SAR数据点在SAR域中直接训练网络，以生成用于证明知识迁移有效的方法的下限；(2)直接迁移(DT)：我们仅直接使用在SAR域中直接在EO数据上进行训练的网络。为了做到这一点，EO域被调整大小为51像素×51像素，因此相同的共享编码器网络可用于两个域。结果，可能丢失潜在有用的细节。这可用作第二下限，以证明来自未标记数据的益处；3)细调(FT)：使用来自先前方法的无迁移网络，并且使用少量的可用SAR数据点来细调网络。如上所述，这是在文献中现有工作用于将知识从EO迁移到SAR领域的主要策略，并用于与现有方法进行比较。

在实验研究中，整个EO/SAR数据的90/10％随机分割用于训练模型和测试性能。在实验中，报告SAR测试分割的性能以对方法进行比较。分类精度用于测量性能，并且在必要时，利用交叉验证来调整超参数。每个实验重复20次，并且报告平均值和标准误差限制范围以证明实验中的统计显著性。

(3.2.3)结果

图5描绘SAR测试性能和已被用于SAR域的每类已标记数据点的数量，其中y轴表示分类精度且x轴表示用于执行算法的SAR域的每类已标记数据的数量。性能结果显示本文所述方法的结果(FCS(小样本SAR图像分类)；曲线500)和三种现有方法(包括SAR域上的监督训练(ST；曲线502)，直接迁移(DT；曲线504)，以及细调(FT；曲线506))。对于每条曲线，线表示所有试验的平均性能，并且线周围的区域表示标准误差偏差。结果符合直觉。SAR域上的监督训练(曲线502)在小样本区域中无效(即，其性能接近偶然性(chance))。直接迁移(曲线504)方法显著地(约20％)提高了小样本方案下的性能。然而，在每类2至3个已标记样本之后，当使用任务数据时，监督训练(曲线502)如预期的那样胜过直接迁移(曲线504)。细调(曲线506)可以改善直接迁移性能，但仅是小样本方案，并且除了小样本学习方案之外，性能类似于监督训练(曲线502)。

由于SAR未标记数据点的益处，根据本公开的实施方式的方法(曲线500)优于所有现有方法。如图5所示，本文描述的方法是有效的并且导致从几乎无学习基线提升了30％(即，在小样本学习方案中的50％的性能)。为了具有更好的直观性，图6A至图6D描绘了当在SAR域中使用每类5个已标记数据点时，学习嵌入中EO和SAR数据点的Umap(参见参考文献22)嵌入作为特征提取器编码器的输出。在图6A至图6D中，填充区域和未填充区域各自对应于一个类。在图6A和图6B中，真实标记用于可视化，而在图6C和图6D中，通过本文描述的方法预测的标记被用于可视化。在图6D中，条纹区域表示已经在训练中使用的SAR已标记数据点。通过比较这些图，显然嵌入对于两个域而言是有区别的。另外，显然域分布在嵌入类中有条件地匹配，这表明式(3)中表示的框架是有效的。这个结果表明，学习不变嵌入空间可以作为迁移知识的有用策略。

还进行了一组实验来经验性地研究嵌入空间的维数对本文描述的算法的性能的影响。图7描绘了当每类10个SAR已标记数据被用于训练时SAR测试集的性能与嵌入空间的维数。虚线(元素700)表示十次试验的平均性能，并且围绕该线的区域(元素702)表示标准误差偏差。观察到当嵌入空间维数改变时，性能相当稳定。该结果表明，如果经学习的嵌入空间对于源域是有区别的，则该方法可以成功地将目标域分布与嵌入中的源分布相匹配。结论是，为了计算效率，最好选择尽可能小的嵌入维数。由于这个原因，对于本发明中的其他实验，嵌入的维数被设置为八，如从图7得出的结论，将维数增加超过八是没有帮助的。

最后，进行了用作框架的消融研究的实验。以上描述的实验证明式(3)中的前三项对于成功的知识迁移都是重要的。第四项对于类条件对准(class-conditionalalignment)是重要的。在不考虑第四项的情况下求解式(3)以研究其效果。嵌入空间中的数据集的Umap可视化如图8A至图8D所示。观察到，如所预期的，嵌入对于EO数据集是有区别的，并且预测标记接近真实数据标记，因为类是可分离的。然而，尽管在嵌入空间中遵循类似的边缘分布，但是所形成的SAR簇不是类特定的。由于在每个簇中存在来自两个类的数据点，所以分类率很差。该结果证明式(3)中的所有项对于本文所述算法的成功是重要的。

总之，根据本发明的实施方式的系统将SAR域中已标记数据缺乏的问题重述为域适应(DA)问题，其中目标是使在源域上训练的模型进行调整以在目标域中良好地推广。本文所述的系统从EO成像域迁移知识以便针对SAR域训练深度网络。该思想是利用丰富的已标记数据在相关EO问题上训练深度网络，并且仅使用少量已标记SAR数据点来调整模型，使得两个域的分布在网络的中间层内变得类似于嵌入空间。

根据本公开的实施方式的系统在基于SAR的数据分析和机器学习中具有应用。例如，可以利用空中EO图像的大数据集来训练机器学习系统，该机器学习系统可以利用其EO域中学习到的知识并对SAR图像执行对象检测。该机器学习系统还可以利用其EO域中学习到的知识来对SAR图像执行预测、分类和数据完成。这里描述的系统可以用于多种智能、监视和侦察应用。SAR能够进行高分辨率遥感，其与飞行高度无关，并且与天气无关。此外，SAR具有昼夜成像能力，因为SAR提供照明。SAR的应用包括地形学、海洋学、冰河学、地质学(例如，地形辨别和地下成像)和林业(包括森林高度、生物量、砍伐森林)。此外、SAR可用于环境监测(例如溢油、洪水、城市增长、全球变化和军事监视)。

此外，本文描述的系统可用于监测和跟踪海上船舶的运动。如上所述，监测和解读海事活动(包括船舶运动)可以影响海洋和船舶安全。此外，可以自动监测港口活动水平和供应链分析。通过使用根据本公开的实施方式的系统根据空中SAR图像将对象识别为船舶和非船舶，可以在可视化地图上显示船舶，在可视化地图上跟踪船舶，并且可以自动更新可视化地图以反映船舶位置的变化。图9描绘了用于监测和跟踪被分类为船舶的对象(例如，元素902)的示例可视化地图(元素900)。

最后，虽然已经根据多个实施方式对本发明进行了说明，但本领域普通技术人员应当容易地认识到，本发明可以在其他环境中具有其他应用。应注意，可以有许多实施方式和实现。此外，所附权利要求绝不旨在将本发明的范围限于上述具体实施方式。另外，“用于……的装置”的任何用语旨在引发要素和权利要求的装置加功能的解读，而未特别使用“用于……的装置”用语的任何要素不应被解读为装置加功能要素，即使权利要求以其他方式包括了“装置”一词。此外，虽然已经按特定顺序陈述了特定方法步骤，但这些方法步骤可以按任何期望的顺序进行，并且落入本发明的范围内。