技术领域
本发明涉及域自适应目标检测技术领域,尤其涉及的是一种目标检测方法、装置、智能终端及计算机可读存储介质。
背景技术
域自适应目标检测是域自适应学习的一个分支,是域自适应学习方法在图像目标检测任务上的体现。其主要研究内容是当训练数据和测试数据存在域偏差时,例如,训练和测试场景的光照不同,天气不同等,如何有效地把在源域数据上训练的目标检测模型用到目标域数据上。对目标域数据进行标注是一项耗时且费力的工作,因此,无监督域自适应是一种常见的场景。目前解决无监督域自适应问题的常用方法是特征对齐。
现有技术中,为了解决域自适应目标检测问题,各种无监督域自适应目标检测方法通常通过调整源域和目标域的特征级或像素级分布来缩小域偏差,从而实现特征对齐。现有技术的问题在于,这些特征对齐方法只考虑图像级的整体表示,而忽略了对目标检测非常重要的实例级表示,因而无法适用于专注实例特征层面的目标检测任务,且影响目标检测方法的准确性和迁移能力。
因此,现有技术还有待改进和发展。
发明内容
本发明的主要目的在于提供一种目标检测方法、装置、智能终端及计算机可读存储介质,旨在解决现有技术中目标检测方法的特征对齐方法只考虑图像级的整体表示,无法适用于专注实例特征层面的目标检测任务,且不利于提高目标检测方法的准确性和迁移能力的问题。
为了实现上述目的,本发明第一方面提供一种目标检测方法,其中,上述方法包括:
获取源域图像和目标域图像;
对上述源域图像和目标域图像进行特征提取,获取图像特征;
基于上述图像特征,获取域不变特征;
基于上述域不变特征获取域不变区域特征;
基于上述域不变区域特征进行目标检测。
可选的,上述对上述源域图像和目标域图像进行特征提取,获取图像特征,包括:
利用特征提取器提取上述源域图像和上述目标域图像的特征;
将提取到的特征作为图像特征。
可选的,上述基于上述图像特征,获取域不变特征,包括:
将上述图像特征输入到用于提取域不变特征的提取器中,通过上述用于提取域不变特征的提取器提取并输出域不变特征。
可选的,在上述基于上述图像特征,获取域不变特征之后,上述方法还包括:
用上述图像特征减去上述域不变特征,获取域特定特征。
可选的,在上述用上述图像特征减去上述域不变特征,获取域特定特征之后,上述目标检测方法还包括:
限制上述域特定特征和上述域不变特征正交。
可选的,上述基于上述域不变特征获取域不变区域特征,包括:
通过候选区域生成网络,基于上述域不变特征提取获得域不变候选区域;
基于上述域不变候选区域进行特征对齐,获取域不变区域特征。
可选的,上述基于上述域不变区域特征进行目标检测,包括:
在上述域不变区域特征上进行目标检测任务,其中,上述目标检测任务包括实例分类和/或检测框回归。
本发明第二方面提供一种目标检测装置,其中,上述装置包括:
图像获取模块,用于获取源域图像和目标域图像;
图像特征提取模块,用于对上述源域图像和目标域图像进行特征提取,获取图像特征;
域不变特征获取模块,用于基于上述图像特征,获取域不变特征;
域不变区域特征获取模块,用于基于上述域不变特征获取域不变区域特征;
检测模块,用于基于上述域不变区域特征进行目标检测。
本发明第三方面提供一种智能终端,上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的目标检测程序,上述目标检测程序被上述处理器执行时实现任意一项上述目标检测方法的步骤。
本发明第四方面提供一种计算机可读存储介质,上述计算机可读存储介质上存储有目标检测程序,上述目标检测程序被处理器执行时实现任意一项上述目标检测方法的步骤。
由上可见,本发明方案获取源域图像和目标域图像;对上述源域图像和目标域图像进行特征提取,获取图像特征;基于上述图像特征,获取域不变特征;基于上述域不变特征获取域不变区域特征;基于上述域不变区域特征进行目标检测。其中,上述域不变区域特征即为域不变的实例特征。如此,与现有技术相比,本发明方案考虑了对目标检测非常重要的实例级表示,因而可以使用于专注实例特征层面的目标检测任务,且有利于提高目标检测方法的准确性和迁移能力。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种现有技术中的基于对抗博弈的特征对齐方法示意图;
图2是本发明实施例提供的一种现有技术中的强弱分布对齐法示意图;
图3是本发明实施例提供的一种目标检测方法的流程示意图;
图4是本发明实施例提供的一种具体应用场景中的域自适应目标检测方法的示意图;
图5是本发明实施例图3中步骤S200的具体流程示意图;
图6是本发明实施例提供的一种向量分解的示意图;
图7是本发明实施例提供的一种传统解耦方法的示意图;
图8是本发明实施例提供的基于向量分解的特征解耦方法的示意图;
图9是本发明实施例图3中步骤S400的具体流程示意图;
图10是本发明实施例提供的一种模型训练算法的示意图;
图11是本发明实施例提供的各目标检测方法在白天迁移到雾天场景的检测性能对比结果示意图;
图12是本发明实施例提供的一种目标检测装置的结构示意图;
图13是本发明实施例提供的一种智能终端的内部结构原理框图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况下,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当…时”或“一旦”或“响应于确定”或“响应于检测到”。类似的,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述的条件或事件]”或“响应于检测到[所描述条件或事件]”。
下面结合本发明实施例的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其它不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
传统的机器学习假设测试样本和训练样本来自同一数据分布,但当前很多机器学习场景下训练样本和测试样本可能来自不同的数据分布。域自适应学习能够有效地解决训练样本和测试样本数据分布不一致的问题,作为机器学习领域最近出现的研究在近几年受到了广泛的关注。
在很多实际机器学习场景中存在训练样本与测试样本的数据分布不同的情况。比如在晴天场景下训练得到的模型,如何使其能够在雾天或者黑夜场景下也表现出足够好的性能。这里的训练数据是晴天场景下采集到的,而测试数据是在雾天或者黑夜场景下,二者数据分布不一致。这种域之间的偏差会导致在两个域之间迁移模型存在困难,而直接迁移又会导致模型的性能出现明显下降。如何在这种源域和目标域数据分布不一致的情况下进行学习即为域自适应学习问题。总的来说,域自适应学习的重点在于克服源域分布和目标域分布不一致的问题,实现目标域上的学习任务。
域自适应目标检测是域自适应学习的一个分支,是域自适应学习方法在图像目标检测任务上的体现。其主要研究内容是当训练数据和测试数据存在域偏差时,例如,训练和测试场景的光照不同,天气不同等,如何有效地把在源域数据上训练的目标检测模型用到目标域数据上。现有技术的目标检测方法中,当训练集与测试集域偏差较大时,模型很难在测试集上取得良好的表现,例如,在源域(白天)训练的模型很难在目标域(雾天或黑夜)取得好的效果,因此,如何实现全天候跨域的目标检测成为了一个亟待解决的问题。
现有技术中,为了解决域自适应目标检测问题,各种无监督域自适应目标检测方法通常通过调整源域和目标域的特征级或像素级分布来缩小域偏差,从而实现特征对齐。现有技术的问题在于,这些特征对齐方法只考虑图像级的整体表示,而忽略了对目标检测非常重要的实例级表示,因而无法适用于专注实例特征层面的目标检测任务,且影响目标检测方法的准确性和迁移能力。
图1是本发明实施例提供的一种现有技术中的基于对抗博弈的特征对齐方法示意图,如图1所示,在基于反向传播的训练中,通过一个梯度反转层(即将梯度乘以一个负常数)来将一个域分类器连接到特征提取器后面。训练过程中模型会最大化域分类损失来缩小源域和目标域的差距。具体的,该方法主要利用一个特征提取器和两个分类器,特征提取器用于提取图片的特征,一个分类器用于目标任务,另一个用于区分源域和目标域。该方法巧妙地设计了一个梯度反转层(GRL,Gradient Reversal Layer),确保了源域和目标域的特征分布是相似的(对于域分类器来说尽可能地不可区分),从而得到域不变的特征。由于域分类器可以明显区分源域和目标域,通过最大化域分类损失,可以缩小源域和目标域的差距。借助对抗训练的方式,可以明显缩小域间差异,从而提升模型的性能。但基于特征对齐的方法通常只考虑特征层面的对齐而忽略了对于目标检测很重要的实例层面的对齐。
图2是本发明实施例提供的一种现有技术中的强弱分布对齐(SW)方法示意图,该方法通过局部域分类器网络实现强局部对齐,通过全局域分类器实现弱全局对齐。具体的,如图2所示,在低层次特征和高层次特征两个层面上分别进行域适应。由于低层次特征的每个元素都反映了图像的区域信息,因此,对低层次特征的每个元素进行对齐有助于减小图像区域之间的域间距。对高层次特征进行对齐有助于减小整体图像间的域间距。如此,同时考虑局部和整体间的对齐可以解决域自适应目标检测的问题。但该方法没有考虑到域不变特征对于域自适应目标检测的重要性,也忽略了对目标检测非常重要的实例级表示,因而无法适用于专注实例特征层面的目标检测任务,且准确性和迁移能力有限。
为了解决现有技术的问题,本发明实施例提供一种目标检测方法,在本发明实施例中,获取源域图像和目标域图像;对上述源域图像和目标域图像进行特征提取,获取图像特征;基于上述图像特征,获取域不变特征;基于上述域不变特征获取域不变区域特征;基于上述域不变区域特征进行目标检测。其中,上述域不变区域特征即为域不变的实例特征。如此,与现有技术相比,本发明方案考虑了对目标检测非常重要的实例级表示,因而可以使用于专注实例特征层面的目标检测任务,且有利于提高目标检测方法的准确性和迁移能力。
如图3所示,本发明实施例提供一种目标检测方法,具体的,上述方法包括如下步骤:
步骤S100,获取源域图像和目标域图像。
其中,需要基于上述源域图像和上述目标域图像,对上述目标域图像进行域自适应目标检测。具体的,本实施例中,上述源域图像和目标域图像可以存在域偏差,例如,源域图像可以为白天的图像,目标域图像可以对应为黑夜的图像或雾天的图像,在此不做具体限定。
步骤S200,对上述源域图像和目标域图像进行特征提取,获取图像特征。
可选的,可以分别对上述源域图像和上述目标域图像进行特征提取,分别获取源域图像对应的图像特征和目标域图像对应的图像特征。
步骤S300,基于上述图像特征,获取域不变特征。
其中,上述域不变特征是指与检测目标的属性相关的特征,它与图片风格、背景、光照等属性无关。
步骤S400,基于上述域不变特征获取域不变区域特征。
步骤S500,基于上述域不变区域特征进行目标检测。
其中,上述域不变区域特征为上述域不变特征对应的区域的特征,例如,域不变区域可以为检测目标所在的区域,则域不变区域特征是该区域的特征,也即域不变的实例特征。基于上述域不变区域特征进行目标检测即基于域不变的实例特征进行目标检测。
由上可见,本发明实施例提供的目标检测方法获取源域图像和目标域图像;对上述源域图像和目标域图像进行特征提取,获取图像特征;基于上述图像特征,获取域不变特征;基于上述域不变特征获取域不变区域特征;基于上述域不变区域特征进行目标检测。其中,上述域不变区域特征即为域不变的实例特征。如此,与现有技术相比,本发明方案考虑了对目标检测非常重要的实例级表示,因而可以使用于专注实例特征层面的目标检测任务,且有利于提高目标检测方法的准确性和迁移能力。
图4是本发明实施例提供的一种具体应用场景中的域自适应目标检测方法的示意图,其中,E
具体的,本实施例中,如图5所示,上述步骤S200包括:
步骤S201,利用特征提取器提取上述源域图像和上述目标域图像的特征。
步骤S202,将提取到的特征作为图像特征。
可选的,可以分别对上述源域图像和上述目标域图像进行特征提取,分别获取源域图像对应的图像特征和目标域图像对应的图像特征。
在图4所示的应用场景中,获取输入的源域图像x
具体的,本实施例中,上述步骤S300包括:将上述图像特征输入到用于提取域不变特征的提取器中,通过上述用于提取域不变特征的提取器提取并输出域不变特征。
其中,上述用于提取域不变特征的提取器可以是基于多层卷积网络的特征提取器,将图像特征输入到该特征提取器,即可提取获得域不变特征。
在图4所示的应用场景中,将图像特征F
对于域自适应目标检测来说,获得域不变表示是非常重要的,它不仅可以减轻域偏差带来的影响,还有助于获得域不变的目标表示。因此,本方案着重于提取域不变的实例级的特征,有助于提高检测方法的迁移能力。
具体的,本实施例中,在上述步骤S300之后,上述方法还包括:用上述图像特征减去上述域不变特征,获取域特定特征。
可选的,还可以有其它获取域特定(Domain-Specific)特征的方法,例如直接提取获得域特定特征等,在此不做具体限定。其中,上述域特定特征是指图片风格、背景等与检测目标无关的特征,去掉这些特征,可以提升模型的泛化性能,提高目标检测方法的准确性和迁移能力。
在图4所示的应用场景中,用图像特征F
可选的,还可以使用域分类器(Domain Classifier)来确保域特定特征F
具体的,本实施例中,在用上述图像特征减去上述域不变特征,获取域特定特征之后,上述方法还包括:限制上述域特定特征和上述域不变特征正交。
特征分离的一个关键步骤是保证域不变特征和域特定特征的独立性,可选的,可以设置特征正交损失(Orthogonal Loss),通过限制域不变特征和域特定特征之间的特征正交来保证他们的独立性。在图4所示的应用场景中,即限制域不变特征F
可选的,本发明实施例中,通过特征解耦来分解实例特征,且基于向量分解来实现特征解耦,并限制分解后的各向量(即对应的特征)正交。特征解耦的目的是为了获取一组相互独立的表示,且这组表示能够充分表达原始特征的信息。本发明实施例中,将特征解耦转换为一个向量分解的过程。
图6是本发明实施例提供的一种向量分解的示意图,如图6所示,向量分解是将一个向量分解成两个或两个以上的分向量的一般过程,这些分向量加起来就是原始向量。显然,向量分解与特征解耦的想法是相似的。因此,本发明实施例中使用向量分解思想来获得解耦表示。
具体的,对于两个分量的情况,给出一个输入表示I,设计了一个提取器F从I中分解出第一个分量V
V
另外,对于三个分量的情况,设计提取器F和G去分解出第一个分量V
V
上述公式(2)中,V
图7是本发明实施例提供的一种传统解耦方法的示意图,图8是本发明实施例提供的基于向量分解的特征解耦方法的示意图。如图7所示,给定输入I,传统的解耦通常使用F和G两个提取器来解耦V
具体的,本实施例中,如图9所示,上述步骤S400包括:
步骤S401,通过候选区域生成网络,基于上述域不变特征提取获得域不变候选区域。
步骤S402,基于上述域不变候选区域进行特征对齐,获取域不变区域特征。
其中,上述候选区域生成网络(RPN,Region Proposal Network)是预先设置并训练的用于生成候选区域的网络,上述域不变候选区域是通过候选区域生成网络生成的域不变特征对应的候选区域,可以为检测目标对应的候选区域。
在图4所示的应用场景中,将域不变特征F
具体的,本实施例中,上述步骤S500包括:在上述域不变区域特征上进行目标检测任务,其中,上述目标检测任务包括实例分类和/或检测框回归。
可选的,上述目标检测任务还可以包括其它具体的目标检测任务,在此不做具体限定。在图4所示的应用场景中,在得到的上述域不变区域特征上进行目标检测的相关任务,如实例分类和检测框回归。对于一张来自源域的图片,检测损失可以表示为:
可选的,在上述步骤S100之前,上述目标检测方法还包括:基于两阶段的深度网络训练机制训练预设的目标检测模型。其中,上述目标检测模型是预先设置的用于基于上述目标检测方法进行目标检测的模型。具体的,上述两阶段的深度网络训练机制包括特征分解(Feature Decomposition)阶段的训练和特征正交化(Feature Orthogonalization)阶段的训练。
在第一阶段,即特征分解阶段,主要目的是促进我们的模型将输入特征分解为两个不同的部分。具体地,在图4所示的应用场景中,在域不变特征F
其中,
在第二阶段,即特征正交化阶段,主要目的是使分解后的分量保持正交。具体的,在这一阶段中,首先固定特征提取器E
其中,n、c、h和w分别表示候选框的数量、图像的通道数、高度和宽度。avgpool表示全局平均池化,⊙表示对应元素相乘,通过最小化正交损失,可以保证分离后的F
最后,第二阶段的损失可以表示为如下公式:
其中,
图10是本发明实施例提供的一种模型训练算法的示意图,在本发明实施例中,上述模型可以进行端对端的训练,训练细节如图10所示。其中,图10所示的算法中,Eq.(6)代表上述公式(3)和公式(4),Eq.(8)代表上述公式(9)和公式(10)。
如此,本发明实施例提供的目标检测方法基于向量分解进行特征解耦,具体的,设计了向量正交分解的操作,将图像特征解耦为域不变特征和域特定特征的表示。相较于传统的解耦方法,本发明实施例中的方案不依赖于重构操作来保证分解后的分量包含输入的全部信息。且只定义了一个特征提取器来提取域不变特征,然后通过差分运算得到互补的第二个解耦分量作为域特定特征,减少了参数和计算量。
同时,本发明方案将特征解耦应用于域自适应目标检测方法中,传统的分布对齐方法是在图像整体特征表示上进行的,因而无法适用于专注实例特征层面的目标检测任务。域自适应目标检测需要在源域和目标域的实例特征层面上缩小差距。本发明方案专注于域不变的实例层面的特征提取,对于提升检测模型的迁移能力是很有帮助的。在解耦出域不变特征之后,后续模块则在域不变特征上对图像完成检测任务,由于域不变特征不包含域特定的信息,因而能更好地解决两个域之间的迁移难题。
进一步的,本发明方案提出的目标检测方法适用于全天候的跨域目标检测。它可以在各种天气和光照条件下实现精确的目标识别和定位。图11是本发明实施例提供的各目标检测方法在白天迁移到雾天场景的检测性能对比结果示意图,其中,“SourceOnly”表示模型只使用来自源域的数据进行训练,而不使用目标域的数据。“DAF”表示现有技术中的的域自适应目标检测方法,“SW(B)”表示强弱分布对齐方法,可以看到本发明方案对应的方法达到了最优的性能。
如图12中所示,对应于上述目标检测方法,本发明实施例还提供一种目标检测装置,上述目标检测装置包括:
图像获取模块610,用于获取源域图像和目标域图像。
其中,需要基于上述源域图像和上述目标域图像,对上述目标域图像进行域自适应目标检测。具体的,本实施例中,上述源域图像和目标域图像可以存在域偏差,例如,源域图像可以为白天的图像,目标域图像可以对应为黑夜的图像或雾天的图像,在此不做具体限定。
图像特征提取模块620,用于对上述源域图像和目标域图像进行特征提取,获取图像特征。
可选的,可以分别对上述源域图像和上述目标域图像进行特征提取,分别获取源域图像对应的图像特征和目标域图像对应的图像特征。
域不变特征获取模块630,用于基于上述图像特征,获取域不变特征。
其中,上述域不变特征是指与检测目标的属性相关的特征,它与图片风格、背景、光照等属性无关。
域不变区域特征获取模块640,用于基于上述域不变特征获取域不变区域特征。
检测模块650,用于基于上述域不变区域特征进行目标检测。
其中,上述域不变区域特征为上述域不变特征对应的区域的特征,例如,域不变区域可以为检测目标所在的区域,则域不变区域特征是该区域的特征,也即域不变的实例特征。基于上述域不变区域特征进行目标检测即基于域不变的实例特征进行目标检测。
由上可见,本发明实施例提供的目标检测装置通过图像获取模块610获取源域图像和目标域图像;通过图像特征提取模块620对上述源域图像和目标域图像进行特征提取,获取图像特征;通过域不变特征获取模块630基于上述图像特征,获取域不变特征;通过域不变区域特征获取模块640基于上述域不变特征获取域不变区域特征;通过检测模块650基于上述域不变区域特征进行目标检测。其中,上述域不变区域特征即为域不变的实例特征。如此,与现有技术相比,本发明方案考虑了对目标检测非常重要的实例级表示,因而可以使用于专注实例特征层面的目标检测任务,且有利于提高目标检测方法的准确性和迁移能力。
具体的,本实施例中,上述图像特征提取模块620具体用于:利用特征提取器提取上述源域图像和上述目标域图像的特征;将提取到的特征作为图像特征。
可选的,可以分别对上述源域图像和上述目标域图像进行特征提取,分别获取源域图像对应的图像特征和目标域图像对应的图像特征。
在图4所示的应用场景中,获取输入的源域图像x
具体的,本实施例中,上述域不变特征获取模块630具体用于:将上述图像特征输入到用于提取域不变特征的提取器中,通过上述用于提取域不变特征的提取器提取并输出域不变特征。
其中,上述用于提取域不变特征的提取器可以是基于多层卷积网络的特征提取器,将图像特征输入到该特征提取器,即可提取获得域不变特征。
在图4所示的应用场景中,将图像特征F
对于域自适应目标检测来说,获得域不变表示是非常重要的,它不仅可以减轻域偏差带来的影响,还有助于获得域不变的目标表示。因此,本方案着重于提取域不变的实例级的特征,有助于提高检测方法的迁移能力。
具体的,本实施例中,上述目标检测装置还用于:用上述图像特征减去上述域不变特征,获取域特定特征。
可选的,还可以有其它获取域特定(Domain-Specific)特征的方法,例如直接提取获得域特定特征等,在此不做具体限定。其中,上述域特定特征是指图片风格、背景等与检测目标无关的特征,去掉这些特征,可以提升模型的泛化性能,提高目标检测方法的准确性和迁移能力。
在图4所示的应用场景中,用图像特征F
可选的,还可以使用域分类器(Domain Classifier)来确保域特定特征F
具体的,本实施例中,上述目标检测装置还用于:限制上述域特定特征和上述域不变特征正交。
特征分离的一个关键步骤是保证域不变特征和域特定特征的独立性,可选的,可以设置特征正交损失(Orthogonal Loss),通过限制域不变特征和域特定特征之间的特征正交来保证他们的独立性。在图4所示的应用场景中,即限制域不变特征F
可选的,本发明实施例中,通过特征解耦来分解实例特征,且基于向量分解来实现特征解耦,并限制分解后的各向量(即对应的特征)正交。特征解耦的目的是为了获取一组相互独立的表示,且这组表示能够充分表达原始特征的信息。本发明实施例中,将特征解耦转换为一个向量分解的过程。具体的特征解耦过程如上文所示,在此不再赘述。
具体的,本实施例中,上述域不变区域特征获取模块640具体用于:通过候选区域生成网络,基于上述域不变特征提取获得域不变候选区域;基于上述域不变候选区域进行特征对齐,获取域不变区域特征。
其中,上述候选区域生成网络(RPN,Region Proposal Network)是预先设置并训练的用于生成候选区域的网络,上述域不变候选区域是通过候选区域生成网络生成的域不变特征对应的候选区域,可以为检测目标对应的候选区域。
在图4所示的应用场景中,将域不变特征F
具体的,本实施例中,上述检测模块650具体用于在上述域不变区域特征上进行目标检测任务,其中,上述目标检测任务包括实例分类和/或检测框回归。
可选的,上述目标检测任务还可以包括其它具体的目标检测任务,在此不做具体限定。在图4所示的应用场景中,在得到的上述域不变区域特征上进行目标检测的相关任务,如实例分类和检测框回归。对于一张来自源域的图片,检测损失可以表示为:
可选的,本实施例中,上述目标检测装置还用于:基于两阶段的深度网络训练机制训练预设的目标检测模型。其中,上述目标检测模型是预先设置的用于基于上述目标检测方法进行目标检测的模型。具体的,上述两阶段的深度网络训练机制包括特征分解(Feature Decomposition)阶段的训练和特征正交化(Feature Orthogonalization)阶段的训练。具体的训练过程与上文所示过程相似,在此不再赘述。
基于上述实施例,本发明还提供了一种智能终端,其原理框图可以如图13所示。上述智能终端包括通过系统总线连接的处理器、存储器、网络接口以及显示屏。其中,该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和目标检测程序。该内存储器为非易失性存储介质中的操作系统和目标检测程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该目标检测程序被处理器执行时实现上述任意一种目标检测方法的步骤。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏。
本领域技术人员可以理解,图13中示出的原理框图,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的智能终端的限定,具体的智能终端可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种智能终端,上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的目标检测程序,上述目标检测程序被上述处理器执行时进行以下操作指令:
获取源域图像和目标域图像;
对上述源域图像和目标域图像进行特征提取,获取图像特征;
基于上述图像特征,获取域不变特征;
基于上述域不变特征获取域不变区域特征;
基于上述域不变区域特征进行目标检测。
应理解,上述实施例中各步骤的序号大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将上述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各实例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,上述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以由另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,上述计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,上述计算机程序包括计算机程序代码,上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括:能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解;其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
机译: 移动目标检测装置,移动目标检测方法以及其中存储有计算机的可读存储介质的程序使得计算机作为移动目标检测装置而起作用
机译: 目标检测方法和装置,计算机可读存储介质和计算机设备
机译: 目标检测方法和装置,计算机可读存储介质和计算机设备