基于多尺度注意力耦合机制的小样本交通异常图像采集方法及系统

摘要

本发明公开了一种基于多尺度注意力耦合机制的小样本交通异常图像采集方法及系统，本发明方法包括步骤：S1.将早先布置的摄像头中收集的交通异常情形图像打上标签作为有标签数据集，并进一步划分训练集和测试集；S2.对样本数据进行数据处理并构造情景任务，从训练集中随机采样少量样本作为支持集样本和一定量同类样本作为查询样本图像；S3.利用骨干网络对每个情景任务中的图像进行特征提取，并获取多尺度输入特征；S4.将两个不同层次注意力结合，形成特征多域层次结构；S5.将不同尺度度量结果加权聚合，根据最终的支持集和查询集样本间的度量分数实现影像分类；S6.利用损失函数进行端到端训练；S7.进行测试保留最优训练权重；S8.模型部署和图像采集。

说明书

技术领域

本发明属于图像分析技术领域，涉及深度学习与交通控制的结合技术，尤其涉及一种基于多尺度注意力耦合机制的小样本交通异常图像采集方法及系统。

背景技术

传统的交通监控摄像头只会将所有监控画面全部保存下来并回传给数据中心，监管人员需要观看所有的监控画面来判别道路交通是否存在交通异常。由于部署的摄像头数量巨大，从而导致对于监控画面中交通异常情形的审查非常耗时、效率低下，无法及时对相关部门进行调度来处理各种交通异常情形。

随着传统的深度学习不断发展，深度学习模型已在图像分类、物体检测、图像分割等诸多计算机视觉领域都表现出了优异的性能。深度学习模型也在越来越多地被部署到智能摄像头中，运用到交通领域中进行道路监管，提前训练好的深度学习模型部署到智能摄像头后，能够对摄像头拍摄画面进行实时检测，并将交通异常图像进行标注再回传给数据中心。检测各类交通异常情形包括但不限于交通违章行为检测、交通事故检测等，这使得监管人员无需再耗费大量时间在所有监控画面中人工查找交通异常情形，只需要在被判别为异常的图像中进一步筛选即可，从而能够提升监管人员调度相关部门处理各类交通异常情形的效率。

然而深度学习模型的训练均需要大量的带标注数据加持，需要耗费大量的人力和时间成本，有限的可用数据限制了深度模型的可用性和可扩展性。虽然在经过由大量标注数据预训练的深度模型上进行微调，也能对部分图像进行正确分类，但在缺少可用标注数据情形下，模型在训练的过程中容易过拟合，实用性有限。由于摄像头的部署环境不同，拍摄到的画面角度、光线明暗度等也各有差异，这会导致由特定数据集训练的深度学习模型在部分场景的摄像头上的检测准确性会下降，即泛化能力不足。同时，在短时间内利用特定路段所拍摄的少数交通异常画面，使深度学习模型快速适应部署场景的抓拍工作是富有挑战性的。

当人类承担一项新任务时，他们可以根据经验快速掌握相关技能。受此启发，图像分类领域中提出了小样本学习方法。小样本学习专注于通过数据增强、度量学习和元学习等各种特定方法学习如何学习的问题。元学习方法是目前流行且十分有效的小样本学习方法，通过在元训练阶段构建一系列情景任务，并在每个情景任务中使用少量支持集样本(带标签样本)来构建元知识并优化查询样本(无标签样本)分类模型。在测试阶段使用相同的情景设置，将元知识泛化到新的测试任务中，以完成样本分类任务。

发明内容

针对现有技术的上述现状，本发明提出了一种基于多尺度注意力耦合机制的小样本交通异常图像采集方法及系统。

为了实现上述目的，本发明采用以下技术方案：

S1.将预先布置的摄像头中收集的交通异常情形图像打上标签作为有标签数据集，并进一步划分成训练集和测试集；

S2.对样本数据进行数据处理并构造情景任务，从训练集中随机采样少量样本作为支持集样本和一定量同类样本作为查询样本图像；

S3.利用骨干网络对每个情景任务中的图像进行特征提取，并获取多尺度输入特征；

S4.将两个不同层次注意力结合，形成特征多域层次结构；

S5.将不同尺度度量结果加权聚合，根据最终的支持集和查询集样本间的度量分数实现图像分类；

S6.利用损失函数进行端到端训练；

S7.进行测试保留最优训练权重；

S8.模型部署和图像采集：将训练好最优权重的模型部署到摄像头，将摄像头安置到新场景中，采集交通异常图像进行数据标注作为支持集样本，后续采集的待检测图像作为查询集样本即可实现异常图像分类采集。

进一步的，所述步骤S1中，将各类交通异常图像打上标签作为有标签数据集D

进一步的，所述步骤S2中，对数据进行数据处理包括图像裁剪以及数据增强。情景任务T由N个类别，每个类别有K个样本(即N-way K-shot设置)，由支持集

进一步的，解复用的思想是一个公共输入可以被切换到多个独立的输出，于是在本发明的步骤S3中设计了一个多尺度特征解复用器来获取多尺度输入特征。通过骨干网络

最后需要在各个尺度上计算出每个情景任务中包含的样本类别的类原型。具体来说，在1-shot或者many-shot设置下，类别n的类原型可以由同类样本嵌入特征均值表示：

进一步的，步骤S4中两个不同层次的注意力分别是：关注类间多样性的多域注意力权重

进一步的，多域的注意力权重

其中θ

进一步的，将原型特征

进一步的，两个不同层次中注意力耦合过程可以表示为：

其中

进一步的，多域注意力耦合模块输出特征可以表示为：

其中||表示级联操作，FFN(Feed Forward Network)表示前馈网络。

进一步的，所述步骤S5中的多尺度度量模块由一个自适应权重生成器G

其中||表示级联操作，θ

其中d(·,·)表示度量函数。

进一步的，利用最近邻居算法可以根据度量分数得到查询样本x

进一步的，所述步骤S6中，本发明的方法在训练阶段是可以在端到端设置下经过损失函数优化学习。目标损失函数由三部分组成：多尺度分类损失L

首先，为了能够准确预测查询标签，对于多尺度度量结果的分类损失我们使用了常规的交叉熵损失：

其中L

其次，为了防止每个尺度上的域感知力集中在鉴别性更强的域上，需要对域注意力的稀疏性进行约束，以达到不同尺度感知不同域的目的，具体公式如下：

该损失利用了余弦相似性，计算每个尺度上域之间的相似值，当第i和第j个尺度上域相似性很大时，L

最后，为了保证各个尺度预测结果均能向正确的方向进行优化，利用一个平衡损失函数对各个尺度预测结果进行约束：

其中

总的目标函数结合上述提及损失可以表示为：

其中λ

进一步的，所述步骤S7中，在训练阶段会进行多次迭代训练，每迭代完一次训练数据集，会从测试数据集中随机采样构成测试情景任务，并利用步骤S3-S5进行精度测试，获取当前训练权重在测试集上图像分类精度，保存精度最高的训练权重。

本发明还公开了一种基于多尺度注意力耦合机制的小样本交通异常图像采集系统，其包括如下模块：

数据集制作模块：将摄像头收集的交通异常情形图像打上标签作为有标签数据集，并进一步划分成训练集和测试集；

构造情景任务模块：对样本数据进行数据处理并构造情景任务，从训练集中随机采样样本作为支持集样本和同类样本作为查询样本图像；

特征提取模块：利用骨干网络对每个情景任务中的图像进行特征提取，并获取多尺度输入特征；

多域注意力耦合模块：将两个不同层次注意力结合，形成特征多域层次结构；

多尺度度量模块：将不同尺度度量结果加权聚合，根据最终的支持集和查询集样本间的度量分数实现图像分类；

训练模块：利用损失函数进行端到端训练；

最优训练权重保留模块：进行测试保留最优训练权重；

模型部署及图像采集模块：将训练好最优权重的模型部署到摄像头，将摄像头安置到新场景中，采集交通异常图像进行数据标注作为支持集样本，后续采集的待检测图像作为查询集样本即可实现异常图像分类采集。

与现有技术相比，本发明的基于多尺度注意力耦合机制的小样本交通异常图像采集方法及系统，能够利用少数带标签交通异常图像对未分类交通异常图像进行正确分类并收集，无需繁琐的大量数据收集以及标注工作，能够快速适应新场景的检测工作。同时通过构建多尺度、多域的特征关系，增强了情景任务中类内特征的弱相关性，提高了类间特征的多样性。更具体的说，自注意力机制感知支持样本的类内相关性并实现自适应嵌入特征增强。多尺度结构和多域注意力耦合模块负责通过域感知模块生成域重要性权重，并通过注意力耦合结构与自注意力权重结合构建特征多域层次结构，实现了特征类间的多样性保证。利用上述两点来提高小样本图像分类的准确性。

附图说明

图1是本发明实施例一提供的基于多尺度注意力耦合机制的小样本交通异常图像采集方法流程图。

图2是本发明实施例提供的步骤S13中多尺度特征解复用器生成多尺度特征提取流程图。

图3是本发明实施例提供的步骤S14中多域注意力耦合模块的流程图。

图4是本发明实施例二基于多尺度注意力耦合机制的小样本交通异常图像采集系统框图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

本发明的目的是针对现有技术的缺陷，提供了一种基于多尺度注意力耦合机制的小样本交通异常图像采集方法及系统。

实施例一

本实施例提供了一种基于多尺度注意力耦合机制的小样本交通异常图像采集方法，其具体实现流程如图1所示，包括步骤：

S11.将早先布置的摄像头中收集的交通异常情形图像打上标签作为有标签数据集，并进一步划分为训练集和测试集；

S12.对样本数据进行数据处理并构造情景任务，从训练集中随机采样少量样本作为支持集样本和一定量同类样本作为查询样本图像；

S13.利用骨干网络对每个情景任务中的图像进行特征提取，并利用多尺度特征解复用器获取多尺度输入特征；

S14.利用多域注意力耦合模块将两个不同层次注意力结合，形成特征多域层次结构；

S15.利用多尺度度量模块将不同尺度度量结果加权聚合，根据最终的支持集和查询集样本间的度量分数实现图像分类；

S16.利用损失函数进行端到端训练；

S17.进行测试保留最优训练权重；

S18.模型部署和图像采集。

本实施例的具体思路：1.收集数据并制作数据集，将各类交通异常情形图像打上标签作为有标签数据集，随后将有标签数据集中各类图像按4:1比例划分为训练集和测试集；2.在训练阶段，对影响进行中心裁剪并进行数据增强，随后从训练数据集中随机采样来构造情景任务，在测试阶段则从测试数据集中随机采样来构造情景任务；3.将情景任务中样本通过一个骨干网络提取特征，再利用一个多尺度特征解复用器获取多尺度输入特征；4.在多域注意力耦合模块中将域注意力和自注意力结合来增强特征表示的同时保留多样性；5.然后利用多尺度度量模块将不同尺度度量结果加权聚合，获取一个最终度量结果，再利用最近邻居算法，获取图像分类精度6.利用损失函数进行端到端训练；7.每迭代完一次训练集，会利用当前训练权重，在测试集图像中进行测试，测试精度最高的网络权重将会被保存下来；8.将训练好的模型权重和模型部署到智能摄像头后，仅需将智能摄像头安置到新场景中，采集少量希望检测的交通异常图像进行数据标注作为支持集样本，后续采集的待检测图像作为查询集样本即可实现异常图像分类采集。

本实施例各步骤具体介绍如下：

在步骤S11中，将各类经交通异常图像打上标签作为有标签数据集D

在步骤S12中，训练集D

构造情景任务T方式如下：训练集

在步骤S13中，利用解复用的思想来构造多尺度输入特征。

情景任务T中全体样本x＝{x

最后在各个尺度上计算出每个情景任务中包含的图像样本类别的类原型。具体来说，在1-shot或者many-shot设置下，类别n的类原型可以由同类样本嵌入特征均值表示：

在步骤S14中，如图3所示，通过多域注意力耦合模块中的域感知模块生成域重要性权重，并通过注意力耦合结构与自注意力权重结合构建特征多域层次结构。

首先将每个尺度上的原型特征划分为多个子空间形成多域表示。假设域划分个数为H个，那么每个域的特征可以表示为

然后在域感知模块中，本实施例设计了一个可学习参数的自适应空间重要性生成器G

其中θ

其中σ为sigmoid函数，

随后将原型特征

域权重是权衡其中所有特征的结果，为了形成多域权衡，使用元素乘积将其与进行耦合，获得更为有效的特征对关系表示，公式如下：

其中

最后，多域注意力耦合模型输出使用了常规的transformer输出结构来强化特征表示，公式表示如下：

其中||表示级联操作，FFN(Feed Forward Network)表示前馈网络，

在步骤S15中，利用多尺度度量模块，将不同尺度上支持样本和查询样本之间的相似性度量结果通过加权聚合方式整合到一起以获取最终度量结果。

通过简单的等额权重对不同尺度特征度量结果进行加权并不是一个最为恰当的选择。在每个独立的情景任务中不同尺度的度量结果贡献存在差异，一个合适的自适应加权方式能最大化利用各个尺度的度量信息。为了达到这一目的，本实施例设计了一个自适应权重生成器G

其中||表示级联操作，θ

其中d(·,·)表示度量函数，本实施例使用了欧式距离函数。

利用最近邻居算法，可以得到查询样本x

在步骤S16中，损失函数由三部分组成：多尺度分类损失L

首先，为了能够准确预测查询标签，对于多尺度度量结果的分类损失使用交叉熵损失：

其中L

其次，为了防止每个尺度上的域感知力集中在鉴别性更强的域上，需要对域注意力的稀疏性进行约束，以达到不同尺度感知不同域的目的，具体公式如下：

该损失利用了余弦相似性，计算每个尺度上域之间的相似值，当第i和第j个尺度上域相似性很大时，L

最后，为了保证各个尺度预测结果均能向正确的方向进行优化，利用一个平衡损失函数对各个尺度预测结果进行约束：

其中

总的目标函数结合上述提及损失可以表示为：

其中λ

在步骤S17中，在完整的网络结构搭建完成后，使用初始学习率设置为1×10

在步骤S18中，将训练好的模型权重和模型部署到智能摄像头后，仅需将智能摄像头安置到新场景中，采集少量希望检测的交通异常图像进行数据标注作为支持集样本，后续采集的待检测图像作为查询集样本即可实现异常图像分类采集。

本实施例提出了一种基于多尺度注意力耦合机制的小样本交通异常图像采集方法，首先收集数据并制作数据集，其次构造情景任务，利用骨干网络提取情景任务中的样本特征，然后使用多尺度特征解复用器来获取多尺度输入特征；随后使用多域注意力耦合模块和多尺度度量模块来增强了弱相关性，提高了特征多样性表示，以提升图像分类精度；最后通过测试集进行测试，保留最优训练权重。在后续具体应用中，仅需从新布置的摄像头中采集少量希望检测的交通异常图像进行数据标注作为支持集样本，后续采集的待检测图像作为查询集样本即可实现异常图像分类采集。

实施例二

如图4所示，本实施例一种基于多尺度注意力耦合机制的小样本交通异常图像采集系统，其包括如下模块：

数据集制作模块：将摄像头收集的交通异常情形图像打上标签作为有标签数据集，并进一步划分成训练集和测试集；

构造情景任务模块：对样本数据进行数据处理并构造情景任务，从训练集中随机采样样本作为支持集样本和同类样本作为查询样本图像；

特征提取模块：利用骨干网络对每个情景任务中的图像进行特征提取，并获取多尺度输入特征；

多域注意力耦合模块：将两个不同层次注意力结合，形成特征多域层次结构；

多尺度度量模块：将不同尺度度量结果加权聚合，根据最终的支持集和查询集样本间的度量分数实现图像分类；

训练模块：利用损失函数进行端到端训练；

最优训练权重保留模块：进行测试保留最优训练权重；

模型部署及图像采集模块：将训练好最优权重的模型部署到摄像头，将摄像头安置到新场景中，采集交通异常图像进行数据标注作为支持集样本，后续采集的待检测图像作为查询集样本即可实现异常图像分类采集。

数据集制作模块中，将各类经交通异常图像打上标签作为有标签数据集D

构造情景任务模块中，训练集D

构造情景任务T方式如下：训练集

特征提取模块中，利用解复用的思想来构造多尺度输入特征。

情景任务T中全体样本x＝{x

最后在各个尺度上计算出每个情景任务中包含的图像样本类别的类原型。具体来说，在1-shot或者many-shot设置下，类别n的类原型可以由同类样本嵌入特征均值表示：

多域注意力耦合模块中，如图3所示，通过多域注意力耦合模块中的域感知模块生成域重要性权重，并通过注意力耦合结构与自注意力权重结合构建特征多域层次结构。

首先将每个尺度上的原型特征划分为多个子空间形成多域表示。假设域划分个数为H个，那么每个域的特征可以表示为

然后在域感知模块中，本实施例设计了一个可学习参数的自适应空间重要性生成器G

其中θ

其中σ为sigmoid函数，

随后将原型特征

域权重是权衡其中所有特征的结果，为了形成多域权衡，使用元素乘积将其与进行耦合，获得更为有效的特征对关系表示，公式如下：

其中

最后，多域注意力耦合模型输出使用了常规的transformer输出结构来强化特征表示，公式表示如下：

其中||表示级联操作，FFN(Feed Forward Network)表示前馈网络，

多尺度度量模块中，利用多尺度度量模块，将不同尺度上支持样本和查询样本之间的相似性度量结果通过加权聚合方式整合到一起以获取最终度量结果。

通过简单的等额权重对不同尺度特征度量结果进行加权并不是一个最为恰当的选择。在每个独立的情景任务中不同尺度的度量结果贡献存在差异，一个合适的自适应加权方式能最大化利用各个尺度的度量信息。为了达到这一目的，本实施例设计了一个自适应权重生成器G

其中||表示级联操作，θ

其中d(·,·)表示度量函数，本实施例使用了欧式距离函数。

利用最近邻居算法，可以得到查询样本x

训练模块中，损失函数由三部分组成：多尺度分类损失L

首先，为了能够准确预测查询标签，对于多尺度度量结果的分类损失使用交叉熵损失：

其中L

其次，为了防止每个尺度上的域感知力集中在鉴别性更强的域上，需要对域注意力的稀疏性进行约束，以达到不同尺度感知不同域的目的，具体公式如下：

该损失利用了余弦相似性，计算每个尺度上域之间的相似值，当第i和第j个尺度上域相似性很大时，L

最后，为了保证各个尺度预测结果均能向正确的方向进行优化，利用一个平衡损失函数对各个尺度预测结果进行约束：

其中

总的目标函数结合上述提及损失可以表示为：

其中λ

最优训练权重保留模块中，在完整的网络结构搭建完成后，使用初始学习率设置为1×10

模型部署及图像采集模块中，将训练好的模型权重和模型部署到智能摄像头后，仅需将智能摄像头安置到新场景中，采集少量希望检测的交通异常图像进行数据标注作为支持集样本，后续采集的待检测图像作为查询集样本即可实现异常图像分类采集。

本实施例通过模块化设计，最大程度保证了模型的易用性与灵活性。

与现有技术相比，本发明的基于多尺度注意力耦合机制的小样本交通异常图像采集方法及系统，能够利用少数带标签交通异常图像对未分类图像进行正确分类并收集，无需繁琐的大量数据收集以及标注工作，能够快速适应新场景的检测工作。同时通过构建多尺度、多域的特征关系，增强了情景任务中类内特征的弱相关性，提高了类间特征的多样性。具体来说，自注意力机制感知支持样本的类内相关性并实现自适应嵌入特征增强。多尺度结构和多域注意力耦合模块负责通过域感知模块生成域重要性权重，并通过注意力耦合结构与自注意力权重结合构建特征多域层次结构，实现了特征类间的多样性保证。利用上述两点来提高小样本图像分类的准确性。本发明还通过模块化设计，最大程度保证了模型的易用性与灵活性。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。