一种基于联邦学习的多用户协同训练人流统计方法及系统

摘要

本发明提供一种基于联邦学习的多用户协同训练人流统计方法，旨在利用联邦学习框架搭建一个新颖的人群计数模型，达到让多用户多设备同时训练的目的。各个客户端利用图像数据集对图像分类网络进行本地训练以获取本地模型；在各经过至少一次本地训练后，中心服务器从客户端获取本地模型的权值及附加层参数并进行聚合处理；中心服务器利用聚合处理后的权值及附加层参数更新全局模型，并将聚合处理后的权值参数及附加层参数返回给各个客户端；各个客户端利用中心服务器返回的权值以及ground truth值进行贝叶斯估计，计算loss值，并利用返回的权值参数及附加层参数更新本地模型；重复执行直至所有客户端的loss值均收敛，则完成人流统计全局模型和本地模型的训练。

说明书

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于联邦学习的多用户协同训练人流统计方法及系统。

背景技术

人群计数是一种成熟的视觉技术，但它仅限于少数场景。跨多个客户端学习共享模式并保持隐私在现实生活场景中，如公共安全、医疗信息采集、社会资源管理等都具有重要意义。

2019年9月10日发生的卡尔巴拉（Karbala）踩踏事件或2014年12月31日发生的上海踩踏事件（Shanghai stampede）以及COVID-19病毒（COVID-19 virus）的爆发向社会传达了在许多安全关键场景中进行人流统计的必要性。基于人群统计模型的智能监控系统在公安、医疗信息采集、社会资源管理等领域有着广泛的应用，同时，随着数据采集技术和高效移动计算设备的发展，多客户机可以参与到集中训练中。群组训练数据可以在中央服务器上聚合，以训练更好的群组计数机器学习模型，但用户必须牺牲其个人私有数据隐私。

在联邦学习中，多客户机协同实现全局模式的更新和迭代。而学习过程却只在每个本地客户端下进行。在与中心服务器通信的过程中，用户只需上传梯度和参数更新进行聚合。更新后的模型将由中央服务器分发给客户机。从理论上讲，由于联邦学习的隐私保护特性，它可以有效地防止客户端潜在的隐私泄露风险。此外，避免了大量的数据加载，不同类型的移动计算设备可以参与到同一个学习系统中，单个客户端只需要较少的训练集就可以完成任务都是联邦学习的特长。

尽管联邦学习有其优点，但很少有研究提及联邦学习用于训练人群计数任务。曾有研究提到了将监控摄像头应用于人员重新识别应用。但现实场景中数据的异构性和多样性，即非同一独立分布（non-IID），成为了联邦学习人群统计的难解问题之一。并且在在最近的研究发现，联邦学习在处理非IID数据方面的表现显著下降。本地模型会遭受收敛的挑战，模型的精度降低，尤其是FEDAVG框架。

发明内容

本发明针对现有技术中存在的技术问题，提供一种基于联邦学习的多用户协同训练人流统计方法及系统，旨在利用联邦学习框架搭建一个新颖的人群计数模型，达到让多用户多设备同时训练的目的。

本发明解决上述技术问题的技术方案如下：

第一方面，本发明提供一种基于联邦学习的多用户协同训练人流统计方法，通过联合多种异构设备协同训练同一种神经网络架构，并实现分布式实施监控统计人流量，包括以下步骤：

S1，各个客户端利用图像数据集对图像分类网络进行本地训练以获取本地模型；

S2，在各个客户端经过至少一次本地训练后，中心服务器从客户端获取本地模型的权值参数及附加层参数并进行聚合处理；参与聚合处理的客户端数量少于或等于客户端总数；

S3，中心服务器利用聚合处理后的权值参数及附加层参数更新全局模型，并将聚合处理后的权值参数及附加层参数返回给各个客户端；

S4，各个客户端利用中心服务器返回的权值以及ground truth值进行贝叶斯估计，计算loss值，并利用中心服务器返回的权值参数及附加层参数更新本地模型；

S5，重复执行步骤S1~S4，直至所有客户端的loss值均收敛，则完成人流统计全局模型和本地模型的训练。

进一步的，模型训练时，在步骤S1之前还包括，按照客户端数量对图像数据集进行等分，并作为本地数据集分配给各个客户端。

进一步的，所述的步骤S1包括：

各个客户端通过双线性插值方法将数据集中的图像压缩至原始大小的1/8；随后客户端将压缩后的图像经过转两个3*3卷积层转换成特征值，作为MSRA初始化参数。

进一步的，所述的中心服务器从各个客户端获取本地模型的权值参数及附加层参数并进行聚合处理，包括：

设

则聚合处理后的输出值为：

式中，c表示表示参与当前轮次训练的总数据量，c

进一步的，所述的步骤S4包括：

令：

针对客户端j，计算损失函数得到loss值：

式中，

进一步的，步骤S4中所述的利用中心服务器返回的权值参数及附加层参数更新本地模型，包括：

采用随机梯度下降方法，根据下式更新本地参数：

式中，η表示随机梯度下降算法的学习率，

进一步的，所述的随机梯度下降算法，以批量大小为B=1，学习率为η=0.00005的本地历元数E=100为目标，对本地模型进行训练。

为了优化FedCrowdCounting在处理异构数据时的性能，提出了一种改进EWMA优化算法，假设系数β={0.998, 0.98, 0.9, 0.5, 1}表示加权下降的速率，则本地随机梯度下降算法可表示为：

（

完成一次全局模型更新后，中心服务器将更新后的

第二方面，本发明提供一种基于联邦学习的多用户协同训练人流统计系统，包括：

客户端模块，利用图像数据集对图像分类网络进行本地训练以获取本地模型；利用中心服务器返回的权值参数及附加层参数更新本地模型，并利用中心服务器返回的权值以及ground truth值进行贝叶斯估计，得到loss值，并进行反向传播，更新参数；

中心服务器模块，在各个客户端经过至少一次本地训练后，从各个客户端获取本地模型的权值参数及附加层参数并进行聚合处理；利用聚合处理后的权值参数及附加层参数更新全局模型，并将聚合处理后的权值参数及附加层参数返回给各个客户端；

训练终止判断模块，用于判断客户端的loss值是否收敛，并依据loss值判断结果判断是否终止人流统计全局模型和本地模型的训练。

第三方面，本发明提供一种电子设备，包括：

存储器，用于存储计算机软件程序；

处理器，用于读取并执行所述存储器中存储的计算机软件程序，以实现本发明第一方面所述的一种基于联邦学习的多用户协同训练人流统计方法。

第四方面，本发明提供一种计算机可读存储介质，所述存储介质用于存储用于实现本发明第一方面所述的一种基于联邦学习的多用户协同训练人流统计方法的计算机软件程序。

本发明的有益效果是：设计了一个群体计数任务的联合学习框架。贝叶斯估计应用于每个用户的本地训练中，以优化系统对密度图的处理性能。贝叶斯估计能够准确地预测每个密度图中包含的总人数，这对于训练本地模型来说非常重要。

经试验证明，改进后的本地更新方法有效的使得本地更新不会太过远离全局模型，当前轮的权值更新始终与全局模型保持一定距离。容忍系统异构性的同时极大的降低了Non-IID的影响。

附图说明

图1为本发明实施例提供的一种基于联邦学习的多用户协同训练人流统计方法流程图；

图2为本发明实施例提供的训练过程中权值更新示意图；

图3为本发明实施例提供的一种基于联邦学习的多用户协同训练人流统计系统结构图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

本发明实施例提供一种基于联邦学习的多用户协同训练人流统计方法，通过联合多种异构设备协同训练同一种神经网络架构，并实现分布式实施监控统计人流量。

与以数据驱动的机器学习方式不同，联邦学习致力于保护客户端、异构数据和大规模分布式网络的隐私。在联邦学习的系统中，每个客户端都有自己的本地训练数据集，这些数据集不需上载到中心服务器或与其他客户端交换。相反，每个客户端只需要计算一个更新，这是客户端和服务器之间唯一的联系资源，用于迭代全局模型。

当前发布的优化方法是针对分布式网络中的特定挑战而定制的。允许局部不精确的本地更新影响、平衡大型网络中通信和计算的成本，并且一些客户端可以在任何通信回合中处于活动状态。例如，2017年提出的一种启发式技术--联邦平均法（Fe-dAvg），该方法基于对原始局部随机梯度下降（SGD）更新的平均，并已被实验证明效果良好。FedAvg的本地升级方案使得计算来自多个客户端的异构数据成为一项具有挑战性的任务。因此，许多学者已转向研究非联邦系统，如并行SGD和一些相关变体。IID数据集的训练对于分析有一定的相关性，但对于异构数据集则不可行。

在这项工作中，我们提出了FedCrowdCounting，一个新颖的人群计数任务协作训练框架。多个客户机共同训练一个共享模型，以克服拥挤造成的问题。应用贝叶斯估计来确保在局部训练阶段处理密度图的一致性。在优化算法中提出了差分聚合方法，较好地保证了异构数据处理的准确性和客户端的安全性。

具体的，本发明实施例中所提供的方法，如图1图2所示，包括以下步骤：

S1，各个客户端利用图像数据集对图像分类网络进行本地训练以获取本地模型；

各个客户端通过双线性插值方法将数据集中的图像压缩至原始大小的1/8；随后 客户端将压缩后的图像经过转两个3*3卷积层转换成特征值，作为MSRA初始化参数。这里图 像分类网络采用修改后的VGG19模型处理图像，省略了最后一个池和相应的全连接层。两个 3*3卷积层分别由256和128个通道组成。VGG19模型包含权值参数及附加层参数

完成一次本地训练。t表示进行本地训练的次数，

S2，在各个客户端经过至少一次本地训练后，中心服务器从客户端获取本地模型的权值参数及附加层参数并进行聚合处理；

中心服务器从客户端获取本地模型的权值参数及附加层参数并进行聚合处理时，参与聚合处理的客户端数量少于或等于客户端总数，即并非完全抽取所有客户端的权值参数及附加层参数。

这里设

则聚合处理后的输出值为：

式中，c表示表示参与当前轮次训练的总数据量，c

S3，中心服务器利用聚合处理后的权值参数及附加层参数

S4，各个客户端利用中心服务器返回的权值以及ground truth值进行贝叶斯估计，计算得到loss值，并利用中心服务器返回的权值参数及附加层参数更新本地模型；

令：

在先验标记概率

针对客户端j，通过下式计算损失函数得到loss值：

式中，

采用随机梯度下降方法，以批量大小为B=1，学习率为η=0.00005的本地历元数E=100为目标，对本地模型进行训练。根据下式更新本地参数：

式中，η表示随机梯度下降算法的学习率，

S5，重复执行步骤S1~S4，直至所有客户端的loss值均收敛，则完成人流统计全局模型和本地模型的训练。

为了优化FedCrowdCounting在处理异构数据时的性能，提出了一种改进EWMA优化算法，假设系数β={0.998, 0.98, 0.9, 0.5, 1}表示加权下降的速率，则本地随机梯度下降算法可表示为：

（

完成一次全局模型更新后，中心服务器将更新后的

在上述实施例的基础上，本发明实施例还提供一种基于联邦学习的多用户协同训练人流统计系统，如图3所示，包括：

客户端模块，利用图像数据集对图像分类网络进行本地训练以获取本地模型；利用中心服务器返回的权值参数及附加层参数更新本地模型，并利用中心服务器返回的权值以及ground truth值进行贝叶斯估计，得到loss值；

中心服务器模块，在各个客户端经过至少一次本地训练后，从各个客户端获取本地模型的权值参数及附加层参数并进行聚合处理；利用聚合处理后的权值参数及附加层参数更新全局模型，并将聚合处理后的权值参数及附加层参数返回给各个客户端；

训练终止判断模块，用于判断客户端的loss值是否收敛，并依据loss值判断结果判断是否终止人流统计全局模型和本地模型的训练。

进一步的，客户端模块进行本地训练以获取本地模型，包括：各个客户端通过双线 性插值方法将数据集中的图像压缩至原始大小的1/8。随后客户端将压缩后的图像经过转 两个3*3卷积层转换成特征值，作为MSRA初始化参数。然后，通过图像处理模型VGG-19修改 最后的全连接层FC达到对应的处理，并通过贝叶斯估计计算得到Loss值，即可独立进行本 地模型的自我更新。同时，各客户端时刻聆听，是否需要上传当前训练轮次的参数

本发明实施例还提供一种电子设备，包括：

存储器，用于存储计算机软件程序；

处理器，用于读取并执行所述存储器中存储的计算机软件程序，以实现一种基于联邦学习的多用户协同训练人流统计方法，该方法包括以下步骤：

S1，各个客户端利用图像数据集对图像分类网络进行本地训练以获取本地模型；

S2，在各个客户端经过至少一次本地训练后，中心服务器从客户端获取本地模型的权值参数及附加层参数并进行聚合处理；参与聚合处理的客户端数量少于或等于客户端总数；

S3，中心服务器利用聚合处理后的权值参数及附加层参数更新全局模型，并将聚合处理后的权值参数及附加层参数返回给各个客户端；

S4，各个客户端利用中心服务器返回的权值以及ground truth值进行贝叶斯估计，计算得到loss值，并利用中心服务器返回的权值参数及附加层参数更新本地模型；

S5，重复执行步骤S1~S4，直至所有客户端的loss值均收敛，则完成人流统计全局模型和本地模型的训练。

本发明实施例还提供一种计算机可读存储介质，所述存储介质用于存储用以实现上述的一种基于联邦学习的多用户协同训练人流统计方法的计算机软件程序。

需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。