一招搞定异构联邦学习难题：FedKTL的超高效策略！
一招搞定异构联邦学习难题：FedKTL的超高效策略！
联邦学习是一种在保证数据隐私的前提下，协同多个分散的设备或服务器进行模型训练的技术。近年来，联邦学习在医疗、金融和智能设备等领域取得了显著成果。本文总结了最近两年联邦学习相关的三篇顶会论文的研究成果，这些研究分别针对异构联邦学习、增量语义分割和差分隐私等问题提出了新的解决方案。
1. FedKTL：上传高效的异构联邦学习知识转移方案
这篇文章提出了一种名为Federated Knowledge-Transfer Loop (FedKTL)的上传高效知识转移方案，旨在解决异构联邦学习（Heterogeneous Federated Learning, HtFL）中存在的数据和模型异构性问题。FedKTL利用服务器端的预训练生成器所存储的知识，通过生成与客户端任务相关的原型图像-向量对，帮助客户端模型学习并提升性能。
主要贡献和特点
- 上传高效：FedKTL通过服务器上的生成器推理产生少量全局原型图像-向量对，这些向量对与客户端任务相关，使得客户端可以通过额外的监督本地任务转移来自生成器的预存知识。
- 解决异构性问题：该方案适用于客户端模型架构不同的场景，能够处理数据和模型的异构性。
- 实验验证：在四个数据集上进行了广泛的实验，包括CIFAR10、CIFAR100、Tiny-ImageNet和Flowers102，使用了包括CNN和ViT在内的14种模型架构。实验结果显示FedKTL在准确性上超过了七种最先进方法，最高提升达到了7.31%。
- 适用性：FedKTL即使在只有一个边缘客户端的场景中也适用，展示了其在实际应用中的潜力。
- 代码开源：文章提供了实现FedKTL的代码，增加了研究的可复现性和实用性。
方法概述
- 原型生成：每个客户端首先生成类别原型。
- 上传原型：客户端将原型上传到服务器。
- 特征转换器训练：服务器训练一个特征转换器（F），将客户端原型转换为有效的潜在向量。
- 图像生成：服务器使用类别中心潜在向量生成图像，并将图像-向量对分发给客户端。
- 本地训练：客户端使用本地数据和接收到的图像-向量对进行额外的监督学习，增强模型的特征提取能力。
2. FISS：联邦增量语义分割
这篇文章提出了一种名为Federated Incremental Semantic Segmentation (FISS)的新问题，即在保护隐私的前提下，通过分布式训练学习一个全局模型，以解决在不同本地客户端上连续收集到的新类别的语义分割问题。FISS面临的主要挑战是本地客户端和不同客户端之间的异构遗忘，即在接收新类别的同时，对旧类别的记忆存储不足。
为了解决这个问题，文章提出了一种Forgetting-Balanced Learning (FBL)模型。FBL模型通过以下几个关键组件来解决FISS问题：
- 自适应类平衡伪标签生成：针对背景偏移问题，FBL模型开发了一种自适应类平衡伪标签方法，为旧类别生成可信的伪标签。
- 遗忘平衡语义补偿损失：提出了一种新的损失函数，考虑了不同旧任务间的平衡梯度传播，以解决本地客户端内部的异构遗忘问题。
- 遗忘平衡关系一致性损失：设计了一种新的损失函数，通过关系原型来补偿异构关系蒸馏增益，解决本地客户端内部的异构遗忘问题。
- 任务转换监控器：为了解决不同客户端之间的异构遗忘问题，提出了一种任务转换监控器，它可以在保护隐私的情况下自动识别新类别，并存储最新的旧全局模型以进行关系蒸馏。
文章通过在Pascal-VOC 2012和ADE20k数据集上的实验，验证了FBL模型在多种FISS设置下的有效性。实验结果表明，与现有的增量语义分割方法相比，FBL模型在mIoU（mean Intersection over Union）上取得了显著的改进，证明了其在解决FISS问题方面的优越性。
此外，文章还进行了消融研究，证明了模型中所有设计模块的有效性，包括自适应类平衡伪标签生成、遗忘平衡语义补偿损失和遗忘平衡关系一致性损失。通过这些组件，FBL模型能够在保护隐私的同时，协作地学习一个全局增量分割模型。
3. DP-FedSAM：差分隐私联邦学习中的性能优化
这篇文章提出了一种新的算法，旨在解决在联邦学习（FL）中由于引入差分隐私（DP）而造成的性能下降问题。文章首先介绍了联邦学习（FL），这是一种允许分布式客户端协作训练共享模型而不共享数据的技术。然而，FL面临着隐私泄露的严重困境，包括服务器可能通过精心设计的生产模型或影子模型推断客户端的隐私信息。为了解决这个问题，文章引入了差分隐私（DP），这是一种保护客户端数据隐私的标准方法。
文章指出，现有的客户端级DP联邦学习方法通过裁剪局部更新并添加随机噪声来保护隐私，但这些方法往往会导致损失景观变得更加陡峭，从而降低模型的权重扰动鲁棒性，最终导致严重的性能下降。为了缓解这些问题，文章提出了一种名为DP-FedSAM的新型DPFL算法。该算法利用梯度扰动来减轻DP的负面影响，通过集成Sharpness Aware Minimization（SAM）优化器来生成具有更好稳定性和权重扰动鲁棒性的局部平坦模型，从而改善性能。
从理论角度来看，文章详细分析了DP-FedSAM如何减轻由DP引起的性能下降，并给出了严格的隐私保证以及局部更新的敏感性分析。文章还通过实验证实了所提算法与现有的最先进基线相比，在DPFL中实现了最先进的性能。
文章的主要贡献可以总结为四点：
- 提出了DPFedSAM方案，从优化器的角度缓解了DPFL中的性能下降问题；
- 建立了比传统界限更紧的收敛速率，并提供了严格的隐私保证和敏感性分析；
- 首次深入分析了局部更新的平均范数αt和客户端之间局部更新的一致性˜αt对收敛的影响；
- 通过大量实验验证了DP-FedSAM的效果，与几个强DPFL基线相比，实现了最先进的性能。
文章还回顾了相关工作，包括客户端级DPFL和SAM优化器。客户端级DPFL是保护客户端数据的实际方法，而SAM优化器是一种有效的深度学习模型训练优化器，它利用损失景观的平坦几何形状来提高模型的泛化能力。
在方法论部分，文章详细描述了DP-FedSAM的工作原理，包括如何采用SAM优化器在每个客户端中生成局部平坦模型，并通过聚合多个局部平坦模型来生成具有更高泛化能力和更好对抗DP噪声鲁棒性的全局平坦模型。
在理论分析部分，文章提供了对DP-FedSAM的敏感性、隐私和收敛速率的严格分析。文章首先给出了几个必要的假设，然后提供了局部更新的敏感性分析，并推导出客户端级DP在DP-FedSAM中的敏感度。
文章的实验部分对DP-FedSAM的有效性进行了广泛的验证。作者在EMNIST、CIFAR10和CIFAR-100数据集上进行了实验，并在独立同分布（IID）和非IID设置中进行了评估。实验结果表明，DP-FedSAM在保持隐私的同时，显著提高了性能，减少了DP引入的模型不一致性问题。