联邦学习论文阅读:Asynchronous Federated Optimization

这是UIUC的一篇刚刚挂在arXiv上的文章:Asynchronous Federated Optimization

我对边缘计算和异步算法不太了解,直观的理解是作为一个user,我上传的梯度参数是延迟的,也就是说central server当前已经更新过这次的梯度了,并且已经开始计算下一次甚至下下次的global gradient了,那么我这次的参数实际上是混在其他用户下一次更新的数据中的。

需要考虑的问题可能有:
1)有延迟后是否还能最终收敛? 2)有延迟是否会让收敛变慢?

作者主要也是考虑这两个问题,提出了一个超参 α {\alpha} ,用于控制延迟的更新参数的权重。

摘要
之前联邦学习都是同步更新模型,对于横向联邦学习框架,手机端由于内存小,通信问题很容易造成上传延迟或是丢包等等问题,因此作者提出了一种异步更新的联邦学习算法,并证明了其收敛性。

算法
在这里插入图片描述

实验

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述