Federated Learning 的一些基本知识和分类

definition of federated learning

定义有N个用户

每一个人所含有的私有数据为

传统的深度学习算法将每一个用户的数据收集在一块儿获得总的数据集

再进行训练一个模型

Federated Learning的训练方法是每个用户利用本身的数据进行模型训练

不一样用户之间不进行数据共享。这时定义总数据集模型的正确率与分用户模型的正确率之差为δ-accuracy lossweb

一些保护隐私数据的方法

Secure Multi-party Computation ：框架设计使模型只能获得输入这个模型的数据。彻底杜绝了不一样用户下相互传递信息的状况。
Differential Privacy：对数据进行加密，但再root端仍是有可能对数据进行泄露。
Homomorphic Encryption：一样采用加密方法，经过机器学习方法进行加密。数据和模型都不会被传数，同时也不能经过对接收数据进行猜想来还原用户数据算法

Federated Learning 的三种分类方式：

定义 Xi为不一样用户模型所须要的特征空间，Yi为不一样用户数据的标记空间，Ii为不一样用户的数据ID空间。
Horizontal Federated Learning：用户据有不一样的用户群体，但面对相同的目标任务。即

好比有两个不一样的银行，他们面对的用户群体可能存在差别好比一个银行面对的是世界顶级富豪，另一个银行面对的是大多数正常家庭，他们具备不一样的数据，但都是银行因此须要提取的特征空间是一致的。
框架

Vertical Federated Learning：具备相同的用户群体，但模型目标不一致。即

好比一家银行和一个电商公司，他们面对相同的客户群，可是须要的模型功能，面对的任务都不一样。机器学习

Federated Transfer Learning：最困难的一种，模型目标、用户群体都不一样。真正体现迁移学习的难度与做用。svg

本文相关知识和图片来自：香港科技大学迁移学习大牛 Q Yang 2019年的文章：Federated Machine Learning: Concept and Applications学习