联邦学习开源框架FATE LTS版本发布,全新客户端套件助力高效开发

注:微信公众号不按照时间排序,请关注“亨利笔记”,并加星标以置顶,以避免错过更新。git

咱们 VMware 云原生实验室的团队在参与联邦学习领域的开源项目 FATE 和 KubeFATE 的贡献,帮助用户应对链接数据孤岛、打破部门墙的挑战,即解决人工智能的最后一千米的问题。本文转发自 FATE开源社区 公众号。github

企业发展到必定阶段,各事业部之间的数据每每都各自存储,各自定义。每一个事业部的数据就像一个个孤岛同样,没法进行链接互动。又或者不一样机构组织间,受隐私保护条例法律的约束,没法进行关联交互,这样的状况称为“数据孤岛”。算法

为了链接不一样组织机构间的数据,使数据获得更大的应用价值,微众银行人工智能部提出了基于“联邦学习”的系统性的通用解决方案,并在2019年开源了全球首个工业级开源框架——FATE。c#

经历了近两年的沉淀,FATE在近期发布了首个长效稳定版本v1.5(下称LTS)。这两年期间,FATE在开源仓库GitHub上,FATE团队累计合入提交代码7600+次,根据调研需求完成上百项不一样用户场景的功能新增与迭代。经过开源社区大量不一样行业领域的用户,不一样应用场景的生产环境反馈积累,FATE获得了全面的完善提高。安全

据官方团队介绍,这次版本规划将会持续维护两年以上,为商业化应用提供稳定基础,将来将持续探索多方联合建模,数据应用的更多可能性。同时经历过系统框架层重构后,不只在性能表现上有长足的进步,1.5LTS版本还具有优秀的灵活扩展性,用户能够便捷按需取用不一样模块,进行二次开发。性能优化

如下为FATE v1.5 LTS版本微信

各模块的详细介绍网络

FederatedML架构

性能再翻番,覆盖更全面的联邦算法,提高工业实用性并发

做为长效版本,咱们吸收了来自众多行业的社区用户生产经验,为了兼顾不一样领域的场景,咱们加入了更多的算法、协议等,如新增纵向联邦FastSecureBoost、纵向联邦SecureBoost的complete secure机制、DataStatistic、纵向KMeans、评分卡,以及Oblivious Transfer协议和RandomIterativeAffine同态加密协议。

除此之外,针对已有算法进行升级与优化,如纵向FTL的全新重构,使得性能比上一版本呈指数级的提高;纵向联邦 SecureBoost 直方图统计过程使用矩阵运算对高维稀疏数据优化;纵向联邦 SecureBoost 预测性能优化,预测交互次数下降为树最大深度,在100 颗树下能达到32倍的性能提高;纵向特征选择全新升级,增长 SecureBoost 特征重要度&特征PSI指标过滤器;纵向联邦特征分箱计算逻辑优化,性能提高30%-50%;纵向GLM计算逻辑优化,性能提高10%+。更多的提高体验,欢迎前往github.com/FederatedAI获取体验。

FATE-Flow

易扩展,高可用

FATE-Flow是联邦学习框架FATE的做业调度系统,实现联邦学习做业生命周期的完整管理,其中包括数据输入、训练做业调度、指标追踪、模型中心等功能。

这次版本更新,核心的调度能力升级,支持组件多输出、组件任务并行和组件任务重跑;资源调度能力升级,依据不一样计算引擎,支持调整核数、内存、工做节点数粒度。除此之外,还新增了DSL v二、模型注册中心,以及适配各类数据源的数据读取组件,大大地提高了易用性。

FATE-Client

全新的fate调用方式

FATE-Client包括Pipeline、Flow CLI v2和Flow SDK,经过发布pypi包的形式,用户经过pip指令能够直接安装和使用,这个fate 第一次提供这样的调用方式,简化用户使用pipeline或者fate cli指令的流程。

FATE-Test

自动化、自动化、自动化,重要的事情说三遍

FATE-Test模块是fate-1.5版本的新特点,目前提供全面回归fate算法库全部功能,以及经常使用的建模算法中心化训练与FATE联邦训练的正确性对比,及算子调用和传输时间统计。

未来,FATE-Test模块会集成更多新的功能,好比大数据压力测试、多任务并发等等,自动化测试是将来的终极目标。

FATE-Board

数据与交互解耦,效率与流畅度提高

FATEBoard是联邦学习建模的可视化工具,旨在帮助用户简单而高效地理解模型与探索模型,从而更有效地调试和改善模型效果。

此次丰富的更新,提供更多新增算法模型的可视化,并提高已有算法模型的可视化,同时图形界面的可操做空间也有提高,如任务重试以及从FATEBoard下载算法组件的模型和数据等。


以上为FATE各个模块的详细介绍。这次更新,FATE系统总体的结构弹性化是一重要的优化。全新的架构,支持了不一样的计算、存储、传输引擎结合,以及新增的Spark、HDFS、RabbitMQ引擎,新增的数据表管理功能,储存引擎统一的API,都在帮助不一样行业领域用户,按需取用FATE不一样的功能模块。

据介绍,新增的能力有许可能是来自于开源社区中的体验反馈,也由于不断反馈到不断实现的正循环,FATE开源社区已经壮大至超过500家企业与220所高校等科研机构的开发团队参与共建。

此次FATE LTS的版本,除了总结这近千个合做伙伴的业务场景经验,给予稳定工业生产的版本更新之外。团队将会挖掘将来商业化的可能性,如近期开源的联邦学习云服务——FATE Cloud,该模块使FATE可实现多云管理,造成了一种安全的联邦数据网络。旨在为跨机构间、机构内部不一样组织间提供安全可靠、合规的数据合做网络构建解决方案,提供企业级的联邦学习生产力应用解决方案。开源仓库位于GitHub/FederatedAI/FATE-Cloud,欢迎前往获取。

对用户关注的联邦学习平台运维管理,可使用 KubeFATE 项目的云原生解决方案。更多细节将在后续文章中介绍,敬请关注。

相关文章:

用KubeFATE在Kubernetes上部署联邦学习集群

KubeFATE 部署多集群联邦学习平台 FATE

详情可查阅 FATE / KubeFATE 官网项目文档:

https://fate.fedai.org/contribute/

https://github.com/FederatedAI/KubeFATE

知乎:FedAI联邦学习

CSDN:FedAI Ecosystem

bilibili:FedAI联邦学习


要想了解云原生、区块链和人工智能等技术原理,请当即长按如下二维码,关注本公众号亨利笔记 ( henglibiji ),以避免错过更新。

相关文章
相关标签/搜索