总目录
(一)联邦学习-入门初识
(二)联邦学习-Fate单机部署
(三)微众Fate-横向联邦学习实践-训练评估
(四)微众Fate-横向学习联邦-预测
(五)微众Fate-横向联邦学习实践-在线预测python

1.fate-serving介绍

fate-serving是FATE的在线部分，在使用FATE进行联邦建模完成以后，可使用fate-serving进行在线联合预测。git

如上图所示，整个集群须要有几个组件github

• serving-server
• serving-proxy
• zookeeper 3.4+
• redis 4.0+

serving-serverweb

serving-server用于处理全部的在线预测请求、以及模型加载请求。serving-server须要从fate-flow加载模型成功以后才能对外提供服务。在FATE中建好模型以后，经过fate-flow的推送模型脚本能够将模型推送至serving-server。redis

推送成功以后，serving-server会将该模型相关的预测接口注册进zookeeper ，外部系统能够经过服务发现获取接口地址并调用。同时本地文件持久化该模型,以便在serving-server实例在集群中某些组件不可用的状况下，仍然可以从本地文件中恢复模型。docker

serving-proxyjson

serving-proxy 是serving-server的代理，对外提供了grpc接口以及http的接口，主要用于联邦预测请求的路由转发以及鉴权。在离线的联邦建模时，每个参与方都会分配一个惟一的partId。serving-proxy维护了一个各参与方partId的路由表，并经过路由表中的信息来转发请求。api

1.1 部署流程

2.环境准备

3.编译fate-serving fate-proxy

根据上面对在线联合预测架构说明，咱们须要启动fate-serving以及fate-proxy两个服务。bash

1.clone源码到本地架构

源码地址：https://github.com/FederatedAI/FATE-Serving

2.执行命令编译

cd ~/FATE-Serving
 mvn clean package

编译成功后，结果以下：

为了使用方便，将编译好的fate-serving以及fate-proxy包copy出来

fate-serving目录结构以下：

fate-proxy目录结构以下：

结构说明参考fate-serving.

4. 配置并启动fate-serving

fate-serving的相关配置主要是在conf/serving-server.properties 文件下

这边提供个人配置参考以下：

ip=0.0.0.0
port=8000
#serviceRoleName=serving
#inferenceWorkerThreadNum=10
# cache
#remoteModelInferenceResultCacheSwitch=true
# in-process cache
#modelCacheMaxSize=100
#remoteModelInferenceResultCacheTTL=300
#remoteModelInferenceResultCacheMaxSize=10000
#inferenceResultCacheTTL=30
#inferenceResultCacheCacheMaxSize=1000
# external cache
redis.ip=192.168.2.103
redis.port=6379
#redis.password=fate_dev
#redis.timeout=10
#redis.maxTotal=100
#redis.maxIdle=100
#external.remoteModelInferenceResultCacheTTL=86400
#external.remoteModelInferenceResultCacheDBIndex=0
#external.inferenceResultCacheTTL=300
#external.inferenceResultCacheDBIndex=0
#canCacheRetcode=0,102
#external.processCacheDBIndex=0

# adapter
OnlineDataAccessAdapter=MockAdapter
InferencePostProcessingAdapter=PassPostProcessing
InferencePreProcessingAdapter=PassPreProcessing
# external subsystem

# model transfer
model.transfer.url=http://127.0.0.1:9380/v1/model/transfer
# zk router
zk.url=zookeeper://localhost:2181
useRegister=true
useZkRouter=true
# zk acl
#acl.enable=false

主要配置服务端口、redis相关以及zookeeper相关，必须保证redis与zookeeper能连通。

而后愉快地启动fate-serving服务便可

具体命令以下

sh service.sh start

启动成功后，还得观察日志，tail -fn 300 logs/fate-serving-server.log是否报错。

5. 配置fate-serving到fate-flow

要实如今线预测必须将通过fate-flow训练的模型经过api提供到fate-serving，所以须要在fate-flow配置fate-serving的服务地址。

docker exec -it fate_python bash 进入fate-flow容器

编辑配置文件vi arch/conf/server_conf.json

保存成功后，docker restart fate_python从新启动容器.

6. 配置并启动fate-proxy

客户端经过http协议与fate-proxy交互，并非直接与fate-serving交互。

编辑 fate-proxy编译目录下的 conf/application.properties 以下：

# same as partyid
coordinator=1000
server.port=8059
#inference.service.name=serving
## actuator
#management.server.port=10087
#management.endpoints.web.exposure.include=health,info,metrics

#random, consistent
#routeType=random

route.table=conf/route_table.json
#auth.file=/data/projects/fate-serving/serving-proxy/conf/auth_config.json

useZkRouter=true
zk.url=zookeeper://localhost:2181

主要配置项是zookeeper,zookeeper做为服务注册中心，当模型被推送到fate-serving后会产生一系列服务注册到zookeeper,fate-proxy经过zookeeper发现服务。

而后愉快地启动fate-proxy服务便可

具体命令以下

sh service.sh start

7.推送模型

通过2-6步骤咱们已经准备就绪。

docker exec -it fate_python bash 进入fate-flow容器

编辑 examples/publish_load_model.json

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mVCDV10c-1586249085597)(C:\Users\lps\Documents\myblog\fate\1.fate-serving介绍.assets\image-20200407162703012.png)]

执行如下命令推送模型：

python fate_flow_client.py -f load -c examples/publish_load_model.json

输出结果：

8. 绑定模型

docker exec -it fate_python bash 进入fate-flow容器

编辑 examples/bind_model_service.json

执行如下命令推送模型：

python fate_flow_client.py -f bind -c examples/bind_model_service.json

输出结果：

9. 在线预测

接口地址：

http://192.168.2.103:8059/federation/v1/inference

1.ip:port 对应fate-proxy的ip:port

2. 后面v1好像就是v1了，表示接口版本

请求方式

POST

请求参数

返回结果：

显示按照提供参数80%可能性恶性

对比我预测前的结果数据为 1 ，接近预测结果。

10.总结

以上的实践主要是单机版的，因此在在线联合预测上面并无实践，后面将会进行补充，从架构来看，联合的核心主要是经过fate-proxy，经过配置路由表的方式，双方使用共同模型，由数据使用方（Guest）发起请求，对样本数据进行处理，再获取数据提供方（Host）对样本数据的处理结果，进行整合返回。

参考资料

[https://github.com/FederatedAI/FATE-Serving/wiki