TFServing的特点：

•  支持模型版本控制和回滚：Manager会进行模型的版本的管理
•  支持并发，实现高吞吐量
•  开箱即用，并且可定制化
•  支持多模型服务
•  支持批处理
•  支持热更新：Source加载本地模型，通知Manager有新的模型需要加载，Manager检查模型的版本，通知Source创建的Loader进行加载模型
•  支持分布式模型

TFserving安装

强烈建议采用docker方式安装TFserving，安装依赖docker和nvidia-docker（TFserving的gpu需要）

•  docker 安装 

1. #安装yum-utils工具和device-mapper相关依赖包  
2. yum install -y yum-utils \  
3. device-mapper-persistent-data \  
4. lvm2  
5. #添加docker-ce stable版本的仓库  
6. yum-config-manager \  
7. –add-repo \  
8. https://download.docker.com/linux/centos/docker-ce.repo 
9. #更新yum缓存文件 
10. yum makecache fast  
11. #查看所有可安装的docker-ce版本  
12. yum list docker-ce –showduplicates | sort -r  
13. # 安装docker-ce 
14. yum install docker-ce-17.12.1.ce-1.el7.centos  
15. #允许开机启动docker-ce服务  
16. systemctl enable docker.service  
17. #启动Docker-ce服务  
18. systemctl start docker  
19. #运行测试容器hello-world 
20. docker run –rm hello-world 

•  nvidia-docker 安装 

1. # 安装nvidia-docker2  
2. yum install -y nvidia-docker2-2.0.3-1.docker17.12.1.ce  
3. # 重启docker服务  
4. service docker restart 

•  安装TFserving 

1. docker pull tensorflow/serving:latest-gpu  
2. # 可以选择其他版本如 docker pull tensorflow/serving:1.14.0-rc0-gpu 

注意：docker版本和nvidia-docker要匹配

•  目前最新的nvidia-docker需要Docker为19.03 可参考官方https://github.com/NVIDIA/nvidia-docker
•  nvidia-docker2 支持Docker版本低于19.03的其他版本（需>=1.12），现有服务器有18.09,1.17,1.13  https://github.com/NVIDIA/nvidia-docker/wiki/Installation-(version-2.0)