Skip to content
Permalink
Branch: master
Find file Copy path
Find file Copy path
Fetching contributors…
Cannot retrieve contributors at this time
executable file 209 lines (130 sloc) 9.85 KB

Quick Start Overview

本文档主要包括如下部分:

  • Orion vGPU软件架构

  • Orion vGPU软件服务器端安装部署

  • 场景一:Docker 容器中使用本地节点GPU资源

  • 场景二:KVM 虚拟机中使用本地节点GPU资源

  • 场景三:在没有GPU的节点上使用远程节点上的GPU资源

  • 附录

本文档的目标是使读者能够快速在 1-2 台机器上部署 Orion vGPU 软件,并使用 Orion vGPU 进行深度学习加速。在三个典型场景中,我们展示在不同的环境下,如何运用Orion vGPU软件使用官方 TensorFlow 进行模型训练与推理。

更多主题,请参见我们的 用户手册 以及 技术博客

Orion vGPU软件架构

Architecture Overview

Orion Client

该组件为一个运行时环境,模拟了NVidia CUDA的运行库环境,为CUDA程序提供了API接口兼容的全新实现。通过和Orion其他功能组件的配合,为CUDA应用程序虚拟化了一定数量的虚拟GPU(Orion vGPU)。

使用CUDA动态链接库的CUDA应用程序可以通过操作系统环境设置,使得一个CUDA应用程序在运行时由操作系统负责链接到Orion Client提供的动态链接库上。由于Orion Client模拟了NVidia CUDA运行环境,因此CUDA应用程序可以透明无修改地直接运行在Orion vGPU之上。

Orion Controller

该组件为一个长运行的服务程序,其负责整个GPU资源池的资源管理。其响应Orion Client的vGPU请求,并从GPU资源池中为Orion Client端的CUDA应用程序分配并返回Orion vGPU资源。

该组件可以部署在数据中心任何网络可到达的系统当中。每个资源池部署一个该组件。资源池的大小取决于IT管理的需求,可以是整个数据中心的所有GPU作为一个资源池,也可以每个GPU服务器作为一个独立的资源池。

Orion Server

该组件为一个长运行的系统服务,负责GPU资源化的后端服务。Orion Server部署在每一个物理GPU服务器上,接管本机内的所有物理GPU。Orion Server通过和Orion Controller的交互把本机的GPU加入到由Orion Controller管理维护的GPU资源池当中。

当Orion Client端应用程序运行时,通过Orion Controller的资源调度,建立和Orion Server的连接。Orion Server为其应用程序的所有CUDA调用提供一个隔离的运行环境以及真实GPU硬件算力。

Orion vGPU软件服务器端安装部署

读者需要确保Orion Controller,Orion Server和Orion Client都是最新版本。不同版本的Orion vGPU组件无法共同工作。

我们假定读者已经将 GitHub repo 克隆到了本地:

git clone https://github.com/virtaitech/orion

cd orion

步骤一:部署 Orion Controller

启动 Orion Controller

在集群上部署 Orion vGPU 软件时,Orion Controller 可以运行在任意节点上。本文为方便起见,将 Orion Controller 和 Orion Server 服务部署在同一台含有GPU的节点上。

下述命令将在后台启动 Orion Controller,使用 controller.yaml 中的配置:

cd orion-controller

nohup ./orion-controller start --config-file controller.yaml &

默认下日志输出到当前目录的 log 文件。查看日志内容:

cat log

正常情况下会输出如下的日志 (去掉了时间戳),表明 Orion Controller 正常工作,并监听来自网络所有地址对 Orion vGPU 的资源请求。

level=info msg="Etcd Server is ready!"
level=info msg="Creating database connection to http://
level=info msg="Database connection is created."
level=info msg="Orion CE Controller is launching, listening on 0.0.0.0:9123"

步骤二:安装部署 Orion Server 服务

安装环境准备

依赖项

  • Ubuntu 14.04 LTS 或更高版本 / CentOS 7.x
  • CUDA 9.0 / 9.1 / 9.2 / 10.0 / 10.1
  • CUDNN 7.4.2 及以上版本,推荐 7.6.x
  • NVIDIA driver 需要满足对应 CUDA SDK 的 最低要求
  • libcurl, libibverbs

用户可参考附录中的 CUDA和CUDNN快速安装 小节来安装 CUDA 10.0CUDNN 7.6.2。下文中我们假设用户的CUDA安装路径为默认的 /usr/local/cuda-10.0,而CUDNN的动态库放在 /usr/local/cuda-10.0/lib64目录下。

Orion Server所依赖的 libcurl 以及 libibverbs 库:可以通过以下命令安装

# Ubuntu 16.04
sudo apt install -y libcurl4-openssl-dev libibverbs1

# CentOS 7.x
sudo yum install -y libcurl-devel.x86_64 libibverbs-devel

安装Orion Server

由于Orion Server运行时需要有CUDA环境支持,所以用户需要确保 /usr/local/ 路径下有所需要支持的CUDA版本。例如,如果Orion Client端需要使用CUDA 10.0的应用,那么Orion Server所在物理机上,CUDA SDK需要安装到 /usr/local/cuda-10.0 路径(默认安装路径)。

若要支持多版本CUDA,请将所有的CUDA SDK都放在/usr/local下。

在宿主机上运行如下命令安装 Orion Server

cd orion-server

sudo ./install-server.sh 

若安装成功,会有下列输出:

orion.conf.template is copied to /etc/orion/server.conf as Orion Server configuration file.
Orion Server is successfully installed to /usr/bin
Orion Server is registered as system service.
Using following commands to interact with Orion Server :

        systemctl start oriond      # start oriond daemon
        systemctl status oriond     # print oriond daemon status and screen output
        systemctl stop oriond       # stop oriond daemon
        journalctl -u oriond        # print oriond stdout

Before launching Orion Server, please change settings in /etc/orion/server.conf according to your environment.

上述命令会将 Orion Server 注册为由 systemctl 管理的系统服务 oriond

Orion Server 服务配置

Orion vGPU 软件支持以下的 Orion Client Runtime 与 Orion Server 之间数据交互的通信模式

  • 本地共享内存(SHM)
  • 本地/远程 RDMA
  • 本地/远程 TCP

Orion Server服务启动时,读取/etc/orion/server.conf 配置文件来决定启动模式。

本文后面的各小节会结合不同场景 (容器、KVM虚拟机,或者没有GPU的本地计算节点),解释应当如何根据使用环境和需求合理配置 /etc/orion/server.conf

启动Orion Server服务

我们保留 /etc/orion/server.conf 中的默认配置,用下述命令启动 Orion Server 服务:

sudo systemctl start oriond

Orion Server 的主日志路径为 /var/log/orion/server.log,我们查看此日志:

cat /var/log/orion/server.log

正常情况下,日志如下(去掉时间戳):

[INFO] Connecting to Orion Controller 127.0.0.1:9123
[INFO] Successfully connect to Orion Controller.
[INFO] Report Orion compatible resource to 127.0.0.1:9123
[INFO] GeForce RTX 2080 Ti (ID: GPU-36945fda-df5a-5fdc-b0c2-40aa432bd032) is reported to Orion Controller.
[INFO] Orion Server listens on 127.0.0.1:9960

这表明 Orion Server 首先扫描了物理机上的 GPU 信息并成功向 Orion Controller 汇报资源,随后监听在 127.0.0.1:9960

典型使用场景

下面,我们选取三个典型场景,展示在不同的环境下,如何运用Orion vGPU软件无修改地使用官方 TensorFlow 1.12 进行模型训练与推理。

具体地,我们将展示以下例子:

Docker容器中使用本地节点GPU资源

  • 本例中,我们在容器内使用一块Orion vGPU,该vGPU位于本地物理机上的一块 NVIDIA RTX 2080Ti 显卡。

  • 容器用 docker run 命令启动,不需要将物理机上的GPU设备直通穿透(passthrough)到在容器内部。通过安装Orion vGPU软件,容器得以使用Orion vGPU资源加速计算。

  • 安装部署完成后,我们会在容器中运行 CUDA 10.0 SDK Samples,以及 TensorFlow 2.0 Pix2Pix 教程

KVM虚拟机中使用本地节点GPU资源

  • 在 KVM 虚拟机中,在Orion vGPU软件的共享内存(shared memory, SHM)模式下进行 CIFAR10 数据集上的 CNN 模型训练与推理。本例中,我们在虚拟机内使用两块Orion vGPU, 两块vGPU分别位于本地物理机上的两块 NVIDIA Tesla V100 计算卡。
  • 安装部署完成后,我们在KVM虚拟中运行TensorFlow官方模型repo中的CIFAR10_Estimator https://github.com/tensorflow/models/tree/master/tutorials/image/cifar10_estimator

通过RDMA使用远程节点GPU资源

  • 在 没有 GPU 的节点上,在Orion vGPU软件的 RDMA 模式下使用远程节点GPU资源进行 Imagenet 数据集上的 CNN 模型训练与推理。本例中,我们在虚拟机内使用两块Orion vGPU, 分别位于远程节点上的两块 NVIDIA Tesla V100 计算卡。
  • 安装部署完成后,我们运行TensorFlow official benchmark进行Imagnet上CNN模型训练 https://github.com/tensorflow/benchmarks/tree/master/scripts/tf_cnn_benchmarks
  • 我们先展示使用随机生成的Imagenet数据 (synthetic Imagenet data) 进行inception3模型训练。通过Orion vGPU软件,我们使用远程节点上的两块Tesla V100训练500个batch。
  • 我们展示使用TFRecord格式的真实Imagenet数据训练inception3模型。通过Orion vGPU软件,我们使用远程节点上的两块Tesla V100训练5个完整epoch,最终在验证集上达到36.92%的top-1精度,64.04%的top-5精度。

更多使用场景

读者可以在我们的主页上 技术博客 栏下找到更多的主题

附录

我们介绍了以下内容

  • 快速安装CUDA和cuDNN环境

  • 配置防火墙

You can’t perform that action at this time.