cpu 服务部署 如何运行容器启动容器

[cunjing56]

---

温馨提示：根据社区不完全统计，按照模板提问，可以加快回复和解决问题的速度

---

环境

• 【FastDeploy版本】： 说明具体的版本，如fastdeploy-linux-gpu-0.8.0
• 【系统平台】: Windows x64(Windows10)
• 【硬件】： cpu
• 【编译语言】：Python(3.7或3.8等）

问题日志及出现问题的操作流程

PaddleDetection 服务化部署示例
https://github.com/PaddlePaddle/FastDeploy/tree/develop/examples/vision/detection/paddledetection/serving
仅介绍了gpu的运行和启动容器，cpu咋整？

(paddlecpu) D:\pkg\FastDeploy\examples\vision\detection\paddledetection\serving>docker run -it --net=host --name fd_serving --shm-size="1g" -v /:/serving 928d09fd7108

=============================
== Triton Inference Server ==

NVIDIA Release 21.10 (build )

Copyright (c) 2018-2021, NVIDIA CORPORATION & AFFILIATES. All rights reserved.

Various files include modifications (c) NVIDIA CORPORATION. All rights reserved.

This container image and its contents are governed by the NVIDIA Deep Learning Container License.
By pulling and using the container, you accept the terms and conditions of this license:
https://developer.nvidia.com/ngc/nvidia-deep-learning-container-license
find: File system loop detected; '/usr/bin/X11' is part of the same file system loop as '/usr/bin'.

WARNING: The NVIDIA Driver was not detected. GPU functionality will not be available.
Use Docker with NVIDIA Container Toolkit to start this container; see
https://github.com/NVIDIA/nvidia-docker.

root@docker-desktop:/opt/tritonserver# fastdeployserver --model-repository=/serving/models
I1227 08:52:41.713216 17 tritonserver.cc:1920]
+----------------------------------+----------------------------------------------------------------------+
| Option | Value |
+----------------------------------+----------------------------------------------------------------------+
| server_id | triton |
| server_version | 2.15.0 |
| server_extensions | classification sequence model_repository model_repository(unload_dep |
| | endents) schedule_policy model_configuration system_shared_memory cu |
| | da_shared_memory binary_tensor_data statistics |
| model_repository_path[0] | /serving/models |
| model_control_mode | MODE_NONE |
| strict_model_config | 1 |
| rate_limit | OFF |
| pinned_memory_pool_byte_size | 268435456 |
| response_cache_byte_size | 0 |
| min_supported_compute_capability | 0.0 |
| strict_readiness | 1 |
| exit_timeout | 30 |
+----------------------------------+----------------------------------------------------------------------+

I1227 08:52:41.713285 17 server.cc:249] No server context available. Exiting immediately.
error: creating server: Internal - failed to stat file /serving/models
root@docker-desktop:/opt/tritonserver#

另请问：客户端请求是需要在conda新建一个python环境, 直接安装python -m pip install tritonclient[all]就可以吗？还是需要安装paddle, fastdeploy,各种？

[heliqi]

cpu跟gpu的服务启动差不多：

拉取cpu镜像：
docker pull registry.baidubce.com/paddlepaddle/fastdeploy:1.0.1-cpu-only-21.10

启动容器:
docker run -it --net=host --name fd_serving --shm-size="1g"  -v `pwd`/:/serving registry.baidubce.com/paddlepaddle/fastdeploy:1.0.1-cpu-only-21.10  bash

启动服务:
fastdeployserver --model-repository=/serving/models

客户端只需要安装tritonclient[all] 即可， 是否新建一个python环境都可。

[cunjing56]

fastdeployserver --model-repository=/serving/models

启动容器失败
(paddlecpu) C:\Users\NINGMEI>docker run -it --net=host --name fd_serving --shm-size="1g" -v pwd/:/serving registry.baidubce.com/paddlepaddle/fastdeploy:1.0.1-cpu-only-21.10 bash
docker: Error response from daemon: create pwd: "pwd" includes invalid characters for a local volume name, only "[a-zA-Z0-9][a-zA-Z0-9_.-]" are allowed. If you intended to pass a host directory, use absolute path.
See 'docker run --help'.

启动服务失败
(paddlecpu) C:\Users\NINGMEI>fastdeployserver --model-repository=/serving/models
'fastdeployserver' 不是内部或外部命令，也不是可运行的程序
或批处理文件。

[cunjing56]

cpu跟gpu的服务启动差不多：

拉取cpu镜像：
docker pull registry.baidubce.com/paddlepaddle/fastdeploy:1.0.1-cpu-only-21.10

启动容器:
docker run -it --net=host --name fd_serving --shm-size="1g"  -v `pwd`/:/serving registry.baidubce.com/paddlepaddle/fastdeploy:1.0.1-cpu-only-21.10  bash

启动服务:
fastdeployserver --model-repository=/serving/models

客户端只需要安装tritonclient[all] 即可， 是否新建一个python环境都可。

这是启动服务失败了吧？

[cunjing56]

cpu跟gpu的服务启动差不多：

拉取cpu镜像：
docker pull registry.baidubce.com/paddlepaddle/fastdeploy:1.0.1-cpu-only-21.10

启动容器:
docker run -it --net=host --name fd_serving --shm-size="1g"  -v `pwd`/:/serving registry.baidubce.com/paddlepaddle/fastdeploy:1.0.1-cpu-only-21.10  bash

启动服务:
fastdeployserver --model-repository=/serving/models

客户端只需要安装tritonclient[all] 即可， 是否新建一个python环境都可。

新建了一个环境，安装tritonclient[all]没报错。发送请求报错。请问如何解决？

[heliqi]

你的容器启动失败了，你是在windows上执行的命令？
需要把 `pwd`改成当前的绝对路径(windows好像可以用 chdir )：

启动容器. (**一定要把命令中的/path替换为你的FastDeploy目录**):
docker run -it --net=host --name fd_serving --shm-size="1g"  -v  /path/FastDeploy/examples/vision/detection/paddledetection/serving:/serving registry.baidubce.com/paddlepaddle/fastdeploy:1.0.1-cpu-only-21.10  bash

你后面的报错都是因为docker容器启动失败导致的

[cunjing56]

fastdeployserver --model-repository=/serving/models

是在windows执行命令，请问这个不算启动成功吗？

fastdeployserver --model-repository=/serving/models 这句话还是报错

[heliqi]

启动的指令 fastdeployserver --model-repository=/serving/models ，指定的模型仓库目录为 /serving/models， 但是你容器中的 /serving/models 目录有问题导致没启动成功。
你在容器中执行下命令看看：

 ls /serving
ls /serving/models 

[heliqi]

上面的算启动容器成功了， 但是挂载的目录应该有问题（我看你的命令是 -v /:/serving ， demo不在/目录下）。导致启动服务时失败， 你注意看我给你的例子是 -v 是如何挂载本地目录的。

你可以直接挂载根目录，但是启动时指定的模型仓库路径一定要正确，要指定到正确的models目录

[cunjing56]

上面的算启动容器成功了， 但是挂载的目录应该有问题（我看你的命令是 -v /:/serving ， demo不在/目录下）。导致启动服务时失败， 你注意看我给你的例子是 -v 是如何挂载本地目录的。

你可以直接挂载根目录，但是启动时指定的模型仓库路径一定要正确，要指定到正确的models目录

谢谢你~我现在启动容器成功了，但是启动服务好像失败了。不太清楚是什么问题，麻烦您再帮忙看一下，谢谢

[heliqi]

@cunjing56 截图时把输出往上翻一下，我看下报错。
以目前的截图信息，前后处理启动成功，看起来是runtime启动失败。 大概率是你没把模型拷贝到 models/runtime/1目录中？

[cunjing56]

@cunjing56 截图时把输出往上翻一下，我看下报错。 以目前的截图信息，前后处理启动成功，看起来是runtime启动失败。 大概率是你没把模型拷贝到 models/runtime/1目录中？

您好，
我按照步骤做的，应该拷贝了吧？今天排查了一天，以为哪一步做错了，但是反复参考了以下步骤，没发现有问题，重复做了很多遍，卸载docker了很多遍，最后还是这个结果。麻烦您帮忙再看一下，谢谢！
#下载部署示例代码
git clone https://github.com/PaddlePaddle/FastDeploy.git
cd pkg/FastDeploy/examples/vision/detection/paddledetection/serving

#下载PPYOLOE模型文件和测试图片
wget https://bj.bcebos.com/paddlehub/fastdeploy/ppyoloe_crn_l_300e_coco.tgz --no-check-certificate
wget https://gitee.com/paddlepaddle/PaddleDetection/raw/release/2.4/demo/000000014439.jpg --no-check-certificate
tar xvf ppyoloe_crn_l_300e_coco.tgz

#将配置文件放入预处理目录
move ppyoloe_crn_l_300e_coco\infer_cfg.yml models\preprocess\1\

将模型放入 models/runtime/1目录下, 并重命名为model.pdmodel和model.pdiparams

move ppyoloe_crn_l_300e_coco\model.pdmodel models\runtime\1\model.pdmodel
move ppyoloe_crn_l_300e_coco\model.pdiparams models\runtime\1\model.pdiparams

将ppdet和runtime中的ppyoloe配置文件重命名成标准的config名字

其他模型比如faster_rcc就将faster_rcnn_config.pbtxt重命名为config.pbtxt

copy models\ppdet\ppyoloe_config.pbtxt models\ppdet\config.pbtxt
copy models\runtime\ppyoloe_runtime_config.pbtxt models\runtime\config.pbtxt

cpu训练需修改配置文件

修改models/runtime/config.pbtxt中instance_group配置

拉取fastdeploy镜像

CPU镜像

docker pull registry.baidubce.com/paddlepaddle/fastdeploy:1.0.1-cpu-only-21.10

运行容器

CPU运行容器

docker run -it --net=host --name fd_serving --shm-size="1g" -v D:/pkg/FastDeploy/examples/vision/detection/paddledetection/serving/:/serving registry.baidubce.com/paddlepaddle/fastdeploy:1.0.1-cpu-only-21.10 bash

启动服务

CPU启动服务

fastdeployserver --model-repository=/serving/models

[heliqi]

非常抱歉，是我们提供的config配置文件有点问题。 需要把配置文件中的 name: "ppyoloe_runtime" 改成 name: "runtime", 或者在name前加个#注释掉。

启动日志中有提示错误，之前的截图没截全，所以没看出来

[heliqi]

paddledetection的例子中只有ppyoloe有问题，其他配置都是正确的。
相关问题已经在这个PR中修复: #1029

[cunjing56]

非常抱歉，是我们提供的config配置文件有点问题。 需要把配置文件中的 name: "ppyoloe_runtime" 改成 name: "runtime", 或者在name前加个#注释掉。

启动日志中有提示错误，之前的截图没截全，所以没看出来

启动服务成功了，但是客户端没调用起来？这是为什么呢？