[Bug] 多GPU多实例运行崩溃

[comeby]

Checklist

• 1. I have searched related issues but cannot get the expected help.
• 2. The bug has not been fixed in the latest version.

Describe the bug

我尝试使用服务器上的2张A6000的GPU，通过tritonserver，设置TP=1，达到每张GPU卡上分别运行一个llama13b模型的实例，虽然模型可以正常启动，但通过chatbot客户端调用时，单并发请求可以正常运行，但多并发请求时，服务崩溃，崩溃信息如下：[TM][INFO] [initGen] slot sequence_id context_len seq_limit_len finished
[TM][INFO] [initGen] 0 9528120 518 618 0
[TM][INFO] ------------------------- step = 520 -------------------------
[TM][INFO] ------------------------- step = 530 -------------------------
0# 0x000056112E9F2459 in tritonserver
1# 0x00007FB96EE2E090 in /usr/lib/x86_64-linux-gnu/libc.so.6
2# gsignal in /usr/lib/x86_64-linux-gnu/libc.so.6
3# abort in /usr/lib/x86_64-linux-gnu/libc.so.6
4# 0x00007FB96F1E7911 in /usr/lib/x86_64-linux-gnu/libstdc++.so.6
5# 0x00007FB96F1F338C in /usr/lib/x86_64-linux-gnu/libstdc++.so.6
6# 0x00007FB96F1F33F7 in /usr/lib/x86_64-linux-gnu/libstdc++.so.6
7# 0x00007FB96F1F36A9 in /usr/lib/x86_64-linux-gnu/libstdc++.so.6
8# 0x00007FB96F1EA550 in /usr/lib/x86_64-linux-gnu/libstdc++.so.6
9# void triton_stream_callback<__half>(std::unordered_map<std::__cxx11::basic_string<char, std::char_traits, std::allocator >, turbomind::Tensor, std::hash<std::__cxx11::basic_string<char, std::char_traits, std::allocator > >, std::equal_to<std::__cxx11::basic_string<char, std::char_traits, std::allocator > >, std::allocator<std::pair<std::__cxx11::basic_string<char, std::char_traits, std::allocator > const, turbomind::Tensor> > >, void) in /opt/tritonserver/backends/turbomind/libtransformer-shared.so
10# turbomind::LlamaBatch<__half>::finish() in /opt/tritonserver/backends/turbomind/libtransformer-shared.so
11# turbomind::LlamaV2<__half>::internalThreadEntry(int) in /opt/tritonserver/backends/turbomind/libtransformer-shared.so
12# 0x00007FB96F21FDE4 in /usr/lib/x86_64-linux-gnu/libstdc++.so.6
13# 0x00007FB970597609 in /usr/lib/x86_64-linux-gnu/libpthread.so.0
14# clone in /usr/lib/x86_64-linux-gnu/libc.so.6

Signal (11) received.
[TM][INFO] ------------------------- step = 540 -------------------------
[TM][INFO] ------------------------- step = 550 -------------------------
[TM][INFO] ------------------------- step = 560 -------------------------
0# 0x000056112E9F2459 in tritonserver
1# 0x00007FB96EE2E090 in /usr/lib/x86_64-linux-gnu/libc.so.6
2# abort in /usr/lib/x86_64-linux-gnu/libc.so.6
3# 0x00007FB96F1E7911 in /usr/lib/x86_64-linux-gnu/libstdc++.so.6
4# 0x00007FB96F1F338C in /usr/lib/x86_64-linux-gnu/libstdc++.so.6
5# 0x00007FB96F1F33F7 in /usr/lib/x86_64-linux-gnu/libstdc++.so.6
6# 0x00007FB96F1F36A9 in /usr/lib/x86_64-linux-gnu/libstdc++.so.6
7# 0x00007FB96F1EA550 in /usr/lib/x86_64-linux-gnu/libstdc++.so.6
8# void triton_stream_callback<__half>(std::unordered_map<std::__cxx11::basic_string<char, std::char_traits, std::allocator >, turbomind::Tensor, std::hash<std::__cxx11::basic_string<char, std::char_traits, std::allocator > >, std::equal_to<std::__cxx11::basic_string<char, std::char_traits, std::allocator > >, std::allocator<std::pair<std::__cxx11::basic_string<char, std::char_traits, std::allocator > const, turbomind::Tensor> > >, void) in /opt/tritonserver/backends/turbomind/libtransformer-shared.so
9# turbomind::LlamaBatch<__half>::finish() in /opt/tritonserver/backends/turbomind/libtransformer-shared.so
10# turbomind::LlamaV2<__half>::internalThreadEntry(int) in /opt/tritonserver/backends/turbomind/libtransformer-shared.so
11# 0x00007FB96F21FDE4 in /usr/lib/x86_64-linux-gnu/libstdc++.so.6
12# 0x00007FB970597609 in /usr/lib/x86_64-linux-gnu/libpthread.so.0
13# clone in /usr/lib/x86_64-linux-gnu/libc.so.6

Reproduction

config.pbtxt采用了系统生成的值，部署参数如下：
instance_group [ { # max concurrent instances count: 48 kind: KIND_CPU } ] parameters { key: "pipeline_para_size" value: { string_value: "1" } } parameters { key: "tensor_para_size" value: { string_value: "1" } }
启动参数：
docker run --gpus "device=0,1" --rm \ -v $model_workspace:/workspace/models \ --shm-size 16g -p $triton_port:$triton_port -p $metrics_port:$metrics_port \ --cap-add=SYS_PTRACE --cap-add=SYS_ADMIN --security-opt seccomp=unconfined \ --name lmdeploy-20 -it --env NCCL_LAUNCH_MODE=GROUP openmmlab/lmdeploy:v0.0.10 \ tritonserver --model-repository=/workspace/models/model_repository \ --allow-http=0 --allow-grpc=1 --grpc-port=$triton_port --metrics-port=$metrics_port\ --log-verbose=0 --allow-metrics=1
请问是上述配置及启动方式的问题？还是代码的问题？

[lvhan028]

转换模型格式的命令是什么呢？

[comeby]

转换模型格式的命令是什么呢？

转换模型的命令是：python3 -m lmdeploy.serve.turbomind.deploy --model-name llama /path/to/llama --tp 1

转换后的模型用1张卡部署是没有问题的。通过更改tp=2，用两张卡并行部署也没问题。

但是我希望在2张卡上分别部署模型的实例，每个实例只用一张卡的计算资源，而不是使用两张卡做模型并行部署。从而支持较大并发请求量的推理

[lvhan028]

你想要的方式应该是DP（data parallel)，不过 lmdeploy 不支持这种方式。

[comeby]

你想要的方式应该是DP（data parallel)，不过 lmdeploy 不支持这种方式。

感谢你的回复。

那如果有一台服务器有10张卡，部署7B或13B的模型需要在10张卡上分别启动一个triton inference server么？

如果采用10张卡TP(Tensor Parallel)部署一个这么小的模型，多卡的开销太大了吧。吞吐应该不如每张卡各部署一个模型吧。

这种场景有没有推荐的部署方案？

[lvhan028]

在你说的这种场景下，用 TP 是不合适的。DP是首先方案。
但是 lmdeploy 的 TIS 对 DP 没有支持。
每个上面启动一个 TIS 是一种解决方案，但不够优雅。
容我们先内部讨论下

[comeby]

在你说的这种场景下，用 TP 是不合适的。DP是首先方案。 但是 lmdeploy 的 TIS 对 DP 没有支持。 每个上面启动一个 TIS 是一种解决方案，但不够优雅。 容我们先内部讨论下

好的，谢谢~ 有推荐的方案麻烦告知下，每个卡都启动一下docker感觉很容易出错。

[lvhan028]

@comeby 抱歉，我们目前没想到好的解决方案。
感觉是可以在turbomind上封装一层 DP 服务，但短期内，我们没有人力才处理这件事情。