QUESTION: No available slot found for the model

[yxybyq]

Server error: 503 - [address=0.0.0.0:36042, pid=294316] No available slot found for the model

[aresnow1]

It means GPU has been used by other launched models, there's no slot left.

[SwarmKit]

使用以下方式运行，此问题依然存在：
docker run -dit -p 8080:9997 -v /data/ModelFiles:/workspace --gpus all xprobe/xinference:v0.8.2 xinference-local -H 0.0.0.0

[aresnow1]

使用以下方式运行，此问题依然存在： docker run -dit -p 8080:9997 -v /data/ModelFiles:/workspace --gpus all xprobe/xinference:v0.8.2 xinference-local -H 0.0.0.0

Have you launched any models before?

[SwarmKit]

是的，我已经加载一个模型ChatGLM3-6B-32k，再次加载其他的模型时就会出现这个错误提示！！！

[xiandan-erizo]

意思是一块GPU只能运行一个模型？这有点浪费资源了吧

[SwarmKit]

目前就是这样的……

[Valdanitooooo]

持续关注，没想到会这样，先用回FastChat吧

[jony4]

我这边的复现逻辑

1. 创建一个可能启动不起来的模型，或者说加载时间很长的模型，或者在正常可以启动的模型启动中途去执行第二步
2. 然后通过接口删除掉这个模型 delete /v1/models/chatglm3-32k 接口
3. 再去创建模型实例，就出现 No available slot found for the model
4. /v1/models/instances 这个接口会看到第一步里边的模型依旧处于 creating 状态。通过查看代码貌似是这段中的 list 在第二5 步执行时候没有清理list 的某个值

class StatusGuardActor(xo.StatelessActor):
    def __init__(self):
        super().__init__()
        self._model_uid_to_info: Dict[str, InstanceInfo] = {}  # type: ignore

[github-actions]

This issue is stale because it has been open for 7 days with no activity.

[github-actions]

This issue was closed because it has been inactive for 5 days since being marked as stale.