服务Docker重启之后，如何恢复之前运行的模型

[yeyupiaoling]

• Docker
• Xinference 0.10.3

服务Docker重启之后，如何恢复之前运行的模型。
我这边的每次重启docker之后，还需要手动启动模型才会运行模型。
有没有设置可以在docker恢复启动之后，自动运行之前运行的模型？

[mikeshi80]

你需要在那个Docker镜像的基础上，手动修改entrypoint脚本，加上xinference命令，让其加载你要的模型。

[WangxuP]

启动docker的时候，设置xinference的环境变量 XINFERENCE_HOME，然后将环境变量的目录再做个映射。

docker run -v /home/models/:/home/models/ -v /nfs/models/xinference/xinference_cache/:/root/xinference_cache -e XINFERENCE_MODEL_SRC=modelscope -e XINFERENCE_HOME=/root/xinference_cache -d -p 9998:9997 --gpus all --name ffff --shm-size=256g xprobe/xinference:v0.10.1 xinference-local -H 0.0.0.0 --log-level debug

[wencan]

@WangxuP
这个方法能重现吗？

我使用pip本地安装
XINFERENCE_HOME没指定，使用默认的/.xinference
反复试了，重启之后，部署的模型依然没恢复

[WangxuP]

xinference

可以的，你把容器内部目录挂载到外部就行了。

[wencan]

@WangxuP 朋友，官方已经表示在接下来的版本实现这个功能

[WangxuP]

@WangxuP 朋友，官方已经表示在接下来的版本实现这个功能

好的，看到了， 谢谢。