Docker 运行 JittorLLMs

[online2311]

一键运行 JittorLLMs

docker run -it --rm --name jittorllms -e cpu_mem_limit=8000000000 -e JT_SAVE_MEM=1 -v /tmp/data:/data registry.cn-beijing.aliyuncs.com/starlink-network/jittorllms:latest python3 cli_demo.py chatglm 

CPU 跑 chatglm 模型 限制最大占用8G内存,cpu_mem_limit 限制内存使用量。

[cjld]

还需要设置JT_SAVE_MEM=1

[online2311]

已更正

[show1abc]

PermissionError: [Errno 13] Permission denied: '/data/.cache'

[online2311]

PermissionError: [Errno 13] Permission denied: '/data/.cache'

你这个问题可能是需要开启特权模式 加上--privileged

docker run -it --rm --name jittorllms --privileged -e cpu_mem_limit=8000000000 -e JT_SAVE_MEM=1 -v /tmp/data:/data registry.cn-beijing.aliyuncs.com/starlink-network/jittorllms:latest python3 cli_demo.py chatglm
你可以参考这个命令看看是否可以运行。