优雅地使用conda管理大模型运行环境

[Valdanitooooo]

安装conda

#下载安装脚本(以下是笔者之前用的版本，可以尝试用最新版本)
wget https://mirrors.bfsu.edu.cn/anaconda/archive/Anaconda3-2022.10-Linux-x86_64.sh --no-check-certificate
# 给权限
chmod +x Anaconda3-2022.10-Linux-x86_64.sh
# 执行安装
./Anaconda3-2022.10-Linux-x86_64.sh
# 安装过程中会提示选择Anaconda3安装目录，这一步很重要
# 比如我使用的阿里云ecs，云盘挂载到了/data目录，conda一定要装在 /data 下
# 可以装在 /data/anaconda3  或  /data/install/anaconda3 之类的目录

管理 conda env

创建conda env

比如我的env名字叫fastchat，python版本选择3.10.6
可以这样

conda create -n fastchat python=3.10.6

退出conda env

一般创建完env就会自动进入了，退出可以这样

conda deactivate fastchat

重新进入 conda env

conda activate fastchat

如果报错，说没有conda命令，可以这样

eval "$(/data/anaconda3/bin/conda shell.bash hook)"

这段代码的作用是将Anaconda的环境配置加载到当前的Bash shell中

然后再

conda activate fastchat

迁移 conda env

工作中经常可能有切换GPU服务器、增加GPU服务器之类的操作
如果平时操作比较规范，所有开发部署所需的资源都放在数据盘中，迁移是非常简单的，一般两种情况：

1. 直接在新服务器挂原来的数据盘
2. 将原来的数据盘做快照，再从快照建新的数据盘，挂到新的服务器(这种方式可以有效解决新旧服务器跨可用区数据迁移问题)
   换到新的服务器时候，需要挂载的目录和原来一致，要不然conda环境会有问题了(不过如果你熟悉conda的目录结构也可以解决，问题不大)
   然后

重新进入 conda env

conda env 环境变量设置

可以用如下方法设置TORCH_HOME、HF_HOME 等环境变量，这样如果程序中涉及下载模型资源的地方就会直接下载到指定的数据盘目录了

conda env config vars set TORCH_HOME=/data/cache_models/torch_cache
conda env config vars set HF_HOME=/data/cache_models/huggingface_cache

设置完环境变量需要重新进入env 使环境变量生效

conda deactivate
conda activate fastchat
# 查看环境变量
conda env config vars list

不过我不太推荐在部署模型过程中下载模型，这样可能给日后的运维带来困扰，尤其在多人协作情况下
可以建一个类似 /data/cache_models/offline_cache 这样的目录，所有模型都放在一个目录中，方便统计迁移等操作。
部署模型时候通过参数把模型文件目录传进去就行了

以fastchat为例，类似这样的命令把模型路径传入即可

nohup python -m fastchat.serve.vllm_worker --model-path /data/cache_modes/offline_cache/WizardCoder-33B-V1.1 --model-names wizardcoder-33b-v1.1 --num-gpus 8 --controller http://10.**.**.**:21001 --limit-worker-concurrency 20 --host 0.0.0.0 --port 31001 --worker-address=http://10.**.**.**:31001 > log1_wizardcoder_worker.txt 2>&1 &

部署命令我建议写在脚本文件中，或者有标准的运维工具更好，总之必须持久化，迁移后马上就可以用了，用tmux之类的不适合多人协作，也可能因为我是tmux菜鸟😅

再由ChatGPT补充一些conda常用命令

Conda是一个用于包管理和环境管理的开源工具，常用于Python项目。以下是一些常用的conda命令：

1. 创建环境：

   conda create --name <环境名称> [包名] 
   

   例如：conda create --name myenv python=3.9 创建一个名为"myenv"的环境，并指定Python版本为3.9。

2. 激活环境：

   conda activate <环境名称> 
   

   例如：conda activate myenv 激活名为"myenv"的环境。

3. 查看已创建的环境：

   conda env list 
   

4. 安装包：

   conda install <包名> 
   

   例如：conda install numpy 安装NumPy包。

5. 卸载包：

   basic

   conda remove <包名> 
   

   例如：conda remove numpy 卸载NumPy包。

6. 更新包：

   conda update <包名> 
   

   例如：conda update numpy 更新NumPy包。

7. 导出环境：

   conda env export > environment.yml 
   

   将当前环境的所有包及其版本信息导出到environment.yml文件中。

8. 导入环境：

   conda env create -f environment.yml 
   

   根据environment.yml文件创建一个新的环境。

9. 列出已安装的包：

   conda list 
   

这些是常用的conda命令，可以帮助你管理Python项目的环境和包。你可以通过运行conda --help获取更详细的帮助信息。

ChatGPT说的 4、5、6我是觉得没必要

直接用pip就行了，因为已经在 conda 的env中了，pip必然也是这个env 的pip
用 whereis pip 看一下就知道了

[Valdanitooooo]

用最新版本试试

#下载安装脚本(以下是笔者之前用的版本，可以尝试用最新版本)
wget https://mirrors.bfsu.edu.cn/anaconda/archive/Anaconda3-2022.10-Linux-x86_64.sh --no-check-certificate

wget https://repo.anaconda.com/archive/Anaconda3-2024.02-1-Linux-x86_64.sh --no-check-certificate

#执行安装
./Anaconda3-2022.10-Linux-x86_64.sh

这一步 license 在这结束的

15.12 ENTIRE AGREEMENT. This EULA (including all Orders) constitutes the entire agreement, and supersedes all prior
negotiations, understandings, or agreements (oral or written), between the Parties regarding the subject matter of this
EULA (and all past dealing or industry custom). Any inconsistent or additional terms on any related Customer-issued
purchase orders, vendor forms, invoices, policies, confirmation, or similar form, even if signed by the Parties
hereafter, will have no effect under this EULA. In the event of any conflict between the terms of this EULA and the
terms of any Order, the terms of this EULA will control unless otherwise explicitly set forth in an Order. This EULA may
be executed in one or more counterparts, each of which will be an original, but taken together constituting one and the
same instrument. Execution of a facsimile/electronic copy will have the same force and effect as execution of an
original, and a facsimile/electronic signature will be deemed an original and valid signature. No modification, consent
or waiver under this EULA will be effective unless in writing and signed by both Parties. The failure of either Party to
enforce its rights under this EULA at any time for any period will not be construed as a waiver of such rights. If any
provision of this EULA is determined to be illegal or unenforceable, that provision will be limited or eliminated to the
minimum extent necessary so that this EULA will otherwise remain in full force and effect and enforceable.


Do you accept the license terms? [yes|no]
>>>
Please answer 'yes' or 'no':'
>>>