本地并部署模型时遇到的常见问题

[wmsheep]

本地并部署模型时遇到的常见问题

建议搭配博客查看
本地部署模型（ollama为例）

运行问题：

• 当部署完成以后，想要再次运行时，只需要：
  1. 打开 PowerShell （无需管理员身份）
  2. 输入对应模型的安装命令即可

模型不可用问题：

• 输入下载命令发现模型不可用问题——
  1. 检查 Ollama Setup.exe 是否正常【打开PowerShell（无需管理员身份】[输入ollama查看输出。正常输出如下]

---

PS C:\Users\用户名> ollama
Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.
PS C:\Users\用户名>

[下载模型正常输出]

PS C:\Users\wmy66> ollama run llama3.1:8b
pulling manifest
pulling 8eeb52dfb3bb...
91%▕██████████████████████████████████████████████████      ▏ 
4.2 GB/4.7 GB  207 KB/s  35m26s 

---

若是这段输出Ollama Setup.exe基本正常，若还是不行就重新下载 点我查看博客
要么就是模型与电脑配置不匹配，换一个模型

语言问题：

• 这个模型默认语言是英语，对于大陆用户来说，要让让它用中文回复只需一步
  1. 输入请用中文回复即可

---

模型卡顿问题：

• 模型卡顿问题，一般是因为显卡显存不足，解决方法如下：
  1. 关闭电脑上其他占用显存的软件

建议搭配博客查看
本地部署模型（ollama为例）