教你让CoPaw Local在windows中使用GPU推理

[tianheng2017]

CoPaw自带的llama.cpp采用的是CPU推理，而我们本地有显卡的话完全可以使用GPU推理，方法如下：

• 1、在C:\Users\xxx.copaw\local_models新建bin目录，如果bin已经存在就删除重新创建bin
• 2、打开最新的tags：https://github.com/ggml-org/llama.cpp/tags
• 3、找到Windows:这段，根据你的CUDA版本下载2个文件，我的是CUDA13，我点击下载Windows x64 (CUDA 13) 和CUDA 13.1 DLLs
• 4、分别解压2个压缩包，将CUDA 13.1 DLLs的3个DLL剪切到Windows x64 (CUDA 13)解压后的文件夹中
• 5、将全部文件再次剪切到C:\Users\xxx.copaw\local_models\bin空目录下
• 6、点击启动下载好的模型，观察任务管理器显存占用情况
• 7、成功啦~