Repository navigation
v0.4.4
🚀 Release Notes
📦 包含内容
- 编译后的 class 文件
- 所有依赖库(lib/*.jar)
- 精简版 JRE 21.08(内置,无需额外安装 Java 运行环境)
- 启动脚本(run.sh / run.bat)
🧩 llama.cpp 版本
- 本项目中打包的 llamacpp 二进制来自 llama.cpp 项目的 Release(最新版本发布页:https://github.com/ggml-org/llama.cpp/releases/latest)
- Linux Vulkan: b8183
- Linux ROCm 7.2: b8183
- Windows CUDA12: b8183
- Windows CUDA13: b8183
- Windows Vulkan: b8183
- Windows HIP: b8183
📦 可用版本
Linux:
llama-server-v0.4.4-b8183-linux-rocm-7.2.zipllama-server-v0.4.4-b8183-linux-vulkan.zipllama-server-v0.4.4-linux.zip
Windows:
llama-server-v0.4.4-b8183-windows-cuda12.zipllama-server-v0.4.4-b8183-windows-cuda13.zipllama-server-v0.4.4-b8183-windows-hip.zipllama-server-v0.4.4-b8183-windows-vulkan.zipllama-server-v0.4.4-windows.zip
📝 使用方法
Linux:
unzip <你下载的 linux zip 包>
cd <解压后的目录>
chmod +x run.sh
chmod +x jre/bin/java
./run.shWindows:
unzip <你下载的 windows zip 包>
cd <解压后的目录>
run.bat注意:
- 本版本已内置精简版 JRE,无需额外安装 Java 环境。
- Windows CUDA 版本文件较大,是因为使用了
cudart包,包含了 CUDA 运行环境。 - 请根据你的 GPU 选择对应的版本:
- NVIDIA GPU: 使用 cuda12 或 cuda13 版本
- AMD GPU: 使用 hip 版本,Linux系统,AI MAX+ 395(或其它ROCm7.2支持的GPU)可以使用ROCm7.2版本
- 其他 GPU(如核显) 或不确定: 使用 vulkan 版本
- 不需要llamacpp:使用无 llamacpp 版本
📌 最新提交
9b20308 - Merge branch 'master' of https://github.com/IIIIIllllIIIIIlllll/LlamacppServer (IIIIIllllIIIIIlllll, 9 minutes ago)
📋 自上次发布以来的变更
- 修正模型参数的BUG:该BUG会默认跳过空白字符串参数,主要影响了参数:默认聊天模板 (08eca9b)
- 增加windows的使用提示 (762b0c5)
- 补充一些GGUF量化文件的标签 (120596f)
- 修正win下的托盘退出功能:没有结束全部的llama-server进程 (99ebc7a)
- 增加功能:将聊天补全中的enable_thinking参数格式化为llamacpp适用的chat_template_kwargs参数,作为一个临时的、开关思维链的解决方案 (302144b)
- 修复benchmark V2中的超时时间,测试vulkan预填充的时候给我整超时了 (6952802)
- 添加功能:如果一个全新的模型没有任何启动参数时,默认使用全部的参数(这也是修正之前更新导致的使用体验问题) (5d0ccdf)
- 将参数--no-webui改为手动配置 (5c93034)
- 为启动参数添加功能:禁用和启用 (2115df0)
- 默认添加参数:--host 0.0.0.0 (2e6f4ea)
- 修改说明 (fb4167a)
- 停止服务这个按钮似乎没啥大用,可以删掉 (1eeaf5b)
- 删除easy chat的固定提示词 (c204a49)
- 增加三个主要的模型网站的快捷访问按钮 (6ba785e)
- 增加bailingmoe架构的图标;增加lfm架构的图标;增加量化格式IQ2_M的标签;修改paddleocr图标的大小 (246aec9)
构建时间: 2026-03-01 13:58:18 UTC