Skip to content

v0.4.4

Choose a tag to compare

@github-actions github-actions released this 01 Mar 13:58
· 936 commits to master since this release

🚀 Release Notes

📦 包含内容

  • 编译后的 class 文件
  • 所有依赖库(lib/*.jar)
  • 精简版 JRE 21.08(内置,无需额外安装 Java 运行环境)
  • 启动脚本(run.sh / run.bat)

🧩 llama.cpp 版本

  • 本项目中打包的 llamacpp 二进制来自 llama.cpp 项目的 Release(最新版本发布页:https://github.com/ggml-org/llama.cpp/releases/latest)
  • Linux Vulkan: b8183
  • Linux ROCm 7.2: b8183
  • Windows CUDA12: b8183
  • Windows CUDA13: b8183
  • Windows Vulkan: b8183
  • Windows HIP: b8183

📦 可用版本

Linux:

  • llama-server-v0.4.4-b8183-linux-rocm-7.2.zip
  • llama-server-v0.4.4-b8183-linux-vulkan.zip
  • llama-server-v0.4.4-linux.zip

Windows:

  • llama-server-v0.4.4-b8183-windows-cuda12.zip
  • llama-server-v0.4.4-b8183-windows-cuda13.zip
  • llama-server-v0.4.4-b8183-windows-hip.zip
  • llama-server-v0.4.4-b8183-windows-vulkan.zip
  • llama-server-v0.4.4-windows.zip

📝 使用方法

Linux:

unzip <你下载的 linux zip 包>
cd <解压后的目录>
chmod +x run.sh
chmod +x jre/bin/java
./run.sh

Windows:

unzip <你下载的 windows zip 包>
cd <解压后的目录>
run.bat

注意:

  • 本版本已内置精简版 JRE,无需额外安装 Java 环境。
  • Windows CUDA 版本文件较大,是因为使用了 cudart 包,包含了 CUDA 运行环境。
  • 请根据你的 GPU 选择对应的版本:
    • NVIDIA GPU: 使用 cuda12 或 cuda13 版本
    • AMD GPU: 使用 hip 版本,Linux系统,AI MAX+ 395(或其它ROCm7.2支持的GPU)可以使用ROCm7.2版本
    • 其他 GPU(如核显) 或不确定: 使用 vulkan 版本
    • 不需要llamacpp:使用无 llamacpp 版本

📌 最新提交

9b20308 - Merge branch 'master' of https://github.com/IIIIIllllIIIIIlllll/LlamacppServer (IIIIIllllIIIIIlllll, 9 minutes ago)

📋 自上次发布以来的变更

  • 修正模型参数的BUG:该BUG会默认跳过空白字符串参数,主要影响了参数:默认聊天模板 (08eca9b)
  • 增加windows的使用提示 (762b0c5)
  • 补充一些GGUF量化文件的标签 (120596f)
  • 修正win下的托盘退出功能:没有结束全部的llama-server进程 (99ebc7a)
  • 增加功能:将聊天补全中的enable_thinking参数格式化为llamacpp适用的chat_template_kwargs参数,作为一个临时的、开关思维链的解决方案 (302144b)
  • 修复benchmark V2中的超时时间,测试vulkan预填充的时候给我整超时了 (6952802)
  • 添加功能:如果一个全新的模型没有任何启动参数时,默认使用全部的参数(这也是修正之前更新导致的使用体验问题) (5d0ccdf)
  • 将参数--no-webui改为手动配置 (5c93034)
  • 为启动参数添加功能:禁用和启用 (2115df0)
  • 默认添加参数:--host 0.0.0.0 (2e6f4ea)
  • 修改说明 (fb4167a)
  • 停止服务这个按钮似乎没啥大用,可以删掉 (1eeaf5b)
  • 删除easy chat的固定提示词 (c204a49)
  • 增加三个主要的模型网站的快捷访问按钮 (6ba785e)
  • 增加bailingmoe架构的图标;增加lfm架构的图标;增加量化格式IQ2_M的标签;修改paddleocr图标的大小 (246aec9)

构建时间: 2026-03-01 13:58:18 UTC