llama-server Android arm64 - b11723

🚀 llama-server 二进制发布（Redmi Note 12 Turbo 优化）

上游版本: b11723
NDK: r29 (r29)
架构: Android arm64-v8a (API 28+)

📦 下载文件

文件	说明
llama-server	独立二进制（已 strip，无外部 .so 依赖）
llama-server.sha256	SHA256 校验和

⚙️ 技术特性

• 无 OpenMP 依赖，避免静态链接导致的运行时崩溃
• KleidiAI 微内核优化 + llamafile SGEMM + LTO 链接时优化
• C++ STL 静态链接 (c++_static)，无外部 .so 依赖
• 指令集: armv8.6-a+dotprod+i8mm+fp16+bf16
• 深度适配 Redmi Note 12 Turbo（骁龙 7+ Gen 2）
  • 1× Cortex-X2 + 3× Cortex-A710 + 4× Cortex-A510
  • 全核支持 bf16，启用后可加速 bf16 量化推理

🛠 使用方式

# 推送到设备
adb push llama-server /data/local/tmp/
adb shell chmod 755 /data/local/tmp/llama-server

# 启动（推荐参数，已针对 7+ Gen 2 调优）
adb shell /data/local/tmp/llama-server \
  -m /path/to/你的模型.gguf \
  -c 2048 -t 4 --no-mmap --log-verbosity 0 \
  --host 0.0.0.0 --port 8080

# 停止
adb shell pkill -f llama-server

🔗 与 Rust 程序配合使用

API 地址: http://127.0.0.1:8080

SHA256: $(cat llama-server.sha256)