Skip to content

Releases

diskinfer Android 1.0.1

Choose a tag to compare

@Horn-Studio Horn-Studio released this 10 Nov 16:28

diskinfer Android 1.0.1

更新内容

极限小 arena:把大张量继续拆小

  • arena 小于最大张量时自动进入 tiny 模式:token_embd 输入只读被选中的行(prefill 用 compact 行 gather),输出层(含 tied token_embd.weight)按行分块,其它放不下的大矩阵(ffn/attn)按行分块。
  • arena 下限到 8 MiB;实测 Qwen3.5-0.8B-MoE 用 8–16 MiB、Bonsai2 27B 用 16 MiB 都能跑,输出与 2048 MiB arena 逐 token 一致。
  • TUI「内存池 (MB)」支持 8..2048(128 以下减半步进,0=自动);LLAMA_DISK_TINY_ARENA=0 可关闭自动 tiny。

TUI 新增设置 / 显示

  • 新增「Prefill 批量」:一次 prefill 的 token 数,1..256,默认 4;越大 prefill 越快、峰值内存越高。
  • 设置页底部实时显示「常驻 RAM / 峰值 RAM」预估(KV、递归状态、计算缓冲取自 llama.cpp 对临时 context 的真实尺寸;arena、模型元数据为实测值),运行页同样显示。

读盘与闪存寿命

  • 读盘缓存自动策略:模型 ≤ 可用内存 45% 时用 buffered IO(page cache 吸收重复整模型扫描,热起来后不再读闪存),否则 direct IO;LLAMA_DISK_ODIRECT=0/1 可覆盖。
  • 实测 Qwen 0.5B:direct 0.48 s/token → buffered 热缓存 0.17 s/token(logits 一致)。

修复

  • 行窗口/视图窗口的 pin 计数、O_DIRECT 对齐偏移、窗口提前释放、并发安装竞态、prefill 多 token 的 compact gather 等一整轮正确性 bug;window 模式与基准逐 token 一致。
  • 其余 1.0.1 内容不变:llama.cpp v0.9.0、MoE 快速路径、新 TUI、/v1 API、自适应安装器、多语言、三 ABI。

实测(Android x86_64 模拟器,8GB RAM,本地盘)

模型 arena / 模式 decode RSS logits
Qwen3.5-0.8B-MoE 514 MiB 2048 MiB direct 0.05 s/tok 632 MiB 基准
同上 16 MiB tiny 0.43–0.57 s/tok 146 MiB 一致
同上 8 MiB tiny 0.43–0.51 s/tok 139 MiB 一致
同上 16 MiB tiny + buffered 0.16–0.17 s/tok 132 MiB 一致
Bonsai2 27B 7.26 GiB 2048 MiB direct 7.99 s/tok 2317 MiB 基准
同上 16 MiB tiny 11.28 s/tok 287 MiB 一致

手机真机(arm64/armv7)、27B 的 buffered 收益、真实闪存速度:待测。

使用方法

adb shell getprop ro.product.cpu.abilist
cd 解压目录 && ./install.sh          # root 走 su,非 root 给 Termux 命令
adb push model.gguf /data/local/tmp/llm/models/
diskinfer                            # TUI:模型 → 设置页 → 运行页
diskinfer --api-only -m model.gguf   # 只开 /v1 API(4000)
LLAMA_DISK_STREAM_MB=16 diskinfer    # 极小 arena(自动分块)

TUI 设置页:上下文长度、温度、聊天模板、MoE 快速路径、内存池 (MB) 8..2048、Prefill 批量 1..256、API 服务;底部显示常驻/峰值 RAM 预估。

注意事项

  • tiny arena 只省内存、不省 IO:每个 token 仍会顺序扫一遍模型,速度取决于闪存带宽。
  • tiny 模式下 Prefill 批量增大会明显提高计算缓冲(实测 ub16 +44.5 MiB、ub32 +89 MiB),小内存设备建议 1..8。
  • 模型放不进可用内存时会自动用 direct IO(避免 page cache 挤占);想强制缓存可设 LLAMA_DISK_ODIRECT=0。

更多细节与完整实测表见仓库 README。

1.0 Preview

Choose a tag to compare

@Horn-Studio Horn-Studio released this 24 Oct 16:27

按设备的 CPU 架构选择其中一个:

包 大小 适用范围
diskinfer-v3-arm64-v8a.zip 5.2 MB 2017 年后的手机、平板、电视盒子(64 位 ARM)
diskinfer-v3-armeabi-v7a.zip 4.7 MB 32 位 ARM:老设备、智能手表、部分车机

不确定就使用CPU-Z或adb工具行查看:

adb shell getprop ro.product.cpu.abilist

输出里有 arm64-v8a → 用 arm64 包;只有 armeabi-v7a → 用 armv7 包。

内容物

disktui              本项目的 TUI + 磁盘 streaming 引擎(静态,4.6 / 3.3 MB)
llama-completion     同一份 fork 编译出的标准 llama.cpp 命令行(静态,7.5 / 5.3 MB)
device/              设备端脚本(diskinfer / termfont / run_as_root.sh / setup.sh / 99-disktui.sh)
install.sh           一键安装(AI生成,adb push + 建命令)

两个二进制都是 strip 过的静态文件,不依赖任何 .so,Android 7+ 直接跑。

安装

1.(推荐)使用Agent工具安装
2.运行install.sh(为测试,不保证成功)
3.手动安装

adb push disktui llama-completion /data/local/tmp/llm/
adb push device /data/local/tmp/llm/
adb shell su -c 'sh /data/local/tmp/llm/device/setup.sh /data/local/tmp/llm/disktui'

放模型

adb shell mkdir -p /storage/emulated/0/models
adb push your-model.gguf /storage/emulated/0/models/

Android 11+ 上 Termux 可能读不到 /storage/emulated/0。两个办法:

  1. adb shell appops set com.termux MANAGE_EXTERNAL_STORAGE allow
    并且 adb shell pm grant com.termux android.permission.READ_EXTERNAL_STORAGE
  2. 或者把模型放到 Termux 私有目录(永远能读):
    run-as com.termux cp /sdcard/models/x.gguf /data/data/com.termux/files/home/models/
    diskinfer 也会去 ~/models 找

如何运行

设备上打开 Termux:

diskinfer                              交互
diskinfer "The capital of France is"   一次性
diskinfer -h                           全部参数

想用标准 llama.cpp 的命令行(chat 模板、sampling 预设等):

./llama-completion -m /path/model.gguf -p "Hello" -n 32 --temp 0.3

第一次运行该看到什么

llama-disk: 851 tensors registered, 3616 MiB to stream, largest tensor 'token_embd.weight' 170 MiB
llama-disk: streaming weights from disk, arena = 194 MiB (raised to fit the largest tensor), direct io = 1, mlock = 1, prefetch = 0 (lookahead 16)

第二行会明确写出 arena 有多大、为什么是这个值。如果这两行没出现,说明
LLAMA_DISK_STREAM_MB=0 被设进了环境。

常见问题

diskinfer: not found — root 的 Termux shell 看不到 $PREFIX/bin。重开一个 Termux
窗口,或者 export PATH=/data/data/com.termux/files/usr/bin:$PATH。setup.sh 已经写进
~/.bashrc 并做了 /debug_ramdisk 软链,正常不会遇到。

跑到几分钟被系统杀掉 — 没 root,进程没设 oom_score_adj=-1000。1GB 这种小设备必须
有 root,8GB 以上一般没事。

很慢 / 每秒不到 1 个 token — 正常。每个 token 都要把模型读一遍,3.5GB 模型在
200MB/s 的闪存上就是 17 秒起步。想快只能让 arena 装下整个模型(内存要够)或者换更小的模型。

卸载

adb shell su -c 'rm -rf /data/data/com.termux/files/home/llm /data/local/tmp/llm \
  /data/data/com.termux/files/usr/bin/diskinfer /data/data/com.termux/files/usr/bin/termfont \
  /data/adb/service.d/99-disktui.sh'