Repository navigation
1.0 Preview
按设备的 CPU 架构选择其中一个:
| 包 | 大小 | 适用范围 |
|---|---|---|
diskinfer-v3-arm64-v8a.zip |
5.2 MB | 2017 年后的手机、平板、电视盒子(64 位 ARM) |
diskinfer-v3-armeabi-v7a.zip |
4.7 MB | 32 位 ARM:老设备、智能手表、部分车机 |
不确定就使用CPU-Z或adb工具行查看:
adb shell getprop ro.product.cpu.abilist输出里有 arm64-v8a → 用 arm64 包;只有 armeabi-v7a → 用 armv7 包。
内容物
disktui 本项目的 TUI + 磁盘 streaming 引擎(静态,4.6 / 3.3 MB)
llama-completion 同一份 fork 编译出的标准 llama.cpp 命令行(静态,7.5 / 5.3 MB)
device/ 设备端脚本(diskinfer / termfont / run_as_root.sh / setup.sh / 99-disktui.sh)
install.sh 一键安装(AI生成,adb push + 建命令)
两个二进制都是 strip 过的静态文件,不依赖任何 .so,Android 7+ 直接跑。
安装
1.(推荐)使用Agent工具安装
2.运行install.sh(为测试,不保证成功)
3.手动安装
adb push disktui llama-completion /data/local/tmp/llm/
adb push device /data/local/tmp/llm/
adb shell su -c 'sh /data/local/tmp/llm/device/setup.sh /data/local/tmp/llm/disktui'放模型
adb shell mkdir -p /storage/emulated/0/models
adb push your-model.gguf /storage/emulated/0/models/Android 11+ 上 Termux 可能读不到
/storage/emulated/0。两个办法:
adb shell appops set com.termux MANAGE_EXTERNAL_STORAGE allow
并且adb shell pm grant com.termux android.permission.READ_EXTERNAL_STORAGE- 或者把模型放到 Termux 私有目录(永远能读):
run-as com.termux cp /sdcard/models/x.gguf /data/data/com.termux/files/home/models/
diskinfer也会去~/models找
如何运行
设备上打开 Termux:
diskinfer 交互
diskinfer "The capital of France is" 一次性
diskinfer -h 全部参数
想用标准 llama.cpp 的命令行(chat 模板、sampling 预设等):
./llama-completion -m /path/model.gguf -p "Hello" -n 32 --temp 0.3第一次运行该看到什么
llama-disk: 851 tensors registered, 3616 MiB to stream, largest tensor 'token_embd.weight' 170 MiB
llama-disk: streaming weights from disk, arena = 194 MiB (raised to fit the largest tensor), direct io = 1, mlock = 1, prefetch = 0 (lookahead 16)
第二行会明确写出 arena 有多大、为什么是这个值。如果这两行没出现,说明
LLAMA_DISK_STREAM_MB=0 被设进了环境。
常见问题
diskinfer: not found — root 的 Termux shell 看不到 $PREFIX/bin。重开一个 Termux
窗口,或者 export PATH=/data/data/com.termux/files/usr/bin:$PATH。setup.sh 已经写进
~/.bashrc 并做了 /debug_ramdisk 软链,正常不会遇到。
跑到几分钟被系统杀掉 — 没 root,进程没设 oom_score_adj=-1000。1GB 这种小设备必须
有 root,8GB 以上一般没事。
很慢 / 每秒不到 1 个 token — 正常。每个 token 都要把模型读一遍,3.5GB 模型在
200MB/s 的闪存上就是 17 秒起步。想快只能让 arena 装下整个模型(内存要够)或者换更小的模型。
卸载
adb shell su -c 'rm -rf /data/data/com.termux/files/home/llm /data/local/tmp/llm \
/data/data/com.termux/files/usr/bin/diskinfer /data/data/com.termux/files/usr/bin/termfont \
/data/adb/service.d/99-disktui.sh'