Skip to content

MobiInfer-Android v0.1-alpha — 在骁龙 Hexagon NPU 上端侧运行 35B 级 MoE

Choose a tag to compare

View all tags
@yydhYYDH yydhYYDH released this 16 Oct 11:15
· 61 commits to main since this release
v0.1-alpha
278a8ae

MobiInfer-Android v2.5

在 高通 Hexagon NPU（HTP） 上完全本地运行大型多模态模型 —— 无服务器，数据不出设备。

亮点

  • 🚀 原生 Hexagon NPU 后端：LLM 与视觉编码器均跑在 NPU 上
  • 🧠 MiniCPM-V 4.7 35B-A3B (MoE) 端侧运行：专家权重常驻闪存、按需流式加载（LES 前瞻专家调度）
  • 🎯 DSpark 投机采样：Q8_0 草稿，最多 3 个 draft token（默认开启）
  • 🖼️ 多模态 I/O：文本对话 + 图片问答
  • 📦 应用内模型管理：从 ModelScope 下载，逐文件 SHA256SUMS 校验

支持的模型

模型 量化 大小 说明
MiniCPM-V 4.7 35B-A3B Q3（混合，tiled experts） ~17 GB 主目标；专家流式加载，需 Hexagon v79 + ≥12 GB RAM
Qwen3-VL-4B-Instruct Q4_K_M ~3.3 GB 视觉语言

环境要求

  • 搭载 Hexagon v79 NPU 的骁龙设备
  • Android 8.0（API 26）+，arm64-v8a
  • ≥ 12 GB RAM、≥ 17 GB 可用存储
  • 首次下载建议 Wi‑Fi

安装

从下方 Assets 下载 APK 安装；首次需在「设置 → 应用 → 安装未知应用」允许来源。

adb install -r MobiInfer-Android-v0.1-debug.apk
安装后打开 App → 模型管理 → 下载模型即可开始对话（文字或图片）。
已知限制
- v79, v81已验证；v73+ 可构建但未验证
- 连续多轮 / 长上下文的稳定性仍在完善中
Assets 3
Loading