SLIM-ARC v1.1.0 最终归档版

SLIM-ARC v1.1.0 最终归档版

SLIM-ARC 是面向内存受限设备的大语言模型推理运行时。本版本归档项目在 2026 年全国大学生计算机系统能力大赛操作系统设计赛中的最终参赛成果。

代表性成果

• 在 WSL、RK3588、macOS 和 Ascend 910B 等平台完成系统实现、复现与边界验证。
• 通过模型映射、页面级按需加载、专家预测与预取、KV Cache 管理和硬件特化，改善受限内存下的可运行性与吞吐。
• 提供固定 llama.cpp revision、可重复应用的补丁、统一 make 入口、无需模型的快速测试和结构化实验材料。
• 本 Release 收录 41 页决赛详细报告、39 页最终答辩材料、14 页项目全景总结与最终答辩视频。

快速开始

git clone https://github.com/Nexa-Language/SLIM-ARC.git
cd SLIM-ARC
make bootstrap
make build
make test

模型权重不随仓库或 Release 分发。模型名称、上游 revision、SHA-256、量化与准备方式见仓库中的 docs/guide/model-artifacts.md。

链接

• 项目官网：https://slim.nexa-lang.com/
• GitHub：https://github.com/Nexa-Language/SLIM-ARC
• 简介视频：https://www.bilibili.com/video/BV1fXTF6HEAw/
• 决赛答辩视频：https://www.bilibili.com/video/BV1iHbB6CEPb/

所有附件的 SHA-256 见 SHA256SUMS；结构化制品信息见 release-manifest.json。

SLIM-ARC v1.0.0

🎉 SLIM-ARC v1.0.0 Release

核心成果

• 64.5× 累计 decode 加速 (0.08 → 5.16 t/s)
• 80B MoE 在 8GB RAM 运行 (+850% over baseline)
• FlashAttention +71.4% (零代码改动)
• GSM8K 精度验证 (75% Qwen3-4B, 50% 80B Q4_K_M)

优化技术链

Baseline → +MADV_RANDOM → +KV q4_0 → +IQ4_XS → +FlashAttention

文档

• 学术报告 PDF
• 展示网站
• 架构文档

快速开始

git clone https://github.com/Nexa-Language/SLIM-ARC.git
cd SLIM-ARC
git clone https://github.com/ggml-org/llama.cpp src/llama-upstream
python3 scripts/apply-slim-arc.py
cd src/llama-upstream && cmake -B build -DGGML_CPU_REPACK=OFF && cmake --build build -j

---

中山大学 · 依托Agent答辩OS团队 · 2026 OS设计赛 Proj 59