Repository navigation
Axono v0.2.0
nanobind 重写的 GPU 张量/神经网络框架, 对齐 Qwen3-VL-2B 所需全部算子。
Wheel 矩阵
- Linux (x86_64): CPU / cu118 / cu126 / cu128 / cu130 × py3.10–3.13
- Windows (amd64): CPU / cu126 / cu128 / cu130 × py3.10–3.13
(cu118 Windows 因 nvcc 11.8 与新版 MSVC 工具链不兼容不提供, 请用 cu126+)
安装
pip install https://github.com/AxonoOfficial/Axono/releases/download/v0.2.0/axono-0.2.0-cp310-...whl
# 或 CUDA 版 (以 cu126 为例):
pip install axono-0.2.0-cp312-cp312-linux_x86_64-cu126.whl亮点 (相对 0.1)
- nanobind/scikit-build-core 全新 C++17/CUDA 后端, cuBLASLt + CUDA Graph 加速
- FP16 混合推理、KV Cache、.axm 权重格式、GQA decode 融合内核
- mrope、fused elementwise、浅拷贝零拷贝视图
- Qwen3-VL-2B 多模态端到端推理 (examples/vlm/qwen3vl)