Repository navigation
mineru-llama-cpp 0.2.2
mineru-llama-cpp 0.2.2 将内置 llama.cpp 从 b11524 升级到 b12503(4577932),并适配新版图文会话接口。PR #6 · PR #7
推理与兼容性
- 同步生成和流式生成使用同一套请求提交逻辑。每个请求单独创建模板会话,两条路径都会应用会话产生的采样约束,包含 JSON Schema。
- 图文请求由服务器线程完成分词。请求等待空闲槽位时复用已生成的 tokens,避免重复处理同一份输入。
- Python 原生扩展显式链接新版服务器组件使用的
cpp-httplib静态库,修复 Windows AMD64 和 ARM64 构建时找不到httplib::hosted_at的问题。PR #8
安装
python -m pip install --upgrade mineru-llama-cpp==0.2.2五个 cp311-abi3 wheel 支持标准 GIL 版 CPython 3.11–3.14。Linux x86_64/aarch64、Windows AMD64/ARM64 提供 CPU 和 Vulkan 后端,macOS 14 及以上的 Apple Silicon 提供 CPU 和 Metal 后端。
验证
- 在 Apple M6 上,用 MinerU2.5-Pro-2605-1.2B Q8_0 对
demo1.pdf首页做两阶段提取。升级末段的b12499与b12503各跑三轮,六次都得到相同的 19 个块,逐块内容、坐标和阅读顺序一致。本地对照记录 - 从正式标签构建下载 macOS arm64 wheel,在独立的 Python 3.11 环境安装,核对内置提交并加载 CPU 和 Metal 后端。完整测试 287 项通过、16 项按平台跳过,覆盖真实模型的文本生成、图文布局、流式输出、并发及取消。
- 五个平台的正式 wheel、Xcode 16.4 兼容性检查和严格稳定 ABI 审计均通过。标签构建
- PyPI 的五个文件与正式构建逐一核对 SHA-256。从 PyPI 重新下载安装 macOS wheel 后,真实模型的文本生成、图文布局和同步/流式 JSON Schema 回归均通过。PyPI 0.2.2 · 发布流程