Repository navigation
MoE4All 1.3.0
全新 Windows 图形界面
- 新增
MoE4All Engine.exe,双击即可配置和启动,保留原有 CMD 入口。 - 对话、API 服务和 Benchmark 使用独立运行页面,支持 Markdown 对话、本轮速度及各路速度展示。
- Benchmark 结果动态填入表格,支持复制与窗口式上传引导。
- 支持明暗主题、高分屏和窗口缩放,改善滚动、自动跟随、停止及关闭体验。
独立模块与原生语音
- LLM、Embedding、语音识别和语音合成可独立启动或组合运行,无需为辅助服务加载大语言模型。
- 新增 SenseVoice Small 原生 CPU 语音识别,提供命令行及
/v1/audio/transcriptions接口。 - 长录音分段处理,支持分段流式返回,修复纯静音产生虚假转录的问题。
- 新增 Melo 中文语音合成,提供命令行及
/v1/audio/speech接口,支持 WAV、PCM 输出。 - 语音模块按需加载、空闲释放,使用独立 CPU 线程与队列;推理无需 Python、ONNX Runtime 或 FFmpeg。
- 独立 Embedding 服务支持延迟加载和空闲释放整个计算后端。
性能与稳定性
- Prefill 支持利用统一显存池中的离散空隙,减少碎片导致的空间浪费。
- 优化部分大矩阵、窄投影、MoE Router 和 BF16 Prefill 路径,按设备、格式及矩阵尺寸选择生效范围。
- 修复 AMD 专有驱动编译 hd256 融合注意力时的崩溃,并优化尾块计算。
- 修复 Decode 需等待 Prefill 校准完成才能启用命令预录的问题,改善刚启动时的生成速度。
- 自动提交时间预算由普通/激进的 250/500ms 调整为 150/300ms,降低长任务触发驱动超时的风险。
- 感谢 not-zen-girl 提供的 Prefill 优化与驱动兼容修复。
向导、更新与 Benchmark
- 三端同步独立模块配置、下载目录选择和模型目录,补齐 35B 视觉及语音识别模型入口,修正 FlashNext 分片链接。
- Windows 图形下载支持暂停、继续和取消。
- 完整 Benchmark 各项改为测量一次,保留原有上下文、并发及预热规则。
- 修复上传等待过久、错误重试及输出解析问题,保留报告原件和回执。
- 增加首次使用及新版本 Benchmark 提醒、自动更新提示和稍后提醒。
- OTA 保留图形/命令行入口,升级后恢复对应入口;修复 Linux、macOS 配置、上传记录和提醒状态的迁移。
- 增加三端向导、更新与发布包回归检查。
- 更新中英 README、性能数据、图形界面配图及研究导航。
语音合成模型准备
- Melo 模型与配套资源需单独准备,本版提供 convert_melotts_chinese.py 转换脚本。
- 转换需要 Python、PyTorch 和 NumPy;转换完成后的日常推理不需要这些依赖。
完整变更:1.2.0 → 1.3.0
Build provenance: exact commit 106cb726dc6143b73fc7a7c5486e05b61d0ccd94, artifact source rebuilt.
Linux x86_64 is experimental: requires glibc 2.35+, Bash 4.3+, standard Linux utilities and a Vulkan GPU driver; no Python or jq is needed to launch. GPU inference and upgrading across real systems need community validation. / Linux 包为实验性版本,请反馈驱动、推理及更新兼容性问题。
macOS arm64 / Metal is experimental. The package runs on Apple Silicon with the system zsh and standard Apple utilities; Homebrew, Python, jq and a Rust toolchain are not runtime dependencies. Text run/serve/bench and explicit MTP are included. Metal serving is currently single-slot; Vision and Embedding are not yet available. The binary is ad-hoc signed but not Apple-notarized. / macOS Apple Silicon 包为实验版,请反馈模型兼容性与性能问题。