Skip to content

v0.6.0

Latest
Latest

Choose a tag to compare

View all tags
@roastduck roastduck released this 02 Jul 09:24
v0.6.0
0db9921
  • 亮点：
    • 新增 chitu.run：单可执行文件即可启动多节点、多实例、PD 分离等复杂任务。
  • 新增功能：
    • 新模型：GLM-5.2。
    • 昇腾 910B 平台支持 GLM-5 系列。
    • 支持在请求中设置 reasoning_effort。
    • 增加 DeepSeek-V4 工具调用支持。
    • INT8 W8A8 MoE 增加 triton 算子实现。
    • 支持 prefill 上下文并行（Prefill CP），目前支持 DeepSeek-V3.x、GLM-5.x。
  • 性能优化：
    • 优化 DeepSeek Sparse Attention 的 FP8 prefill 性能。
    • 面向 DeepSeek-V4 的多处优化。
    • 集成海光平台的若干算子。
    • 面向海光平台优化多个辅助算子。
    • 优化 DP 时的元信息通信。
    • 增加 cuda_route_gate_norm 融合算子。
    • 增加 layer_norm 算子的 triton 实现。
  • 问题修复：
    • 使设置 infer.full_warmup 时对各分支情况的 warmup 更充分。
    • 修复设置 infer.full_warmup 时的 KV cache 分配错误。
    • 修复 MoE 串行回退实现的量化支持。
    • 修复 MoE dispatcher 的 allgather 实现处理空的 DP rank 时的错误。
    • 修复 infer.pp_size > infer.max_batch_size 时的错误。
    • 修复 PD 分离对长度超出限制的请求的错误处理。
    • 修复导致推理死锁的若干问题。
    • 修复启用 MTP 时 EP 通信 buffer 的潜在溢出问题。
    • 修复 DeepSeek Sparse Attention 中 indexer 的潜在 int32 下标溢出问题。
  • 持续迭代：
    • 重构 native layout 机制。
    • 利用 coordinator 分配赤兔内部使用的 TCP 端口。除 coordinator 本身外，其余内部端口不再需要用户指定。
    • 将 nvidia-ml-py 从必选依赖改为可选依赖，并不再使用上游已弃用的用法。
  • Highlight:
    • New chitu.run: Single executable to launch complex jobs including multi-node, multi-instance, or PD-disaggregation.
  • Features:
    • New model: GLM-5.2.
    • Supported GLM-5 series on Ascend 910B platform.
    • Supported resoning_effort in requests.
    • Supported tool calling for DeepSeek-V4.
    • New triton implementation for INT8 W8A8 MoE.
    • Supported Prefill Context Parallel (Prefill CP), supporting DeepSeek-V3.x, GLM-5.x.
  • Optimizations:
    • Optimized FP8 prefill of DeepSeek Sparse Attention.
    • Multiple optimizations for DeepSeek-V4.
    • Integrated multiple operators for Hygon platform.
    • Optimized multiple auxiliary operators for Hygon platform.
    • Optimized metadata communication for DP.
    • New fused operator cuda_route_gate_norm.
    • New triton implementation for layer_norm.
  • Bug fixes:
    • More comprehensive warmup when infer.full_warmup is set.
    • Bug fix on KV cache allocation when infer.full_warmup is set.
    • Bug fix on quantization in serial fallback of MoE.
    • Fixed the allgather implementation of MoE dispatcher for empty DP ranks.
    • Fixed for infer.pp_size > infer.max_batch_size.
    • Fixed error handling for out-of-limit sequence length in PD disaggregation.
    • Multiple fixes on dead locks.
    • Fixed potential buffer overflow in EP communication when MTP is enabled.
    • Fixed potential int32 index overflow in the indexer of DeepSeek Sparse Attention.
  • Continuous iteration:
    • Refactored native layout mechanism.
    • Allocate internal TCP ports in Chitu with coordinator. Explicit set of all internal TCP ports is no longer needed except for the coordinator itself.
    • Change nvidia-ml-py from a required dependency to an optional dependency, and drop deprecated usage of this package.

构建产物 1（推荐）： chitu.run 可执行文件。见下方“Assets”。

Artifact 1 (recommanded): chitu.run executable. See "Assets" below.

构建产物 2：docker 镜像：

Artifact 2: docker images:

  • 英伟达 / NVIDIA (arch 8.0, 8.9): qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-nvidia_arch_80_89:v0.6.0
  • 英伟达 / NVIDIA (arch 9.0): qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-nvidia_arch_90:v0.6.0
  • 沐曦 / MetaX: qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-muxi:v0.6.0
  • 昇腾 / Ascend (A2): qingcheng-ai-cn-beijing.cr.volces.com/public/chitu-ascend_a2:v0.6.0
Assets 6
Loading