单流(single-stream)速度下降:170–180 Tok/s → 约 130 Tok/s,大家有遇到吗? #5572
Unanswered
AbelKeithsun
asked this question in
Q&A
Replies: 0 comments
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
单流(single-stream)速度下降:170–180 Tok/s → 约 130 Tok/s,大家有遇到吗?
现象 / The issue
我使用的是 DeepSeek 官方通道(DSH 默认接入)。同样的模型、同样的参数、同样的网络环境,最近几天单流生成速度明显下降:
(注:这里指单流 / single-stream——即不开启多路并发推理时的单条流式输出速度;开启多流后总吞吐更高,但单流本身能反映单条链路的性能。)
想问大家 / Questions
如果只是我这边的问题,也欢迎指出来,我好排查。
对比:火山引擎 DeepSeek 能做到 200+ 单流 / FYI: Volcano Engine DeepSeek
作为参考,火山引擎(Volcano Engine)托管的 DeepSeek 单流速度可以达到 200+ Tokens/s,明显高于我目前从官方通道拿到的 ~130 Tok/s。
如果官方通道近期确有波动,火山这类第三方托管在单流吞吐上确实有明显优势,也值得大家对比参考。
欢迎大家贴自己的实测数据(模型、通道、区域、单流速度),一起确认是不是普遍现象。
All reactions