Repository navigation
BUG 如果出现超大会话整个就崩溃了 #12708
skyformat99
started this conversation in
General
BUG 如果出现超大会话整个就崩溃了
#12708
Replies: 4 comments
|
同,超大会话没必要把整个会话完全读进来。只读后半段即可。而且读了后内存还不释放。整个会话吃满内存堆 |
0 replies
|
问题同上,现在卡的不得了。切换一个对话要卡几秒十几秒。一般一个对话持续几个小时。跑10个亿左右的token吞吐。 |
0 replies
|
超大会话完全没必要全部读取 |
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
最近有个项目长时间开发使用,大概3个月了吧。
造成一个会话长度非常大,然后直接崩溃了。
起用的会话解压后约 1GB(已解码部分 308MB/8.3 万行,剩余 141MB 压缩流按同比例推算总量 ~1GB),其中 assistant 消息占 176MB。DSH 桌面版启动时自动恢复这个会话,你一输入问题,host(Node 子进程,堆上限约 4GB)组装上下文时直接 OOM。而且崩溃后恢复助手又自动重开同一会话,形成死循环。
值得向 DSH 官方反馈的 bug:会话装载无体积保护 + 崩溃反而把会话顶到“最近使用”造成死循环
All reactions