Repository navigation
修复大显存显卡的主机 KV 池偏小问题,以及超长上下文静默出错不提示的问题。
修复
- 16 GB 显存的卡,主机 KV 池实际只用了 8 GiB(配置里的 16384 没生效),
长对话时报context cache exhausted: Paged KV pool has no free page。已修复。 - 请求内容超过设备池时,引擎会静默丢弃中间内容并返回 HTTP 200,
答案不可信但没有提示。现在界面会警告。
更新
已安装的用 ”LocalModels-Update-0.4.1beta.exe“(408 KB)更新,引擎不用重下。
问题反馈
加 QQ 群 373392086。