Skip to content

0.4.1beta

Latest

Choose a tag to compare

@TinyDX TinyDX released this 20 Oct 14:30

修复大显存显卡的主机 KV 池偏小问题,以及超长上下文静默出错不提示的问题。

修复

  • 16 GB 显存的卡,主机 KV 池实际只用了 8 GiB(配置里的 16384 没生效),
    长对话时报 context cache exhausted: Paged KV pool has no free page。已修复。
  • 请求内容超过设备池时,引擎会静默丢弃中间内容并返回 HTTP 200,
    答案不可信但没有提示。现在界面会警告。

更新

已安装的用 ”LocalModels-Update-0.4.1beta.exe“(408 KB)更新,引擎不用重下。

问题反馈

加 QQ 群 373392086。