Skip to content

v0.4.1

@RafaelUI RafaelUI tagged this 14 Nov 21:49
Исправление поведения 0.4.0 (3 коммита):

Генерация
- prefill продолжает переданное состояние, а с ним и generate(…, state:): второй ход диалога дописывается к первому. До 0.4.0 включительно prefill состояние перезаписывал, и второй ход молча считался с нуля (история терялась, пример снимка из docs/Inference.md не работал).
- Начало последовательности — состояние из одних нулей (RWKVState(cfg:), любой тип) или ровно startState(): выход побитно как в 0.4.0 (дамп 3448 массивов до/после). Код, который заводит новое состояние на каждый запрос, не задет; скорость префилла — в шуме (|Δ| ≤ 0.5 мс на 0.1B–2.9B).
- Продолжение сверено с step по шагам (fp32 1.9e-7, bf16 8.6e-5, fp16 3.9e-7 в логитах); тест снимка — против эталона по шагам, а не сам с собой.

Тесты
- ShortPassKernelTests без фикстур .rwkvq пропускается, а не падает.

Несовместимо с 0.4.0
- Код, который переиспользовал одно состояние для независимых промптов и полагался на перезапись, должен заводить новое состояние (RWKVState(cfg:) или startState()).
Assets 2
Loading