Skip to content

PRISM v1.6.0 — расширение билдера синтетической базы

Choose a tag to compare

@4dand 4dand released this 07 Jul 18:36

[1.6.0] — 2026-07-07

Бухгалтерский домен в категории B: пять новых задач B16–20 и оценка на них всех 25 моделей.
Метрика и конституция не менялись — банк задач вырос (B15 → B20), а compat_hash считается
из версий конституции/протокола, не из числа задач; per-task оценки из 1.5.x сравнимы.

Добавлено

  • Пять платформенных задач по бухгалтерии (tasks/category_b/B16–B20): договор,
    действующий на дату; долг контрагента по договорам; выделение НДС из константы; оборот
    и сальдо по счёту в разрезе субконто. Каждая — условие + скрытые тесты + эталон
    (проходит prism check на 100%).
  • Синтбилдер под бух-объекты (harness/synthconfig): ПланСчетов, РегистрБухгалтерии
    (корреспонденция + субконто), ПланВидовХарактеристик, константы — синтетическая база
    1С:Бухгалтерии собирается из спеки задачи.
  • Прогон и оценка B16–20 по всем 25 моделям (эксперимент B — 500 пар). Лидерборд
    бухгалтерии: GPT-5.5 решает 4/5, Grok 4.3 и Opus 4.8 — по 4/5; топ-7 берут 2–4 из 5,
    нижняя половина — 0/5.
  • Команда prism score --task — частичный скоринг по указанным задачам с дозаписью
    в auto_l1 (прочие группы не пересчитываются), как --models. Догоняет новые задачи
    без прогона всего банка по всем моделям.

Исправлено

  • Бейдж «тест-кейсов» считал объявления Процедура/Функция в tests.bsl вместо
    реального числа проверок (у кат. B все проверки — в одной ПрогнатьТест(), а хелперы
    сбивали счёт). Теперь берётся заявленный Всего = N (TOTAL): 87 → 108, чинит счёт и
    для прежних B-задач.
  • prism score --out вне репозитория ронял финальную печать пути (relative_to) —
    обёрнуто с фолбэком на абсолютный путь.

Изменено

  • Модель sonnet переведена с OpenRouter на AITUNNEL (claude-sonnet-4.6) — канал
    доступа, на баллы не влияет.