Skip to content

PRISM v1.1.0 — новая секция лидерборда

Choose a tag to compare

@4dand 4dand released this 24 Jun 23:25

[1.1.0] — 2026-06-25

Добавлено

  • Разбор отказов на лидерборде («где ломается код у каждой модели»): все попытки модели
    раскладываются на четыре исхода — решено · неверный ответ · ошибка выполнения · не
    компилируется
    (в сумме 100%) — с указанием самой частой поломки. Балл говорит «насколько
    хорошо», разбор — на каком шаге ломается.
  • Атрибуция к корню, без двойного счёта. Исход засчитывается там, где прогон впервые
    сломался: не скомпилировался → одна причина, а не каскад нулей по M/P/O.
  • Словарь типов ошибок metrics/error_taxonomy.yaml (данные, не код): сырое сообщение
    1С/OneScript → человеческая причина (напр. «нет такого поля или объекта», «перепутаны типы
    данных»). Видимая корзина для неклассифицированного — словарь пополняется, а не молчит.
  • Вывод в CLI (prism leaderboard --full): цветная полоса исходов символами █▓▒░
    читается и без цвета. Вывод в README и на странице «Лидерборд»: цветные квадраты,
    авто-сборка prism docs (источник — оценки L1, руками не правится).