Skip to content

v1.2.0

Choose a tag to compare

@codemistake codemistake released this 07 Sep 00:18
· 19 commits to main since this release

По результатам бенчмарка на 50 входах (см. bench/): слабые места v1.1.0 — длинные документы (2:5), голос автора (1:3) и выдумки на слабой модели (Haiku, rewrite 5:12).

  • SKILL.md: раздел «0. Ядро» — восемь главных правил в начале файла, чтобы слабая модель держала их в фокусе.
  • SKILL.md: в режиме редактуры — обратная трассировка: каждое утверждение результата должно указывать на место в исходнике.
  • SKILL.md: раздел 7 — обязательная сверка результата с образцом по пунктуации, времени глаголов и связкам; голос не даёт права на конкретику; причина из данных переносится целиком.
  • SKILL.md: раздел 10 — подраздел «Длинный текст (от ~300 слов)»: дубли, висящие ссылки, лицо автора, ориентирующие разделы, концовка; уточнение для нормативных текстов: канцелярит внутри пункта убирать можно, синтаксис пункта — нет.
  • SKILL.md: финальная проверка — пункты 11–13 (трассировка, длинный текст, образец).

Проверено перепрогоном всех 50 входов на Sonnet и Haiku (baseline не менялся, судьи — Claude Opus, вердикты v1.1.0 сохранены в bench/judge-v1.1.0-n50/):

  • Sonnet: 26 / 16 / 8 против 26 / 15 / 9 у v1.1.0. Целевые типы выправились: long 3:3 вместо 2:5, voice 2:2 вместо 1:3. Выдумки почти исчезли: 1 против 17 у baseline. Плата — осторожная редактура канцелярита: rewrite 7:7 вместо 10:4.
  • Haiku: 26 / 19 / 5 против паритета 23 / 22 / 5. Выросли subtle (7:1) и voice (4:0). На rewrite слабая модель со скиллом по-прежнему проигрывает 6:11 и выдумывает.