Delegator v0.5.8
Крупное обновление: публичный бенчмарк, работающий трей и improve, который проверяет код, а не только читает его.
Установщик: DelegatorSetup-0.5.8.exe, SHA-256 973E2250596A352BEB4C235C739321AA2022CB4840D3067FAB8F37E01C9FD5EB
Бенчмарк прямо в чате IDE — команда -benchmark
Ваша модель решает 12 случайных задач сама, затем те же задачи проходят через Delegator. Оценка полностью механическая: код запускается и сравнивается с эталоном на сгенерированных данных, SQL — построчно. Ответы не оценивает ни одна нейросеть, включая вашу собственную. Отчёт сохраняется на рабочий стол текстом и картинкой PNG, которой можно поделиться в любом чате.
- Балл не «всё или ничего». Каждая задача разбита на именованные проверки:
2.3/3 (7/9). Наведите курсор на балл в окне Delegator — увидите, какие именно требования не выполнены. - Раздел «Где сильнее и где слабее» — баллы по уровням сложности и по типам задач, а не один общий итог.
- Честная статистика. Рядом с результатом печатается точный тест Макнемара и прямо сказано, скольких расхождений не хватает для вывода. «Не доказано» — это про размер выборки, а не про Delegator.
- Задачи, которые решают все, вытесняются сами. Delegator запоминает фактическую сложность каждого типа задач и реже даёт то, что никто не проваливает.
Delegator больше не одобряет код, который не запускается
Раньше решение «оставить ответ как есть» принималось только по прочтении. Теперь код из ответа компилируется, а SQL разбирается по схеме из условия — найденные так дефекты доказаны и перевешивают мнение проверяющего.
И наоборот: проверяющий обязан показать конкретный вход, на котором ответ падает. Заявление без доказательства отбрасывается — переписывание верного ответа было единственным способом навредить.
Приложение в трее больше не спит
В Windows скрытое окно не получает сообщений отрисовки, поэтому всё, что жило в цикле окна, в трее просто не работало: упавшее ядро не поднималось, обновления не проверялись. Присмотр за ядром вынесен в отдельный поток — убитое ядро возвращается примерно за секунду при скрытом окне.
- Вкладка «Бенчмарк» плавно подсвечивается, пока идёт прогон, — видно с любой вкладки.
- Вкладка «IDE и интеграции» переименована в «Интеграция».
Полный список изменений — в CHANGELOG.md.