Skip to content

Reporters and Reports RU

Pavel Erokhin edited this page Nov 21, 2026 · 3 revisions

English version

ctxray test показывает результаты в терминале и умеет записывать их в файлы — для людей, для CI и для других программ. Здесь описан каждый репортер, файлы, которые он пишет, и то, как ctxray не пускает в них секреты.

Репортеры

Репортер Пишет Для кого
console ничего: матрица слоёв и харнессов, затем падения, прямо в терминале для вас во время работы
json report.json для скриптов и других инструментов
html index.html и рядом report.json для человека, который читает весь прогон, без сети
junit junit.xml для вкладки тестов в GitLab, Jenkins и других CI
allure allure-results/ для дашбордов Allure
markdown summary.md для комментария к merge request или сводки задания

Выбираются флагом --reporter через запятую:

ctxray test --reporter console,html,junit

Флаг сильнее CTXRAY_REPORTER, а она сильнее reporters в конфиге:

export default defineConfig({
  reporters: ["console", "html"],
});

Если ничего из этого не задано, локальный прогон использует только console и файлов не пишет. В CI (см. CI Integration) по умолчанию включены console, json, junit, markdown, html, чтобы пайплайн получил все файлы, которые умеет показать. Конфиг с reporters побеждает и в CI. Неизвестное имя останавливает прогон с кодом выхода 2.

Короткая сводка в конце — числа по слоям и записанные файлы — печатается всегда, какие бы репортеры вы ни выбрали.

Папка отчётов

Файлы попадают в .ctxray/report/ в корне проекта. --report-dir или report.dir в конфиге переносят её, путь считается от корня проекта:

export default defineConfig({
  report: { dir: "build/ctxray" },
});
Файл Репортер
report.json json или html
index.html html
junit.xml junit
allure-results/<uuid>-result.json, categories.json, environment.properties allure
summary.md markdown

Каждый прогон перезаписывает файлы, а allure сначала очищает allure-results/. ctxray init добавляет .ctxray/ в ваш .gitignore, чтобы отчёты не попадали в коммиты. Снапшоты, кассеты и ctxray.baseline.json лежат в другом месте — рядом с тестами и в корне проекта, потому что их вы коммитите.

HTML-отчёт

index.html — один самодостаточный файл: стили, скрипт, данные и тексты внутри. Его можно открыть с диска, приложить к пайплайну артефактом или отправить почтой. Ни сервер, ни сеть ему не нужны.

У отчёта есть вкладки: «Обзор», «Тесты», «Контекст» и, если в прогоне это есть, «Активация» (статистика L6 и L7), «Покрытие» и «Разница» (с --base). Ссылка вида index.html#context сразу открывает вкладку, имена для ссылок — overview, tests, context, evals, coverage, diff. Выбранные вкладка, харнесс, тема и язык сохраняются в локальном хранилище браузера.

Языки отчёта

HTML-отчёт может нести несколько языков и переключаться между ними на месте. --report-lang принимает список через запятую или all — все языки, на которых говорит ctxray:

ctxray test --reporter html --report-lang en,ru

Флаг сильнее CTXRAY_REPORT_LANG, а она сильнее report.langs в конфиге. По умолчанию в отчёте только язык CLI (Localization). С all язык CLI идёт первым. Неизвестный язык останавливает прогон с кодом выхода 2.

Первый язык главный. Отчёт открывается на нём, и на нём же ctxray пишет тексты в report.json, junit.xml, allure-results/ и summary.md. Если языков больше одного, в отчёте появляется переключатель.

show-report

ctxray show-report отдаёт папку отчётов по адресу http://127.0.0.1:<port>/, доступному только с вашей машины:

ctxray show-report --open

Оставьте его работать и запускайте ctxray test --reporter html (или json) в другом терминале. Каждый раз, когда прогон пишет новый report.json, все открытые страницы обновляются. Страница собирается из report.json на каждый запрос, поэтому виден даже прогон, который записал только json. Остановить сервер — Ctrl+C. Если report.json нет, команда об этом скажет и выйдет с кодом 2. Параметры — на странице Commands.

JSON-отчёт

В report.json есть всё, что показывают остальные репортеры, так что скрипт может построить своё представление. Схема версионируется: сейчас schemaVersion равен 1, а ломающее изменение его увеличит. JSON Schema выходит с каждым релизом:

https://github.com/MairwunNx/ctxray/releases/latest/download/report.schema.json

Верхний уровень:

{
  "schemaVersion": 1,
  "ctxray": "0.1.0",
  "createdAt": "2026-11-16T19:48:18.790Z",
  "langs": ["en"],
  "project": { "name": "…", "root": "…" },
  "run": { "backend": { "kind": "mock" }, "layers": ["L1", "L2", "L3"], "duration": 74 },
  "summary": { "passed": 2, "failed": 0, "skipped": 0, "inconclusive": 0, "flaky": 0, "byLayer": { … } },
  "harnesses": [ … ],  // id, название, режимы, стартовый контекст, который увидел capture, и loadout, который L3 предсказывает в корне
  "tests": [ … ],      // каждый тест с ячейкой на каждый харнесс
  "broken": [ … ],     // файлы тестов, которые не загрузились
  "coverage": [ … ]    // какие активации покрыты тестами, по харнессам
  // "base": { … }     с --base: разница loadout
  // "baseline": { … } с ctxray.baseline.json: сколько находок он знал
}

Ячейка — это один тест на одном харнессе: status (passed, failed, skipped, inconclusive, flaky), причина пропуска reason (unsupported, filtered, unavailable, backend, budget), attempts, duration в миллисекундах, токены и failure с сообщением. Статистический тест добавляет stats, у каждого — 95-процентный интервал Уилсона. Все поля описаны в схеме.

JUnit, Allure и Markdown

  • JUnit. Один <testsuite> на файл тестов, а собственные проверки ctxray — как ctxray lint, ctxray policy и ctxray context. Каждый тест на каждом харнессе — <testcase> с именем [L3] <title> › <harness>. Неопределённая ячейка становится <skipped>, а нестабильная проходит, и число попыток пишется в <system-out>.
  • Allure. Один результат на тест и харнесс, с метками файла, набора, слоя и харнесса. categories.json группирует «Inconclusive statistics» и «Resolver drift», а environment.properties записывает версию ctxray, бэкенд и харнессы.
  • Markdown. Заголовок с числами, таблица по слоям, до 20 падений, стартовый контекст каждого харнесса с токенами, разница с --base, если она есть, и ссылка на HTML-отчёт.

Сводка задания на GitHub

Если задана GITHUB_STEP_SUMMARY и среди репортеров есть markdown, ctxray дописывает summary.md ещё и в этот файл. Тогда в GitHub Actions сводка появляется на странице запуска без лишнего шага.

Трейсы

L4 и выше запускают харнесс и записывают каждый его запрос к модели (Capture Modes). Каждый обмен — одна строка JSONL-трейса во временной папке вне вашего проекта:

$TMPDIR/ctxray-traces-<id>/<harness>-<n>.jsonl

В конце прогона ctxray удаляет эту папку, если только не упал тест на L4 или выше. Тогда трейс остаётся, а в описании падения его путь стоит под меткой «Трейс», так что можно прочитать ровно то, что отправил харнесс. Логи MCP-серверов, которые работали за ctxray, проходят ту же очистку.

Скрытие секретов

ctxray скрывает секреты до того, как что-либо попадёт на диск: в отчёты, трейсы, кассеты, и логи MCP. Вывод в консоль проходит ту же очистку, так что в отчёте ровно то, что показал терминал. Секрет заменяется меткой с именем шаблона, который его поймал:

Authorization: ⟦redacted:secret-field⟧
token = ⟦redacted:github-token⟧

ctxray применяет три набора шаблонов в таком порядке.

Встроенные шаблоны. Более точные идут первыми:

Id Что ловит
private-key блоки закрытых ключей PEM
jwt JSON Web Token
anthropic-key sk-ant-…
openai-key sk-…, sk-proj-…, sk-svcacct-…, sk-admin-…
stripe-key sk_live_…, rk_test_… и подобные
google-api-key AIza…
github-token ghp_…, gho_…, ghu_…, ghs_…, ghr_…, github_pat_…
gitlab-token glpat-…
npm-token npm_…
aws-access-key AKIA…, ASIA…
slack-token xoxb-… и другие токены xox?-
telegram-bot-token токены ботов Telegram
bearer Bearer <token>
url-credentials user:password в https://user:password@host
email адреса почты
phone телефоны с кодом страны через + и российский вид 8 (XXX) XXX-XX-XX, чтобы не путать с номерами версий
card номера карт из 13–19 цифр, прошедшие проверку Луна

В JSON всё значение поля с именем authorization, proxy-authorization, cookie, set-cookie, password, passwd, client_secret или любым, которое кончается на api_key / api-key, превращается в ⟦redacted:secret-field⟧, как бы оно ни выглядело.

Правила gitleaks. В ctxray встроены 217 правил gitleaks v8.30.1 (MIT) с их ключевыми словами, порогами энтропии и списками исключений. Заменяется только сама секретная часть совпадения, а в метке стоит id правила gitleaks.

Ваши шаблоны. Добавьте регулярные выражения в redact.patterns. Их метка — ⟦redacted:custom⟧:

export default defineConfig({
  redact: { patterns: [/ACME-[0-9]{8}/, "internal-[a-z]+\\.corp"] },
});

Строка должна быть корректным регулярным выражением, иначе конфиг не загрузится. Встроенные шаблоны выключить нельзя, а конфиг, который делает extends другого, может добавить шаблоны, но не убрать унаследованные. Остальной конфиг описан на странице Configuration.

Clone this wiki locally