Repository navigation
Reporters and Reports RU
ctxray test показывает результаты в терминале и умеет записывать их в файлы — для людей, для CI и для других программ. Здесь описан каждый репортер, файлы, которые он пишет, и то, как ctxray не пускает в них секреты.
| Репортер | Пишет | Для кого |
|---|---|---|
console |
ничего: матрица слоёв и харнессов, затем падения, прямо в терминале | для вас во время работы |
json |
report.json |
для скриптов и других инструментов |
html |
index.html и рядом report.json
|
для человека, который читает весь прогон, без сети |
junit |
junit.xml |
для вкладки тестов в GitLab, Jenkins и других CI |
allure |
allure-results/ |
для дашбордов Allure |
markdown |
summary.md |
для комментария к merge request или сводки задания |
Выбираются флагом --reporter через запятую:
ctxray test --reporter console,html,junitФлаг сильнее CTXRAY_REPORTER, а она сильнее reporters в конфиге:
export default defineConfig({
reporters: ["console", "html"],
});Если ничего из этого не задано, локальный прогон использует только console и файлов не пишет. В CI (см. CI Integration) по умолчанию включены console, json, junit, markdown, html, чтобы пайплайн получил все файлы, которые умеет показать. Конфиг с reporters побеждает и в CI. Неизвестное имя останавливает прогон с кодом выхода 2.
Короткая сводка в конце — числа по слоям и записанные файлы — печатается всегда, какие бы репортеры вы ни выбрали.
Файлы попадают в .ctxray/report/ в корне проекта. --report-dir или report.dir в конфиге переносят её, путь считается от корня проекта:
export default defineConfig({
report: { dir: "build/ctxray" },
});| Файл | Репортер |
|---|---|
report.json |
json или html
|
index.html |
html |
junit.xml |
junit |
allure-results/<uuid>-result.json, categories.json, environment.properties
|
allure |
summary.md |
markdown |
Каждый прогон перезаписывает файлы, а allure сначала очищает allure-results/. ctxray init добавляет .ctxray/ в ваш .gitignore, чтобы отчёты не попадали в коммиты. Снапшоты, кассеты и ctxray.baseline.json лежат в другом месте — рядом с тестами и в корне проекта, потому что их вы коммитите.
index.html — один самодостаточный файл: стили, скрипт, данные и тексты внутри. Его можно открыть с диска, приложить к пайплайну артефактом или отправить почтой. Ни сервер, ни сеть ему не нужны.
У отчёта есть вкладки: «Обзор», «Тесты», «Контекст» и, если в прогоне это есть, «Активация» (статистика L6 и L7), «Покрытие» и «Разница» (с --base). Ссылка вида index.html#context сразу открывает вкладку, имена для ссылок — overview, tests, context, evals, coverage, diff. Выбранные вкладка, харнесс, тема и язык сохраняются в локальном хранилище браузера.
HTML-отчёт может нести несколько языков и переключаться между ними на месте. --report-lang принимает список через запятую или all — все языки, на которых говорит ctxray:
ctxray test --reporter html --report-lang en,ruФлаг сильнее CTXRAY_REPORT_LANG, а она сильнее report.langs в конфиге. По умолчанию в отчёте только язык CLI (Localization). С all язык CLI идёт первым. Неизвестный язык останавливает прогон с кодом выхода 2.
Первый язык главный. Отчёт открывается на нём, и на нём же ctxray пишет тексты в report.json, junit.xml, allure-results/ и summary.md. Если языков больше одного, в отчёте появляется переключатель.
ctxray show-report отдаёт папку отчётов по адресу http://127.0.0.1:<port>/, доступному только с вашей машины:
ctxray show-report --openОставьте его работать и запускайте ctxray test --reporter html (или json) в другом терминале. Каждый раз, когда прогон пишет новый report.json, все открытые страницы обновляются. Страница собирается из report.json на каждый запрос, поэтому виден даже прогон, который записал только json. Остановить сервер — Ctrl+C. Если report.json нет, команда об этом скажет и выйдет с кодом 2. Параметры — на странице Commands.
В report.json есть всё, что показывают остальные репортеры, так что скрипт может построить своё представление. Схема версионируется: сейчас schemaVersion равен 1, а ломающее изменение его увеличит. JSON Schema выходит с каждым релизом:
https://github.com/MairwunNx/ctxray/releases/latest/download/report.schema.json
Верхний уровень:
Ячейка — это один тест на одном харнессе: status (passed, failed, skipped, inconclusive, flaky), причина пропуска reason (unsupported, filtered, unavailable, backend, budget), attempts, duration в миллисекундах, токены и failure с сообщением. Статистический тест добавляет stats, у каждого — 95-процентный интервал Уилсона. Все поля описаны в схеме.
-
JUnit. Один
<testsuite>на файл тестов, а собственные проверки ctxray — какctxray lint,ctxray policyиctxray context. Каждый тест на каждом харнессе —<testcase>с именем[L3] <title> › <harness>. Неопределённая ячейка становится<skipped>, а нестабильная проходит, и число попыток пишется в<system-out>. -
Allure. Один результат на тест и харнесс, с метками файла, набора, слоя и харнесса.
categories.jsonгруппирует «Inconclusive statistics» и «Resolver drift», аenvironment.propertiesзаписывает версию ctxray, бэкенд и харнессы. -
Markdown. Заголовок с числами, таблица по слоям, до 20 падений, стартовый контекст каждого харнесса с токенами, разница с
--base, если она есть, и ссылка на HTML-отчёт.
Если задана GITHUB_STEP_SUMMARY и среди репортеров есть markdown, ctxray дописывает summary.md ещё и в этот файл. Тогда в GitHub Actions сводка появляется на странице запуска без лишнего шага.
L4 и выше запускают харнесс и записывают каждый его запрос к модели (Capture Modes). Каждый обмен — одна строка JSONL-трейса во временной папке вне вашего проекта:
$TMPDIR/ctxray-traces-<id>/<harness>-<n>.jsonl
В конце прогона ctxray удаляет эту папку, если только не упал тест на L4 или выше. Тогда трейс остаётся, а в описании падения его путь стоит под меткой «Трейс», так что можно прочитать ровно то, что отправил харнесс. Логи MCP-серверов, которые работали за ctxray, проходят ту же очистку.
ctxray скрывает секреты до того, как что-либо попадёт на диск: в отчёты, трейсы, кассеты, и логи MCP. Вывод в консоль проходит ту же очистку, так что в отчёте ровно то, что показал терминал. Секрет заменяется меткой с именем шаблона, который его поймал:
Authorization: ⟦redacted:secret-field⟧
token = ⟦redacted:github-token⟧
ctxray применяет три набора шаблонов в таком порядке.
Встроенные шаблоны. Более точные идут первыми:
| Id | Что ловит |
|---|---|
private-key |
блоки закрытых ключей PEM |
jwt |
JSON Web Token |
anthropic-key |
sk-ant-… |
openai-key |
sk-…, sk-proj-…, sk-svcacct-…, sk-admin-…
|
stripe-key |
sk_live_…, rk_test_… и подобные |
google-api-key |
AIza… |
github-token |
ghp_…, gho_…, ghu_…, ghs_…, ghr_…, github_pat_…
|
gitlab-token |
glpat-… |
npm-token |
npm_… |
aws-access-key |
AKIA…, ASIA…
|
slack-token |
xoxb-… и другие токены xox?-
|
telegram-bot-token |
токены ботов Telegram |
bearer |
Bearer <token> |
url-credentials |
user:password в https://user:password@host
|
email |
адреса почты |
phone |
телефоны с кодом страны через + и российский вид 8 (XXX) XXX-XX-XX, чтобы не путать с номерами версий |
card |
номера карт из 13–19 цифр, прошедшие проверку Луна |
В JSON всё значение поля с именем authorization, proxy-authorization, cookie, set-cookie, password, passwd, client_secret или любым, которое кончается на api_key / api-key, превращается в ⟦redacted:secret-field⟧, как бы оно ни выглядело.
Правила gitleaks. В ctxray встроены 217 правил gitleaks v8.30.1 (MIT) с их ключевыми словами, порогами энтропии и списками исключений. Заменяется только сама секретная часть совпадения, а в метке стоит id правила gitleaks.
Ваши шаблоны. Добавьте регулярные выражения в redact.patterns. Их метка — ⟦redacted:custom⟧:
export default defineConfig({
redact: { patterns: [/ACME-[0-9]{8}/, "internal-[a-z]+\\.corp"] },
});Строка должна быть корректным регулярным выражением, иначе конфиг не загрузится. Встроенные шаблоны выключить нельзя, а конфиг, который делает extends другого, может добавить шаблоны, но не убрать унаследованные. Остальной конфиг описан на странице Configuration.
Start
Use
Teams
Develop
По-русски
- Начало работы · Понятия · Loadout Stack · Режимы захвата
- Тесты · Конфигурация · Политики · Харнессы · Команды · Отчёты · Плагин Claude Code
- CI · Enterprise
- Архитектура · Локализация · Участие
{ "schemaVersion": 1, "ctxray": "0.1.0", "createdAt": "2026-11-16T19:48:18.790Z", "langs": ["en"], "project": { "name": "…", "root": "…" }, "run": { "backend": { "kind": "mock" }, "layers": ["L1", "L2", "L3"], "duration": 74 }, "summary": { "passed": 2, "failed": 0, "skipped": 0, "inconclusive": 0, "flaky": 0, "byLayer": { … } }, "harnesses": [ … ], // id, название, режимы, стартовый контекст, который увидел capture, и loadout, который L3 предсказывает в корне "tests": [ … ], // каждый тест с ячейкой на каждый харнесс "broken": [ … ], // файлы тестов, которые не загрузились "coverage": [ … ] // какие активации покрыты тестами, по харнессам // "base": { … } с --base: разница loadout // "baseline": { … } с ctxray.baseline.json: сколько находок он знал }