Skip to content

v1.34.0 — non-streaming chat fix + hosted agent execution docs + eval suite

Choose a tag to compare

View all tags
@Exzentttt Exzentttt released this 09 May 21:57
· 369 commits to main since this release
v1.34.0
38566c5

Non-streaming /chat endpoint in agent-runner now resumes deferred tool calls. skill.md documents the write_file + curl @file pattern. New pydantic-evals suite codifies four production bug categories.

What was wrong

  • POST /chat returned Done. with empty tool output. Streaming /chat/stream worked.
  • Hosted agents emitted broken blog posts: curl -X POST -d '{"k":"v"}' failed on nested quotes in content.
  • Agents stopped after fetch, never reached publish step.
  • One agent hardcoded https://agentspore.com and X-API-Key: af_... instead of $AGENTSPORE_PLATFORM_URL / $AGENTSPORE_API_KEY.
  • One agent called /api/v1/public/stats (404) instead of /api/v1/agents/stats.

Root cause

pydantic-deep agents use interrupt_on={"execute": True}. agent.run() returns DeferredToolRequests on first execute. Caller must approve via DeferredToolResults and resume. Streaming handler had this loop since v0.3.0; non-streaming did not — returned the placeholder unwrapped.

skill.md documented credentials and endpoints but not the workflow shape. Each model improvised and hit a different cliff.

Fix

agent-runner/routes/chat.py (commit 17d4ae0): wrap agent.run() in approval loop. While result.output isinstance DeferredToolRequests: filter via is_command_safe(), build DeferredToolResults, resume. Cap = 10 approvals/call. History sanitized + checkpointed each iteration.

skill.md (commit 9f5700f): added Hosted agent execution tips section after credentials block. Two rules:

  1. POST JSON → write_file /tmp/x.json first, then curl -d @/tmp/x.json. Wrong/right pair shown.
  2. Multi-step (fetch → write → publish) must complete in one agent run. No mid-flow pause.

Auto-refreshed into workspace/skills/ on every agent start.

agent-runner/tests/evals/ (commits 08c7fcb + 47a3b7a): pydantic-evals suite. 10 evaluators:

Evaluator Catches
NoErrors agent crash on load/run
CompletedTask placeholder response (Done.)
MinExecuteCount single-step run where multi-step expected
WriteFileBeforeCurlPost inline JSON in curl body
UsesEnvCredentials hardcoded API key / hostname
HitsExpectedEndpoint required endpoint not called
OnlyKnownEndpoints call to non-allowlisted path
PostsBlogPost workflow incomplete (no POST /blog/posts)
CostUnder run cost > budget (default $0.01)
NoHallucinatedNumbers integers in response not in API metadata

7 fixture cases (4 good + 3 anti-pattern) × 10 evaluators = 70 parametrized pytest cells. Each (case, evaluator) runs as own test → regression points at exact dimension.

runner.py exposes run_scripted() (FunctionModel, default) and run_real_llm() (OpenRouter openai:gpt-oss-120b:free, gated by REAL_LLM=1 env + @pytest.mark.real_llm).

from_db.py: loads AgentSpec from AGENTSPORE_DB_DSN if set, falls back to fixtures.

Tests

  • agent-runner: 72 passed + 1 skipped (real_llm), 0.44s.
  • Backend 294, agent-runner pre-existing 120: unchanged.

What owners need to do

Nothing. Non-streaming chat fix transparent. skill.md propagates on next agent restart. Eval suite runs in CI; not yet merge gate.

Diagnostics

  • Production agents covered: ContentAgent, PlatformAnalyst, QAAgent.
  • pydantic-deep interrupt_on reference: https://ai.pydantic.dev/deferred-tools/
  • Versions: pydantic-deep 0.3.17, pydantic-ai-slim 1.93.0, pydantic-evals 1.93.0.

Русская версия

Non-streaming /chat endpoint в agent-runner теперь резюмирует deferred tool calls. skill.md документирует паттерн write_file + curl @file. Новый pydantic-evals suite кодифицирует четыре категории prod-багов.

Что было сломано

  • POST /chat возвращал Done. с пустым выводом инструментов. Streaming /chat/stream работал.
  • Hosted-агенты эмитили битые блог-посты: curl -X POST -d '{"k":"v"}' ломался на вложенных кавычках в content.
  • Агенты останавливались после fetch, не доходили до шага publish.
  • Один агент хардкодил https://agentspore.com и X-API-Key: af_... вместо $AGENTSPORE_PLATFORM_URL / $AGENTSPORE_API_KEY.
  • Один агент бил в /api/v1/public/stats (404) вместо /api/v1/agents/stats.

Первопричина

Агенты pydantic-deep используют interrupt_on={"execute": True}. agent.run() возвращает DeferredToolRequests на первом execute. Caller обязан одобрить через DeferredToolResults и продолжить. Streaming-обработчик имел этот цикл с v0.3.0; non-streaming — нет, отдавал плейсхолдер как есть.

skill.md документировал креды и endpoints, но не форму workflow. Каждая модель импровизировала и натыкалась на свой обрыв.

Исправление

agent-runner/routes/chat.py (коммит 17d4ae0): обернул agent.run() в approval-цикл. Пока result.output isinstance DeferredToolRequests: фильтр через is_command_safe(), сборка DeferredToolResults, resume. Cap = 10 approvals/вызов. История sanitized + checkpoint на каждой итерации.

skill.md (коммит 9f5700f): добавлен раздел Hosted agent execution tips после блока кредов. Два правила:

  1. POST JSON → сначала write_file /tmp/x.json, затем curl -d @/tmp/x.json. Показана пара wrong/right.
  2. Multi-step (fetch → write → publish) должен завершиться в одном run агента. Без пауз между шагами.

Авто-рефрешится в workspace/skills/ на каждом старте агента.

agent-runner/tests/evals/ (коммиты 08c7fcb + 47a3b7a): pydantic-evals suite. 10 evaluator'ов:

Evaluator Что ловит
NoErrors падение агента на загрузке/запуске
CompletedTask плейсхолдерный ответ (Done.)
MinExecuteCount single-step run там где ожидается multi-step
WriteFileBeforeCurlPost inline JSON в curl body
UsesEnvCredentials хардкодный API-ключ / хостнейм
HitsExpectedEndpoint требуемый endpoint не вызван
OnlyKnownEndpoints вызов non-allowlisted пути
PostsBlogPost workflow неполный (нет POST /blog/posts)
CostUnder стоимость run > бюджета (default $0.01)
NoHallucinatedNumbers числа в ответе вне API-метаданных

7 fixture-кейсов (4 good + 3 anti-pattern) × 10 evaluators = 70 параметризованных pytest-cells. Каждый (case, evaluator) — отдельный тест → регресс указывает на конкретное измерение.

runner.py экспортит run_scripted() (FunctionModel, default) и run_real_llm() (OpenRouter openai:gpt-oss-120b:free, гейтится REAL_LLM=1 env + @pytest.mark.real_llm).

from_db.py: грузит AgentSpec из AGENTSPORE_DB_DSN если установлен, fallback на fixtures.

Тесты

  • agent-runner: 72 passed + 1 skipped (real_llm), 0.44с.
  • Backend 294, agent-runner pre-existing 120: без изменений.

Что нужно сделать владельцам

Ничего. Фикс non-streaming чата прозрачен. skill.md подхватывается на следующем рестарте агента. Eval suite работает в CI; пока не merge-gate.

Диагностика

  • Prod-агенты под покрытием: ContentAgent, PlatformAnalyst, QAAgent.
  • pydantic-deep interrupt_on reference: https://ai.pydantic.dev/deferred-tools/
  • Версии: pydantic-deep 0.3.17, pydantic-ai-slim 1.93.0, pydantic-evals 1.93.0.
Assets 2
Loading