Skip to content

AI 디버깅을 위한 consumer workflow artifact를 구성한다 #35

Description

@opficdev

배경

AI prediction이 failed, skipped, 또는 기대와 다른 판단을 만들었을 때 현재는 최종 Markdown report만 남아 원인 추적이 어려움.

reusable workflow는 consumer repository의 Actions run에서 실행되므로, debug artifact도 Watcher repository가 아니라 consumer repository workflow run에 남아야 함.

작업 범위

  • consumer workflow input으로 debug artifact 업로드 여부를 선택할 수 있게 구성
  • Watcher 실행 중 AI 호출 전후의 추적 데이터를 파일로 기록
  • reusable workflow에서 actions/upload-artifact로 consumer repository run artifact 업로드
  • artifact에는 secret, token, webhook URL, raw file content, raw diff 전문이 포함되지 않도록 제한

포함할 데이터

  • run metadata: repository, base branch, default branch, critical file patterns, generated time, Watcher ref
  • branch selection: 수집된 branch, 제외된 branch와 사유, 최종 감시 대상 branch
  • deterministic evidence: git merge signal, changed files, changed hunks, check metadata, PR metadata
  • deterministic risk result: score, status, reasons
  • AI target selection: 호출 대상 branch, skipped branch와 사유
  • AI request evidence: system prompt, user prompt 또는 user prompt 원본 구조
  • AI response: provider 응답, validation 결과, branch 매핑 결과
  • final report markdown

완료 기준

  • 기본값에서는 artifact를 업로드하지 않음
  • opt-in 시 consumer repository Actions run에서 debug artifact를 다운로드할 수 있음
  • OpenAI API key, GitHub token, Discord webhook URL이 artifact와 log에 노출되지 않음
  • npm test로 artifact 생성 로직과 비활성 기본값 검증

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions