0.10.0 공용 플러그인 재구성 + 실제 보고서 334건으로 하네스 검증·고정

[amnotyoung]

두 갈래 작업이 한 브랜치에 있다. 커밋 단위로 나뉘어 있으니 커밋별로 읽는 편이 낫다.

1) release: 0.10.0 — 공용 설치형 플러그인 재구성

작업트리에 이미 있던 재구성분이다. 저장소 자체를 Claude Code·Codex가 함께 읽는 설치형 플러그인으로 만들어, 평가자가 저장소 안이 아니라 자기 작업 폴더에서 쓰게 한다. Codex 매니페스트 2종 추가, 0.9.0 → 0.10.0, 라이선스 표기를 MIT AND CC-BY-4.0으로 정정, README 양본에 두 호스트 설치·호출 문법 대조표, AGENTS.md는 복제 저장소 직접 실행용 폴백으로 재정의, 문서 전반의 옛 .claude/agents/ 경로 정리.

2) test: — 실제 종료평가 334건으로 검증하고 결정적 컴포넌트를 고정

정확성을 파는 자산인데 회귀 테스트가 없던 공백을 메웠다. 실제 KOICA 종료평가 PDF 334건을 전수 스윕해 수치 검사기를 양방향에서 보정했다.

못 잡던 것 — 이제 잡는다. 국문 역순(총 24점 만점 중 11.7)·영문(12.7 points out of 24) 표기를 추출하지 못해, 공개된 보고서 2건의 국문↔영문 요약 총점 불일치를 둘 다 놓치고 있었다: 캄보디아 자궁경부암 AI검진 CTS(11.7 vs 12.7 — 이 프로젝트 설계 서사가 인용해 온 바로 그 사례)와 같은 시리즈 자매 보고서(9.3 vs 10.3).

잘못 잡던 것 — 위반 플래그 71건(21%) → 20건(6%). 척도 범례·임계값 문장, 품질검토 등급(AD)·용역종합 등급의 사업 AF 혼입, 만족도 설문 점수, 8/20개소·3/20-24·20/100,000명·남/여 (35/24) 같은 비점수 N/M 표기, PDM 달성률의 /100 총점 혼입, 줄바꿈으로 쪼개진 라벨(부/분 성공적), 그리고 불일치를 인용·보고하는 줄의 재플래그. 잔여 20건은 다건 묶음 평가용역(사업별 상이 점수가 정상) 또는 진성 후보다.

계약·안전장치

• 확인 불가를 exit 3으로 분리 — 종전에는 통과와 같은 0이라 스크립트 소비자가 거짓 초록불을 받았다 (0 통과 / 2 위반 / 3 확인 불가, 크래시는 기존대로 fail-open).
• 완료 엔진(hooks/boulder.sh): 가드가 걸리면 작업판 지문을 남기고 일시정지한다. 종전에는 카운터만 지우고 종료를 허용해, 평가를 중도에 접은 사용자가 작업판을 손대기 전까지 매 턴 다시 차단당했다. 작업판이 편집되면 다시 무장한다.

테스트·CI 신설 — 검사기 회귀 20케이스(픽스처는 스윕에서 관측된 실제 사고·오탐 유형) + 완료 엔진 동작 15케이스 + 매니페스트 정체성 가드(check-manifest-sync.sh), checks 워크플로로 고정. 표준 라이브러리·bash만 쓰고 BSD/GNU sed 양쪽에서 돈다.

실물 E2E (e2e-8) — 검증층이 실제로 값을 했다

캄보디아 보고서 전문 3,934줄로 evaluate 트랙 풀 파이프라인을 돌렸다(스킬이 문서화한 이름 미등록 호스트 폴백 + 선택적 게이트웨이 증거 보강 포함).

• 6기준 병렬 평정 → quality-verifier가 표본 근거 약 60건을 원문과 대조: 환각 0건(정량 수치 전건 자릿수 일치)이면서 평가관의 실제 오류 4건을 반려 — 원보고서가 이미 반박한 통계의 재사용, 특허 발명자 오귀속, 소수점 점수, 재무 실적 강화 서술.
• report-composer 초안(국·영문 수치 일치, 종합은 단서부 잠정 범위로 보류) → 수치 검사기 정직 기권(exit 3) → narrative-verifier가 등급 라벨의 출처 과대 표기 등 4건 추가 지적.
• 원평가팀(11.7/24 부분 성공적)과 밴드 일치를 재현했고, 부산물로 원보고서 자체 결함 3건(국·영문 총점 불일치, 특허 취득/출원 표기 상충, 지속가능성 요약↔본문 모순)을 재확인했다.

기록은 docs/validation-log.md의 e2e-8과 §1-1(334건 스윕 보정 및 그 한계 — PDF 추출본·다건 묶음)에 남겼다.

검증

로컬에서 CI가 돌릴 검사를 그대로 재현해 전부 통과했다.

python3 -m unittest discover -s tests   # OK (20)
bash tests/test_boulder.sh              # 통과 15 / 실패 0
bash scripts/check-manifest-sync.sh     # 매니페스트 정체성 일치
bash scripts/check-mirror-sync.sh origin/main   # 정본과 미러가 함께 갱신되었다
claude plugin validate .                # ✔ Validation passed

리뷰어가 봐 줬으면 하는 것

• 잔여 위반 20건 중 다건 묶음이 아닌 진성 후보(예: 15931, 16329~16334)는 원본 PDF 확인 가치가 있다.
• e2e-8은 보고서 전문을 입력해 사실추출 편향 한계를 부분 완화했지만, 그 대가로 원평가팀 자체 평정이 입력에 포함돼 앵커링 위험이 생긴다(위임 프롬프트로 완화했으나 완전 독립 재평가는 아니다). 이 한계는 validation-log §4에 명시했다.

🤖 Generated with Claude Code