You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
작성: DE 도혁(라우트 C 추출·평가 = Lane B) · DE 아인(데이터 라인 = 재파싱·마스킹·메타·골든셋 = Lane A) 범위: 라우트 C(의무항목 추출·평가)와 이를 떠받치는 데이터 라인을 하나의 연구 보고서(Abstract~Conclusion) 형식으로 통합. 표기 원칙: 발표 표기 원칙(freeze) 동일 적용. provisional / Review Routing Rate / micro·macro 라벨 구분 / κ 부록 처리 원칙은 문체를 산문으로 풀어도 변경하지 않았다. 수치 근거: 모든 수치는 코드·스냅샷 교차 검증값이다. 원문·골든셋·캐시는 NDA로 관리하며 수치·구조만 공개한다. 출처 약어: plan=route_c_eval_plan_draft.md · design=route_c_eval_design.md · handover=HANDOVER_routeC.md · agreement=matcher_human_agreement.json · snapshot=route_c_eval_8q_k8.json
Abstract
라우트 C는 공공조달 RFP 문서에서 준수해야 할 의무항목(요구사항·자격·배점·제출서류)을 원문 근거(quote)와 함께 자동 추출하고, 각 항목을 명시적 상태로 관리하는 시스템이다. B2G 입찰에서는 항목의 오탐은 사람이 지울 수 있지만 누락은 발견되지 못하면 실격으로 직결되므로, 단일 회수율로 성능을 주장하는 대신 모든 의무항목을 Auto-match / Review / Unresolved 중 하나의 상태에 배치하고 불확실한 판정은 자동 확정하지 않고 사람에게 라우팅하는 것을 설계 원칙으로 삼았다.
평가는 원문만 보고 라벨링한 blind gold(v5.0, 954 라벨 / 8문서)를 기준으로 수행했다. 8문서는 모집단(100건)의 대표 표본이 아니라 문서 유형을 의도적으로 섞은 blind stress set이다. 채점 결과 gold 의무항목 937개는 Auto-match(provisional) 832건, Review 라우팅 91건, Unresolved 14건으로 분해되며(832+91+14=937), 집계 기준은 micro 88.8%(832/937), 문서별 평균은 macro 0.886(문서별 0.831~0.922)이다.
신뢰성은 정답지 층위(gold 라벨 Cohen's κ), 추출 층위(Quote-Grounding 90.0%), 코드 층위(단위테스트 55 PASS), 채점자 층위(matcher 사람 대조)를 각각 분리해 검증했다. 채점자 검증에서는 경계 사례 중심의 층화 fixture(37건)로 관찰 일치율 59.5%, Cohen's κ=0.410을 실측했으며, 이 값은 자동 판정의 우수성이 아니라 measurement → 편향 발견 → 정책 개선 경로 특정의 근거로 사용한다. 나아가 Unresolved 14건을 전수 risk scan하고 대표 1건의 실패 단계를 규명하여, 약점을 발견하는 능력까지를 시스템의 범위에 포함시켰다.
1. Introduction
라우트 C가 답하는 질문은 "몇 개를 맞혔는가"가 아니라 "모든 항목이 지금 어떤 상태에 있는가"이다. 이 문제 설정은 B2G 입찰의 비대칭성에서 나온다. 제안서를 준비하는 컨설턴트 입장에서, 요구사항을 더 뽑는 오탐은 사람이 검토 과정에서 지울 수 있는 비용이지만, 의무항목의 누락은 발견조차 되지 않으면 그대로 실격으로 이어진다. 따라서 실무에서 유효한 질문은 "몇 % 맞았나"가 아니라 "빠진 것이 어디에 있는가"이다.
이 관점에서 라우트 C는 RFP에서 준수해야 할 의무항목(요구사항·자격·배점·제출서류)을 원문 근거(quote)와 함께 자동 추출한다. 그리고 단일 회수율 하나로 성능을 주장하지 않는다는 것을 핵심 설계 원칙으로 둔다. 모든 의무항목은 Auto-match, Review, Unresolved 중 하나의 명시적 상태에 놓이며, 시스템이 확신하지 못하는 항목은 자동으로 확정하지 않고 사람에게 검토를 요청한다. 이 "불확실하면 자동 확정하지 않는다"는 원칙은 평가 단계의 집계표(ledger)에서 시연 화면의 상태 표시(status)까지 하나의 축으로 관통하며, 본 보고서의 결과(5장)와 시연 설명(5.2절)에서 반복적으로 확인된다.
라우트 C가 소비하는 blind gold와 추출 대상 코퍼스는 모두 데이터 라인의 산출물 위에 놓인다. 파이프라인은 원본(hwp 96·pdf 4) → 재파싱 → 정제 → PII 마스킹 → 청킹 → 임베딩/검색 → 생성·추출로 이어지며, 데이터 라인(Lane A)은 이 중 코퍼스가 만들어지는 앞단 전부 — 재파싱·정제·마스킹·메타 정규화·골든셋 — 를 담당한다. 라우트 C의 "모든 의무항목이 지금 어떤 상태에 있는가"라는 질문은 애초에 답이 코퍼스 안에 온전히 존재한다는 전제 위에서만 성립하므로, 데이터 라인의 목표는 성능이 아니라 그 전제의 신뢰성 — 본문 완전성·PII 안전성·메타 정합성·정답지 무결성 — 을 정량으로 보증하는 데 있다.
출처: design 1장
2. Related Work
라우트 C의 평가 체계는 명시적으로 채택한 외부 선행 연구 프레임을 그대로 적용한 것이 아니라, 프로젝트 도메인(B2G 조달 RFP)의 특성과 실패 사례 진단에서 출발해 자체 설계한 것이다. 특히 (a) 회수율 단일 지표 대신 항목별 상태 관리(disposition ledger)를 채점 단위로 삼은 점, (b) 채점 축을 청크 위치가 아니라 항목 내용(Item 단위)으로 전환한 점, (c) 정답지·추출·코드·채점자 층위를 분리 검증한 점은 초기 진단 과정에서 도출한 설계 판단이다.
데이터 라인 관점에서 기존 접근과의 대비도 같은 결로 정리된다. 통상의 RAG·정보 추출 평가는 검색 정확도(HR@k·MRR·nDCG)나 추출 F1처럼 단일 스칼라로 성능을 요약한다. 이런 지표는 "평균적으로 얼마나 맞는가"를 볼 뿐, 개별 항목의 누락이 치명적인 도메인에서 "무엇이 어디서 빠졌는가"를 드러내지 못한다. 데이터 라인이 골든셋을 용도별 세 축(V4 검색·생성 63문항, V5 라우트 C blind gold 954 라벨)으로 분리 설계한 것도 이 문제의식에서 나왔다. 하나의 정답지에 회수율 지표만 얹는 대신, 채점 축을 용도별로 나누고(검색=청크 위치, 추출=항목 내용) 정답지 자체의 무결성·라벨러 일치도를 별도의 검증 대상으로 승격시킨 점이, 표준 벤치마크를 그대로 차용하지 않고 도메인 특성에서 재설계한 지점이다.
3. Method
3.1 채점 축 전환 — 위치가 아니라 내용으로
초기(V4) 진단에서, 추출 성능을 "청크 번호 일치"로 채점하면 점수가 문서마다 40~100%로 크게 출렁이는 문제가 확인됐다. 원인은 채점 방식 자체에 있었다. 골든셋은 목차 청크를 기준으로 라벨링되는 반면 추출기는 내용 청크에서 항목을 뽑기 때문에, 청크 번호만 어긋나고 내용은 실제로 일치하는 경우가 다수 발생한 것이다. 이에 채점 축을 청크 위치에서 항목 내용(Item 단위)으로 전환했고, V4는 이후 정식 채점이 아닌 진단 용도로만 한정했다.
3.2 V5 blind gold — 정답을 미리 보지 않고 라벨링
정식 평가를 위한 골든셋(V5)은 blind 방식으로 구축했다. 라벨러가 추출 결과를 참고하지 않고 원문만 보고 의무항목을 라벨링하며, 그 결과 954개 라벨 / 8문서를 확보했다. 이 골든셋은 v5.0으로 freeze(2026-07-02, 불변 스냅샷)했고, 무결성 게이트 하드 12/12 PASS와 오염 검증(학습·캐시 사용분과 비겹침)을 통과했다.
골든셋은 두 세대로 구축했다. V4(검색·생성용, 63문항: 단일 20·다중 15·후속 15·거부 13)는 질의 패턴을 4분류하고 메타 계산으로 자동 생성한 문항에 자유서술형 정답을 직접 작성해 병합했으며(auto 53 + data_authored 10), 각 문항의 정답 청크 참조는 라벨↔청크 무결성 검사(깨진 참조 0건)로 검증했다.
V5(라우트 C blind gold, 954 라벨/8문서)는 원문 단독 라벨 원칙으로 다시 구축했다. 재구축의 직접 계기는 V4의 라벨링 커플링 결함이었다. V4의 항목 정답(expected_items)이 추출기 출력을 참고해 작성돼 정답지와 채점 대상이 커플링된 상태였고, 이 경우 추출기가 놓친 항목은 정답지에도 없어 누락이 구조적으로 측정되지 않는다. V5는 라벨러가 추출 결과를 보지 않고 원문만으로 의무항목을 라벨링해 이 커플링을 끊었다(3.1절의 채점 축 전환과 짝이 되는 정정이다).
무결성은 재청킹 때 정답지가 조용히 어긋나는 사고를 막기 위해 게이트로 자동화했다. verify_golden_v5.py가 입력 파일 핀·라벨↔청크 참조 실재·스키마 완비를 하드 체크(12/12 PASS)하고, 오염 검증(verify_v5_contamination.py)으로 학습·캐시 사용분과의 비겹침을 확인한다. 빌더 경로도 한 차례 정정했는데, 초기 빌더가 죽은 파일명(chunks_v1_enriched.json)을 입력으로 삼아 조인이 어긋나던 것을 현 SSOT(chunks_v1_0622_enriched.json)로 교정하고, 섹션 문항의 문서 선택을 균등표집에서 큐레이션 키 pin으로 바꿔 재실행해도 검수 구성이 재현되도록 고정했다. 골든셋은 v5.0으로 freeze(2026-07-02)해 불변 스냅샷을 확보했다.
3.3 신뢰성의 층위 분리
신뢰성은 하나의 숫자로 뭉뚱그리지 않고, 서로 다른 파이프라인 단계에 대응하는 네 개 층위로 나누어 검증했다. "정답지가 맞는가"와 "채점자가 맞는가"는 다른 질문이기 때문이다.
검증 대상
방법
결과
층위
정답지 (gold 라벨)
더블 라벨 Cohen's κ
scope 1.000 · actor 0.941
라벨 신뢰성
추출 근거
Quote-Grounding (원문 실재 검증)
90.0% (6,916/7,681, 8문서 전수)
추출 단계
파이프라인
단위테스트 (sentinel 포함)
55 PASS / 0 FAIL
코드 견고성
채점자 (matcher)
hard-case blind 재채점 (사람)
6장 부록 A 참조
평가 단계
여기서 층위 구분에 주의가 필요하다. Quote-Grounding(90.0%)은 추출 단계 지표로 "근거가 원문에 실재하는가"를 보고, Review Routing(9.7%)은 평가 단계 지표로 "gold와 매칭됐는가"를 본다. 두 수치가 비슷하게 보이는 것은 우연이며 서로 다른 파이프라인 단계에 속한다. 또한 Grounding 검증에 실패한 항목은 폐기되지 않는다. 해당 항목은 status가 complete_verified가 아니라 complete_with_review로 내려가 사람 검토 대상이 되며(compliance_extractor_v2 status 로직), 이는 "불확실하면 자동 확정하지 않는다"는 원칙이 코드로 구현된 형태다.
출처: design 2–3장, plan 1–2장, 7.1절, handover 6장, compliance_extractor_v2.py
4. Experimental Setup
평가 대상 문서는 8건이며, 이 8문서의 성격을 명확히 하는 것이 선제적으로 중요하다. 8문서는 모집단(100건)의 대표 표본이 아니라 blind stress set이다. 즉 문서당 전수 blind 라벨링에 드는 비용 안에서 확보 가능한 규모로, 문서 유형(정보시스템 구축형, 자격·배점 위주형 등)을 의도적으로 섞어 배치한 검증 세트다. 구성은 코어 4건 + 확장 4건이며, 표본 규모의 한계는 결과 해석에서 스스로 명시한다(5장, 6장).
채점자 검증에 사용한 fixture 역시 성격을 구분해야 한다. 이 fixture는 전체 성능 표본이 아니라 matcher 판정 정책 검증용 층화 표본이다. match / miss / review 각 15건을 층화 추출(경계 사례 비중을 의도적으로 높임)한 뒤 gold 결함 1건을 제외해 37건을 확보했고, 판정 정보를 가린 blind 상태에서 사람(도혁) 1인이 독립 재채점했다. 층화 표본이므로 전체 채점 일치율로 일반화하지 않는다.
상세 경위는 다음과 같다. (1) 재파싱: 원본이 제공한 CSV 텍스트 컬럼은 본문의 약 18.5%(목차·개요 위주)에 불과해 — 예컨대 "요구사항"이 CSV엔 2회, 원본엔 179회 등장 — 폐기하고, 원본 100건(hwp 96·pdf 4)을 전건 재파싱해 canonical 본문(8,313,109자, 문서 평균 83,131자)을 확보했다. (2) 마스킹 v3: 공식 문의처(기관 대표번호·유선·기관 도메인 이메일)는 공개 보존하고 사적 PII(휴대폰·사적 webmail·주민·사업자·법인번호)만 차단하는 정책을, 청킹보다 먼저 적용해 PII가 청크 경계에서 새는 것을 막았다. 탐지→검증→마스킹→재검증 4단계로 제한 PII 후보 8건을 차단하고 기관 이메일 66건을 의도적으로 공개 보존했으며, 마스킹 후 동일 패턴 재검증에서 잔존은 0이었다. 다만 이 "잔존 0·처리율 100%"는 정규식이 탐지한 PII에 대한 처리 완결성이지 문서 내 실제 PII가 0이라는 재현율(recall) 보장은 아니다(패턴이 놓친 변형 표기는 탐지·재검증 양쪽에서 잡히지 않는다). 이에 엄격 패턴보다 느슨한 패턴(구분자·공백 변형 허용)으로 마스킹 결과물을 재훑는 교차점검을 수행해 민감 PII(휴대폰·사적 이메일·주민번호)의 변형 누락 0건을 확인했으나(사업자번호 후보 93건은 전부 조달 품명번호 오탐), 이는 형식 변형 실패모드를 커버할 뿐 완전한 재현율 증명은 아니며 표본 수작업 감사는 향후 과제로 남는다(6장). (3) 메타 정규화: 기관명·예산·마감일·공고번호를 정규화해 doc_id로 청크에 조인했다(조인 실패 0, orphan 0). 예산은 0원·결측을 null로 정규화(유효 92건), 마감일(bid_end)은 결측 8건을 null로 저장했으며, 이 enriched 메타가 검색 메타 필터의 단일 진실원천(SSOT)이다.
출처: design 2–3장, plan 1–2장, agreement
5. Results
5.1 Disposition Ledger — 937개 의무항목의 행방
핵심 결과는 gold 의무항목 937개 중 사라진 것이 없다는 점이다. 모든 항목이 세 상태 중 하나에 있다.
상태
건수
비율
의미
Auto-match (provisional)
832
88.8%
matcher가 잠정 매칭. 사람 확정 전 단계
Escalated to Review
91
9.7%
확신 부족 → 사람에게 검토 요청
Unresolved
14
1.5%
자동 회수 실패 → 전수 사후 분석(5.3절)
합계
937
100%
832+91+14=937
집계 기준은 micro 88.8%(832/937)이다. 문서별 평균인 macro 0.886은 보조 지표로 별도 병기하며, 문서별로는 0.831~0.922 범위에서 유형과 무관하게 안정적이다(문서별 분포는 부록). 두 값은 집계 단위가 다르므로 항상 라벨을 붙여 구분하고 혼용하지 않는다.
분모에 대한 명시가 필요하다. 이 표의 분모는 전부 gold 의무항목 937이다. 반면 별도 지표인 Item Precision 0.286의 분모는 추출물 전체(문서당 수백~천여 건)로, 두 지표는 세는 대상이 달라 나란히 두면 착시가 생긴다. Precision은 "빠뜨리지 않기 위해 넓게 뽑는" 설계에서 나오는 원지표로만 참고한다. 세 상태의 합이 937로 정확히 떨어지는 점은 스냅샷에서 문서별 matched/review/unresolved 합산이 832/91/14로 일치함을 교차 검증해 확인했다.
5.2 시연 — 평가의 상태 모델이 화면의 상태 모델이 된다
ledger의 세 상태는 보고서 안의 개념에 머무르지 않고, 사용자가 화면에서 실제로 보는 구분이 된다. 시연 경로는 추출 캐시를 우선 로드하며, 캐시 히트 시 4.86초에 즉시 응답한다(라이브 추출은 문서당 약 2분이 걸리므로 시연은 캐시 경로로 고정한다). 화면의 status는 캐시에 이미 존재하는 필드로 complete_verified / complete_with_review / partial / failed / doc_not_found의 5종이며, 근거 검증에 실패한 항목이 하나라도 있으면 complete_verified가 아니라 complete_with_review로 표시된다.
Review로 라우팅된 91건의 실효성도 여기서 드러난다. review 항목에는 chunk_id와 quote가 포인팅되어 있어, 검토자는 문서를 처음부터 다시 뒤지는 것이 아니라 지목된 근거만 확인하는 마이크로태스크를 수행하면 된다. UI의 항목별 신뢰 배지와 인용 하이라이트는 이 status 값을 시각화한 것으로, 구현은 SD 수민님이 담당한다. 다만 배지·하이라이트는 이미 존재하는 status 필드를 렌더한 것이고, 청크 본문 맥락까지의 확장은 후속 개선 항목으로 분리했음을 사실·진행·계획을 구분해 기술한다.
5.3 Unresolved 14건 추적 — 약점을 발견하는 능력
Unresolved 14건은 미해결로 남겨두지 않고 전수 risk scan을 수행했다. 분류 결과는 참가자격 계열 고영향 후보 3건(대기업 SW사업자 참여제한 / 입찰참가자격 법령요건 / 직접생산확인증명서), 절차·평가 규정 2건, ID형 기능 항목 8건, 준고영향(가점) 1건이다.
대표 1건에 대해서는 실패 단계를 규명했다. 입찰참가자격 조항(국가계약법 시행령 제12조 계열)은 원문과 청크에는 온전히 존재하지만(parser·청킹 정상) 추출 단계에서 누락된 것으로 확인됐다. 공고문 서두의 법령 조문 나열형 구간을 추출기가 요구사항으로 인식하지 못한 것이다. 이에 따라 개선 경로를 서두·법령 조문형 구간에 대한 추출 프롬프트/윈도우 정책 보강으로 특정했다(다음 evaluator 개정 대상). 나머지 고영향 2건은 동일 계열 패턴이라는 가설을 두되, 단계별 trace는 대표 1건에 대해서만 수행했음을 명시한다.
핵심 결과는 gold 의무항목 937개가 Auto-match(provisional) 832건, Review 91건, Unresolved 14건으로 분해되며(micro 88.8%), 세 상태의 합이 정확히 937로 떨어진다는 것이다. 이 결과가 왜 이렇게 나왔는지는 세 층위로 설명된다.
첫째, 88.8%가 "잠정" 매칭인 이유다. matcher는 경계 사례(부분충족·범위축소)에서 사람보다 관대한 방향으로 판정하는 경향이 있고(부록 A, κ=0.410), 이 관대함이 Auto-match 규모를 실제 확정 가능 수준보다 높게 잡는다. 그래서 832건을 확정이 아니라 provisional로 표기하고, 확신이 부족한 91건은 자동 확정하지 않고 사람에게 검토를 요청하는 구조로 설계했다. 즉 88.8%라는 수치와 9.7%의 Review Routing은 서로 다른 실패가 아니라, 동일한 "불확실하면 자동 확정하지 않는다"는 원칙의 양면이다.
둘째, Unresolved 14건이 남은 이유다. 대표 1건의 단계별 trace 결과(5.3절), 참가자격 조항은 원문과 청크에는 온전히 존재했으나 추출 단계에서 누락됐다. 원인은 성능 저하가 아니라 공고문 서두의 법령 조문 나열형 구간을 추출기가 요구사항으로 인식하지 못한 구조적 사각지대였다. 나머지 ID형 8건은 gold 라벨이 정보량 낮은 헤드라인 명사구라 임베딩 유사도 자체가 낮았다(0.34~0.67).
셋째, Item Precision 0.286이 낮게 측정된 이유다. 이는 성능 결함이 아니라 "빠뜨리지 않기 위해 넓게 뽑는" 설계의 산물이다. 분모가 gold 937이 아니라 추출물 전체(문서당 수백~천여 건)라, 오탐과 gold 미라벨 정답이 함께 분모에 들어가 값이 낮아진다. 이 지표는 회수율 우선 설계의 원지표로만 해석해야 한다.
6.2 한계와 개선 방향
라우트 C의 한계는 숨기지 않고 개선 경로와 함께 명시한다.
첫째, 채점자 관대 경향이다. 경계 사례 중심의 hard-case fixture에서 matcher가 사람보다 관대한 방향으로 불일치하는 경향이 확인됐다(상세는 부록 A). 이는 Auto-match Acceptance 기준(대상·행위·조건·근거지지 4조건)을 명문화해 다음 개정에 반영할 근거가 된다.
둘째, Precision 미분해다. 비매칭 추출물(약 71%)에는 오탐과 gold 미라벨 정답이 섞여 있으나, 이를 분해하는 분석은 아직 수행하지 못했다.
셋째, criticality별 분해 미실시다. gold freeze 시점에 criticality가 채점 축에 연결되지 않았고, 사후 라벨링은 결과에 맞추는 위험이 있어 보류했다(구조적 사유가 1차, 예산 제약이 2차).
넷째, 표본 규모다. stress set 8문서와 fixture 37건은 방향성 확인에는 충분하나 규모 확대는 향후 검증 과제로 남는다.
다섯째, 표·서식 구간의 검색성이다. 표 형태 정보의 회수 실패 사례가 청킹·검증·검색 파트에서 공통으로 관찰됐다. 이는 parser·표 직렬화·청킹에 걸친 구조 보존 문제로, 원인을 단정하지 않고 팀 공통 다음 과제로 등재한다.
데이터 라인의 한계도 숨기지 않고 개선 경로와 함께 남긴다. 첫째, 마스킹 재현율이다. 처리율 100%는 탐지된 PII 기준이며, 정규식이 놓친 변형 표기(비정형 간격·OCR 왜곡 등)는 탐지·재검증 양쪽에서 카운트되지 않는다. 이를 보완하기 위해 느슨한 패턴으로 마스킹 결과물을 재훑는 교차점검을 수행했고, 민감 PII(휴대폰·사적 이메일·주민번호)의 변형 누락은 0건이었다(사업자번호 후보 93건은 전부 조달 품명번호 오탐으로 판별). 다만 이는 형식 변형 실패모드를 커버할 뿐이고, 완전한 재현율 증명(표본 수작업 감사)은 여전히 향후 과제다. 둘째, 마감일 결측 fallback이다. 마감일(bid_end)이 빈 8문서(DOC_013·014·015·025·027·047·071·089)는 데이터상 null로 저장되나, 날짜 범위 필터가 이 null을 어떻게 처리할지는 검색팀과 합의가 필요하다(제안: null=마감일 미상 → 날짜 필터에서 제외하되 결과에 별도 표기). 셋째, 예산 이상치다. DOC_084의 예산이 1원으로 원천 입력 오류로 추정되며 원천 정정 확인이 필요하다(예산 null 7건은 미공개로 비교·필터에서 자동 제외되어 정상). 넷째, 본문 노이즈다. 재파싱 본문에 <표>·<그림> 플레이스홀더가 잔존해 임베딩 전 정제 여부를 판단해야 하며, 이는 라우트 C가 6장에서 지적한 표·서식 구간 검색성 문제와 맞닿아 있다.
출처: handover 2·6장, agreement, plan 7.1절
7. Conclusion
라우트 C는 "몇 개를 맞혔는가"가 아니라 "모든 의무항목이 지금 어떤 상태에 있는가"를 답하는 시스템으로 설계·검증됐다. 핵심 수치로 요약하면, gold 의무항목 937개는 Auto-match(provisional) 832건 / Review 91건 / Unresolved 14건으로 분해되며(832+91+14=937), 집계 기준은 micro 88.8%(832/937), 문서별 macro 0.886(0.831~0.922)이다. 정답지·추출·코드·채점자 층위를 분리 검증했고, 채점자 검증에서는 경계 사례 층화 fixture(37건)로 관찰 일치율 59.5%, Cohen's κ=0.410을 실측했다.
이 프로젝트가 채택한 태도는 낮은 수치를 숨기지 않고 measurement → 발견 → 개선 경로로 프레임하는 것이다. κ=0.410은 자동 판정의 우수성 주장이 아니라 채점 정책의 개선 지점을 특정한 근거이며, Unresolved 14건의 전수 risk scan과 대표 1건의 단계별 trace는 약점을 발견하는 능력까지를 시스템 범위에 포함시킨 결과다. 향후 과제는 Auto-match Acceptance 기준 명문화, 서두·법령 조문형 구간의 추출 정책 보강, Precision 분해, 표·서식 구간 검색성 개선, 그리고 표본 규모 확대다.
부록 A — Stratified Matcher Calibration (채점자 검증 실측)
이 표본은 전체 성능 표본이 아니라 matcher 판정 정책 검증용 층화 fixture다. match/miss/review 각 15건을 층화 추출(경계 사례 비중 의도 상향)한 뒤 gold 결함 1건을 제외해 37건을 확보했고, 판정 정보를 가린 blind 상태에서 사람(도혁) 1인이 독립 재채점했다.
관찰 일치율(observed agreement): 59.5% (22/37)
Cohen's kappa: 0.410 (chance-corrected, moderate)
κ는 "41% 맞았다"는 뜻이 아니라 우연 일치를 보정한 계수이며, 층화 표본이므로 전체 채점 일치율로 일반화하지 않는다.
혼동행렬 (행=사람, 열=matcher):
matcher: match
miss
review
사람: match
6
0
0
사람: miss
1
9
6
사람: review
8
0
7
조건부 해석 (single-rater, n 소규모 — 방향성만):
matcher=miss (n=9): 사람 동의 9/9 — "놓쳤다"는 판정은 표본 전수에서 사람과 일치
matcher=review (n=13): 사람이 match로 올린 것 0건 — review 큐에 숨은 확정 정답 없음
matcher=match (n=15): 사람 그대로 동의 6건, review 강등 8건, miss 강등 1건 — 경계 사례에서 matcher가 match를 과하게 부여하는 경향. Auto-match Acceptance 기준(대상·행위·조건·근거지지 4조건) 보강 필요의 실측 근거
이 fixture가 보여주는 것은 자동 판정의 자랑이 아니라 측정 → 편향 발견 → 정책 개선 경로 특정의 사이클이다.
reacted with thumbs up emoji reacted with thumbs down emoji reacted with laugh emoji reacted with hooray emoji reacted with confused emoji reacted with heart emoji reacted with rocket emoji reacted with eyes emoji
Uh oh!
There was an error while loading. Please reload this page.
Uh oh!
There was an error while loading. Please reload this page.
데이터팀 통합 보고서 v2 — 라우트 C 추출·평가 & 데이터 라인 (연구 보고서 형식)
Abstract
라우트 C는 공공조달 RFP 문서에서 준수해야 할 의무항목(요구사항·자격·배점·제출서류)을 원문 근거(quote)와 함께 자동 추출하고, 각 항목을 명시적 상태로 관리하는 시스템이다. B2G 입찰에서는 항목의 오탐은 사람이 지울 수 있지만 누락은 발견되지 못하면 실격으로 직결되므로, 단일 회수율로 성능을 주장하는 대신 모든 의무항목을 Auto-match / Review / Unresolved 중 하나의 상태에 배치하고 불확실한 판정은 자동 확정하지 않고 사람에게 라우팅하는 것을 설계 원칙으로 삼았다.
평가는 원문만 보고 라벨링한 blind gold(v5.0, 954 라벨 / 8문서)를 기준으로 수행했다. 8문서는 모집단(100건)의 대표 표본이 아니라 문서 유형을 의도적으로 섞은 blind stress set이다. 채점 결과 gold 의무항목 937개는 Auto-match(provisional) 832건, Review 라우팅 91건, Unresolved 14건으로 분해되며(832+91+14=937), 집계 기준은 micro 88.8%(832/937), 문서별 평균은 macro 0.886(문서별 0.831~0.922)이다.
신뢰성은 정답지 층위(gold 라벨 Cohen's κ), 추출 층위(Quote-Grounding 90.0%), 코드 층위(단위테스트 55 PASS), 채점자 층위(matcher 사람 대조)를 각각 분리해 검증했다. 채점자 검증에서는 경계 사례 중심의 층화 fixture(37건)로 관찰 일치율 59.5%, Cohen's κ=0.410을 실측했으며, 이 값은 자동 판정의 우수성이 아니라 measurement → 편향 발견 → 정책 개선 경로 특정의 근거로 사용한다. 나아가 Unresolved 14건을 전수 risk scan하고 대표 1건의 실패 단계를 규명하여, 약점을 발견하는 능력까지를 시스템의 범위에 포함시켰다.
1. Introduction
라우트 C가 답하는 질문은 "몇 개를 맞혔는가"가 아니라 "모든 항목이 지금 어떤 상태에 있는가"이다. 이 문제 설정은 B2G 입찰의 비대칭성에서 나온다. 제안서를 준비하는 컨설턴트 입장에서, 요구사항을 더 뽑는 오탐은 사람이 검토 과정에서 지울 수 있는 비용이지만, 의무항목의 누락은 발견조차 되지 않으면 그대로 실격으로 이어진다. 따라서 실무에서 유효한 질문은 "몇 % 맞았나"가 아니라 "빠진 것이 어디에 있는가"이다.
이 관점에서 라우트 C는 RFP에서 준수해야 할 의무항목(요구사항·자격·배점·제출서류)을 원문 근거(quote)와 함께 자동 추출한다. 그리고 단일 회수율 하나로 성능을 주장하지 않는다는 것을 핵심 설계 원칙으로 둔다. 모든 의무항목은 Auto-match, Review, Unresolved 중 하나의 명시적 상태에 놓이며, 시스템이 확신하지 못하는 항목은 자동으로 확정하지 않고 사람에게 검토를 요청한다. 이 "불확실하면 자동 확정하지 않는다"는 원칙은 평가 단계의 집계표(ledger)에서 시연 화면의 상태 표시(status)까지 하나의 축으로 관통하며, 본 보고서의 결과(5장)와 시연 설명(5.2절)에서 반복적으로 확인된다.
라우트 C가 소비하는 blind gold와 추출 대상 코퍼스는 모두 데이터 라인의 산출물 위에 놓인다. 파이프라인은 원본(hwp 96·pdf 4) → 재파싱 → 정제 → PII 마스킹 → 청킹 → 임베딩/검색 → 생성·추출로 이어지며, 데이터 라인(Lane A)은 이 중 코퍼스가 만들어지는 앞단 전부 — 재파싱·정제·마스킹·메타 정규화·골든셋 — 를 담당한다. 라우트 C의 "모든 의무항목이 지금 어떤 상태에 있는가"라는 질문은 애초에 답이 코퍼스 안에 온전히 존재한다는 전제 위에서만 성립하므로, 데이터 라인의 목표는 성능이 아니라 그 전제의 신뢰성 — 본문 완전성·PII 안전성·메타 정합성·정답지 무결성 — 을 정량으로 보증하는 데 있다.
출처: design 1장
2. Related Work
라우트 C의 평가 체계는 명시적으로 채택한 외부 선행 연구 프레임을 그대로 적용한 것이 아니라, 프로젝트 도메인(B2G 조달 RFP)의 특성과 실패 사례 진단에서 출발해 자체 설계한 것이다. 특히 (a) 회수율 단일 지표 대신 항목별 상태 관리(disposition ledger)를 채점 단위로 삼은 점, (b) 채점 축을 청크 위치가 아니라 항목 내용(Item 단위)으로 전환한 점, (c) 정답지·추출·코드·채점자 층위를 분리 검증한 점은 초기 진단 과정에서 도출한 설계 판단이다.
데이터 라인 관점에서 기존 접근과의 대비도 같은 결로 정리된다. 통상의 RAG·정보 추출 평가는 검색 정확도(HR@k·MRR·nDCG)나 추출 F1처럼 단일 스칼라로 성능을 요약한다. 이런 지표는 "평균적으로 얼마나 맞는가"를 볼 뿐, 개별 항목의 누락이 치명적인 도메인에서 "무엇이 어디서 빠졌는가"를 드러내지 못한다. 데이터 라인이 골든셋을 용도별 세 축(V4 검색·생성 63문항, V5 라우트 C blind gold 954 라벨)으로 분리 설계한 것도 이 문제의식에서 나왔다. 하나의 정답지에 회수율 지표만 얹는 대신, 채점 축을 용도별로 나누고(검색=청크 위치, 추출=항목 내용) 정답지 자체의 무결성·라벨러 일치도를 별도의 검증 대상으로 승격시킨 점이, 표준 벤치마크를 그대로 차용하지 않고 도메인 특성에서 재설계한 지점이다.
3. Method
3.1 채점 축 전환 — 위치가 아니라 내용으로
초기(V4) 진단에서, 추출 성능을 "청크 번호 일치"로 채점하면 점수가 문서마다 40~100%로 크게 출렁이는 문제가 확인됐다. 원인은 채점 방식 자체에 있었다. 골든셋은 목차 청크를 기준으로 라벨링되는 반면 추출기는 내용 청크에서 항목을 뽑기 때문에, 청크 번호만 어긋나고 내용은 실제로 일치하는 경우가 다수 발생한 것이다. 이에 채점 축을 청크 위치에서 항목 내용(Item 단위)으로 전환했고, V4는 이후 정식 채점이 아닌 진단 용도로만 한정했다.
3.2 V5 blind gold — 정답을 미리 보지 않고 라벨링
정식 평가를 위한 골든셋(V5)은 blind 방식으로 구축했다. 라벨러가 추출 결과를 참고하지 않고 원문만 보고 의무항목을 라벨링하며, 그 결과 954개 라벨 / 8문서를 확보했다. 이 골든셋은 v5.0으로 freeze(2026-07-02, 불변 스냅샷)했고, 무결성 게이트 하드 12/12 PASS와 오염 검증(학습·캐시 사용분과 비겹침)을 통과했다.
골든셋은 두 세대로 구축했다. V4(검색·생성용, 63문항: 단일 20·다중 15·후속 15·거부 13)는 질의 패턴을 4분류하고 메타 계산으로 자동 생성한 문항에 자유서술형 정답을 직접 작성해 병합했으며(auto 53 + data_authored 10), 각 문항의 정답 청크 참조는 라벨↔청크 무결성 검사(깨진 참조 0건)로 검증했다.
V5(라우트 C blind gold, 954 라벨/8문서)는 원문 단독 라벨 원칙으로 다시 구축했다. 재구축의 직접 계기는 V4의 라벨링 커플링 결함이었다. V4의 항목 정답(expected_items)이 추출기 출력을 참고해 작성돼 정답지와 채점 대상이 커플링된 상태였고, 이 경우 추출기가 놓친 항목은 정답지에도 없어 누락이 구조적으로 측정되지 않는다. V5는 라벨러가 추출 결과를 보지 않고 원문만으로 의무항목을 라벨링해 이 커플링을 끊었다(3.1절의 채점 축 전환과 짝이 되는 정정이다).
무결성은 재청킹 때 정답지가 조용히 어긋나는 사고를 막기 위해 게이트로 자동화했다. verify_golden_v5.py가 입력 파일 핀·라벨↔청크 참조 실재·스키마 완비를 하드 체크(12/12 PASS)하고, 오염 검증(verify_v5_contamination.py)으로 학습·캐시 사용분과의 비겹침을 확인한다. 빌더 경로도 한 차례 정정했는데, 초기 빌더가 죽은 파일명(chunks_v1_enriched.json)을 입력으로 삼아 조인이 어긋나던 것을 현 SSOT(chunks_v1_0622_enriched.json)로 교정하고, 섹션 문항의 문서 선택을 균등표집에서 큐레이션 키 pin으로 바꿔 재실행해도 검수 구성이 재현되도록 고정했다. 골든셋은 v5.0으로 freeze(2026-07-02)해 불변 스냅샷을 확보했다.
3.3 신뢰성의 층위 분리
신뢰성은 하나의 숫자로 뭉뚱그리지 않고, 서로 다른 파이프라인 단계에 대응하는 네 개 층위로 나누어 검증했다. "정답지가 맞는가"와 "채점자가 맞는가"는 다른 질문이기 때문이다.
여기서 층위 구분에 주의가 필요하다. Quote-Grounding(90.0%)은 추출 단계 지표로 "근거가 원문에 실재하는가"를 보고, Review Routing(9.7%)은 평가 단계 지표로 "gold와 매칭됐는가"를 본다. 두 수치가 비슷하게 보이는 것은 우연이며 서로 다른 파이프라인 단계에 속한다. 또한 Grounding 검증에 실패한 항목은 폐기되지 않는다. 해당 항목은 status가 complete_verified가 아니라 complete_with_review로 내려가 사람 검토 대상이 되며(compliance_extractor_v2 status 로직), 이는 "불확실하면 자동 확정하지 않는다"는 원칙이 코드로 구현된 형태다.
출처: design 2–3장, plan 1–2장, 7.1절, handover 6장, compliance_extractor_v2.py
4. Experimental Setup
평가 대상 문서는 8건이며, 이 8문서의 성격을 명확히 하는 것이 선제적으로 중요하다. 8문서는 모집단(100건)의 대표 표본이 아니라 blind stress set이다. 즉 문서당 전수 blind 라벨링에 드는 비용 안에서 확보 가능한 규모로, 문서 유형(정보시스템 구축형, 자격·배점 위주형 등)을 의도적으로 섞어 배치한 검증 세트다. 구성은 코어 4건 + 확장 4건이며, 표본 규모의 한계는 결과 해석에서 스스로 명시한다(5장, 6장).
채점자 검증에 사용한 fixture 역시 성격을 구분해야 한다. 이 fixture는 전체 성능 표본이 아니라 matcher 판정 정책 검증용 층화 표본이다. match / miss / review 각 15건을 층화 추출(경계 사례 비중을 의도적으로 높임)한 뒤 gold 결함 1건을 제외해 37건을 확보했고, 판정 정보를 가린 blind 상태에서 사람(도혁) 1인이 독립 재채점했다. 층화 표본이므로 전체 채점 일치율로 일반화하지 않는다.
평가·추출이 딛고 선 코퍼스의 데이터 준비 결과를 먼저 정량으로 요약하면 다음과 같다.
상세 경위는 다음과 같다. (1) 재파싱: 원본이 제공한 CSV 텍스트 컬럼은 본문의 약 18.5%(목차·개요 위주)에 불과해 — 예컨대 "요구사항"이 CSV엔 2회, 원본엔 179회 등장 — 폐기하고, 원본 100건(hwp 96·pdf 4)을 전건 재파싱해 canonical 본문(8,313,109자, 문서 평균 83,131자)을 확보했다. (2) 마스킹 v3: 공식 문의처(기관 대표번호·유선·기관 도메인 이메일)는 공개 보존하고 사적 PII(휴대폰·사적 webmail·주민·사업자·법인번호)만 차단하는 정책을, 청킹보다 먼저 적용해 PII가 청크 경계에서 새는 것을 막았다. 탐지→검증→마스킹→재검증 4단계로 제한 PII 후보 8건을 차단하고 기관 이메일 66건을 의도적으로 공개 보존했으며, 마스킹 후 동일 패턴 재검증에서 잔존은 0이었다. 다만 이 "잔존 0·처리율 100%"는 정규식이 탐지한 PII에 대한 처리 완결성이지 문서 내 실제 PII가 0이라는 재현율(recall) 보장은 아니다(패턴이 놓친 변형 표기는 탐지·재검증 양쪽에서 잡히지 않는다). 이에 엄격 패턴보다 느슨한 패턴(구분자·공백 변형 허용)으로 마스킹 결과물을 재훑는 교차점검을 수행해 민감 PII(휴대폰·사적 이메일·주민번호)의 변형 누락 0건을 확인했으나(사업자번호 후보 93건은 전부 조달 품명번호 오탐), 이는 형식 변형 실패모드를 커버할 뿐 완전한 재현율 증명은 아니며 표본 수작업 감사는 향후 과제로 남는다(6장). (3) 메타 정규화: 기관명·예산·마감일·공고번호를 정규화해 doc_id로 청크에 조인했다(조인 실패 0, orphan 0). 예산은 0원·결측을 null로 정규화(유효 92건), 마감일(bid_end)은 결측 8건을 null로 저장했으며, 이 enriched 메타가 검색 메타 필터의 단일 진실원천(SSOT)이다.
출처: design 2–3장, plan 1–2장, agreement
5. Results
5.1 Disposition Ledger — 937개 의무항목의 행방
핵심 결과는 gold 의무항목 937개 중 사라진 것이 없다는 점이다. 모든 항목이 세 상태 중 하나에 있다.
집계 기준은 micro 88.8%(832/937)이다. 문서별 평균인 macro 0.886은 보조 지표로 별도 병기하며, 문서별로는 0.831~0.922 범위에서 유형과 무관하게 안정적이다(문서별 분포는 부록). 두 값은 집계 단위가 다르므로 항상 라벨을 붙여 구분하고 혼용하지 않는다.
분모에 대한 명시가 필요하다. 이 표의 분모는 전부 gold 의무항목 937이다. 반면 별도 지표인 Item Precision 0.286의 분모는 추출물 전체(문서당 수백~천여 건)로, 두 지표는 세는 대상이 달라 나란히 두면 착시가 생긴다. Precision은 "빠뜨리지 않기 위해 넓게 뽑는" 설계에서 나오는 원지표로만 참고한다. 세 상태의 합이 937로 정확히 떨어지는 점은 스냅샷에서 문서별 matched/review/unresolved 합산이 832/91/14로 일치함을 교차 검증해 확인했다.
5.2 시연 — 평가의 상태 모델이 화면의 상태 모델이 된다
ledger의 세 상태는 보고서 안의 개념에 머무르지 않고, 사용자가 화면에서 실제로 보는 구분이 된다. 시연 경로는 추출 캐시를 우선 로드하며, 캐시 히트 시 4.86초에 즉시 응답한다(라이브 추출은 문서당 약 2분이 걸리므로 시연은 캐시 경로로 고정한다). 화면의 status는 캐시에 이미 존재하는 필드로 complete_verified / complete_with_review / partial / failed / doc_not_found의 5종이며, 근거 검증에 실패한 항목이 하나라도 있으면 complete_verified가 아니라 complete_with_review로 표시된다.
Review로 라우팅된 91건의 실효성도 여기서 드러난다. review 항목에는 chunk_id와 quote가 포인팅되어 있어, 검토자는 문서를 처음부터 다시 뒤지는 것이 아니라 지목된 근거만 확인하는 마이크로태스크를 수행하면 된다. UI의 항목별 신뢰 배지와 인용 하이라이트는 이 status 값을 시각화한 것으로, 구현은 SD 수민님이 담당한다. 다만 배지·하이라이트는 이미 존재하는 status 필드를 렌더한 것이고, 청크 본문 맥락까지의 확장은 후속 개선 항목으로 분리했음을 사실·진행·계획을 구분해 기술한다.
5.3 Unresolved 14건 추적 — 약점을 발견하는 능력
Unresolved 14건은 미해결로 남겨두지 않고 전수 risk scan을 수행했다. 분류 결과는 참가자격 계열 고영향 후보 3건(대기업 SW사업자 참여제한 / 입찰참가자격 법령요건 / 직접생산확인증명서), 절차·평가 규정 2건, ID형 기능 항목 8건, 준고영향(가점) 1건이다.
대표 1건에 대해서는 실패 단계를 규명했다. 입찰참가자격 조항(국가계약법 시행령 제12조 계열)은 원문과 청크에는 온전히 존재하지만(parser·청킹 정상) 추출 단계에서 누락된 것으로 확인됐다. 공고문 서두의 법령 조문 나열형 구간을 추출기가 요구사항으로 인식하지 못한 것이다. 이에 따라 개선 경로를 서두·법령 조문형 구간에 대한 추출 프롬프트/윈도우 정책 보강으로 특정했다(다음 evaluator 개정 대상). 나머지 고영향 2건은 동일 계열 패턴이라는 가설을 두되, 단계별 trace는 대표 1건에 대해서만 수행했음을 명시한다.
출처: snapshot 교차 검증, unresolved 분석(2026-07-06), trace 스크립트, agreement
6. Discussion — 결과 분석과 한계
6.1 결과 요약과 원인 분석
핵심 결과는 gold 의무항목 937개가 Auto-match(provisional) 832건, Review 91건, Unresolved 14건으로 분해되며(micro 88.8%), 세 상태의 합이 정확히 937로 떨어진다는 것이다. 이 결과가 왜 이렇게 나왔는지는 세 층위로 설명된다.
첫째, 88.8%가 "잠정" 매칭인 이유다. matcher는 경계 사례(부분충족·범위축소)에서 사람보다 관대한 방향으로 판정하는 경향이 있고(부록 A, κ=0.410), 이 관대함이 Auto-match 규모를 실제 확정 가능 수준보다 높게 잡는다. 그래서 832건을 확정이 아니라 provisional로 표기하고, 확신이 부족한 91건은 자동 확정하지 않고 사람에게 검토를 요청하는 구조로 설계했다. 즉 88.8%라는 수치와 9.7%의 Review Routing은 서로 다른 실패가 아니라, 동일한 "불확실하면 자동 확정하지 않는다"는 원칙의 양면이다.
둘째, Unresolved 14건이 남은 이유다. 대표 1건의 단계별 trace 결과(5.3절), 참가자격 조항은 원문과 청크에는 온전히 존재했으나 추출 단계에서 누락됐다. 원인은 성능 저하가 아니라 공고문 서두의 법령 조문 나열형 구간을 추출기가 요구사항으로 인식하지 못한 구조적 사각지대였다. 나머지 ID형 8건은 gold 라벨이 정보량 낮은 헤드라인 명사구라 임베딩 유사도 자체가 낮았다(0.34~0.67).
셋째, Item Precision 0.286이 낮게 측정된 이유다. 이는 성능 결함이 아니라 "빠뜨리지 않기 위해 넓게 뽑는" 설계의 산물이다. 분모가 gold 937이 아니라 추출물 전체(문서당 수백~천여 건)라, 오탐과 gold 미라벨 정답이 함께 분모에 들어가 값이 낮아진다. 이 지표는 회수율 우선 설계의 원지표로만 해석해야 한다.
6.2 한계와 개선 방향
라우트 C의 한계는 숨기지 않고 개선 경로와 함께 명시한다.
첫째, 채점자 관대 경향이다. 경계 사례 중심의 hard-case fixture에서 matcher가 사람보다 관대한 방향으로 불일치하는 경향이 확인됐다(상세는 부록 A). 이는 Auto-match Acceptance 기준(대상·행위·조건·근거지지 4조건)을 명문화해 다음 개정에 반영할 근거가 된다.
둘째, Precision 미분해다. 비매칭 추출물(약 71%)에는 오탐과 gold 미라벨 정답이 섞여 있으나, 이를 분해하는 분석은 아직 수행하지 못했다.
셋째, criticality별 분해 미실시다. gold freeze 시점에 criticality가 채점 축에 연결되지 않았고, 사후 라벨링은 결과에 맞추는 위험이 있어 보류했다(구조적 사유가 1차, 예산 제약이 2차).
넷째, 표본 규모다. stress set 8문서와 fixture 37건은 방향성 확인에는 충분하나 규모 확대는 향후 검증 과제로 남는다.
다섯째, 표·서식 구간의 검색성이다. 표 형태 정보의 회수 실패 사례가 청킹·검증·검색 파트에서 공통으로 관찰됐다. 이는 parser·표 직렬화·청킹에 걸친 구조 보존 문제로, 원인을 단정하지 않고 팀 공통 다음 과제로 등재한다.
데이터 라인의 한계도 숨기지 않고 개선 경로와 함께 남긴다. 첫째, 마스킹 재현율이다. 처리율 100%는 탐지된 PII 기준이며, 정규식이 놓친 변형 표기(비정형 간격·OCR 왜곡 등)는 탐지·재검증 양쪽에서 카운트되지 않는다. 이를 보완하기 위해 느슨한 패턴으로 마스킹 결과물을 재훑는 교차점검을 수행했고, 민감 PII(휴대폰·사적 이메일·주민번호)의 변형 누락은 0건이었다(사업자번호 후보 93건은 전부 조달 품명번호 오탐으로 판별). 다만 이는 형식 변형 실패모드를 커버할 뿐이고, 완전한 재현율 증명(표본 수작업 감사)은 여전히 향후 과제다. 둘째, 마감일 결측 fallback이다. 마감일(bid_end)이 빈 8문서(DOC_013·014·015·025·027·047·071·089)는 데이터상 null로 저장되나, 날짜 범위 필터가 이 null을 어떻게 처리할지는 검색팀과 합의가 필요하다(제안: null=마감일 미상 → 날짜 필터에서 제외하되 결과에 별도 표기). 셋째, 예산 이상치다. DOC_084의 예산이 1원으로 원천 입력 오류로 추정되며 원천 정정 확인이 필요하다(예산 null 7건은 미공개로 비교·필터에서 자동 제외되어 정상). 넷째, 본문 노이즈다. 재파싱 본문에 <표>·<그림> 플레이스홀더가 잔존해 임베딩 전 정제 여부를 판단해야 하며, 이는 라우트 C가 6장에서 지적한 표·서식 구간 검색성 문제와 맞닿아 있다.
출처: handover 2·6장, agreement, plan 7.1절
7. Conclusion
라우트 C는 "몇 개를 맞혔는가"가 아니라 "모든 의무항목이 지금 어떤 상태에 있는가"를 답하는 시스템으로 설계·검증됐다. 핵심 수치로 요약하면, gold 의무항목 937개는 Auto-match(provisional) 832건 / Review 91건 / Unresolved 14건으로 분해되며(832+91+14=937), 집계 기준은 micro 88.8%(832/937), 문서별 macro 0.886(0.831~0.922)이다. 정답지·추출·코드·채점자 층위를 분리 검증했고, 채점자 검증에서는 경계 사례 층화 fixture(37건)로 관찰 일치율 59.5%, Cohen's κ=0.410을 실측했다.
이 프로젝트가 채택한 태도는 낮은 수치를 숨기지 않고 measurement → 발견 → 개선 경로로 프레임하는 것이다. κ=0.410은 자동 판정의 우수성 주장이 아니라 채점 정책의 개선 지점을 특정한 근거이며, Unresolved 14건의 전수 risk scan과 대표 1건의 단계별 trace는 약점을 발견하는 능력까지를 시스템 범위에 포함시킨 결과다. 향후 과제는 Auto-match Acceptance 기준 명문화, 서두·법령 조문형 구간의 추출 정책 보강, Precision 분해, 표·서식 구간 검색성 개선, 그리고 표본 규모 확대다.
부록 A — Stratified Matcher Calibration (채점자 검증 실측)
이 표본은 전체 성능 표본이 아니라 matcher 판정 정책 검증용 층화 fixture다. match/miss/review 각 15건을 층화 추출(경계 사례 비중 의도 상향)한 뒤 gold 결함 1건을 제외해 37건을 확보했고, 판정 정보를 가린 blind 상태에서 사람(도혁) 1인이 독립 재채점했다.
혼동행렬 (행=사람, 열=matcher):
조건부 해석 (single-rater, n 소규모 — 방향성만):
이 fixture가 보여주는 것은 자동 판정의 자랑이 아니라 측정 → 편향 발견 → 정책 개선 경로 특정의 사이클이다.
출처: agreement (matcher_human_agreement.json, 2026-07-06)
부록 B — Unresolved 14건 Risk Scan 상세
★ #6 trace 결과 (first_failure_stage 확정):
출처: pull_miss14_v2.py, trace_e161.py, trace_e161_chunks.py (2026-07-06)
부록 C — Evaluation Provenance (재현성 증빙)
모든 원문·골든셋·캐시는 NDA로 드라이브 관리(리포 미포함), 수치·구조만 공개
All reactions