Q&A 방어 자료 — 최종본 #191
minjaejeon0827
started this conversation in
General
Replies: 0 comments
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
Q&A 방어 자료 — 최종본 (실제 PPT 페이지 기준)
실제 PPT 페이지 지도 (담당자별 — 이것만 외우면 됨)
답변 3원칙 (전원)
도혁 — 라우트 C (P13·14·15·17)
"88.8%면 나머지 11%는 틀린 거 아닌가요?"
→ P14 (Disposition Ledger)로 넘기며
"아, 이게 정답률이 아니라 자동 매칭 비율이거든요. 화면 보시면 — 나머지 11% 중에 9.7%는 틀린 게 아니라, 확신이 부족해서 사람 검토로 보낸 거예요. 진짜 자동 실패는 1.5%, 14건뿐이고요. 그 14건도 그냥 버린 게 아니라 전수 분석해서 어느 단계에서 놓쳤는지까지 다 찾았습니다. 그러니까 핵심은, 937개가 전부 세 상태 중 하나로 관리된다는 거예요. 사라진 항목이 하나도 없습니다."
(근거: ledger 832/91/14=937)
"Item Precision 0.286은 너무 낮지 않나요?"
→ P14 유지, 화면 짚으며
"이건 분모가 달라서 그래요. 88.8%는 분모가 gold 937개인데, Precision 0.286은 분모가 추출물 전체거든요 — 문서 하나에 수백에서 천 건이 넘습니다. 저희가 실격을 막으려고 일부러 넓게 뽑는 설계를 했어요. 넓게 뽑으면 그 분모에 오탐이랑, gold에 라벨 안 된 정답까지 같이 들어가서 값이 낮아지는 거고요. 성능 문제가 아니라 설계의 결과입니다. 오탐이랑 미라벨 정답을 나눠보는 분석을 다음 과제로 잡아놨어요."
(근거: 통합보고서 6.1절)
"채점자 카파 0.410이면 채점을 못 믿는 거 아닌가요?"
→ P15 (신뢰성 4층위), 네 번째 카드 짚으며
"오히려 저는 이 숫자가 있어서 믿을 수 있다고 생각해요. 0.410은 '41% 맞췄다'가 아니고 우연을 보정한 계수인데, 층화 표본이라 전체 일치율로 보면 안 됩니다. 진짜 중요한 건 틀린 방향이거든요 — matcher가 '놓쳤다'고 한 건 사람도 9건 다 동의했고, 검토 큐에 숨어있는 정답은 0건이었어요. 불일치가 전부 matcher가 관대한 쪽으로 몰려 있었습니다. 그래서 832건을 확정이 아니라 provisional, 잠정이라고 부르는 거예요. 저희는 이 숫자를 숨기는 대신, 편향을 찾아낸 근거로 씁니다."
(근거: 부록 A, 37건 blind, 일치율 59.5%)
"8개 문서로 충분한가요? 일반화가 되나요?"
→ P13 (문제 재정의) 또는 P15
"8문서는 대표 표본이 아니라 blind stress set이에요 — 개발에 아예 안 쓴 holdout입니다. 코어 4개에 확장 4개, PDF 같은 희소 포맷까지 넣었고 오염 검증도 통과했고요. 규모의 한계는 저희도 보고서에 명시했고, 확대는 향후 과제로 뒀습니다. 다만 이 8문서 안에서 문서별 macro가 0.831에서 0.922로, 문서 유형이 달라도 안정적이었다는 건 말씀드릴 수 있어요."
(근거: v5_gold 954라벨/8문서, 오염 검증 통과)
"criticality 카파가 0.457로 낮은데 왜 채점에 안 썼나요?"
→ P15 유지
"바로 그 낮은 것 때문에 안 썼어요. criticality 불일치가 무작위가 아니라 세 패턴에 딱 뭉쳐 있었는데, 이건 라벨러가 틀린 게 아니라 정의가 사전에 확정이 안 됐다는 신호였거든요. 근데 gold를 freeze한 다음에 다시 라벨링하면 결과에 맞추는 위험이 있어요. 그래서 라벨은 남기되, 채점에 넣는 건 다음 freeze로 미뤘습니다. 원칙을 지킨 판단이에요."
(근거: criticality κ=0.457, 불일치 3패턴)
"체크리스트가 몇백 건씩 나오면 실무자가 다 보나요?"
→ P17 (챗봇 검증 UX)로 넘기며
"다 보라고 만든 게 아니라, 볼 것과 안 봐도 될 걸 나눠주려고 만든 거예요. 화면 보시면 원문 검증된 항목이랑 검토 필요한 항목이 배지로 딱 나뉘고요, 검토 필요한 건 근거 문장이 바로 포인팅돼 있어서, 문서를 다시 뒤질 필요 없이 그 부분만 확인하면 됩니다. CSV로 빼서 엑셀에서 필터링도 되고요."
(근거: Review 91건 실효성 설계)
재헌 — 검색 (P7·8)
"Multi-Query 왜 뺐어요? 표준 기법인데."
→ P8 (표준 기법 버린 용기)로 넘기며
"실측 근거로 뺐습니다. RRF 앙상블이 정답이랑 상관없는 문서를 여러 쿼리에서 중복으로 띄워서 점수를 높게 주는, 노이즈 증폭이 확인됐어요. multi_doc 정밀도가 0.72에서 0.56으로 떨어졌고요. 임베딩 모델을 바꿔도 똑같이 재현돼서, 기법 자체의 구조적 한계로 판단했습니다. 대신 쿼리를 조건별로 쪼개서 각각 top-k를 보장하는 방식을 다음 과제로 설계해뒀어요."
(근거: 검색보고서 v3 실험 8)
"Reranking은 보통 성능 올리는데 왜 여기선 떨어졌나요?"
→ P8 유지
"범용 reranker가 공공조달·입찰이라는 특화 도메인을 몰라서 그래요. ms-marco는 영문 학습이라 정답 순위를 오히려 밀어냈고, bge-reranker도 top_n을 100까지 늘려서 세 번 실험했는데 FAISS 순서를 훼손했습니다. 레이턴시도 10배 늘어서 실사용이랑도 안 맞았고요. 도메인 특화 reranker 학습은 데이터가 더 쌓인 다음 과제입니다."
(근거: v3 실험 4~6, 4.8→44.8초)
"multi_doc 약점은 어떻게 개선하나요?"
→ P7 (검색 다섯 계단)로
"약점 성격이 특정돼 있어요 — 예산이나 기간을 여러 문서에 걸쳐 묶는 질문입니다. 필터 확장으로 0.60에서 0.867까지 이미 올렸고요, 남은 건 아까 실패한 RRF 대신, 질문을 조건별 서브쿼리로 명시적으로 쪼개서 각각 top-k 보장하고 병합하는 방식으로 재설계할 계획입니다."
(근거: v3 3.3절)
"임베딩 왜 중간에 바꿨어요? HR이 0.96에서 0.94로 떨어졌는데."
→ P7 유지
"트레이드오프를 따진 교체였어요. bge-m3가 한국어 의미 표현이 더 좋아서 정밀도를 0.792에서 0.848로 올렸고, 로컬 인덱스라 API 호출 없이 레이턴시를 23배 줄였습니다. HR 0.02 떨어진 건 multi_doc 한 카테고리에만 국한되고, 정밀도랑 속도랑 비용 이득이 훨씬 컸어요. 임베딩 API 종속도 없어지고요."
(근거: v3 실험 7, 0.848, 207.7ms)
수민 — 생성 (P9·10·11·12)
"Answer Correctness 0.608은 낮지 않나요?"
→ P12 (생성 최종 성과)로 넘기며
"이건 Faithfulness랑 재는 게 달라요. Faithfulness 0.905는 '가져온 근거에 충실한가'고, AC는 '골든셋 정답 문구랑 글자가 맞는가'거든요. AC가 낮은 이유는 두 가지로 특정돼요 — 대량 집계형 실패랑, RFP 답변이 간결한 추출형이라 정답 서술이랑 표현이 달라지는 채점 특성이요. 환각 위험을 직접 보는 1순위 기준은 Faithfulness고, 그 축에서 0.905입니다."
(근거: 생성보고서 5.2절)
"gpt-5-mini 말고 더 큰 모델 쓰면 되지 않았나요?"
→ P10 (모델 선정)로 넘기며
"비용이랑 정책상 이게 최적점이었어요. 예산 20달러 안에서 63문항 평가랑 시연까지 다 해야 했고, gpt-5-mini가 거부 3축 만점이라 안전성 기준을 이미 충족했거든요. 품질 이슈는 모델 크기가 아니라 프롬프트랑 재검색 전략으로 풀 수 있는 성격이었고요."
(근거: 4-Layer 예산 정책, 모델 비교표)
"재검색 grade 예외를 키워드로 처리한 건 임시방편 아닌가요?"
→ P11 (재검색 반전)로 넘기며
"맞아요, 그리고 일부러 최소 개입을 한 거예요. 원인이 '집계형 질문을 부족으로 오판'하는 걸로 딱 특정됐으니까, 그 지점만 막는 예외를 넣었고 결과가 거부 어긋남 11건에서 2건으로 실측 개선됐습니다. 근본 해법은 집계형 전용 경로인데 향후 과제로 잡아놨고요. 발표 앞두고 구조를 크게 바꾸는 것보다, 원인 특정된 최소 수정을 택한 거예요."
(근거: 최종보고서 4.5절)
아인 — 데이터·정책 (P16·18)
"담당자 실명을 공개해도 되나요?"
→ P18 (정책)로 넘기며
"근거가 두 겹이에요. 법적으로는 정보공개법 9조가 직무 수행하는 공무원의 성명·직위 공개를 허용하고, RFP 담당자는 기관이 공고에 공표한 공식 문의처거든요. 데이터로는 NER로 검증해보니 38명 전원이 공공기관 직무 담당자였고, 사적 마스킹 대상은 0건이었어요. 여기에 토글이랑, 전수 나열 거절 가드, 외부 공유물 별도 마스킹까지 3중 안전장치를 뒀습니다."
(근거: 데이터 정책 #152, NER 38명/26문서)
"PII 잔존 0이라고 어떻게 보장하죠?"
→ P16 (데이터 라인)로 넘기며
"정직하게 구분해서 말씀드릴게요. '잔존 0'은 정규식이 탐지한 PII를 다 처리했다는 뜻이지, 실제로 하나도 안 남았다는 재현율 보장은 아니에요. 이 구분을 보고서에 명시했습니다. 다만 보강으로, 공백이나 구분자를 바꾼 변형까지 느슨한 패턴으로 교차점검했더니 민감 PII 누락이 0건이었고, 사업자번호 후보 93건도 전수 확인해보니 전부 조달 품명번호 오탐이었어요. 완전한 재현율 추정은 표본 수작업 감사가 필요하고, 그건 향후 과제입니다."
(근거: 통합보고서 6.2절 한계①)
"골든셋은 왜 GitHub에 없어요?"
→ P18 유지
"의도한 정책이에요. 골든셋 거부 문항에 실제 담당자 실명이 들어있어서 공개 리포에 올리는 게 부적절하고, data 폴더 전체를 gitignore하는 게 PII·NDA 안전 기본값이거든요. 팀 공유는 Drive로 하고, 경로 규약은 로컬에서 똑같이 유지되면서 무결성 스크립트로 정합성을 확인해요. PM 컨펌 거쳐서 문서화한 정책입니다."
(근거: #62 종결 정책, 데이터 정책 #152)
민재 — 운영·비용·일반 (P18·19·20)
"API 예산이 92%인데 시연 괜찮아요?"
→ P18 (정책, 예산 부분)로
"네, 괜찮습니다. 시연 경로는 전부 사전 캐싱돼 있어요 — 라우트 C는 캐시 프리즈라 재호출이 0이고, 챗봇 데모도 골든셋 질문이랑 데모 문서를 미리 캐싱했습니다. 남은 예산은 임계값 룰로 발표용으로 봉인해뒀고, 발표 끝나면 API는 중단하는 게 전제예요."
(근거: 4-Layer 정책, 캐시 히트 4.86초)
"실서비스로 가려면 뭐가 더 필요해요?"
→ P20 (향후 과제)로 넘기며
"세 갈래예요. 인프라는 도커화랑 GCP 배포, 회원 기능이고요. 품질은 multi_doc 쿼리 분해랑 대량 집계 전용 경로, 라우트 C Acceptance 기준 명문화. 데이터는 NER 상시 적용이랑 OCR 도입이요. 전부 '무엇이 왜 부족한지'가 특정된 상태라, 우선순위만 정하면 바로 착수 가능한 백로그입니다."
(근거: P20 각 파트 개선 방향)
"이 팀만의 차별점을 한 문장으로?"
→ P19 (결론) 또는 P2 (원칙)로
"저희는 그럴듯한 답 대신 검증 가능한 답을 만들었고, 낮은 수치를 숨기는 대신 원인을 특정했습니다. Multi-Query 제외, 성능 1위 모델 배제, 카파 0.410 공개 — 전부 '데이터로 검증하고, 틀리면 정정하고, 근거를 남긴다'는 프로세스의 결과예요."
위기 대응
절대 안 쓰는 표현 (freeze)
"Coverage 100%" · "검토 부담"(→Review Routing Rate) · "832건 정답 확인"(→provisional 잠정 매칭) · "quote 검증 97.5%"(구버전) · micro/macro 라벨 없는 혼용
All reactions