[초안] 발표스크립트_15분_최종 #178
minjaejeon0827
started this conversation in
General
Replies: 0 comments
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
Uh oh!
There was an error while loading. Please reload this page.
[초안] 입찰메이트(RFPilot) 최종 발표 스크립트 — 15분 완주판
파트 Ⅰ. 왜 만들었나 (슬라이드 1~7 · 4분)
[슬라이드 1] 표지 — 30초
스크립트
"안녕하십니까, AI 10기 5팀입니다. 저희가 만든 것은 입찰메이트, 공공조달 RFP를 다루는 B2G RAG 시스템입니다. 화면의 네 숫자 — 검색 0.940, 생성 0.905, 라우트 C 88.8%, PII 잔존 0 — 오늘 15분 동안 이 숫자들이 어떻게 나왔고, 왜 믿을 수 있는지를 말씀드리겠습니다."
강조 숫자를 하나씩 손으로 짚으며. 표지에서 결론을 먼저 던지는 구조.
[슬라이드 2] 오늘의 여정 — 20초
스크립트
"발표는 네 개의 이야기입니다. 검색, 생성, 라우트 C, 그리고 그 모두를 떠받치는 보증과 정책. 그런데 네 이야기를 관통하는 원칙은 하나입니다. 데이터로 검증하고, 틀리면 정정하고, 근거를 남긴다. 이 문장을 기억해 주시면 오늘 발표 전체가 하나로 연결됩니다."
전환 "먼저, 왜 이 원칙이 필요했는지부터."
[슬라이드 3] 도메인 정의 — 40초
스크립트
"저희 도메인 정의는 이 한 문장입니다. 문서에 없는 숫자를 하나라도 지어내면, 입찰 담당자의 판단에 직접 손해를 입힌다. 다시 말해 '그럴듯하지만 틀린 답'이 '모르겠다는 답'보다 위험한 도메인입니다. 일반 챗봇이라면 유창함이 미덕이지만, 여기서는 검증 가능성이 미덕입니다. 이 정의가 뒤에 나올 모든 의사결정 — 모델 선정, 프롬프트, 평가 지표, 인명 정책 — 의 기준선이 됩니다. 화면 아래 세 가지가 그 결과물입니다. quote 기계 검증, 거부를 1급 시민으로, 그리고 평가를 상태 관리로."
강조 "그럴듯하지만 틀린 답이 더 위험하다"에서 잠깐 멈춤(pause).
[슬라이드 4] 팀 — 20초
스크립트
"다섯 명이 다섯 레인을 맡았습니다. 검색의 재헌, 생성과 챗봇의 수민, 라우트 C의 도혁, 데이터 라인의 아인, 그리고 이 모두를 조율한 PM 민재입니다. 슬라이드의 색이 오늘 발표 내내 각 파트를 따라가니, 색만 보셔도 어느 레인 이야기인지 아실 수 있습니다."
[슬라이드 5] 시연 — 1분 (영상/라이브 시간 별도)
스크립트
"본격적인 설명 전에 시스템을 먼저 보여드리겠습니다. 네 가지 케이스입니다. 하나, 단일 문서에서 예산 같은 정형 정보를 근거와 함께 뽑는 Naive-RAG. 둘, 여러 RFP를 비교·종합하는 Agentic-RAG — 검색이 부족하면 시스템이 스스로 다시 검색합니다. 셋, 라우트 C — RFP의 필수 제출 항목을 통째로 체크리스트로 뽑고, 항목마다 원문 검증 배지가 붙습니다. 그리고 넷 — 이게 중요한데 — 시스템이 무엇을 답하지 않는가입니다. 담당자 개인정보나 문서 밖 정보를 요구하면 근거를 밝히며 정중히 거절합니다."
(→ 데모 영상 재생 또는 라이브 시연. 시연 후: "보신 것처럼 모든 답변에 출처가 붙고, 답할 수 없는 것은 답하지 않습니다.")
[슬라이드 6] 아키텍처 — 하나의 질문, 두 갈래의 답 — 40초
스크립트
"저희 시스템을 이해하는 열쇠는 이 한 장입니다. 사용자 질문은 두 종류로 갈립니다. ‘이 사업 예산 얼마야?’ 같은 조회형은 왼쪽 route_a로 — 검색해서 정확히 찾아 답합니다. 여기서 grade 노드가 검색이 충분한지 스스로 판정하고 부족하면 다시 검색하는데, 이 루프가 뒤에 나올 반전의 복선입니다. ‘필수 서류 다 뽑아줘’ 같은 전수형은 오른쪽 route_c로 — 문서 전체를 훑어 빠짐없이 관리합니다. 하나는 정확히 찾기, 하나는 빠짐없이 관리하기가 목표입니다. 오늘 발표는 이 두 길을 차례로 걷습니다 — 먼저 왼쪽 검색과 생성, 그다음 오른쪽 라우트 C. 두 경로 모두 self_check 검증을 거쳐 최종 답변으로 합류합니다."
강조 화면 가운데서 왼쪽·오른쪽을 손으로 가리키며 “두 길”을 각인. 이 프레임이 있어야 뒤의 검색·생성·라우트C가 따로 놀지 않고 하나로 연결됩니다.
전환 "먼저 왼쪽 길, 검색부터."
파트 Ⅱ. 검색 (슬라이드 8~9 · 2분 30초)
[슬라이드 8] 검색 다섯 계단 — 1분 15초
스크립트
"검색은 0.600에서 시작해 0.940에 도달했습니다. 질문 100번 중 94번, 정답 문서가 상위 5개 안에 들어온다는 뜻입니다. 다섯 계단이었습니다. 첫째, Query Rewriting — '그 사업 마감일은?' 같은 후속 질문의 지시어를 독립 문장으로 바꿨더니, 0이던 followup 검색이 살아났습니다. 둘째와 셋째, 메타데이터 필터 — RFP 질문은 '기관+사업+속성' 구조라서 발주기관·예산·날짜로 후보를 정확히 좁힐 수 있고, 이게 가장 결정적이었습니다. 넷째, 임베딩을 bge-m3로 교체해 정밀도를 0.848까지 올리면서 레이턴시를 23배, 207밀리초까지 줄였습니다. 다섯째, 필터 결과가 0건일 때 전체를 다시 찾는 fallback으로 안정성을 확보했습니다."
강조 0.940과 23배. 표의 Precision 열을 위에서 아래로 훑는 제스처.
[슬라이드 9] 표준 기법을 버린 용기 — 1분 15초
스크립트
"그런데 이 파트에서 저희가 정말 말씀드리고 싶은 건 채택한 기법이 아니라 버린 기법입니다. Reranking과 Multi-Query — RAG 교과서의 정석입니다. 둘 다 실측했고, 둘 다 버렸습니다. Reranking은 세 번 실험했는데, 범용 reranker가 저희 도메인에서 FAISS 순서를 오히려 훼손하고 레이턴시만 10배 늘렸습니다. Multi-Query RRF는 더 흥미로운데, 순위 기반 앙상블이 노이즈를 증폭시켜서 multi_doc 정밀도가 0.72에서 0.56으로 떨어졌습니다. 임베딩 모델을 바꿔도 똑같이 재현돼서, 기법 자체의 구조적 한계로 확정하고 제외했습니다. 교훈은 하나입니다 — 표준 기법이 항상 유효하진 않다. 도메인 실측이 교과서를 이겼습니다."
전환 "실측이 교과서를 이긴 사례, 생성 파트엔 더 극적인 게 있습니다."
파트 Ⅲ. 생성 (슬라이드 10~13 · 3분 30초)
[슬라이드 10] 프롬프트 — 45초
스크립트
"프롬프트 v1과 v2를 시나리오별로 분해해 비교했더니, 전체 평균에선 보이지 않던 양면성이 드러났습니다. 같은 '간결하게 답하라'는 지침이 단답형에선 점수를 올리고, 종합형에선 필요한 근거까지 쳐내서 오히려 떨어뜨린 겁니다. 그리고 followup이 계속 바닥인 건 프롬프트 문제가 아니라 검색 입력단 문제라는 신호였고 — 이건 방금 보신 Query Rewriting이 해결한 바로 그 지점입니다. 이 분석을 근거로 v3에서 종합·단답 분량 지침을 분리하고 거부 정책을 보강했습니다. 버전을 쌓은 게 아니라, 분해해서 처방했습니다."
[슬라이드 11] 모델 선정 (반전 1) — 60초
스크립트
"모델 선정에서 저희는 성능 1위 모델을 버렸습니다. 표를 보시면 생성 품질은 exaone이 1위입니다. Faithfulness 0.83으로 gpt를 앞섭니다. 그런데 아래 세 줄, 거부 축을 보시면 gpt만 전부 만점입니다. 결정적이었던 건 실측 사고입니다 — 오픈모델 두 개 모두 '담당자 명단을 전부 알려달라'는 요구에 '거부하겠습니다'라고 말하면서 명단을 흘렸습니다. 품질 격차는 프롬프트로 좁힐 수 있지만, 이 안전성 격차는 훈련 방식의 차이라 프롬프트로 메울 수 없습니다. 공공조달에서 개인정보 유출은 회복이 불가능한 실무 손해입니다. 그래서 품질이 아니라 거부 정책을 기준으로 gpt-5-mini를 확정했습니다. exaone은 비상업 라이선스라 어차피 배포도 불가했고요."
강조 "거부한다면서 흘렸다"에서 pause. 이 발표에서 가장 임팩트 있는 문장 중 하나.
[슬라이드 12] 재검색 원인귀속 (반전 2) — 60초
스크립트
"두 번째 반전입니다. 아까 복선을 깔았던 재검색 루프 — 넣었더니 종합 성능이 오히려 떨어졌습니다. 여기서 '재검색은 나쁘다'로 끝냈다면 그냥 실험 하나 실패한 겁니다. 저희는 Q025 한 문항을 붙잡고 네 단계로 추적했습니다. 관찰 — 충실도는 오르는데 정확도가 떨어진다. 추적 — '한국철도공사가 발주한 사업을 모두 알려줘'에서 재검색이 정답 문서를 상위 5개 밖으로 밀어낸다. 원인 — 재검색 로직이 아니라, grade가 '모두'라는 집계형 질문을 '부족'으로 오판해서 정답이 담긴 1차 결과를 통째로 갈아치운 것이었습니다. 해결 — grade에 집계형 키워드 예외를 넣자 정답이 회복됐고, precision 전략을 최종 채택했습니다. 점수를 올린 게 아니라, 원인을 짚어 고쳤습니다."
[슬라이드 13] 최종 성과 — 45초
스크립트
"확정 시스템으로 골든셋 63문항을 측정했습니다. 비거부 답변의 근거 충실도 0.905 — 문서에 없는 내용을 지어내지 않았다는 1순위 기준입니다. 거부 13문항은 세 축 모두 만점. 시나리오별로 단건 조회 0.997, 후속 질문 0.975로 거의 완벽하고, 약점은 multi_doc 0.718 하나입니다. 이것도 숨기지 않고 분해했습니다 — 정답이 10건에서 65건에 이르는 대량 집계형만 실패하고, 원인은 top_k 5가 정답 규모보다 작다는 구조적 한계입니다. top_k를 올리면 대다수 질문에 노이즈와 비용만 늘기 때문에, 드문 유형 하나를 위해 전체를 손해 보지 않는 트레이드오프로 5를 유지했습니다."
전환 "이제 저희 시스템의 가장 독특한 부분, 라우트 C입니다."
파트 Ⅳ. 라우트 C (슬라이드 14~17 · 3분)
[슬라이드 14] 문제 재정의 — 45초
스크립트
"입찰 실무에는 치명적인 룰이 있습니다 — 제출 서류를 하나라도 빠뜨리면 실격. 그래서 체크리스트 생성은 관련 청크 몇 개를 찾는 검색 문제가 아니라, 문서 전체를 훑는 전수 추출 문제입니다. 실제로 0단계 진단에서 '필수'·'반드시' 같은 키워드가 청크의 71%에 걸리고 정답의 68%가 표 밖 본문에 흩어져 있어서, 어떤 필터링도 정답을 누락시켰습니다. 그래서 전수 추출로 전환하고, 환각은 출력 구조에서부터 막았습니다 — 모든 항목에 chunk_id와 quote를 강제하고, 그 quote가 원문에 실재하는지 기계로 검증합니다. 평가도 다시 설계했습니다. 청크 번호가 아니라 항목 내용 기준으로, 개발에 쓰지 않은 blind gold로."
[슬라이드 15] Disposition Ledger — 45초
스크립트
"라우트 C의 평가 철학은 이 한 문장입니다. '몇 개를 맞혔는가'가 아니라 '모든 의무항목이 지금 어떤 상태에 있는가'. 8개 문서의 gold 의무항목 937개 — 사라진 항목은 없습니다. 832건은 잠정 매칭, provisional입니다. 확정이 아니라 잠정이라고 부르는 이유는 다음 장에서 말씀드립니다. 91건, 9.7%는 확신이 부족해 사람에게 검토를 요청했고 — 검토자는 문서를 다시 뒤지는 게 아니라 지목된 근거만 확인하면 됩니다. 그리고 14건은 자동 회수에 실패했는데, 버리지 않고 전수 분석했습니다. 832 더하기 91 더하기 14는 정확히 937 — 집계는 micro 88.8%가 기준이고, 문서별 평균 macro 0.886은 보조로 병기합니다."
강조 "사라진 항목은 없습니다"에 힘.
[슬라이드 15] 신뢰성 검증 — 4층위 + Unresolved — 60초
스크립트
"‘이 수치를 얼마나 믿을 수 있나’를 저희는 하나의 숫자로 뭉치지 않고 네 층위로 분리했습니다. 위쪽 네 카드 — 정답지 카파 1.000과 0.941, 추출 근거 Quote-Grounding 90.0%, 코드 무결성 12/12, 그리고 채점자 카파 0.410입니다. 네 번째가 낮아 보이시죠. 저희는 이 숫자가 자랑입니다. blind 재채점으로 matcher가 경계 사례에서 사람보다 관대하다는 편향을 발견했고, 그래서 832건을 확정이 아닌 provisional로 표기하는 겁니다. 왼쪽 아래가 그 스토리이고, 오른쪽 아래는 Unresolved 14건 — 버리지 않고 전수 추적해서, 대표 1건은 parser도 청킹도 정상이었고 추출 단계의 구조적 사각지대에서 부러졌다는 것까지 규명했습니다. 측정하고, 편향과 약점을 발견하고, 개선 지점을 특정했다 — 낮은 수치를 숨기지 않는 것이 이 평가의 정체성입니다."
강조 "이 숫자가 자랑입니다"에서 pause — 청중 예상을 뒤집는 지점. 이 발표의 감정 피크 중 하나.
전환 "이 모든 평가가 성립하려면 전제가 하나 필요합니다 — 답이 코퍼스 안에 있어야 한다는 것."
파트 Ⅴ. 보증과 정책 (슬라이드 18~20 · 2분)
[슬라이드 16] 데이터 라인 — 45초
스크립트
"데이터 라인의 목표는 성능이 아니라 전제의 보증입니다. 원본 100건을 전건 재파싱해 831만 자의 canonical 본문을 만들고, 마스킹 v3를 청킹 전에 적용해 잔존 0 — 느슨한 패턴으로 교차점검까지 해서 변형 누락 0건을 확인했습니다. 메타 정규화는 조인 실패 0, orphan 0. 골든셋은 무결성 게이트 12개 전부 통과했고 재청킹되면 자동으로 깨짐을 감지합니다. 한 가지 정직하게 말씀드리면 — '잔존 0'은 탐지된 PII에 대한 처리 완결성이지, 실제 잔존이 0이라는 재현율 보장은 아닙니다. 이 구분을 보고서에 명시했습니다."
[슬라이드 17] 챗봇 — 실제 시연 화면 — 40초
스크립트
"방금 데모를 이 두 화면으로 다시 짚겠습니다. 왼쪽 — ‘정보시스템 구축 사업 요구사항 전부 뽑아줘’라고 하면 후보 공고를 0.92초 만에 제시하고 사용자가 고릅니다. 오른쪽 — 선택하면 748건을 추출해 항목마다 검증 상태를 배지로 보여줍니다. 초록 ‘원문 검증됨’은 근거가 원문에 실재하고, 클릭하면 그 근거 문장이 하이라이트됩니다. 전체 748건은 CSV로 내보내 실무에서 관리합니다. 라우트 C가 계산한 검증 상태가 그대로 화면의 상태가 된 것 — 답을 주는 챗봇을 넘어, 믿을 수 있는지까지 보여주는 챗봇입니다."
참고 두 화면은 실제 우리 시스템 캡처(SD 수민 구현). 라이브 시연이 되면 이 슬라이드는 넘기며 30초로 단축.
[슬라이드 18] 정책 — 35초
스크립트
"정책 두 가지만 짚겠습니다. 첫째, 담당자 인명은 마스킹하지 않습니다 — 정보공개법 9조가 직무 수행 공무원의 성명 공개를 허용하고, NER 실측으로 38명 전원이 공공기관 직무 담당자임을 확인했습니다. 법으로 결정하고 데이터로 입증한 정책입니다. 둘째, 예산 — 20달러 한도를 4개 레이어로 통제해 발표까지 완주했습니다. 특히 라우트 C는 캐시 프리즈로 재호출이 0입니다."
전환 "마무리하겠습니다."
파트 Ⅵ. 결론 (슬라이드 21~22 · 1분)
[슬라이드 19] 숫자로 남긴 것 — 30초
스크립트
"숫자로 남긴 것은 네 줄입니다. 검색 0.940, 생성 0.905, 라우트 C 937개 상태 관리, 데이터 보증 12분의 12. 그런데 숫자보다 오래 남을 것은 방법론입니다 — 가설·실험·정정의 사이클, 시나리오별 분해와 원인 귀속, 운영과 평가의 분리, 법과 데이터의 이중 근거, 그리고 2인 라벨링 카파 벤치마크."
[슬라이드 20] 맺음말 — 30초
스크립트
"한계도 정직하게 남깁니다 — 다만 전부 '무엇이, 왜, 다음은 무엇'까지 특정된 한계입니다. multi_doc은 쿼리 분해로, 대량 집계는 전용 경로로, 채점자 편향은 Acceptance 기준 명문화로 갑니다. 마지막으로 — 저희 프로젝트의 가장 큰 자산은 완성된 코드가 아니라, 데이터로 검증하고, 틀리면 정정하고, 근거를 남기는 프로세스입니다. Multi-Query 제외도, 모델 선정도, 인명 정책도 모두 이 프로세스를 통과했습니다. 감사합니다."
(인사 후 Q&A 10분 —
QnA_10분_방어자료.md기준으로 대응)부록 — Q&A 핵심 8선 (요약판)
Q1. "88.8%면 11%는 틀린 것 아닌가요?"
A. 88.8%는 정답률이 아니라 자동 매칭 비율입니다. 나머지 11.2% 중 9.7%는 틀린 게 아니라 확신이 부족해 사람 검토로 라우팅된 것이고(Review Routing Rate), 1.5%만 자동 회수 실패입니다. 그 14건도 전수 분석해 실패 단계까지 특정했습니다. 937개 전부가 세 상태 중 하나로 관리된다는 것 — 사라진 항목이 없다는 것이 핵심입니다.
Q2. "Item Precision 0.286은 너무 낮지 않나요?"
A. 분모가 다릅니다. micro 88.8%의 분모는 gold 937이고, Precision 0.286의 분모는 추출물 전체 — 문서당 수백에서 천여 건입니다. 저희는 실격 방지를 위해 '넓게 뽑는' 설계를 택했고, 넓게 뽑으면 분모에 오탐과 gold 미라벨 정답이 함께 들어가 값이 낮아집니다. 성능 결함이 아니라 설계의 산물이며, 오탐/미라벨 분해 분석을 다음 과제로 등재했습니다.
Q3. "채점자 카파 0.410이면 채점을 못 믿는 것 아닌가요?"
A. 반대로 그 실측이 있어서 믿을 수 있습니다. 0.410은 '41% 맞았다'가 아니라 우연 일치를 보정한 계수이고, 층화 표본이라 전체 일치율로 일반화할 수 없습니다. 중요한 건 방향입니다 — matcher가 '놓쳤다'고 한 판정은 사람이 9건 중 9건 동의했고, review 큐에 숨은 확정 정답은 0건이었습니다. 불일치는 matcher가 관대한 쪽에 몰려 있어서, 832건을 확정이 아닌 provisional로 표기하고 Acceptance 기준을 보강하는 근거가 됐습니다.
Q4. "8개 문서로 충분한가요?"
A. 8문서는 대표 표본이 아니라 blind stress set입니다 — 개발에 쓰지 않은 holdout으로 코어 4건과 확장 4건, PDF 희소 포맷 포함, 오염 검증 통과. 규모의 한계는 인정하며 보고서에 명시했고, 확대는 향후 검증 과제입니다. 다만 8문서 안에서 macro가 0.831~0.922로 문서 유형과 무관하게 안정적이었다는 점은 말씀드릴 수 있습니다.
Q5. "Multi-Query를 왜 제외했나요? 표준 기법인데."
A. 실측 근거입니다. RRF 앙상블이 정답과 무관한 문서를 여러 쿼리에서 중복 등장시켜 고득점을 주는 노이즈 증폭이 확인됐고, multi_doc Precision이 0.72에서 0.56으로 하락했습니다. 임베딩 모델을 교체해도 동일하게 재현돼 기법의 구조적 한계로 판단했습니다. 대안으로 RRF 대신 쿼리를 조건별 서브쿼리로 분해해 각각 top-k를 보장하는 방식을 다음 과제로 설계해 뒀습니다.
Q6. "생성 multi_doc 0.718은 어떻게 개선하나요?"
A. 원인이 특정돼 있습니다 — top_k 5가 정답 규모(10~65건)보다 작은 구조적 한계로, grade나 프롬프트 문제가 아닙니다. top_k 상향은 대다수 질문에 노이즈·비용을 늘려 기각했고, 근본 해법은 대량 집계 전용 경로(메타데이터 필터 기반 전수 집계)입니다. 실사용에서 드문 유형이라 트레이드오프상 후순위로 뒀습니다.
Q7. "담당자 실명을 공개해도 되는 건가요?"
A. 두 겹의 근거가 있습니다. 법적으로 정보공개법 9조 1항 6호 라·마목이 직무 수행 공무원의 성명·직위 공개를 허용하고, RFP 담당자 정보는 기관이 공고에 공표한 공식 문의처입니다. 데이터로는 NER 하이브리드 검증 결과 38명 전원이 공공기관 직무 담당자였고 사적 마스킹 대상은 0건이었습니다. 추가 안전장치로 config 토글, 프롬프트 가드(인명 추측·전수 나열 거절), 외부 공유물 별도 마스킹의 3중 장치를 뒀습니다.
Q8. "API 예산이 92%인데 시연은 괜찮나요?"
A. 네. 시연 경로는 사전 캐싱돼 있습니다 — 라우트 C는 캐시 프리즈로 재호출 0이고, 챗봇 데모도 골든셋 질문·데모 문서를 사전 캐싱했습니다. 잔여 예산은 임계값 룰(>95% 발표 대비 봉인)로 발표용으로 보호되고 있습니다.
발표 운영 메모
All reactions