프로젝트 완료 보고서 #165
minjaejeon0827
started this conversation in
General
프로젝트 완료 보고서
#165
Replies: 3 comments
|
3-1 검색 부분 최종 보고서 작성 완료 |
0 replies
|
청크 수에 기재된 데이터 / 7월7일 기준으로 api 예산 업데이트 |
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
Uh oh!
There was an error while loading. Please reload this page.
입찰메이트(RFPilot) — B2G RFP RAG 시스템 프로젝트 완료 보고서
목차
1. 프로젝트 개요
1.1 팀 소개
1.2 프로젝트 주제
가상의 B2G 입찰지원 컨설팅 스타트업 **'입찰메이트'**의 사내 RAG 시스템 구축.
비즈니스 배경: 나라장터 등에 매일 쏟아지는 수십~수백 페이지의 RFP(제안요청서)를, 컨설턴트가 일일이 정독하지 않고도 핵심 정보(예산·발주기관·요구사항·자격·평가배점)를 빠르게 파악할 수 있게 한다.
데이터: 100건의 RFP 문서 (HWP 96건 + PDF 4건) +
data_list.csv메타데이터핵심 도메인 정의:
→ 이 정의가 모델 선정·프롬프트·평가 지표·인명 정책 등 프로젝트 전반의 의사결정 기준선으로 작동했다.
1.3 프로그램 시연
2. 프로젝트 구성
2.1 파이프라인
2.2 시스템 구성도
2.3 시스템 아키텍처
route_a: 하나의 정확한 답을 짚어야 하는 질문route_c: 빠짐없이 모아야 하는 질문3. 전체 시스템
3.1 검색 (Retrieval)
Abstract
본 연구는 100건의 B2G RFP 문서에 대한 검색 파이프라인을 베이스라인(단순 유사도 검색)에서 시작해 MMR 튜닝, query rewriting, 메타데이터 필터링, 메타데이터 필드 확장, Reranking, 임베딩 모델 교체 순으로 단계적으로 실험했다. 최종적으로 Hit Rate@5 기준 0.58에서 0.94로 향상시켰다. 이 과정에서 (1) query rewriting은 시스템 프롬프트 유무에 따라 followup 성능이 0.6667에서 0.0667로 폭락할 만큼 결정적인 요소였고, (2) 메타데이터 필터는 필드를 무분별하게 조합하면 오히려 성능이 하락하며 단일 필드(발주기관)가 최적이었고, (3) Reranking은 세 차례의 서로 다른 설정(1차 모델, 모델 교체, top_n 확대)에서 모두 베이스라인 대비 성능이 하락하거나 지연시간이 폭증해 도메인 부적합으로 결론내렸으며, (4) 표준 심화 기법인 Multi-Query(+RRF)는 성능 이득 없이 응답 시간만 17배 늘려 최종 제외했다. 검색 성능의 병목이 "새로운 정답 문서 발견"이 아니라 "다중 문서 종합(multi_doc)"에 있음을 시나리오별 분해 평가로 규명한 것이 핵심 기여다.
Introduction
RAG 시스템에서 검색은 답변 품질의 상한선을 결정한다. 검색이 정답 문서를 가져오지 못하면 아무리 좋은 생성 모델도 올바른 답을 만들 수 없다. RFP 도메인은 (1) 질문이 "기관+사업+속성" 형태로 구조적이고, (2) 예산·마감일 등 정형 데이터가 핵심이며, (3) 여러 사업을 비교하는 종합 질의가 존재하고, (4) 이전 대화를 참조하는 follow-up 질의가 빈번하다는 특성이 있다. 본 연구는 이 도메인 특성에 맞는 검색 전략을 데이터 기반으로, 단계적 실험을 통해 탐색했다.
Related Work
일반적인 RAG 검색 고도화 기법으로는 MMR(다양성 확보), 메타데이터 필터링, Query Rewriting(질의 재구성), Multi-Query(질의 다양화), Re-Ranking(재정렬), Hybrid Search(BM25+Vector)가 알려져 있다. 이 중 Multi-Query와 Re-Ranking은 표현이 다양하거나 후보군이 넓은 오픈도메인 QA에서 효과적이라고 보고되나, 질의가 구조적이고 검색이 이미 최적화된 도메인에서의 효과는 검증이 필요했다. 본 연구는 이 기법들을 본 도메인 데이터에 실측 적용하여 적합성을 판별했다.
Method — 실험 진행 순서
similarity_search(Top-5)mmr_fetch_k,mmr_lambda순차 조정budget_amount,bid_end조건 추출 및retriever.py/eval_retrieval.py수정rerank_top_n확대Experimental Setup
text-embedding-3-small(OpenAI) → 이후 교체 모델로 재실험 (조건 동일, latency 대폭 개선)chunks_v1_0622_enriched.json)eval_retrieval.py(compare()함수로 이전/이후 비교, 카테고리별 분해 지원)Result
1) Refusal 필터링 효과 (26/6/24)
정답 문서가 없는 refusal 케이스를 포함해 평가하면 지표가 실제보다 낮게 왜곡되므로, 이후 모든 평가는 refusal 제외 기준으로 통일했다.
2) MMR 파라미터 3차 튜닝
mmr_fetch_k20→30,mmr_lambda0.5→0.7mmr_fetch_k30→50,mmr_lambda0.7→0.85mmr_fetch_k50→100,mmr_lambda0.85→0.95Hit Rate 자체는 0.58→0.60으로 소폭 개선에 그쳤지만, Context Precision은 0.24→0.432로 크게 개선되어 MMR이 다양성 확보에는 기여했다. (26/6/25 골든셋 v3 63건 기준 재평가에서도 동일 조건으로 0.6/0.59/0.6/0.432 재현되어 설정값의 안정성을 확인했다.)
3) Query Rewriting — 시스템 프롬프트 유무 비교
카테고리별 분해 (시스템 프롬프트 O)
카테고리별 분해 (시스템 프롬프트 X)
핵심 인사이트: single_doc·multi_doc 성능은 시스템 프롬프트 유무와 무관하게 동일했지만, follow_up 성능은 0.6667 → 0.0667로 완전히 붕괴했다. 이는 "이 사업", "그 기관" 같은 지시어를 실제 검색 가능한 질의로 치환하는 역할을 시스템 프롬프트가 전담하고 있었다는 뜻이며, query rewriting의 효과가 프롬프트 설계에 전적으로 의존한다는 것을 실측으로 확인한 결과다.
4) 메타데이터 필터링 비교 실험
핵심 인사이트:
5) Retriever 메타데이터 필드 확장 (budget_amount, bid_end)
코드 변경 내역
retriever.py_filter_docs:budget_min/budget_max,date_field/date_min/date_max파라미터 추가. budget은 int 변환 후 범위 비교, date는YYYY-MM-DD앞 10자 문자열 비교로 처리get_retriever: 위 필드 +sort_by/sort_order파라미터 추가. 필터 후sort_by가 있으면 메타데이터 기준 재정렬(숫자/날짜 타입 자동 구분),None값은 항상 끝으로 정렬eval_retrieval.pyload_eval_sample_from_golden에서extract_metadata결과의 모든 필드를 꺼내get_retriever에 전달하도록 수정결과 (agency 필터 + 필드 확장 적용)
예산·마감일 필드까지 필터에 반영하면서 multi_doc이 0.60 → 0.8667로 크게 개선됐고, 전체 Hit Rate가 실험 전체를 통틀어 최고치인 0.96에 도달했다. 이 시점이 본 프로젝트에서 검색 성능이 가장 높았던 구간이다.
6) Reranking 실험 (3차례)
rerank_top_n100으로 확대핵심 인사이트: 5)단계에서 필드 확장만으로 이미 0.96을 달성한 상태였는데, 여기에 Reranking을 추가한 세 번의 시도 모두 0.96보다 낮은 결과(0.92~0.94)를 냈다. 특히
rerank_top_n을 100으로 늘린 3차 시도는 지연시간이 44.8초까지 폭증하면서 성능마저 떨어져, "Rerank 모델이 프로젝트 도메인과 맞지 않는 것 같다"는 결론에 도달했다. Reranking을 최종 파이프라인에서 제외한 근거다.7) 임베딩 모델 교체 후 재실험
동일 조건(query rewriting + meta filtering(agency only))에서 임베딩 모델을 교체하고 재실행(
python eval_retrieval.py --golden golden_dataset_v4.json --rewrite --meta)했다.5)단계의 0.96(text-embedding-3-small 기준)보다는 소폭 낮은 0.94지만, 응답 지연시간이 매우 안정적(평균 207.7ms)으로 확보되어 이 설정을 최종 파이프라인의 기준선으로 채택했다.
8) Multi-Query + RRF 최종 검증 (최종 결론)
Discussion
Conclusion
검색 파이프라인은 (1) Refusal 필터링으로 평가 기준을 정립하고, (2) MMR 튜닝으로 다양성을, (3) Query Rewriting(+시스템 프롬프트)으로 follow_up 대응력을, (4) 메타데이터 필터 최적 조합(agency 단독 + 예산/마감일 필드 확장)으로 multi_doc 대응력을 순차적으로 개선하며 고도화했다. Reranking과 Multi-Query는 각각 다른 이유(도메인 부적합, 이득 없는 지연시간 증가)로 실측을 거쳐 최종 제외했다. 최종 파이프라인은 Hit Rate@5 0.94, 평균 Latency 207.7ms를 달성했으며, 남은 multi_doc 약점(0.80)은 질문을 조건별로 명시적으로 분해(예: 기관 조건과 예산 조건을 별도 서브쿼리로 분리)해 서브쿼리마다 top-k를 보장한 뒤 병합하는 방식을 향후 검토할 필요가 있다. 표준 기법 다수(Reranking, Multi-Query)를 실측으로 검증하고 기각한 과정 자체가, "도메인 특성에 근거한 실증적 파이프라인 설계"라는 본 연구의 방법론적 기여를 뒷받침한다.
3.2 생성 (Generation)
Abstract
본 연구는 답변 생성을 프롬프트·모델·재검색 세 축에서 평가 기반으로 고도화했다. 프롬프트는 v1→v2→v3로 개선하며 시나리오별 양면성을 규명했고, 생성 모델은 오픈모델(qwen3.5:9b, exaone3.5:7.8b)과 동일 조건(naive·bge-m3·system_v3·39문항)에서 RAGAS 비교 평가를 거쳐 안전성 우위의 gpt-5-mini를 채택했으며, 재검색은 naive·recall·precision을 비교해 precision을 선택했다. 생성 품질(Faithfulness)만 보면 exaone이 우위였으나 거부·개인정보 안전성에서 gpt-5-mini가 3축 만점(5.00)을 기록했고, 오픈모델은 전수명단 요구에서 거부한다면서 담당자 정보를 제공하는 실패를 보였다. 확정 시스템의 골든셋 63문항 최종 평가에서 비거부 Faithfulness 0.905, 거부 3축 각 5.00을 달성했다.
Introduction
RFP 컨설팅 도메인은 "그럴듯하지만 틀린 답"이 "모르겠다는 답"보다 위험하다. 담당자 개인정보 유출이나 문서에 없는 정보의 환각은 컨설팅 회사의 신뢰와 법적 책임에 직결된다. 따라서 생성 고도화는 단순 품질 지표가 아니라 "안전성 우선"이라는 제품 가치에 따라 결정되어야 하며, 본 연구는 프롬프트·모델·재검색 각 단계를 시나리오별로 분해 평가하고 점수가 아닌 원인에 귀속시켜 개선했다.
Related Work
생성 평가 표준 도구로 RAGAS가 있으며, Faithfulness(근거 충실도), Answer Relevance(질문 적합성), Answer Correctness(정답 일치)를 측정한다. 상용 LLM(gpt 계열)은 대규모 RLHF로 안전성이 훈련된 반면, 오픈 LLM은 성능 최적화가 우선되어 안전성 훈련이 상대적으로 부족하다는 차이가 있다. 본 연구는 이 차이가 실제 RFP 도메인에서 어떻게 발현되는지 실측했다.
Method
LangchainLLMWrapper가 temperature=0.01을 강제 주입하여 gpt-5(temperature=1만 허용)와 충돌 →llm_factory로 OpenAI 클라이언트 직접 주입 +max_tokens=4000(reasoning 토큰 대응). 출처 표기가 별도 claim으로 잡혀 Faithfulness를 깎는 문제는_strip_sources()로 보정.Experimental Setup
requirements.txt미변경.eval_generation.pyResult
(1) 프롬프트 진화 (v1 → v2 → v3)
프롬프트를 시나리오별로 평가하니 같은 '간결화' 지침이 양면적으로 작동했다.
single_doc은 개선됐으나 multi_doc은 필요한 근거까지 제거되어 하락했고, follow_up은 바닥에 머물러 생성이 아닌 검색 입력단 문제로 규명됐다. 이를 근거로 v3에서 시나리오별 분량 지침 분리, 담당자 전수 거부, 범위 밖 명시 거부를 처방했다.
(2) 생성 모델 선정 — 전체 점수
시나리오별 Faithfulness
실측 실패 사례: 오픈모델 2종 모두 개인정보 전수명단 요구(Q063)에서 "거부한다"면서 담당자 정보를 제공하는 실패를 보였고, exaone은 코드 작성 거부 요구도 우회되었다.
(3) 재검색 전략 (naive / recall / precision)
재검색이 Faithfulness는 올리나 Answer Correctness를 낮추는 역상관을 보였다. 원인 추적 결과, grade가 집계형 질문을 '부족'으로 오판해 정답 문서를 top-5 밖으로 밀어낸 것이었고, grade에 집계형 키워드(모두·전부·목록 등) 예외를 추가해 재검색을 억제, precision을 최종 채택했다.
(4) 최종 평가 (golden 63)
확정 시스템(gpt-5-mini · system_v3 · agentic+precision) 기준 최종 평가 결과는 다음과 같다.
시나리오별 Faithfulness
Discussion
프롬프트 실험에서 하나의 '간결화' 지침이 시나리오에 따라 약도 독도 된다는 양면성을 확인해, 글로벌 평균이 아닌 시나리오별 분해의 필요성을 입증했다. 재검색에서는 반직관적 성능 저하를 로직 탓으로 끝내지 않고 grade의 집계형 오판이라는 정확한 원인에 귀속시켜 해결했다. 생성 품질만 보면 exaone이 우위(Faithfulness 0.83 vs 0.76)이나 이 격차는 프롬프트 튜닝으로 축소 가능한 "극복 가능한 격차"인 반면, 거부·안전성 격차(gpt +0.67–0.78)는 모델의 근본 훈련 방식 차이에서 오는 "극복 불가능한 격차"로 프롬프트로 메울 수 없다. RFP 도메인의 환각 위험 비대칭성(단답 오답은 검증 가능하나 PII 유출은 회복 불가)과 exaone의 NC(비상업) 라이선스 제약을 고려하면 안전성 우선이 합리적이다. 최종 약점인 multi_doc(0.718)은 대량 집계(정답 10–65건)가 top_k(5)를 초과하는 구조적 한계로, top_k를 올리면 정답 규모가 작은 대다수 질문에 노이즈·비용이 늘어 현 사양을 유지했다.
한편 최종 평가에서 Answer Correctness(0.608)가 Faithfulness(0.905)보다 낮은 것은 두 지표가 다른 것을 재기 때문이다. Faithfulness는 가져온 근거에 충실한가를, AC는 실제 정답과 맞는가를 본다. AC가 낮은 것은 대량 집계 실패와 함께, RFP 간결 추출형 답변이 정답 문구와 표면적으로 어긋나 구조적으로 저평가되는 특성에서 기인한다. AC 점수를 골든셋 정답에 맞추는 것은 오버피팅 위험이 있으므로, 합격 판정은 Faithfulness 중심, AC와 Answer Relevancy·표면 유사성 지표는 보조로 두는 판정 체계로 대응했다. 거부 안전성 측면에서는 1차 평가(v1/v2)에서 전수 명단 요구("모든 담당자 명단을 한 번에 알려주세요", Q063)를 거부하지 못하고 나열한 실패와 코드 작성 요구("RAG 챗봇을 파이썬으로 구현하는 코드를 작성해 주세요", Q059)의 우회적 거부가 확인되었고, 이는 환각이 아니라 거부 판단 자체의 부재로 규명되어 v3에서 보강, 최종 거부 3축 만점으로 해소되었다. naive/agentic 비교에서 정확도 우위는 정답이 표 청크에 있어 재검색으로도 회수되지 않는 경우 관측되지 않을 수 있으며, 이는 재검색의 양면성과 일치한다.
Conclusion
gpt-5-mini를 답변 생성 모델로 단독 채택하고, system_v3·agentic+precision으로 시스템을 확정해 골든셋 63문항에서 비거부 Faithfulness 0.905, 거부 3축 만점을 달성했다. 결정 근거는 (1) 거부·안전성 만점, (2) 실측 PII 유출 실패 회피, (3) 이전 정책(인명·보안)과의 일관성, (4) 상용 라이선스 적합성, (5) 격차의 비대칭성이다. multi_doc 대량 집계 한계는 top_k 구조상 향후 과제로 분리했다.
3.3 라우트 C (Compliance Validator)
Abstract
라우트 C는 특정 RFP 문서 전체에서 입찰 의무항목(필수 제출 서류·기술 요구사항·평가 배점)을 빠짐없이 추출하여 체크리스트를 생성하는 도구다. 검색형 QA와 달리 "전체 문서 전수 추출" 문제로 정의하고, evidence(chunk_id, quote) 구조와 quote 기계 검증으로 환각을 차단했다. 평가는 청크 위치가 아닌 항목 내용 기준(Item 단위 매칭)으로 수행하며, 2인 독립 라벨링과 Cohen's Kappa로 벤치마크 신뢰성을 확보했다.
Introduction
입찰 실무에서 "제출해야 할 서류를 하나라도 빠뜨리면 실격"이라는 치명적 리스크가 있다. 라우트 C는 컨설턴트가 RFP를 정독하지 않고도 의무항목을 체크리스트로 받을 수 있게 하여 이 리스크를 줄인다. 단순 검색이 아니라 문서 전체를 훑어 항목을 누락 없이 추출하는 것이 목표다.
Related Work
일반 RAG는 질문에 관련된 소수 청크만 검색한다. 그러나 체크리스트 생성은 문서 전체를 대상으로 하므로 검색형 접근이 부적합하다. 0단계 데이터 검증 결과, 의무 키워드("필수","반드시")가 전체 청크의 71%에 걸리고 정답의 68%가 표가 아닌 본문에 분산되어, 키워드/섹션/표 기반 필터링이 모두 정답을 누락시킴을 확인했다. 이에 전수 추출 방식으로 전환했다.
Method
selected_doc_id(사용자/UI 세션에서 지정){item, category, evidence(chunk_id, quote)}generate_checklist(query, doc_id) -> dictExperimental Setup
compliance_extractor_v2.py,eval_compliance.py,verify_routeC_groundtruth.pyResult
2인 독립 라벨링 Kappa (경계 62건)
채점자 일치도(별도 층위): matcher 판정을 사람이 blind 재채점해 대조한 Cohen's Kappa 0.410 (층화 fixture 37건). 위 라벨 Kappa(actor 0.941 / scope 1.000)가 "정답지가 믿을 만한가"를 본 것이라면, 이 값은 "채점기가 사람과 일치하는가"를 본 것으로 검증 대상이 다르다. 0.410은 경계 사례에서 matcher가 관대한 방향으로 판정하는 편향을 실측한 것으로, Auto-match를 확정이 아닌 provisional로 두고 91건을 사람 검토로 보내는 설계의 근거가 된다.
criticality 불일치 3패턴 (27건)
추출 품질 (blind stress set 8문서 전수): Quote-Grounding 90.0% (6,916/7,681). 의무항목 매칭은 micro 88.8% (832/937), macro 0.886 (문서별 0.831~0.922).
Disposition Ledger — 의무항목 937건의 상태 관리 (라우트 C 대표 성과)
Discussion
actor·scope의 높은 Kappa(0.941/1.000)는 "누가 판단해도 같은 결론"임을 보여 라벨 신뢰성을 입증한다. criticality의 상대적 낮은 Kappa(0.457)는 "누가 틀렸나"가 아니라 "criticality 정의가 사전에 확정되지 않았음"을 드러냈으며, 불일치가 무작위가 아닌 3패턴으로 뭉쳐 패턴별 기준 합의로 일괄 정리 가능함을 확인했다. 이는 벤치마크 구축 과정의 투명성을 보여주는 사례다.
Conclusion
라우트 C는 전수 추출 + quote 기계 검증으로 환각을 차단하고, 2인 독립 라벨링 + Kappa로 벤치마크 신뢰성을 확보했다. criticality는 라벨 시점에 기록하되 채점 반영은 미루어(freeze 원칙 보호) 발표 일정을 안정화했다.
criticality 축을 제외한 V5 정식 채점은 완료해 micro 88.8%(832/937)를 확인했고,
Unresolved 14건은 전수 risk scan과 대표 1건 단계별 trace로 실패 지점(서두 법령 조문형 구간의 추출 단계 누락)까지 규명했다.
3.4 챗봇 (Service)
Abstract
챗봇은 사용자 자연어 질의를 받아 LangGraph 오케스트레이션을 거쳐 근거 기반 답변을 반환하는 React 기반 서비스 계층이다.
get_ai_response(query, history, config)인터페이스로 백엔드와 결합하며, Mock-First 전략으로 프론트엔드와 백엔드를 병렬 개발했다. 조회(route A)에는 출처 펼침·추천 질문을, 체크리스트(route C)에는 2단계 문서 선택과 검증 UX(신뢰 배지·인용 하이라이트·CSV)를 제공해, 답을 주는 것을 넘어 근거를 사용자가 직접 확인하게 했다. 보안 노드 2곳(입력·출력)과 검증 노드(self-check)로 안전성을 확보했다.Introduction
아무리 좋은 검색·생성이라도 사용자가 접근할 인터페이스가 없으면 가치를 전달할 수 없다. 챗봇은 RAG 시스템의 최종 접점으로, 응답 속도·출처 표시·안전성을 사용자에게 직접 전달한다. 특히 route C 체크리스트는 추출 결과의 신뢰도를 화면에서 확인할 수 있어야 실무 활용이 가능하다.
Related Work
RAG 챗봇의 표준 구성은 (1) 질의 입력 UI, (2) 백엔드 오케스트레이션, (3) 답변 렌더링(출처 포함)이다. LLM Judge를 운영 파이프라인에 넣으면 비용·지연·편향이 발생하므로, 운영에는 룰 기반 self-check를 두고 LLM Judge는 평가 전용으로 분리하는 것이 표준이다.
Method
get_ai_response(query, history, config)— 시그니처 사전 합의로 병렬 개발Experimental Setup
security_flag+validation_status+intent+ 출처 인용 (route C 시checklist_items구조화 데이터 포함)Result
Discussion
Mock-First 전략으로 인터페이스만 합의하면 프론트·백엔드가 서로를 기다리지 않고 병렬 개발할 수 있었다. 검증 UX는 추출기가 산출한 검증 상태를 화면까지 노출해, 답을 주는 것을 넘어 검증된 항목과 사람이 확인할 항목을 구분한다. route C 2단계는 대상 공고가 불명확한 문제를 후보 선택으로 해결해 사용자 의도에 맞는 결과를 보장한다. 보안을 입력·출력 2곳에 분산한 설계는 위협 유형(인젝션은 입력단, 정보 누출은 출력단)마다 발생 지점이 달라 단일 지점 방어로는 막을 수 없다는 위협 모델 분석에 기반하며, 운영-평가 분리로 운영 응답 속도를 보호했다.
Conclusion
챗봇은 React 기반으로
get_ai_response인터페이스와 Mock-First 전략을 통해 안정적으로 구현되었으며, route A 출처·추천 질문과 route C 2단계 선택·검증 UX로 근거 확인 경험을 제공하고, 2단 보안 + self-check로 안전성을 확보했다. 로그인/JWT/DB 등 회원 기능은 API 정책(4장)과 연계하여 백로그로 관리한다.4. 정책
4.1 데이터 처리 정책
담당자 인명 처리 (미마스킹)
RFP 문서 내 담당자 인명은 마스킹하지 않고 공개 유지한다.
법적 근거 — 공공기관의 정보공개에 관한 법률 제9조 제1항 제6호 단서:
비공개 대상이 되는 개인정보라도 다음은 공개 가능하다.
적용 논리:
RFP 문서 내 담당자 정보는 공공 조달 절차의 공식 문의처(Point of Contact)로서, 기관이 업무 연락 목적으로 공고에 공표한 정보다. PIPA상 개인정보에 해당하나, 본인의 직무 수행과 관련하여 공표된 정보로 한정해 활용하므로 마스킹하지 않는다.
데이터 검증:
NER 하이브리드(규칙 + KoELECTRA) 탐지 결과, 문서 내 담당자 인명 38명/26문서 전원이 공공기관·공단·공사·국공립대·교육청의 직무 담당자였으며, 사적 마스킹 대상은 0건이었다. 정책의 정당성을 데이터로 입증했다.
안전장치 3중:
config.yaml토글 (person_name: false) — 필요 시 마스킹 활성화 가능마스킹 대상 (개인 사적 정보)
기관 업무용 정보는 공개하되, 개인 사적 정보는 마스킹한다.
[사업자등록번호][전화번호][이메일]기준: 기관 업무용 = 공개 / 개인 사적 = 마스킹
검증 도구 (evaluation/)
데이터 무결성은 다음 도구로 검증하며, 결과를 매니페스트로 증명한다.
scan_3stage.pytest_masking.pybuild_manifest.pybuild_golden_dataset_v3.pyverify_golden_v5.pycheck_chunks.pyrun_v5_scoring.py데이터 처리 성과 지표
한계: 정규식 기반 탐지로 자연어 PII(예: "공일공에 일이삼사")·이미지 내 텍스트(OCR 미적용)는 범위 밖이다. 담당자 인명은 정규식 마스커가 세지 않으므로, 인명 카운트는 NER 하이브리드로 별도 수행(38명/26문서)했다.
4.2 API 유료 사용 정책 (gpt-5-mini)
배경
정책 구조 — 4개 Layer 조합
🔵 Layer 1: 팀 총 예산 한도
🟣 Layer 2: 사용자별 제한 방식 (택 1)
옵션 A 보안 주의사항 (반드시 준수): 프론트에서 OpenAI 직접 호출 금지(키 노출 위험), 백엔드는 API 키를 세션 종료 시 즉시 폐기, 로그·DB에 API 키 절대 저장 금지, HTTPS 필수.
🟢 Layer 3: 캐싱 정책
🟠 Layer 4: 모니터링·알림
85% PM 승인 / 8595% 대규모 실행 금지 / >95% 발표 대비 봉인부가 정책
팀 확정 사항
5. 결론
5.1 핵심 요약
본 프로젝트는 B2G RFP 도메인의 특성("환각이 오답보다 위험")을 의사결정 기준선으로 삼아, 검색·생성·라우트 C·챗봇의 전체 RAG 시스템을 구축하고 정량 평가로 검증했다.
핵심 성과
방법론적 차별화 7가지
5.2 한계점 및 개선 방향
한계점
개선 방향 (향후 과제)
5.3 맺음말
본 프로젝트의 가장 큰 자산은 완성된 코드가 아니라 "데이터로 검증하고, 틀리면 정정하고, 근거를 남기는" 의사결정 프로세스다. Multi-Query 제외, gpt-5-mini 채택, 인명 공개 정책 등 주요 결정이 모두 이 프로세스를 거쳤으며, 이는 학습 프로젝트를 넘어 실무에 곧바로 적용 가능한 역량이다.
감사합니다.
코드잇 스프린트 AI 10기 5팀 — 전민재 · 김도혁 · 이아인 · 김재헌 · 노수민
All reactions