[검색] PPT 프로젝트 완료 보고 스크립트 #161
kimzaeheon-data
started this conversation in
General
Replies: 0 comments
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
검색(Retrieval) 파이프라인 발표 대본 (PPT 1~2장 분량)
Abstract
입찰메이트(RFPilot)의 검색 파이프라인을 개선한 실험을 진행했다. 기존 파이프라인은 쿼리 가공 없이 MMR 검색만 수행해 followup 검색 실패, 낮은 Context Precision 문제가 있었다. Query Rewriting, 메타데이터 필터링, 임베딩 모델 교체, re_retrieve_fn 등 9개 실험을 거쳐 Hit Rate @5는 0.600에서 0.940으로, Context Precision은 0.432에서 0.848로 개선했고 레이턴시는 23배 단축했다.
Intro
가상의 B2G 입찰지원 스타트업 '입찰메이트'가 100건의 RFP 문서를 대상으로 컨설턴트의 자연어 질의에 답하는 RAG 시스템을 구축했다. 기존 파이프라인은 쿼리를 그대로 임베딩해 FAISS에서 MMR로 검색하는 단순 구조였다. 쿼리 재작성, 메타데이터 필터링, fallback 처리가 없어 followup 쿼리 검색 실패와 낮은 정밀도라는 한계가 있었다.
Related Work
RAG 검색 품질 개선 접근은 크게 네 갈래다. 쿼리를 검색에 유리한 형태로 바꾸는 쿼리 처리(query rewriting, multi-query), 메타데이터로 범위를 좁히는 필터링, 1차 결과를 재정렬하는 reranking, 도메인에 맞는 임베딩 모델 선택이다. 이 네 갈래를 공공조달 문서 도메인에 순차 적용해 검증했다.
Method
Query Rewriting으로 followup 쿼리를 독립 문장으로 재작성한다. 메타데이터 필터링은 agency에서 시작해 budget·date까지 확장했다. agency 매핑 실패 시 필터를 스킵하고 재검색하는 re_retrieve_fn을 도입했다. 임베딩 모델은 text-embedding-3-small에서 bge-m3로 교체했다. Reranking과 Multi-query RRF도 시도했으나 채택하지 않았다.
Setup
golden_dataset_v4.json 63건 중 refusal 13건을 제외한 50건으로 평가했다. 평가 카테고리는 single_doc, multi_doc, followup 세 가지다. 지표는 Hit Rate @5, MRR, Context Recall, Context Precision 네 가지를 사용했다. 베이스라인은 mmr_fetch_k=100, mmr_lambda=0.95, text-embedding-3-small 조건이다.
Result
베이스라인 Hit Rate @5는 0.600이었다. Query Rewriting으로 followup이 0.6667로 오르고, agency 필터링을 더하자 followup이 1.000까지 개선됐다. budget/date 필터 확장으로 multi_doc이 0.600에서 0.8667로 올랐다. Reranking과 Multi-query RRF는 정답 순위를 오히려 밀어내거나 노이즈를 증폭시켜 제외했다. 최종적으로 Hit Rate @5 0.940, Context Precision 0.848, 레이턴시 23배 단축을 달성했다.
Conclusion
베이스라인 대비 Hit Rate @5는 +0.340, Context Precision은 +0.416 향상됐다. 레이턴시 단축으로 실사용 응답성도 확보했다. multi_doc은 0.800으로 다른 카테고리보다 낮아 추가 개선이 필요하다. 향후 방향은 RRF 대신 쿼리를 조건별로 분해해 서브쿼리마다 top-k를 보장하는 방식이다.
All reactions