김도혁 - 26년 06월 18일 데일리 리포트 #1
kimdohyuk8888-bot
started this conversation in
Daily Report
Replies: 0 comments
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
Uh oh!
There was an error while loading. Please reload this page.
김도혁 - 26년 6월 18일 데일리 리포트
🛠 작업 내용 및 완료도
오전 — 환경 셋업 & 데이터 파악
.gitignore에data/전체 추가하여 원본·본문의 PII가 GitHub에 올라가지 않도록 NDA 차단원본(hwp/pdf) → 파싱 → 정제·마스킹 → 메타데이터 → 청킹흐름을de_overview.md로 정리해 팀에 공유. RFP 핵심 정보가 표에 많다는 점, 마스킹이 POC TC-05 미구현 이슈로 본 프로젝트 필수 항목이라는 점 사전 파악data_list.csv100행과 파일명 기준 1:1 매칭 확인. 오전에 50건만 보였던 것은 운영진 측 누락분이 오후에 정정된 것으로 확인오후 — 파싱 검증 & 파이프라인 구축
텍스트컬럼 vs 원본 파일 실제 추출 텍스트 길이를 100건 전수 비교. 평균 18.5%, 중앙값 13.5%, 최소 0.2%, 5% 미만이 26건. csv는 본문의 일부(요약 수준)만 담고 있음을 데이터로 입증{doc_id, file_name, text, char_count}형태 JSON 저장. 정제 후 평균 26,269자(csv 평균 3,844자 대비 약 7배), 최소 6,822 / 최대 188,941자중급 프로젝트_5팀 > Data Team폴더 생성, 하위를파싱본문 / 마스킹본 / 청크로 구조화. 팀원 5명 편집자로 제한 공유(마스킹 전 PII 포함이라 링크 전체공개 대신 멤버만 추가)parsed_documents.json(100건)을 파싱본문 폴더에 업로드·마스킹 요청 → DE 아인님이 당일 마스킹 완료(masked_documents.json, 100건). PII 총 128건 마스킹(이메일 37 · 전화/팩스 87 · 사업자/법인번호 4), 검색에 필요한 공고번호·금액·날짜는 보존, 잔존 0건 검증 확인. 청킹 입력 데이터 확보 완료🤝 협업 중 제안 / 피드백
파싱 → 마스킹 → 청킹으로 확정.[이메일]·[전화번호]식 한글 유형토큰으로 통일, (3) 담당자 인명 — 정규식으로 못 잡으나 식별성 낮고 연락처는 이미 가려 NER 도입 보류. 청킹 담당 입장에서 3건 모두 동의(특히 유형토큰은 청크 내 일관성에 유리).💡 인사이트 / 문제점
텍스트컬럼은 사업개요/요약 수준만 담고 있어, 정작 RAG에 중요한 요구사항·과업범위·평가기준이 대부분 누락. 원본 전건 재파싱이 필수임을 수치로 확인.<표>,<그림>마커만 남고 표 안의 실제 내용은 추출되지 않음. RFP 핵심 정보(예산·기간·요구사항 등)가 표에 다수 존재하므로, 청킹 단계에서 표 처리 방안 검토 필요.🚧 협업 이슈
📌 내일 할 일
data_processing/) 위치 제안masked_documents.json) 확보 완료. 베이스라인 청킹(고정크기 + 섹션기반) 구현 시작<표>마커만 남는 문제 해결 방향 조사 (표 내용 보존 파싱)All reactions