Skip to content

Releases: 00three/Crawler

Release list

v1.0.0

Choose a tag to compare

@khg9859 khg9859 released this 08 Jun 05:58

최종 제출 버전입니다.\n\n포함 내용\n- 방송통신위원회, 국가전략포털, MBC, 언론노조 크롤러\n- 10분 주기 batch JSONL outbox 생성 흐름\n- doc_id 기반 dedupe\n- KCC URL 정규화 및 fetch retry\n- Full-Stack ingest worker와 연동되는 crawler output schema