Repository navigation
Web Collector v0.2.0
설정 파일을 기반으로 목록·상세를 수집하고, 중단 지점부터 재개하여 결과를 내보내는 독립형 웹 수집기입니다.
주요 기능
- SQLite 기반 수집 상태·중복 제거·다음 페이지 재개를 지원합니다.
- Excel Overview에 읽기 쉬운 값·원문 링크를, Collection에 부분수집 여부·수집 조건을 표시합니다.
- 원문·정규화 값·누락 사유를 분리하고, 긴 문자열과 큰 숫자를 보존해 Excel 재읽기를 지원합니다.
- 차단·인증 요구를 우회하지 않습니다.
검증
- 제품 시험 21개를 포함한 전체 89개 회귀 시험을 두 차례 연속 통과했습니다.
- 일반·대용량 Excel 출력 각각 20,000행 왕복 대조를 통과했습니다.
- 첨부 ZIP을 별도 새 가상환경에 설치하여 전체 제품 시험·CLI·예제를 확인했습니다.
- Books 연습 사이트에서 목록 1페이지 20건 → 재개 후 다음 페이지까지 40건, 상세 1건을 순차 3회 요청으로 확인했습니다.
- 저장 데이터·Excel 재읽기·수집한 HTML을 대조했습니다.
Python 3.11 이상이 필요합니다. Linux/WSL에서 검증했으며 네이티브 Windows는 지원 범위에 포함하지 않습니다. 모든 사이트·로그인·클릭·스크롤 자동화를 제공하지 않습니다. 다른 web-crawler 프로젝트와 호환되는 교체본이 아니며, 마이그레이션 안내를 확인해 주세요. PyPI 배포는 하지 않았습니다.