Repository navigation
Releases
웹 데이터 수집기 v0.3.0
웹 데이터 수집기 0.3.0
제품의 용도가 드러나도록 공개 제품명·저장소·패키지·실행 명령을 web-data-collector로 통일했습니다. SIONLAB 제작자·저작권과 MIT 라이선스는 유지합니다.
변경
- 새
web-data-collector명령과python -m web_data_collector실행 진입점 제공. - 기존
sionlab-web-collector명령과 기존 Python 모듈 유지. 기존 작업 DB·재개·Excel 원문 복원 형식 유지. - README를 독립 설치·실행·오류 해석·다양한 활용 중심으로 확장하고 AGENTS.md·CLAUDE.md·CONTRIBUTING.md·docs/recipes.md를 함께 제공합니다.
- 개인 작업 공간이나 특정 AI 서비스 없이 CLI와 Python으로 사용할 수 있습니다. 실제 외부 데이터 조회에 필요한 권한은 별도입니다.
설치와 호환
첨부 ZIP을 새 폴더에 풀어 python3 setup-lab.py를 실행하고 .venv/bin/python -m web_data_collector --help로 확인합니다. 기존 배포명과 파일이 겹칠 수 있으므로 새 가상환경에 설치하고 기존 작업 경로를 지정하세요. 운영 MCP 설정은 자동 변경하지 않으며 PyPI 배포는 포함하지 않습니다.
검증 범위
최종 두 제품·공용 도구 95개 시험을 두 차례 실행하고, 각 ZIP을 빈 가상환경에 설치하여 제품 전체시험·도움말·가상 예제를 확인했습니다. 이전 조달0.4.0·웹0.2.0 설치본에서 만든 작업 DB의 재개와 장문 Excel 원문 복원을 새 버전으로 대조했습니다. 명칭 변경 검증에서는 실제 조달 API·외부 웹사이트를 추가 수집하지 않았습니다. 기본 브라우저 어댑터 시험은 가상 계약이며 네이티브 Windows·임의 외부 사이트의 전체 동작을 보장하지 않습니다.
ZIP과 함께 제공하는 .sha256 파일로 첨부 파일 무결성을 확인할 수 있습니다. 과거 태그·릴리스·검증 기록은 당시 이름으로 보존합니다.
Web Collector v0.2.0
설정 파일을 기반으로 목록·상세를 수집하고, 중단 지점부터 재개하여 결과를 내보내는 독립형 웹 수집기입니다.
주요 기능
- SQLite 기반 수집 상태·중복 제거·다음 페이지 재개를 지원합니다.
- Excel Overview에 읽기 쉬운 값·원문 링크를, Collection에 부분수집 여부·수집 조건을 표시합니다.
- 원문·정규화 값·누락 사유를 분리하고, 긴 문자열과 큰 숫자를 보존해 Excel 재읽기를 지원합니다.
- 차단·인증 요구를 우회하지 않습니다.
검증
- 제품 시험 21개를 포함한 전체 89개 회귀 시험을 두 차례 연속 통과했습니다.
- 일반·대용량 Excel 출력 각각 20,000행 왕복 대조를 통과했습니다.
- 첨부 ZIP을 별도 새 가상환경에 설치하여 전체 제품 시험·CLI·예제를 확인했습니다.
- Books 연습 사이트에서 목록 1페이지 20건 → 재개 후 다음 페이지까지 40건, 상세 1건을 순차 3회 요청으로 확인했습니다.
- 저장 데이터·Excel 재읽기·수집한 HTML을 대조했습니다.
Python 3.11 이상이 필요합니다. Linux/WSL에서 검증했으며 네이티브 Windows는 지원 범위에 포함하지 않습니다. 모든 사이트·로그인·클릭·스크롤 자동화를 제공하지 않습니다. 다른 web-crawler 프로젝트와 호환되는 교체본이 아니며, 마이그레이션 안내를 확인해 주세요. PyPI 배포는 하지 않았습니다.