devraphy / python-crawler Public

Notifications You must be signed in to change notification settings
Fork 0
Star 0

A repository for the python crawler project.

0 stars 0 forks Branches Tags Activity

Notifications

Name		Name	Last commit message	Last commit date
Latest commit History 4 Commits
__pycache__		__pycache__
static/css		static/css
templates		templates
Magic_Report.csv		Magic_Report.csv
README.md		README.md
export.py		export.py
main.py		main.py
scrapper.py		scrapper.py

Repository files navigation

Python Crowler

1. 기능 설명

검색어를 기반으로 원격근무 채용정보를 StackOverflow, WeWork, RemoteOk 세가지 사이트에서 크롤링
fake DB를 사용하여 검색한 자료를 저장하고 재검색되면 불러올 수 있도록 하여 크롤링 검색 속도를 향상
크롤링 자료를 3개의 section으로 나누어 각 사이트마다 가져온 정보를 출력 및 apply링크 연동
검색된 자료를 통합하여 CSV파일로 다운로드 가능

시연 영상

https://devraphy.tistory.com/58

About

A repository for the python crawler project.

jinja2 crawling python3 flask-backend python-crawler

Report repository

Releases

No releases published

Packages

No packages published

Languages