python_crawling_study

파이썬 크롤링에서 사용하는 모듈(셀레니움까지), 배우고 만들어본 코드들의 일부를 올리는 repo

크롤링은 스크래이핑이라고도 하며,
프로그램으로 웹상에서의 정보를 수집할 수 있습니다.

urllib, Bs4(뷰티풀스프), scrapy프레임 워크나, requests 모듈을 활용하며,

정규표현식, 람다표현식등으로 매끄러운 설정이 가능하며, 이 대이터들은 Mysql과 연동하거나, 원하는 확장자로 내보낼수 있습니다.

정적크롤링으로
Ajax, Js 부분까지 크롤링할 수 있고,

동적 크롤링으로
셀레니움을 쓰면 동적인 내용까지 크롤링할 수 있습니다.

가볍게 사소한 자동화 프로그램이나,
좀 커다란 데이터를 수집하고 필요한 것을 그중에 추출해오는 것들을 모두 해볼 수 있습니다.

---

간단하게 크롤링에 대한 정리와,
심심할때나 사소하게 필요할 때 만든 크롤링 코드도 업로드 하였습니다.

파이썬으로 웹크롤러 만들기(책),
ASkCompany(이진석코치)분과,
그외의 많은 블로그들의 정보로 공부했으며, 그렇게 공부했던 내용을
간략하게나마 정리해 보았습니다.