Crawling_caution.md

크롤링 법적 문제

1. 대법원 판결- 크롤링으로 확보한 데이터를 자신의 영업에 무단 사용하는 것은 DB권 침해
2. 크롤링-불법인지 합법인지 애매모호
3. robot.txt는 강제성이 아니라 권고이다.

robot.txt

• 다이닝 코드: 크롤링 허용 가능
• 망고플레이트: 크롤링 허용 불가능
• 식신: 크롤링 허용 불가능
• 인스타그램: 하위 폴더(검색 search, 개인 피드p ) 크롤링 가능
• 페이스북: 하위 폴더(검색 search) 크롤링 가능
• 네이버: 블로그 포스트(PostView) 크롤링 가능

크롤링으로 이윤 얻는 회사들

• 데이터 수집 전문 회사(와이즈넛, 써머스플랫폼) : 이 회사들 모두 크롤링으로 이윤을 얻고 있다.
• 다이닝 코드도 네이버 블로그 포스트, SNS 크롤링으로 데이터 수집을 하고 있다.

크롤링 시 주의 사항

1. 스크랩하는 컨텐츠에 지적재산권이 있는지
2. 크롤링하는 행동이 사이트에 부담을 주지 않는지
3. 크롤러가 사이트의 이용 방침을 위반하지 않는지
4. 크롤러가 사용자의 민감한 정보를 가져오지 않는지
5. 가져온 컨텐츠를 적합한 사용 표준 하에 사용하는지

개인정보 보호법 개정 (데이터 3법 개정안)

• 가명 정보, 익명 정보 → 상업적 사용 가능
• 대한민국 정책 브리핑- 데이터 3법