[Data 환경 구축하기] 데이터 수집 환경_ 대용량 데이터 수집

[hyeming-king]

대용량 api 원하는 데이터 뽑아올때

• 하루 단위 데이터 뽑는 데 걸리는 시간 확인 (주말/평일)
• 하루 단위 데이터 용량 확인 (주말/ 평일)

고민해볼 사항 + 방법 찾아보기

• 파이썬 스크립트를 배치파일로 날짜 돌려가면서(자동으로 다음날짜 뽑기) 작동시킬 수는 없는지
• 가능하다면 방법 더 찾아보기
• 각각 다운받은 하루 데이터를 어디에서 모으고 합칠 수 있을지
  • AWS의 DB 환경으로 하루하루 데이터를 넣고 -> spark로 데이터베이스 연결해서 합치는 것이 좋을지
• ⭐️ AWS S3이 배치 관련인 것 같음! 더 찾아봐야할 것 같음

등등
대용량 데이터를 처리하는 방법에 대해 고민해보아요 🙏🏻

[hyeming-king]

해당 내용으로 진행하지 않는 것으로 결정, 이슈 닫습니다.