Skip to content

AWS 및 AWS를 이용한 Data Lake 구성 이해

Notifications You must be signed in to change notification settings

micopes/AWS_Datalake

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

13 Commits
 
 
 
 
 
 

Repository files navigation

1주차

  • DB와 Data Lake, Data Warehouse에 대해 이해하였다.

2주차

  • AWS의 종류와 동작 방법을 이해했으며, 어떤 때에 어떤 서비스를 사용해야 할 지 이해

3, 4 주차

  • 이후에는 보안 관련이나 구체적인 AWS 서비스 각각의 사용법에 대해 공부한다.
  • 아직 해당 서비스를 도입해야 겠다는 생각을 하지 않았으며 구체적인 사용법을 알아도 실습하는 것이 없으므로 따로 공부해야 하는데 AWS 만 사용할 이유가 없다.

중단 결정

얻은 것, 느낀 것

  • DB와 Data Lake, Data Warehouse에 대해 이해하였다.
  • AWS의 종류와 동작 방법을 이해했으며, 어떤 때에 어떤 서비스를 사용해야 할 지 이해
  • Amazon에서 제공하는 강의이므로 편향되어 있으며 다른 서비스의 장단점과 비교하여 특징을 설명해주지 않음.
  • 그러나, Amazon에서 제공하는 서비스를 이해함으로써 Data Lake와 Data Warehouse 구축에 있어 필수적인 요소들을 이해할 수 있었다.
    • Metadata 관리(다양한 형식, 어떤 데이터가 있는지 모르거나, 시간이 지남에 따른 변경 사항으로 인해 Data Lake가 Data Swamp가 되지 않기 위해.)
    • 대용량 배치 처리/실시간 처리
    • 대규모 데이터 이동 및 변경
    • 시각화


[출처] Coursera 강의 - Introduction to Designing Data Lakes on AWS

Releases

No releases published

Packages

No packages published