Skip to content

maengsanha/bigdata

Repository files navigation

HOT TOPICS IN BIG DATA

Hot Topics in Big Data assignments and more


Part 1: NLP

  • 실습 과제 1: 어절빈도 조사

  • 과제 1: 한글 문장의 유사도 계산 (1)

  • 과제 2: 한글 문장의 유사도 계산 (2)

  • 과제 3: 대규모 말뭉치(KCC 원시말뭉치)에서 가장 유사한 문장 상위 n개 추출

  • 과제 4: 문장 유사도 계산을 워드 임베딩 기법 등 다양한 방법으로 구현


Part 2:Distributed Computing

  • 실습 1: Word Count example on MapReduce

  • 실습2: Triangle Listing example on MapReduce

  • Final Project: Graph Mining on MapReduce and Spark
    • Task 1: 그래프의 중복 edge 및 self-loop 제거 (Hadoop MapReduce)
    • Task 2: 각 노드 u의 degree d(u) 구하기 (Hadoop MapReduce)
    • Task 3: 각 노드 u마다 u를 포함하는 삼각형의 갯수 t(u) 구하기 (Spark)
    • Task 4: 각 노드 u마다 군집계수 cc(u) 구하기 (Spark)

Part 3: Container

  • Final Project: AWS Cloud9 환경에서 Docker를 이용한 Amazon Document DB 활용
    • Task1: AWS DocumentDB를 이용한 MongoDB 환경 구축
    • Task2: AWS Cloud9 환경에서 Docker를 활용하여 Task1에서 만든 DocumentDB에 접속
    • Task3: MongoDB 실습 환경 시나리오 생성
    • Task4: Docker를 활용한 MongoDB 사용과 DocumentDB를 활용한 실습 각각의 장단점 서술
    • Task5: DocumentDB 클러스터 삭제
    • Task6: 클라우드 서비스 크레딧 차감량 계산