Druid infra setting

• druid 실행을 위한 docker-compose 파일 및 환경설정 파일 작성

  • 환경 구성
    • druid(zookeeper, doordinator, broker, historical, middlemanager, router) + minio(deep storage) + mysql(meta storage)
  • 포트 설정

    service	PORT
    minio	9000
    druid-metadata-storage	10035
    druid-zookeeper	10036
    druid-coordinator	10037
    druid-broker	10038
    druid-historical	10039
    druid-middlemanager	10040
    druid-router	10050

• ingestion, sql 에 대한 테스트 진행

구동 확인

• 도커 실행

docker-compose up -d

# druid 구동 확인
http://{install_server_host}:10050

# minio web ui 접속
http://{install_server_host}:9000

• 테스트 실행

# 테스트 프로젝트로 이동
cd sample

# 테스트 실행
./gradlew test --info

[ MySQL meta storage 설정 ]

기존 apache/druid:0.22.1에 mysql metastore 적용 시, mysql-connector jar file을 찾을 수 없다는 에러 발생.

다음과 같이 해결 참고: druid 공식 repository

docker build -t apache/druid:0.22.1-mysql --build-arg DRUID_RELEASE=apache/druid:0.22.1 -f ./infra/druid/Dockerfile.mysql . 

[ druid component 개별 environment 적용 ]

1. docker-compose.yml 과 같은 디렉토리에 env-configs/{component역할}/{environment_file} 환경 설정
2. environment_file 이름은 druid component 이름과 동일

[ deep storage S3 연결 ]

1. 데이터 로드 from s3
2. deep storage 설정 for s3
3. test code

• s3에서 데이터 로드 후 spec을 이용하여 druid task 생성
• 생성된 druid에 쿼리

[ load data from s3 ]