Ambiente para estudo dos principais framework de um ambiente moderno de dados utilizando docker.
- Instalação do Docker Desktop no Windows Docker Desktop ou o docker no Linux
- Instalação do git
- OBS: A primeira vez que o ambiente for iniciado, todas as imagens serão baixadas para a maquina local.
- Para executar todo o ambiente, o servidor/host deve possuir pelo menos 16GB de memória.
- É indicado subir apenas os containers para o worload que será utilizado/testado.
INICIANDO O AMBIENTE*
git clone https://github.com/fabiogjardim/datalab.git
No Windows abrir PowerShell, do Linux um terminal e acessar o diretório mds
docker-compose up -d minio spark-worker
docker-compose up -d minio kafka-broker kafka-connect nifi postgres
docker ps
docker stop [nome do container]
docker stop $(docker ps -a -q)
docker rm [nome do container]
docker rm $(docker ps -a -q)
docker container inspect [nome do container]
docker-compose up -d [nome do container]
docker-compose up -d
docker container logs [nome do container]
- Minio http://localhost:9051
- Hadoop http://localhost:9870
- Kafka Control Center http://localhost:9021
- Kafka Proxy http://localhost:8082
- Nifi http://localhost:49090
- Airflow http://localhost:58080
- Presto http://localhost:18080
- Adminer http://localhost:28080
- Mongo Express http://localhost:28081
- Hive WebUI http://localhost:10002
- Elastic http://localhost:9200
- Cassandra Web http://localhost:13000
- Jupyter Spark http://localhost:8889
- Metabase http://localhost:3000
- Kibana http://localhost:5601
- Datahub http://localhost:9002
Usuário: admin
Senha: minioadmin
Usuário: user@datalab.com
Senha: datalab
Usuário: admin
Senha: admin