Spark for Glue development

Imagem utilizada para o desenvolvimento, testes e debug de códigos Spark para o desenvolvimento de Glue Jobs.

Run

As conexões aos serviços aws são feitos através da Access Key e Secret Key do usuário IAM que deverão ser passadas para o container como variáveis de ambiente (AWS_ACCESS_KEY_ID e AWS_SECRET_ACCESS_KEY)

docker run -v $(pwd)/notebooks:/home/jupyter/jupyter_default_dir -p 8888:8888 -p 4040:4040 didone/spark-glue

You can access your envinroment on http://localhost:8888

Portas

• Jupyter Notebook: 8888
• Console Spark: 4040

Build

Caso queira gerar sua própria imagem utilize os argumentos de build (--build-arg) para determinar as versões dos serviços que serão utilizados:

• MAVEN_REPO
• SPARK_REPO
• GLUE_REPO
• AVRO_REPO

Estes argumentos são opcionais, o build utilizará os parametros padrão caso nenhum valor seja valor informado

docker image build -t <<IMG_NAME> .