/
Dockerfile
68 lines (53 loc) · 1.79 KB
/
Dockerfile
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
# Cria Imagem PySpark
# Imagem do SO usada como base
FROM python:3.11-bullseye as spark-base
# Atualiza o SO e instala pacotes
RUN apt-get update && \
apt-get install -y --no-install-recommends \
sudo \
curl \
vim \
nano \
unzip \
rsync \
openjdk-11-jdk \
build-essential \
software-properties-common \
ssh && \
apt-get clean && \
rm -rf /var/lib/apt/lists/*
# Variáveis de ambiente
ENV SPARK_HOME=${SPARK_HOME:-"/opt/spark"}
ENV HADOOP_HOME=${HADOOP_HOME:-"/opt/hadoop"}
# Cria as pastas
RUN mkdir -p ${HADOOP_HOME} && mkdir -p ${SPARK_HOME}
WORKDIR ${SPARK_HOME}
# Download do arquivo de binários do Spark
RUN curl https://archive.apache.org/dist/spark/spark-3.5.0/spark-3.5.0-bin-hadoop3.tgz -o spark-3.5.0-bin-hadoop3.tgz \
&& tar xvzf spark-3.5.0-bin-hadoop3.tgz --directory /opt/spark --strip-components 1 \
&& rm -rf spark-3.5.0-bin-hadoop3.tgz
# Prepara o ambiente com PySpark
FROM spark-base as pyspark
# Instala as dependências Python
COPY requirements/requirements.txt .
RUN pip3 install -r requirements.txt
# Mais variáveis de ambiente
ENV PATH="/opt/spark/sbin:/opt/spark/bin:${PATH}"
ENV SPARK_HOME="/opt/spark"
ENV SPARK_MASTER="spark://spark-master:7077"
ENV SPARK_MASTER_HOST spark-master
ENV SPARK_MASTER_PORT 7077
ENV PYSPARK_PYTHON python3
# Copia o arquivo de configuração do Spark para a imagem
COPY conf/spark-defaults.conf "$SPARK_HOME/conf"
# Permissões
RUN chmod u+x /opt/spark/sbin/* && \
chmod u+x /opt/spark/bin/*
# Variável PYTHONPATH
ENV PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH
# Copia o script de inicialização dos serviços para a imagem
COPY entrypoint.sh .
# Ajusta o privilégio
RUN chmod +x entrypoint.sh
# Executa o script quando inicializar um container
ENTRYPOINT ["./entrypoint.sh"]