Plataforma de Data Lake Open Source na Oracle Cloud Infrastructure (CDP)
Este repositório descreve, a criação de um cluster Hadoop/Spark baseado no ODP (OpenSource Data Platform) dentro da OCI. Foram consideradas boas práticas de governança, segurança e baixo custo descritas no relatório de planejamento do projeto.
Atenção: todos os valores sensíveis (OCIDs, endereços IP, nomes de VCN, senhas) estão representados por placeholders. Substitua-os antes de executar qualquer comando.
Para garantir a correta implantação do ambiente, siga a ordem sequencial abaixo:
- Leia a Visão Geral para compreender o contexto, objetivos e escopo do projeto.
- Execute todas as etapas da Implementação na OCI, incluindo:
- Configuração de rede, segurança, máquinas virtuais e armazenamento.
- Definição de DNS, firewall, volumes em bloco e demais recursos de infraestrutura.
- Siga a ordem dos arquivos numerados para garantir que cada pré-requisito seja cumprido antes de avançar.
- Somente após concluir a preparação da infraestrutura na OCI, inicie as etapas de Instalação do ODP:
- Instalação e configuração do Ambari, ODP Stack e serviços Hadoop/Spark.
- Siga rigorosamente o passo a passo para garantir reprodutibilidade.
- Consulte os Modelos e Anexos para exemplos de arquivos de configuração, scripts e outros materiais de apoio.
Importante: Não avance para a etapa de instalação do ODP antes de concluir toda a preparação da infraestrutura na OCI. O sucesso do cluster depende do correto provisionamento e configuração dos recursos básicos.