Documentar Cloud Composer na Documentação Geral

[nitaibezerra]

Documentar Cloud Composer na Documentação Geral

Repositório: docs
Labels: documentation, infrastructure, airflow
Prioridade: Alta

---

User Story

Como desenvolvedor da plataforma DGB,
Quero ter documentação completa sobre o Cloud Composer (Airflow),
Para que eu possa entender a infraestrutura, deployar DAGs e acessar a interface de monitoramento.

---

Contexto

Recentemente criamos um ambiente Cloud Composer (Airflow 3.0) no GCP para orquestrar pipelines de dados. A infraestrutura está configurada via Terraform no repo infra e as DAGs ficam no repo data-platform. Atualmente não existe documentação centralizada sobre este sistema na Main Docs.

Características da Infraestrutura

Aspecto	Valor
Versão Airflow	3.1.0
Versão Composer	Cloud Composer 3
Região	us-central1 (USA Central)
Environment Size	ENVIRONMENT_SIZE_SMALL (9 DCU/hora)
Workers	1-3 pods (autoscale)
Timezone	America/Sao_Paulo (UTC-3)
Autenticação	Google OAuth
Secrets Backend	Google Cloud Secret Manager

URLs de Acesso

• Airflow UI: https://a02c83fbbe384924b9089709df5f7ea9-dot-us-central1.composer.googleusercontent.com
• GCS Bucket DAGs: gs://us-central1-destaquesgovbr--a02910d4-bucket/dags/

Workflows Relacionados

Workflow	Repositório	Descrição
composer-deploy-dags.yaml	data-platform	Deploy de DAGs para o Composer
composer-health-check.yaml	data-platform	Verifica saúde do Composer (a cada 6h)

---

Critérios de Aceite

• Criar nova seção docs/infraestrutura/cloud-composer.md
• Documentar características da infraestrutura (região, versão, recursos)
• Documentar como acessar a Airflow UI
• Documentar como deployar DAGs (workflow composer-deploy-dags.yaml)
• Documentar Airflow Connections disponíveis:
  • postgres_default - PostgreSQL Cloud SQL
  • huggingface_default - HuggingFace token
• Documentar Airflow Variables disponíveis:
  • typesense_host
  • postgres_db
  • gcp_project_id
  • gcp_region
• Incluir diagrama Mermaid da arquitetura
• Documentar troubleshooting básico (referência a docs/runbooks/composer-recovery.md)
• Adicionar seção ao mkdocs.yml nav

---

Estrutura Sugerida

# Cloud Composer (Airflow)

> Orquestração de pipelines de dados da plataforma DGB

## Visão Geral
## Acesso à Interface
## Arquitetura
  - Diagrama
  - Componentes
  - Recursos alocados
## Deploy de DAGs
  - Via GitHub Actions
  - Triggers automáticos
  - Validação de sintaxe
## Connections e Variables
  - Connections disponíveis
  - Variables disponíveis
  - Como adicionar novos
## Monitoramento
  - Health check automático
  - Auto-recovery
## Troubleshooting
## Links Úteis

---

Referências

• Terraform: /infra/terraform/composer.tf
• Workflows: /data-platform/.github/workflows/composer-*.yaml
• Runbook: /data-platform/docs/runbooks/composer-recovery.md
• IAM: /infra/terraform/composer_iam.tf