Miigracje DBT na BigQuery

[mik-laj]

Hej,

My mamy już wszystkie dane w BigQuery, więc możemy teraz wykorzystywać BigQuery do wszystkich transformacji zamiast męczyć biędnego Postgresa.

W tym celu należy:

• Ustalić schema danych w BigQuery np. datasety
• Skonfigurować połączenie do BigQuery w DBT i GitHub Action
• Skonfigurować tabele w DBT. Pomocne możę być to: https://github.com/justdataplease/justdataplease/blob/main/justfunctions/bigquery/OPERATIONS/generate_dbt_yml_schema.yaml
• Przepisać zapytanie z PostgresSQL na BigQuery. To można robić zapytanie po zapytaniu
• Przenieść uruchamianie DBT, aby uruchamiał się po transferze danych.

Pozdrawiam

[mik-laj]

To jest ciekawe, bo by się chciałą pobawić z DBT