dbt cloud 触ったメモ

2023-04-15 | 3 min read | engineering dbt

dbt 触ったメモ bigquery につないでデータを触ってみた

接続して、編集、実行を行う

bigquery jobユーザのロールを持ったサービスアカウントを作成して、 Key JSON 生成、ダウンロードして、dbt画面にアップロードする

接続テストして完了

Create Project
Database Connection
Add Repository githubの場合はアカウント連携を行う。integrationの設定をして、あらかじめ作成したdbt用のリポジトリにdbtを連携する

権限的にはviewの作成をするのでデータセットの編集。ジョブユーザを割り当てた

profileの環境設定から変更する

profile → credentials →Development Credentials

project内で環境ごとに設定し、projectIDやdatasetをいれておける

model/に入れたsqlファイルにかいたクエリ結果をテーブルとして作成する ↓こんなsqlを作った https://github.com/uni-3/dbt-tutorial/blob/main/models/ga4/pv_in_30_days.sql

create tableなんかの文をかかなくても作れてしまうのは手軽でよさそう

GUI のコマンドから

dbt run --select pv_in_30_days

jobという機能を使う

Deploy → Environments → Create New Environment

Datasetにproject名（ここではAnalytics）を設定する

Environments より、Create Jobから作成、スケジューラーの設定ができる

dbt-cloud-create-project

dbtのsql構文は内部で独自に定義しているらしい。サポートしているDBなんかについて変換される

これは以下のような問題に直面するのを避けるためとのこと

のFAQsより