dbt はまだ一般提供されていません。利用するには CloudThinker にお問い合わせください。Self-host は dbt Core を指し、CloudThinker のセルフホストデプロイメントではありません。
前提条件
- Cloud:Starter、Enterprise、または Enterprise+ プランの dbt アカウントと、本番環境。メトリクスに関する質問には、dbt Semantic Layer のセットアップも必要です。
- Self-host:GitLab または GitHub のリポジトリにあり、HTTPS で提供され、PostgreSQL にビルドする dbt Core プロジェクト。Self-host タブが対応するウェアハウスは PostgreSQL のみです。
- Self-host のネットワークアクセス:CloudThinker がインターネット経由で Git ホストと PostgreSQL のポートに到達できる必要があります。プライベートなサービスに到達するを参照してください。
セットアップ
- Cloud
- Self-host
1
Access URL をコピーする
dbt で Account settings を開き、Access URLs を探します。アカウントの URL のホスト部分(
cloud.getdbt.com や ab123.us1.dbt.com など)を、https:// を付けずにコピーします。CloudThinker はトークンを getdbt.com と dbt.com のホストにのみ送信します。アカウントが別のドメインを使用している場合は、CloudThinker にお問い合わせください。2
アクセストークンを作成する
作成できるトークンは dbt のプランによって異なります:
- Enterprise または Enterprise+:Account settings → Service Tokens を開き、+ Create service token をクリックします。Job Viewer と Metadata Only の権限セットを追加し、エージェントにメトリクスの質問に回答させる場合は Semantic Layer Only も追加します。Save をクリックしてトークンをコピーします。dbt がトークンを表示するのは一度だけです。
- Starter:Account settings → API tokens → Personal tokens を開き、Create personal access token をクリックします。パーソナルトークンは作成したユーザーの権限を持つため、可能であれば読み取り専用アクセスのユーザーで作成してください。
3
本番環境の ID をコピーする
Orchestration → Environments に移動し、本番環境をクリックします。ページ URL の
/environments/ の後ろにある数値だけをコピーします。4
CloudThinker で接続を追加する
More → Workspace settings → Connections を開き、dbt を選択して Connect をクリックします。Cloud を選び、接続の詳細のフィールドを入力して Connect をクリックします。成功状態: 接続が Connected ステータスで表示されます。
接続の詳細
必要な権限
パーソナルアクセストークンは、これらの権限セットではなく、そのユーザーの権限を持ちます。
エージェントの機能
接続を確認する
orders に入力しているモデルとソース、および orders からビルドされるモデルが返ることを確認します。不明なモデルのエラーが返る場合は、名前が間違っているか、モデルが本番環境または設定したブランチに存在しません。
プロンプト例
書き込みアクセス
dbt 接続は読み取り専用です。エージェントは dbt Cloud のジョブを実行、再試行、キャンセルできず、dbt Core プロジェクトに対して run、build、test、seed、snapshot も実行できません。CloudThinker がリポジトリにプッシュすることはありません。トラブルシューティング
The provider rejected these credentials
The provider rejected these credentials
dbt がトークンを拒否しました。Access URL がアカウントのホストであること、トークンが期限切れや取り消しになっていないこと、サービストークンが Job Viewer と Metadata Only を持っていることを確認してください。新しいトークンを作成して接続し直してください。
モデル、リネージ、メトリクスの質問が失敗する
モデル、リネージ、メトリクスの質問が失敗する
Production environment ID が間違っているか、数値ではありません。本番環境の URL から
/environments/ の後ろにある数値だけをコピーしてください。メトリクスの質問で有用な結果が返らない
メトリクスの質問で有用な結果が返らない
アカウントで Semantic Layer がセットアップされていないか、トークンに Semantic Layer Only がありません。ジョブ、モデル、リネージの質問はこれがなくても動作します。
could not clone the repository; check the URL, branch, username, and token
could not clone the repository; check the URL, branch, username, and token
CloudThinker がリポジトリを読み取れませんでした。URL が
https:// で始まっていること、ブランチまたはタグが存在すること、ユーザー名がトークンと一致していること(GitLab デプロイトークン自体のユーザー名、または自分の GitHub ユーザー名)、トークンがそのリポジトリを読み取れることを確認してください。URL にユーザー名やトークンが含まれている場合は削除し、Repository username と Repository read token のフィールドを使用してください。dbt_project.yml not found in the project folder
dbt_project.yml not found in the project folder
Project folder に、
dbt_project.yml を含むフォルダをリポジトリのルートからの相対パス(analytics など)で設定してください。ファイルがルートにある場合は空欄にします。The tools for this connection took too long to start
The tools for this connection took too long to start
Self-host の初回接続ではリポジトリのクローンとパッケージのインストールを行うため、数分かかることがあります。1 分ほど待ってから接続し直してください。
コンパイルまたはプレビューがデータベースエラーで失敗する
コンパイルまたはプレビューがデータベースエラーで失敗する
CloudThinker が PostgreSQL に到達できないか、ユーザーにアクセス権がありません。ホスト、ポート、データベース、パスワード、ファイアウォールが CloudThinker を許可していること、そしてモデルが読み取るスキーマに対してユーザーが
USAGE と SELECT を持っていることを確認してください。セキュリティ
- 最小権限 — エージェントがユースケースに必要な権限のみを付与します。まず読み取り専用から始め、後から拡張してください。
- デフォルトで読み取り専用 — エージェントにこの接続で変更を行わせる場合を除き、読み取り専用の認証情報を使用してください。
- 認証情報のローテーション — 通常のスケジュールに従ってキーとトークンをローテーションしてください。接続を更新すると、CloudThinker が新しい値を自動的に取得します。
- オフボーディング時に失効 — 接続を削除するか、チームメンバーが退職する際には、プロバイダー側で認証情報を無効化してください。
- 読み取り専用のウェアハウスユーザーを使う — プレビューはこのユーザーとして
SELECTクエリを実行し、dbt はコンパイル時にプロジェクトのフックを実行します。USAGEとSELECTだけを付与してください。 - リポジトリトークンの範囲を絞る — 1 つの dbt リポジトリだけを読み取れる GitLab デプロイトークンまたは GitHub Fine-grained トークンを使用してください。
関連
PostgreSQL
読み取り専用ユーザーでウェアハウスに直接接続します。
接続の概要
すべての接続と、CloudThinker がプライベートなサービスに到達する方法を確認します。