Tokyo dbt Meetup #10 dbt Cloudユーザー会 & パネルディスカッション

dbt Cloudの利用ケース、CI/CDの工夫、今後注目の機能に関して登壇者の方々といっしょにパネルディスカッションをしませんか？

株式会社タイミー、株式会社MonotaRO、and roots株式会社、Stable株式会社の方々にご登壇を頂きました。

Transcript

1. Tokyo dbt Meetup #10 Host: dbt Tokyo 2024-10-24 | #local-tokyo
2. Agenda 1 コミュニティの紹介 19:00-19:05 PM 4 dbt Cloudの注目の機能 / 改善点は？ 20:05-20:35 PM パネルディスカッション 2 教えて！ dbt Cloudの利便性と利点 19:05-19:35 PM パネルディスカッション 5 交流会 20:40-21:30 PM 3 CI/CDの工夫と運用上のベ スプラは？ 19:35-20:05PM パネルディスカッション
3. dbt Community Slackに参加しよう 参加方法: getdbt.com/community チャンネルを探そう : #local-tokyo 3
4. Whatʼs going on in the dbt Community? ◆ Upcoming events ◆ New dbt releases ◆ Company news ◆ Hot topics in the community
5. 注意事項
6. 質問や感想は Xの #dbt_tokyo にお願いします 写真OKです（執務エリア方向はNGです）
7. Todayʼs presenter #1 谷口 健太（たぬ） アナリティクスエンジニア and roots株式会社
8. Todayʼs presenter #2 土川 稔生 DRE G PdM 株式会社タイミー
9. Todayʼs presenter #3 宮﨑 一輝(ikki) 代表取締役（&データエンジニア） stable株式会社
10. アナリティクスエンジニアリンググループ マネージャー Todayʼs presenter #4 吉本 直人 株式会社MonotaRO
11. Todayʼs presenter #5 瀧本 晋也 データプロダクトエンジニア 株式会社10X
12. まずは本題に入る前に アイスブレイク をします
13. dbt Coreを使っている人？
14. dbt Cloudを使っている人？
15. それでは パネルディスカッションを 始めます
16. 教えて！ dbt Cloudの利便性と利点
17. dbt Cloud のどの機能が、日々の作業において最も役立っていると感じますか？ Job scheduler 機能 dbt コマンドの実行を、Cron による定期実行や イベントトリガーで自動化できる。 データチームはワークフローのためのインフラを 構築・保守する必要がなくなり、データ活用やデータコント ロールに専念できる。個人的には、データ文化の形成期 から利用することをオススメします。 https://cloud.getdbt.com/deploy/ACCOUNT_ID/projects/PROJECT_ID/jobs/JOB_ID 形成期 醸成期 成熟期 データ文化の形成期では、データの有用性が組織に根付いていな いため、データチームが率先してビジネス価値の創出を行い、デー タ活用の効果を示す必要がある。 dbt Cloud を活用したことで、形 成期において少ないエンジニアリングリソースでも、信頼性の高 いデータパイプラインを迅速に構築できた 。
18. 手軽にエンジニアリングプロセスを踏める all in oneパッケージであること エディタ 差分、レビュー管理 オンプレの自作ツールや他のツールと比較して、 dbt Cloudを選んだ理由は何ですか？
19. オンプレの自作ツールや他のツールと比較して、 dbt Cloudを選んだ理由は何ですか？ テスト 実行環境 手軽にエンジニアリングプロセスを踏める all in oneパッケージであること
20. データメッシュを意識した機能 (dbt mesh)があること Quickstart with dbt Mesh オンプレの自作ツールや他のツールと比較して、 dbt Cloudを選んだ理由は何ですか？ Cross-Project reference dbt Explorer
21. dbt Cloudを使用する前後で、作業効率や品質等にどのような変化がありましたか？ （dbt-coreとの比較を中心に ...） - Gitに慣れてなくても何となく使い始められる - データアナリストの人に普及するなら便利 - dbt Cloudは、Artifactsの管理などを全部裏側で勝手 にやってくれるので、便利機能が最初から使える - CI/CDのパートで話します - ExploreやIDEで色んな情報が見れる！ - PRに変更後のリネージの画像を貼って、 レビューしやすくしたりしている - dbt-power-userのリネージより見やすい - 直接データ品質向上に繋がる例はあまりないかも - 無駄なCI実装をやらなくて済むので、品質に時 間を割けるという、間接的な効果はある ▼dbt Cloud IDEのリネージ ▼dbt-power-userのリネージ
22. CI/CDの工夫と 運用上のベスプラは？ 22
23. CI/CDの導入において、どのような課題に直面しましたか？ それをどう解決しましたか？ “課題” • dbt cloud上では、権限がある人がjob, schedule設定を自由にできるため、人数 が増えてくると想定外の設定がされ、エラーや障害につながっていた • dbt cloud上のjob設定で、環境の設定が少し複雑であるため、ミスも起こりがち であった (target=prod, dev的なやつ) • どのjob, schedule設定が現在されているのか検索性もいまいちであった
24. CI/CDの導入において、どのような課題に直面しましたか？ それをどう解決しましたか？ “解決策” • Terraformでjob, scheduleを設定するとCI/CDが走って定義がdbt Cloudにapplyさ れるようにし、dbt Cloud上では直接設定に触れないようにした
25. CI/CDの導入において、どのような課題に直面しましたか？ それをどう解決しましたか？ “効果” • Terraform経由でapplyされることで、レビューも挟むため想定外の設定がされる ことはなくなった • dbt Cloudアカウントを持っていなくてもjob, schedule設定が可能になった • コード化されているため、ある程度検索性も上がった
26. dbt Cloud を CI/CD に組み込む際に工夫しているポイントは何ですか？ Webhooks でプチ拡張していること Webhookes を使用すると、dbt のジョブ実行状態を外部システムに通知 できる。ジョブの開始、完了、失敗などのイベントが発生した際に、指定し たエンドポイントに HTTP リクエストを送信する。 https://cloud.getdbt.com/settings/accounts/ACCOUNT_ID/pages/webhooks ② BI ツール（Steep）のデータ更新 ① エラーの詳細を Slack に投稿
27. ベストプラクティスとして推奨したい設定やフローはありますか？ Slim CI 変更した モデル 下流の モデル 変更に 関係ない モデル 変更に 関係ない モデル 下流の モデル 上流の モデル 実行される 実行される 実行される 実行されない 実行されない 実行されない Pull Request作成時に、変更のあったモデルのみを実 行してくれ、変更内容の確認が簡単にできる CI - これをdbt-coreでやろうとするとかなり大変 - Artifactsの管理が必須になる - dbt Cloudは、Artifactsの管理などを全部裏側 で勝手にやってくれるので簡単に実現できる - さらに、PRごとにデータベース・スキーマを自動 作成してくれるので、 PRごとの実行結果をレ ビュワーが確認しやすい
28. ベストプラクティスとして推奨したい設定やフローはありますか？ Merge Job Pull Requestマージ時に、 変更のあったモデルのみを実行してくれる - Slim CIと同様に、マージした PRで変更のあった モデルのみを実行してくれる - この機能が登場する前は、手動で実行したり、 翌日まで待ったりしていたが、何も考える必要 がなくなった PRマージ Merge Job DWH トリガー デプロイ
29. dbt Cloudの注目の機能 / 改善点は？
30. 現在、最も注目している dbt Cloudの新機能や改善点は何ですか？ https://www.getdbt.com/blog/coalesce-2024-product-announcements より抜粋
31. 現在、最も注目している dbt Cloudの新機能や改善点は何ですか？ • model query history (preview) https://docs.getdbt.com/docs/collaborate/model-query-history
32. 現在、最も注目している dbt Cloudの新機能や改善点は何ですか？ • Data Delivery Insights Coalesce 2024: Increasing ROI with dbt Cloud
33. これまでの機能で、特に効果的だったものはどれですか？その理由は？ dbt Explorerが楽チンで使いやすい dbt Explorerとは？ プロジェクトのリソース（モデル、テスト、メトリクスな ど）、それらのリネージ、およびモデルの消費等を確認 可能 特別な設定無しでカタログサービスの利用が可能 dbtのジョブの実行結果（artifactやcatalog）を利用し、 モデルに紐づくドキュメントや最新のテスト結果がぽち で確認可能。artifactを外部に送信するような処理の面 倒をみなくて良い dbt Cloud Job artifacts.json catalog.json dbt Explorer
34. データメッシュ的なデータ管理を進められる データ管理に重要なことは事業と組織の理解だった（Data Engineering Study #11 発表資料） モノタロウの事業やドメインの複雑さから 中央集権的なデータ管理 → 自律分散型へのデータ管理へ dbt Cloudが、今後のプロジェクトや運用にどのように影響すると思いますか？
35. dbt Cloudが、今後のプロジェクトや運用にどのように影響すると思いますか？ 体制面としてのアナリティクスエンジニアリングと 仕組み面でのdbt cloudで自律分散管理を推進 データメッシュ的なデータ管理を進められる データ基盤の分散管理を考えるのに チームトポロジーを活用して整理した話 From Silos to Synergy: Cross-Platform dbt Mesh Elevates Data Governance and Teamwork | by IntellaNOVA | Oct, 2024 | Medium
36. dbt Cloudに興味がありますか？ デモを予約 dbtのエキスパートと簡単な面談を行い、dbt Cloudがどのようにチームをサポートできるか評価します。その後、dbt Cloudの利点を最大限に活用する方法を紹介するライブデモをご覧いただけます。 開発をスピードアップ 自動化、モジュール化、再現性により、質 の高い分析を迅速に提供。 データ品質と信頼性の向上 自動テスト、ドキュメント化、透明性によ り、ビジネス指標の信頼性を保証します。 チームの団結 PythonやSQLによる開発でボトルネックや サイロを排除し、アナリストやデータエン ジニアが協力してデータを変革できる環境 を整備します。
37. Thank you Follow up message, ex: “This presentation recording will be sent out shortly”
38. 注意事項