#TROCCOUG dbt Cloud+TROCCO

「#TROCCOUG dbtの概要からdbt連携の活用術まで一気に学びたい」にて、dbt Labs, Inc. Aaron Mcgrath氏にお話しいただいた際の資料です。

イベントページ
https://troccoug.connpass.com/event/326006/

Transcript

1. dbt Cloud + TROCCO 1
2. dbtの商品概要 2
3. dbt 顧客基盤の成長 40,000+ ご利用者 4700+ dbt Cloud のご利用者 100,000+ Slack コミュニティー ユーザ数 3
5. サイロ化 長い間、データ開発業務は一貫性のないプロセスが発生しやすく、 データの品質と信頼性が低下 トラブルシューティングが大変 ? ? データの信頼性が低い webhook_events_source salesforce_source google_analytics_source sql_server_source postgres_source csv_source json_source kafka_events_source weather_data_source census_data_source
6. BI - ML - Ops dbt は、SQL スキルを持つすべての人が分析プロセスをテスト、リリー ス、文書化できるようにする開発プロセスを標準化 Sources Applications Databases Files Events Functions webhook_events_source salesforce_source google_analytics_source sql_server_source postgres_source csv_source json_source kafka_events_source weather_data_source census_data_source staging JSON Event Data JSON Response Data CSV + JSON Files Database Tables Application Data
7. クラウドデータベー スの登場に伴い、 データの可用性を 向上、 一箇所で管理する のが楽になった 7
8. 8 一貫性のない 未知のプロセス プロセスのボトルネック 「数値が合わないん ですけど？」 「いつ更新された？」 「まだですか？」 データ量が増える一方で、ビジネスの知識とデータの信頼性は....
9. 9 エンジニアとアナリストでは、同じ質問に答えるためのツールが異なる オーバーヘッドを増大させ、データの信頼性に障壁となる可能性がある Disjointed Table Structure Data Engineers Stored Procedures Ad Hoc BI Queries Analysts
10. dbt Cloudの登場 10
11. Unite on SQL SQLが共通言語 11 プログラマーの様に • 品質テスト • バージョンコントロール • ドキュメント スピードと信頼性の促進 dbtのスタンス: プログラマーの様に 開発
12. dbtは、データ開発 作業を安心につな ぎ、チームが一丸と なってより迅速に作 業を進められるよう にします。 dbtは、全社員が 信頼できるデータ を構築し、新たな 価値につなげる。 12 開発スピードを向上 Reusable SQL, version control, and web-based IDE ダウンタイムの削減 CI/CD, testing and automated dependency management 01 一貫性のあるデータ Business-accessible documentation builds trust and . 02 03 Staging + Core Marts Fit for Purpose Analytics Reporting, Operations, and ML use cases
13. 既存のクラウド データプラット フォームを活用 し、すべての主要 なウェアハウスに すぐに対応できま す。 13 Data Quality Orchestration Data Ingestion Other Cloud Data Platform Analysis & Visualization Data Catalog & Active Metadata Operational Analytics Develop Test & Document Deploy
14. 最新のデータ・アーキテクチャー データソース インジェスト クラウド保存 トランスフォーメーション アウトプット・可視化 TROCCO + dbt Cloud
15. Dbt 機能のロードマップ 15
16. Low-code visual editor ドラッグアンドドロップで使いやすい GUI (* Beta) dbt Core ＋Cloudの複数のご利用方法 dbt Cloud CLI Cloud CLI を使用して VSCode、IntelliJ などで開発する dbt Cloud IDE 高速ブラウザIDE (New!)
17. CONFIDENTIAL 2024年のイノベーションのテーマ コストを削減する データの信頼 を創造 データパイプライ ンの実装を迅速 化する 組織データの管理を楽に 17
18. CONFIDENTIAL dbt Cloud はデータ ワークフローの複雑 さを楽にします Central Active Metadata Framework デザイン dbt Mesh 発達 Cloud CLI & IDE 導入 スケジューラと CI 可観測性 Observability 発見する dbt Explorer 整列 dbt Semantic Layer
19. CONFIDENTIAL dbt メッシュ 19 前 後 🚢 | Ship Faster 💰 | Reduce Costs ✅ GA | Q2 ʻ24
20. CONFIDENTIAL dbt Explorer 20 20 • すべての dbt モデルを視覚化して検索する • 非常に高速なUI • dbt Mesh と連携してエンドツーエンドの提供 すべての dbt Cloud プロジェクトをすぐに理解する 🤝 | Build Trust 🚢 | Ship Faster ✅ GA
21. CONFIDENTIAL 一貫した組織指標 21 21 🤝 | Build Trust 🚢 | Ship Faster ✅ GA dbt Semantic Layer 信頼性の高い指標を 1 か所から入手でき • 信頼を築く • 重複作業を減らす • 一元的なセキュリティ管理 • 自動で効率的なクエリ
22. CONFIDENTIAL dbt Semantic Layer Ecosystem Analytics tools Data platforms
23. CONFIDENTIAL 23 23 🤝 | Build Trust 🚢 | Ship Faster ✅ GA dbt Unit Tests
24. CONFIDENTIAL 24 24 Partnerships Snowflake native app Snowflake Cortex AI への統合により、 dbt Cloud の検出機能とセマンティック機能にアクセスできます 🤝 | Build Trust 🚢 | Ship Faster 💰 | Reduce Costs ✅ GA | Q2 ʻ24
25. CONFIDENTIAL • 自然言語で質問し、正確で一貫し た回答を得る • より迅速な意思決定、より強い自 信、より良い連携 25 25 Partnerships Ask dbt 🤝 | Build Trust 🚢 | Ship Faster ✅ Open Beta | Q2 ʻ24 dbt セマンティック レイヤー <> Snowflake Cortex AI 統合により、信頼できる回答をより迅速に 創造
26. ご清聴 ありがとうございます 26