データ基盤管理の考え方 〜dbtの極意〜 Lunch LT

Transcript

1. ©10X, Inc. All Rights Reserved. dbt Cloudで簡単に始めるデータパイプライン 開発のススメ
 データ基盤管理の考え方 〜dbtの極意〜 Lunch LT
2. ©10X, Inc. All Rights Reserved. 自己紹介
 2 所属：　　 株式会社10X
 氏名：　　 瀧本 晋也
 職種：　　 データプロダクトエンジニア
 居住：　　 山梨
 Twitter：　@takimo
 最近はTokyo dbt Meetupのオーガナイザーを やってます

3. ©10X, Inc. All Rights Reserved.
4. ©10X, Inc. All Rights Reserved.
5. ©10X, Inc. All Rights Reserved. 今日の話
 • まずの前提 ◦ dbt Cloudが全てにおいて万能なわけではない ◦ 他の方法の比較やチームで相談し、適切に技術選定をしてください • 話すこと ◦ データの活用を目指し継続的なモデル開発、データパイプライン開発をしていく上で dbt Cloudを活用した「dbtの運用負荷の軽減」や「チーム開発体験を向上」していく ための要素を実際のdbt Cloudを使用して紹介 ◦ 実際に導入する際のパターンや費用感のお話 • 話さないこと ◦ セマンティックレイヤー等の先進的な機能の具体的な話
6. ©10X, Inc. All Rights Reserved. そもそもdbt Cloudって
 何ができるの？

7. ©10X, Inc. All Rights Reserved. dbt Cloudの特徴
 • ワークフローの運用に手間を掛けなく、dbtがすぐに使える ◦ 開発環境やデプロイ環境で使用するdbtのバージョンや実行環境を統一的に 管理可能 ◦ データパイプラインの開発にいちはやく専念ができる • パイプラインの効率的なチーム開発を支援 ◦ dbtの統合開発環境で環境準備やレクチャーのコスト低下 ◦ Githubを中心としたコード管理との開発、デプロイ処理が連携 ◦ デプロイジョブの処理はスケジュール実行、手動実行が可能 ◦ ジョブの実行履歴、成否Slack通知機能あり • シンプル使いも、多機能に使いたい人へのサポートも ◦ 直近セマンティックレイヤーの拡張機能のサポートを予定 ◦ 部分的に使うこともできれば、dbt Coreとの開発体験の融合も可能
8. ©10X, Inc. All Rights Reserved. そうは言っても
 よくわからないよ

9. ©10X, Inc. All Rights Reserved. 今日はdbt Cloudを使った
 データパイプライン開発の
 一連の流れをデモします

10. ©10X, Inc. All Rights Reserved. デモの前提
 • あなたにあるECサイトのデータ分析基盤を分析で きるようにするためのミッションが生まれました • 今後一緒に働くメンバーや、データアナリストのメン バーと共に安全に開発、リリースできるための素地 を作りたいなと思っています • ただし歴史的な経緯で今のレポートは非常にメンテ ナンスがし辛い状態です
11. ©10X, Inc. All Rights Reserved. デモの流れ
 レガシーな レポートク エリを確認 クエリフォー マッター適 用 処理の分解 CI/CD プルリクエ スト
12. ©10X, Inc. All Rights Reserved. 実演

13. ©10X, Inc. All Rights Reserved. dbt Cloudにメリットを感じて導入するには？
 • まずはDeveloperプランで1ライセンスで無料で検証してみる ◦ モデルのデプロイ数の上限等があるため、小規模でなければ本番運用 は難しい • 本格的にチームや本番で投入したい場合はTeamプラン ◦ かなりの規模のデプロイ数（15000/month）までカバー可能なので基 本的にはこのプランでいける ◦ 8シートまで購入が可能、ただしIDEやジョブの管理をしたい人のみ有料 で、それ以外の人はローカルでdbt Coreでの開発も併用可能 ◦ セマンティックレイヤーの機能も利用可能 • それ以上はエンタープライズプランで検討
14. ©10X, Inc. All Rights Reserved.