Upgrade to Pro — share decks privately, control downloads, hide ads and more …

データ基盤管理の考え方 〜dbtの極意〜 Lunch LT

10xinc
August 22, 2023

データ基盤管理の考え方 〜dbtの極意〜 Lunch LT

10xinc

August 22, 2023
Tweet

More Decks by 10xinc

Other Decks in Programming

Transcript

  1. ©10X, Inc. All Rights Reserved.
    dbt Cloudで簡単に始めるデータパイプライン
    開発のススメ

    データ基盤管理の考え方 〜dbtの極意〜 Lunch LT

    View full-size slide

  2. ©10X, Inc. All Rights Reserved.
    自己紹介

    2
    所属:   株式会社10X

    氏名:   瀧本 晋也

    職種:   データプロダクトエンジニア

    居住:   山梨

    Twitter: @takimo

    最近はTokyo dbt Meetupのオーガナイザーを
    やってます


    View full-size slide

  3. ©10X, Inc. All Rights Reserved.

    View full-size slide

  4. ©10X, Inc. All Rights Reserved.

    View full-size slide

  5. ©10X, Inc. All Rights Reserved.
    今日の話

    ● まずの前提
    ○ dbt Cloudが全てにおいて万能なわけではない
    ○ 他の方法の比較やチームで相談し、適切に技術選定をしてください
    ● 話すこと
    ○ データの活用を目指し継続的なモデル開発、データパイプライン開発をしていく上で
    dbt Cloudを活用した「dbtの運用負荷の軽減」や「チーム開発体験を向上」していく
    ための要素を実際のdbt Cloudを使用して紹介
    ○ 実際に導入する際のパターンや費用感のお話
    ● 話さないこと
    ○ セマンティックレイヤー等の先進的な機能の具体的な話

    View full-size slide

  6. ©10X, Inc. All Rights Reserved.
    そもそもdbt Cloudって

    何ができるの?


    View full-size slide

  7. ©10X, Inc. All Rights Reserved.
    dbt Cloudの特徴

    ● ワークフローの運用に手間を掛けなく、dbtがすぐに使える
    ○ 開発環境やデプロイ環境で使用するdbtのバージョンや実行環境を統一的に
    管理可能
    ○ データパイプラインの開発にいちはやく専念ができる
    ● パイプラインの効率的なチーム開発を支援
    ○ dbtの統合開発環境で環境準備やレクチャーのコスト低下
    ○ Githubを中心としたコード管理との開発、デプロイ処理が連携
    ○ デプロイジョブの処理はスケジュール実行、手動実行が可能
    ○ ジョブの実行履歴、成否Slack通知機能あり
    ● シンプル使いも、多機能に使いたい人へのサポートも
    ○ 直近セマンティックレイヤーの拡張機能のサポートを予定
    ○ 部分的に使うこともできれば、dbt Coreとの開発体験の融合も可能

    View full-size slide

  8. ©10X, Inc. All Rights Reserved.
    そうは言っても

    よくわからないよ


    View full-size slide

  9. ©10X, Inc. All Rights Reserved.
    今日はdbt Cloudを使った

    データパイプライン開発の

    一連の流れをデモします


    View full-size slide

  10. ©10X, Inc. All Rights Reserved.
    デモの前提

    ● あなたにあるECサイトのデータ分析基盤を分析で
    きるようにするためのミッションが生まれました
    ● 今後一緒に働くメンバーや、データアナリストのメン
    バーと共に安全に開発、リリースできるための素地
    を作りたいなと思っています
    ● ただし歴史的な経緯で今のレポートは非常にメンテ
    ナンスがし辛い状態です

    View full-size slide

  11. ©10X, Inc. All Rights Reserved.
    デモの流れ

    レガシーな
    レポートク
    エリを確認
    クエリフォー
    マッター適

    処理の分解 CI/CD
    プルリクエ
    スト

    View full-size slide

  12. ©10X, Inc. All Rights Reserved.
    実演


    View full-size slide

  13. ©10X, Inc. All Rights Reserved.
    dbt Cloudにメリットを感じて導入するには?

    ● まずはDeveloperプランで1ライセンスで無料で検証してみる
    ○ モデルのデプロイ数の上限等があるため、小規模でなければ本番運用
    は難しい
    ● 本格的にチームや本番で投入したい場合はTeamプラン
    ○ かなりの規模のデプロイ数(15000/month)までカバー可能なので基
    本的にはこのプランでいける
    ○ 8シートまで購入が可能、ただしIDEやジョブの管理をしたい人のみ有料
    で、それ以外の人はローカルでdbt Coreでの開発も併用可能
    ○ セマンティックレイヤーの機能も利用可能
    ● それ以上はエンタープライズプランで検討

    View full-size slide

  14. ©10X, Inc. All Rights Reserved.

    View full-size slide