Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Coalesce 2025まとめ! — Fusionのこれまで、今、そしてこれから

Avatar for myshmeh myshmeh
October 22, 2025
290

Coalesce 2025まとめ! — Fusionのこれまで、今、そしてこれから

2025年10月22日開催の「Tokyo dbt Meetup #17」で発表された、dbt Fusion engineに焦点を当てた「Coalesce 2025」の総まとめです 。

Coalesce 2025で発表された、開発者の体験、AI、ルールの「3つのRewrite」に基づく最新機能と展望を詳細に解説します:
- Developer Experience (UDFs, 拡張機能): UDFsの安全な管理や、カラムリネームの自動反映など、ローカル開発の効率を劇的に向上させる機能 。
- Rewrite with AI (dbt MCP Server): 言語サーバープロトコル(LSP)の技術資産が、dbt MCP Serverを通じてAIエージェントの開発体験向上にも貢献している仕組み 。
- Rewrite the Rules (State-aware orchestration, Efficient Testing): コードやデータの変更を検知してビルドを最適化するSAOや効率的なテスト機能による、コストと運用効率の改善(ベータ版では最大64%のコスト削減実績あり)。

さらに、model overlapやPII classifiersなどの将来の機能アイデア 、およびOpen Data Infrastructure構想におけるFusion x Icebergの重要な役割 についてもご紹介します。

Avatar for myshmeh

myshmeh

October 22, 2025
Tweet

Transcript

  1. Copyright stable, inc. All rights reserved.
 Coalesce 2025まとめ! — Fusionのこれまで、今、そしてこれから


    2025.10.22 Tokyo dbt Meetup #17
 1 stable株式会社
 データエンジニア 三角勇貴

  2. Copyright stable, inc. All rights reserved.
 本日お話しすること
 4
 Opening Keynote,

    個別セッション発表の Fusion機能・展望をお話しします。 
 - はじめに
 - Fusionのこれまで 
 - Fusionの今(3 Rewritesの紹介)
 - Fusionのこれから 
 - まとめ

  3. Copyright stable, inc. All rights reserved.
 1. はじめに
 2. Fusionのこれまで

    
 3. Fusionの今(3 Rewritesの紹介)
 4. Fusionのこれから 
 5. まとめ
 5
  4. Copyright stable, inc. All rights reserved.
 自己紹介
 6 三角勇貴( @myshmeh)


    stable株式会社 データエンジニア
 - 略歴 - プライバシーガバナンス → ソフトウェアエンジニア → CS修士 → データエンジニア - 2025年1月にstable株式会社へ入社 - 裏稼業 - dbt Fusionの守人 - 休日 - 妻とモンハンエンジョイ
  5. Copyright stable, inc. All rights reserved.
 会社概要 7
 わたしたちは データエンジニアリング領域のクライアントワーク

    を中心に、 
 「企業のデータ活用の成功」 を支援する会社 です。
 会社名
 stable株式会社
 設立
 2023年9月
 所在地
 〒151-0051 東京都渋谷区千駄ケ谷
 5丁目15−5 DSビル703
 代表取締役 
 宮﨑 一輝
 従業員数
 正社員3名、業務委託 12名(2025年9月時点)

  6. Copyright stable, inc. All rights reserved.
 データ基盤整備のプロの知見やリソースを、 1ヶ月単位で提供しています。 
 stableの提供サービス


    8
 プロの知見・リソースがすぐに得られる 
 - 多数の案件を経験するプロの知見を得られる 
 - 実装まで行うので、社内にリソースがなくても OK
 
 
 1ヶ月ごとの月額制で柔軟な支援体制 
 - 見積もりが発生せず、すぐプロジェクトを開始できる 
 - 1ヶ月ごとにコミット量の調整が可能 

  7. Copyright stable, inc. All rights reserved.
 案件獲得も順調なので、データエンジニアの方の採用を強化中! 
 データエンジニア募集中 


    9
 *1: Pitta <https://pitta.me/matches/scbUsnxgXYJd>
 *2: note <https://note.com/ikki_mz >
 \ カジュアル面談募集中 /
 \ 会社のことが分かる noteも書いてます /

  8. Copyright stable, inc. All rights reserved.
 1. はじめに
 2. Fusionのこれまで

    
 3. Fusionの今(3 Rewritesの紹介)
 4. Fusionのこれから 
 5. まとめ
 10
  9. Copyright stable, inc. All rights reserved.
 Fusionのこれまで – Fusionとは Fusionは次世代のdbtで、SQL実行環境を内包している。

    つまり、dbt-coreがDWHに依存していたSQLのコンパイル・実行の機能を持つ! 11
 ⚠ コンパイルに関して、便宜上関連部分のみ抽出し、単純化して表現しています。 意味
 チェック
 文法
 チェック
 コンパイル
 F✦SION
 dbt-core
 入力
 実行
 SQL文
 抽象構文木
 論理実行計画
 データ
 STEP
 ARTIFACT

  10. Copyright stable, inc. All rights reserved.
 Fusionのこれまで – 既存機能おさらい 1/3

    直接エディタ上でSQLの正しさをチェックできるようになった! 13
 関数利用のチェックに DWHは不要! 文法チェックに DWHは不要!
  11. Copyright stable, inc. All rights reserved.
 Fusionのこれまで – 既存機能おさらい 3/3

    カラムリネージで、カラムがどう加工されてきたか一目でわかるようになった!🐢 15

  12. Copyright stable, inc. All rights reserved.
 1. はじめに
 2. Fusionのこれまで

    
 3. Fusionの今(3 Rewritesの紹介)
 4. Fusionのこれから 
 5. まとめ
 18
  13. Copyright stable, inc. All rights reserved.
 1. User-defined Functions (UDFs)


    2. Compare Changes (Coming Soon)
 3. Column rename propagation
 Fusionの今(3 Rewritesの紹介)
 19
 3つのRewritesから、新機能を紹介する。 
 Developer Experience (UDFs, 拡張機能)
 AI
 Rules (state-aware orchestration)

  14. Copyright stable, inc. All rights reserved.
 UDFs – ユースケース
 21

    Jinja macroと違い、UDFsはDWHやBIツールからも利用できるため、 ad hoc分析 等、dbt外でも使うロジックに最適。 
 dbt内利用可 
 dbt外利用可 
 Jinja
 macro
 UDFs

  15. Copyright stable, inc. All rights reserved.
 UDFs – 嬉しいポイント
 22


    *1 具体的な課題感は、「BigQuery上にあるUDFをdbt macroで管理するようにした話」を参照 (https://tech.yappli.io/entry/managing-bigquery-udf-with-dbt-macro) UDFsをdbtで管理することで、ナイーブに DWHへ作成するよりも、安全な開発ライフ サイクルを組める (*1)。
 開発フェーズ 
 レビュー 
 リリース 
 before: 
 - 作成/変更したUDFがPR diffに記載されない
 - PR説明で別途実装を共有する必要があった 
 after:
 - UDFsがPR diffに記載され、レビュー可能に 
 嬉しいポイント 
 before: 
 - dbt run前に本番環境にUDFsを手動作成
 - 忘れるとエラーの原因に 
 after:
 - dbt runするだけでUDFsのリリースが可能に 

  16. Copyright stable, inc. All rights reserved.
 1. User-defined Functions (UDFs)


    2. Compare Changes (Coming Soon)
 3. Column rename propagation
 Fusionの今(3 Rewritesの紹介)
 23
 3つのRewritesから、新機能を紹介する。 
 Developer Experience (UDFs, 拡張機能)
 AI
 Rules (state-aware orchestration)

  17. Copyright stable, inc. All rights reserved.
 Compare Changes (Coming Soon)

    – 概要
 24 Compare Changesは、開発用と本番用スキーマのモデルを比較できる。 

  18. Copyright stable, inc. All rights reserved.
 Compare Changes (Coming Soon)

    – 仕組み
 25 *1 “And yep, since it needs a deferral manifest we require a platform account to auto defer from.“ https://getdbt.slack.com/archives/C088YCAB6GH/p1760649544445949?thread_ts=1760541502.9 33869&cid=C088YCAB6GH (推測) 内部ではDefer機能を通じて manifestを参照し、比較先のモデルを特定して いる(*1)。したがって、任意の環境同士を比較可能と思われる。 
 DEV.モデルA
 STG.モデルA
 PROD.モデルA
 compare
 compare
 compare

  19. Copyright stable, inc. All rights reserved.
 Compare Changes (Coming Soon)

    – ユースケース・注意点 
 26 *1https://getdbt.slack.com/archives/C088YCAB6GH/p1760649544445949?thread_ts=1760541502.933869&cid=C088YCAB6G H
 *2https://getdbt.slack.com/archives/C07M7JJLEJW/p1760461997386909?thread_ts=1760461248.671799&cid=C07 M7JJLEJW 差分理解に重宝しそうだが、 VSCode拡張でPaying dbt Platformユーザのみに提 供される模様。 
 - ユースケース 
 ◦ 予期しないバグの防止 
 ◦ PRレビューの補足説明 
 - 注意点
 ◦ Fusion CLIで提供なし, VSCode拡張のCompareタブでののみ利用可能 (*1)
 ◦ Paying dbt Platformユーザのみ対象 (*2)

  20. Copyright stable, inc. All rights reserved.
 1. User-defined Functions (UDFs)


    2. Compare Changes (Coming Soon)
 3. Column rename propagation
 Fusionの今(3 Rewritesの紹介)
 27
 3つのRewritesから、新機能を紹介する。 
 Developer Experience (UDFs, 拡張機能)
 AI
 Rules (state-aware orchestration)

  21. Copyright stable, inc. All rights reserved.
 Column rename propagation
 28

    カラム名の変更が、他の参照箇所にも反映されるように! 
 ① F2でカラム名変更
 ② Cmd+Enterで変更範囲をプレビュー 

  22. Copyright stable, inc. All rights reserved.
 Developer Experience (UDFs, 拡張機能)


    AI
 Rules (state-aware orchestration)
 Fusionの今(3 Rewritesの紹介)
 29
 3つのRewritesから、新機能を紹介する。 
 ???

  23. Copyright stable, inc. All rights reserved.
 Column rename propagation
 31

    カラム名の変更が、他の参照箇所にも反映されるように! 
 ① F2でカラム名変更
 ② Cmd+Enterで変更範囲をプレビュー 
 Column rename propagationって、 VSCode拡張で具体的にどう実装されてるのだろう?
  24. Copyright stable, inc. All rights reserved.
 1. 一般論 – 言語機能の実装アプローチ


    2. 各論 – dbt VSCode拡張のアプローチ
 Developer Experience (UDFs, 拡張機能)
 AI
 Rules (state-aware orchestration)
 Fusionの今(3 Rewritesの紹介)
 32
 3つのRewritesから、新機能を紹介する。 
 dbt VSCode 拡張の 仕組み
 コラム
  25. Copyright stable, inc. All rights reserved.
 言語機能の実装アプローチ – 課題
 33

    個別実装では、他エディターへのサポート毎に拡張機能の実装が必要 ...
 VSCode
 Vim
 Emacs
 カラムリネーム
 機能実装1
 カラムリネーム
 機能実装2
 カラムリネーム
 機能実装3
 - コード分析
 - カラム特定
 - 影響範囲特定
 - …

  26. Copyright stable, inc. All rights reserved.
 言語機能の実装アプローチ – LSPとは
 34

    Language Server Protocol (LSP)とは、開発ツール・言語機能を橋渡しする標準プ ロトコル。一度の実装で、複数エディタで言語特有の機能を利用可能に。 
 VSCode
 Vim
 Emacs
 LSPサーバ
 - コード分析
 - カラム特定
 - 影響範囲特定
 - …
 LSP

  27. Copyright stable, inc. All rights reserved.
 言語機能の実装アプローチ – LSPの通信詳細
 35

    開発ツールと LSPサーバが対話し、リアルタイムに言語機能を提供している。 
 DevTool
 LSP Server
 Request:textDocument/definition ユーザ: 
 use.cppで
 “Goto definition”
 を実行

  28. Copyright stable, inc. All rights reserved.
 言語機能の実装アプローチ – LSPの通信詳細
 36

    開発ツールと LSPサーバが対話し、リアルタイムに言語機能を提供している。 
 DevTool
 LSP Server
 Request:textDocument/definition Response:textDocument/definition DevTool:
 provide.cppの定義
 へ画面遷移
 ユーザ: 
 use.cppで
 “Goto definition”
 を実行

  29. Copyright stable, inc. All rights reserved.
 1. 一般論 – 言語機能の実装アプローチ


    2. 各論 – dbt VSCode拡張のアプローチ
 Developer Experience (UDFs, 拡張機能)
 AI
 Rules (state-aware orchestration)
 Fusionの今(3 Rewritesの紹介)
 37
 3つのRewritesから、新機能を紹介する。 
 dbt VSCode 拡張の 仕組み
 コラム
  30. Copyright stable, inc. All rights reserved.
 dbt VSCode拡張のアプローチ
 38 dbt

    VSCode拡張も、dbt-lspというLSPサーバを通じて、 Fusionの言語機能へ 
 アクセスしている! 
 VSCode
 Vim
 Emacs
 dbt-lsp
 - コード分析
 - カラム特定
 - 影響範囲特定
 - …
 LSP

  31. Copyright stable, inc. All rights reserved.
 dbt VSCode拡張のアプローチ – Column

    Rename Propagationの例
 39 では、Column Rename Propagationの挙動を解説していく。 
 シナリオ : 
 
 ユーザが、stg_supplies.sql内の”product_id”上で、 ”product_ident”にリネーム を試みた。

  32. Copyright stable, inc. All rights reserved.
 dbt VSCode拡張のアプローチ – Column

    Rename Propagationの例
 40 VSCodeは、カラム名変更の入力を受けて、 dbt-lspへ当該変更内容を送る。 
 VSCode
 dbt-lsp
 Request:textDocument/rename ユーザ: 
 ”product_ident”へ
 カラム名変更

  33. Copyright stable, inc. All rights reserved.
 dbt VSCode拡張のアプローチ – Column

    Rename Propagationの例
 41 dbt-lspは静的解析で変更カラムの全参照箇所を特定し、変更情報を返却する。 
 VSCode
 dbt-lsp
 Request:textDocument/rename Response:textDocument/rename ユーザ: 
 ”product_ident”へ
 カラム名変更

  34. Copyright stable, inc. All rights reserved.
 dbt VSCode拡張のアプローチ – Column

    Rename Propagationの例
 42 VSCodeは返却された変更情報を基に、カラム名変更のプレビューを表示する。 
 VSCode
 dbt-lsp
 Request:textDocument/rename Response:textDocument/rename VSCode: 
 変更対象マッピング 
 ユーザ: 
 ”product_ident”へ
 カラム名変更

  35. Copyright stable, inc. All rights reserved.
 dbt VSCode拡張のアプローチ – Column

    Rename Propagationの例
 43 VSCodeはカラム名変更を実施し、 dbt-lspへ当該変更を通知する。 
 VSCode
 dbt-lsp
 Notification:textDocument/didChange Request:textDocument/rename Response:textDocument/rename VSCode: 
 変更対象マッピング 
 VSCode: 
 カラム名変更の実行 
 ユーザ: 
 ”product_ident”へ
 カラム名変更

  36. Copyright stable, inc. All rights reserved.
 Developer Experience (UDFs, 拡張機能)


    AI
 Rules (state-aware orchestration)
 Fusionの今(3 Rewritesの紹介)
 45
 3つのRewritesから、新機能を紹介する。 
 dbt VSCode 拡張の 仕組み
 コラム ?

  37. Copyright stable, inc. All rights reserved.
 dbt VSCEの仕組み – LSP


    47 Language Server Protocol (LSP)とは、開発ツール・言語機能を橋渡しする標準プ ロトコル。一度の実装で、複数エディタで dbt特有の機能を利用可能に。 
 VSCode
 Vim
 Emacs
 dbt-lsp
 - ASTの走査
 - CTEの特定
 - クエリ作成
 - クエリ実行
 - …
 LSP
 LSPって、開発者の為だけのモノだろうか?
  38. Copyright stable, inc. All rights reserved.
 dbt VSCEの仕組み – LSP


    48 Language Server Protocol (LSP)とは、開発ツール・言語機能を橋渡しする標準プ ロトコル。一度の実装で、複数エディタで dbt特有の機能を利用可能に。 
 VSCode
 Vim
 Emacs
 dbt-lsp
 - ASTの走査
 - CTEの特定
 - クエリ作成
 - クエリ実行
 - …
 LSP
 人が使い易いデータ基盤は、AIにも使い易い様に、 人が開発し易い環境は、AIにも開発し易いのでは?
  39. Copyright stable, inc. All rights reserved.
 dbt VSCEの仕組み – LSP


    49 Language Server Protocol (LSP)とは、開発ツール・言語機能を橋渡しする標準プ ロトコル。一度の実装で、複数エディタで dbt特有の機能を利用可能に。 
 VSCode
 Vim
 Emacs
 dbt-lsp
 - ASTの走査
 - CTEの特定
 - クエリ作成
 - クエリ実行
 - …
 LSP
 人がLSPサーバで開発し易くなるなら、AIも...? AI・コード間のインターフェースは?? ???

  40. Copyright stable, inc. All rights reserved.
 dbt VSCEの仕組み – LSP


    50 Language Server Protocol (LSP)とは、開発ツール・言語機能を橋渡しする標準プ ロトコル。一度の実装で、複数エディタで dbt特有の機能を利用可能に。 
 VSCode
 Vim
 Emacs
 dbt-lsp
 - ASTの走査
 - CTEの特定
 - クエリ作成
 - クエリ実行
 - …
 LSP
 MCPサーバだっ!!! MCPサーバ

  41. Copyright stable, inc. All rights reserved.
 dbt VSCode 拡張の 仕組み


    Developer Experience (UDFs, 拡張機能)
 AI
 Rules (state-aware orchestration)
 Fusionの今(3 Rewritesの紹介)
 51
 3つのRewritesから、新機能を紹介する。 
 コラム
  42. Copyright stable, inc. All rights reserved.
 Rewrite with AI –

    dbt MCP server
 52 https://docs.getdbt.com/docs/dbt-ai/about-mcp dbt MCP serverに、Fusionの言語機能が追加された! 
 - ツール
 ◦ compile_sql (Remoteのみ): dbt projectと環境設定に応じて SQL文をコンパイルする
 ◦ get_column_lineage (Remote, Local): 特定のカラムに関するリネージを取得する 
 - ユースケース 
 ◦ オンボーディング、dbtモデル開発
 - 嬉しいポイント 
 ◦ ファイル全文よりも目的に沿った良質なコンテキストを AIに提供できる

  43. Copyright stable, inc. All rights reserved.
 Rewrite with AI –

    dbt MCP server
 53 get_column_lineage機能に既視感はないだろうか? 
 VSCode拡張でも、似たような機能があったような ...

  44. Copyright stable, inc. All rights reserved.
 get_column_lineage( stg_customers, customer_id )

    AIエージェント: Rewrite with AI – dbt MCP server
 54 https://github.com/dbt-labs/dbt-mcp/blob/30ac69f203c8c7bb77c2559390da9afbbbcc08a6/src/dbt_mcp/lsp/lsp_clie nt.py#L65 実は、dbt MCPはdbt-lspからカラムリネージ情報を取得している! 
 dbt MCP
 dbt-lsp

  45. Copyright stable, inc. All rights reserved.
 get_column_lineage( stg_customers, customer_id )

    AIエージェント: Rewrite with AI – dbt MCP server
 55 https://github.com/dbt-labs/dbt-mcp/blob/30ac69f203c8c7bb77c2559390da9afbbbcc08a6/src/dbt_mcp/lsp/lsp_clie nt.py#L65 dbt MCPはstg_customers.customer_idの全関連モデルを dbt-lspに要求する。 
 dbt MCP
 dbt-lsp
 Request:workspace/executeCommand
  46. Copyright stable, inc. All rights reserved.
 MCP:
 AIエージェントへ
 そのまま返却
 get_column_lineage(

    stg_customers, customer_id ) AIエージェント: Rewrite with AI – dbt MCP server
 56 https://github.com/dbt-labs/dbt-mcp/blob/30ac69f203c8c7bb77c2559390da9afbbbcc08a6/src/dbt_mcp/lsp/lsp_clie nt.py#L65 customer_idのリネージ情報が dbt MCPを通じ、AIエージェントへ返却される。 
 dbt MCP
 dbt-lsp
 Request:workspace/executeCommand Response:workspace/executeCommand
  47. Copyright stable, inc. All rights reserved.
 Rewrite with AI –

    まとめ
 57 開発者ツール向けに提供された LSPという技術資産が、 AI時代に活きている! 
 Fusionによる人の dbt開発体験向上は、 AIの開発体験向上を意味する! 
 VSCode
 Vim
 dbt MCP
 dbt-lsp
 - 対象モデルの解析
 - カラムリネージ
 作成
 - …
 LSP

  48. Copyright stable, inc. All rights reserved.
 dbt VSCode 拡張の 仕組み


    Developer Experience (UDFs, 拡張機能)
 AI
 Rules (state-aware orchestration)
 Fusionの今(3 Rewritesの紹介)
 58
 3つのRewritesから、新機能を紹介する。 
 コラム 1. State Aware Orchestration (PrPr) とは
 2. Tuned SAO Configuration (PrPr)
 3. Efficient Testing (Private Beta)
 4. SAOの嬉しいポイント

  49. Copyright stable, inc. All rights reserved.
 State Aware Orchestration (PrPr)

    とは — 概要
 59 dbt Platformの機能で、特別な設定なしに、コード・データ変更のあるモデルのみ buildできる。
 source a
 source b
 stg a
 dim ab
 stg b
 source c
 stg c
 fact abc
 new data
 新たに作成 
 再利用

  50. Copyright stable, inc. All rights reserved.
 dbt VSCode 拡張の 仕組み


    Developer Experience (UDFs, 拡張機能)
 AI
 Rules (state-aware orchestration)
 Fusionの今(3 Rewritesの紹介)
 60
 3つのRewritesから、新機能を紹介する。 
 コラム 1. State Aware Orchestration (PrPr) とは
 2. Tuned SAO Configuration (PrPr)
 3. Efficient Testing (Private Beta)
 4. SAOの嬉しいポイント

  51. Copyright stable, inc. All rights reserved.
 Tuned SAO Configuration (PrPr)


    61 Tuned SAO Configurationで、モデルの更新条件を設定することができる。 
 source a
 source b
 stg a
 dim ab
 stg b
 source c
 stg c
 fact abc
 新たに作成 
 再利用
 new data
 updates_on: all

  52. Copyright stable, inc. All rights reserved.
 dbt VSCode 拡張の 仕組み


    Developer Experience (UDFs, 拡張機能)
 AI
 Rules (state-aware orchestration)
 Fusionの今(3 Rewritesの紹介)
 62
 3つのRewritesから、新機能を紹介する。 
 コラム 1. State Aware Orchestration (PrPr) とは
 2. Tuned SAO Configuration (PrPr)
 3. Efficient Testing (Private Beta)
 4. SAOの嬉しいポイント

  53. Copyright stable, inc. All rights reserved.
 Efficient Testing (Private Beta)


    63 Fusionの静的解析により、コスト効率の良いテスト実行を実現する。 
 - Test Reuse: ロジック・データ更新の影響を評価し、上流モデルのテスト結果を 再利用
 - Test Aggregation: モデル中の複数テストを1クエリにまとめて実行

  54. Copyright stable, inc. All rights reserved.
 Efficient Testing (Private Beta)

    – Test Reuse
 64 Test Reuseは、ロジック・データ更新の影響を評価し、上流モデルのテスト結果を再 利用する。 
 customer_id A B order_id customer_id 1 A 2 A customer_id order_id A 1 A 2 B null customers
 orders
 left join
 unique
 (tested)
 unique
 (tested)

  55. Copyright stable, inc. All rights reserved.
 Efficient Testing (Private Beta)

    – Test Reuse
 65 Test Reuseは、ロジック・データ更新の影響を評価し、上流モデルのテスト結果を再 利用する。 
 customer_id A B order_id customer_id 1 A 2 A customer_id order_id A 1 A 2 B null customers
 orders
 left join
 unique
 (tested)
 unique
 (tested)
 unique
 ordersのテスト結果を 
 再利用できる! 

  56. Copyright stable, inc. All rights reserved.
 Efficient Testing (Private Beta)

    – Test Aggregation
 66 Test Aggregationは、モデル中の複数テストを1クエリにまとめて実行する。 
 select test1… select test2… select test3… フルスキャン 
 フルスキャン 
 フルスキャン 

  57. Copyright stable, inc. All rights reserved.
 Efficient Testing (Private Beta)

    – Test Aggregation
 67 Test Aggregationはモデル中の複数テストを一つのクエリにまとめて DWHで実行 する。フルスキャン回数を削減! 
 select test1… select test2… select test3… フルスキャン 
 with test1… , test2… , test3… select … 集約

  58. Copyright stable, inc. All rights reserved.
 dbt VSCode 拡張の 仕組み


    Developer Experience (UDFs, 拡張機能)
 AI
 Rules (state-aware orchestration)
 Fusionの今(3 Rewritesの紹介)
 68
 3つのRewritesから、新機能を紹介する。 
 コラム 1. State Aware Orchestration (PrPr) とは
 2. Tuned SAO Configuration (PrPr)
 3. Efficient Testing (Private Beta)
 4. SAOの嬉しいポイント

  59. Copyright stable, inc. All rights reserved.
 SAOの嬉しいポイント
 69 https://www.getdbt.com/blog/announcing-state-aware-orchestration Betaコホートでは

    29%、dbt Labs内プロジェクトでは 64%のコスト削減! 
 Betaコホート 
 dbt Labs内プロジェクト 

  60. Copyright stable, inc. All rights reserved.
 1. はじめに
 2. Fusionのこれまで

    
 3. Fusionの今(3 Rewritesの紹介)
 4. Fusionのこれから 
 5. まとめ
 70
  61. Copyright stable, inc. All rights reserved.
 ミクロなFusionのこれから
 72 *1 「Next-gen

    data development with dbt Fusion engine」より。 あくまで現状のアイデアとして発表があっただけで、実装が確定してるわけではありません。 紹介する機能や仕組みは、#dbt-fusion-engineやSDFの情報等に基づく推測です。 Fusionで検討中の機能アイデアを3つ簡単に紹介します。 (*1)
 1. model overlap
 2. PII classifiers
 3. local unit tests

  62. Copyright stable, inc. All rights reserved.
 ミクロなFusionのこれから – model overlap


    73 model overlapは、似たような dbtモデルコードを検知する機能アイデア。 
 AIエージェントの大量生成コードをリファクタするのに役立ちそう! 
 - アイデア概要
 ◦ 2つのモデルコードが、どれだけ近いのか数値化する 
 - 解決したい課題
 ◦ AIエージェントが大量生成したコードに、似た処理が散在 
 ◦ Lightdashでwrite-backしたコードに、似た処理が散在 

  63. Copyright stable, inc. All rights reserved.
 ミクロなFusionのこれから – model overlap,

    アプローチの推測
 74 *1 許容される編集は、ノード追加、変更、削除のみです。詳しくは、Tree Edit Distanceで検索! (推測)モデル AとモデルBのASTが同じになる最小ノード編集回数の小ささで、両モ デルの類似度を求めるのでは。 (*1)
 SELECT
 base_month
 revenue
 FROM
 revenue_monthly
 WHERE
 >=
 base_month
 ‘2025-01-01’
 SELECT
 base_month
 revenue
 FROM
 revenue_monthly
 WHERE
 >=
 base_month
 ‘2024-01-01’
 モデルA
 モデルB
 意味: 2025年の月毎のレベニューモデル 
 意味: 2024年の月毎のレベニューモデル 

  64. Copyright stable, inc. All rights reserved.
 ミクロなFusionのこれから – model overlap,

    アプローチの推測
 75 *1 許容される編集は、ノード追加、変更、削除のみです。詳しくは、Tree Edit Distanceで検索! (推測)モデル AとモデルBのASTが同じになる最小ノード編集回数の小ささで、両モ デルの類似度を求めるのでは。 (*1)
 SELECT
 base_month
 revenue
 FROM
 revenue_monthly
 WHERE
 >=
 base_month
 ‘2025-01-01’
 SELECT
 base_month
 revenue
 FROM
 revenue_monthly
 WHERE
 >=
 base_month
 ‘2024-01-01’
 モデルA
 モデルB
 ‘2024-01-01’
 1: 変更
 最小編集回数 = 1回 → 似てる! 
 → 2024-25年のモデルとして統合できそう! 

  65. Copyright stable, inc. All rights reserved.
 ミクロなFusionのこれから – model overlap,

    アプローチの推測
 76 *1 許容される編集は、ノード追加、変更、削除のみです。詳しくは、Tree Edit Distanceで検索! (推測)モデル AとモデルBのASTが同じになる最小ノード編集回数の小ささで、両モ デルの類似度を求めるのでは。 (*1)
 SELECT
 base_month
 revenue
 FROM
 revenue_monthly
 WHERE
 >=
 base_month
 ‘2025-01-01’
 SELECT
 id
 FROM
 users
 WHERE
 >=
 age
 60
 モデルA
 モデルC
 意味: シニア世代のユーザ IDモデル
 意味: 2025年の月毎のレベニューモデル 

  66. Copyright stable, inc. All rights reserved.
 ミクロなFusionのこれから – model overlap,

    アプローチの推測
 77 *1 許容される編集は、ノード追加、変更、削除のみです。詳しくは、Tree Edit Distanceで検索! (推測)モデル AとモデルBのASTが同じになる最小ノード編集回数の小ささで、両モ デルの類似度を求めるのでは。 (*1)
 SELECT
 base_month
 revenue
 FROM
 revenue_monthly
 WHERE
 >=
 base_month
 ‘2025-01-01’
 SELECT
 id
 FROM
 users
 WHERE
 >=
 age
 60
 モデルA
 モデルC
 age
 1: 変更
 60
 2: 変更
 users
 3: 変更
 id
 5: 変更
 4: 削除
 最小編集回数 = 5回 → 似てない 
 → リファクタ候補にはならなそう ...

  67. Copyright stable, inc. All rights reserved.
 ミクロなFusionのこれから
 78 *1 「Next-gen

    data development with dbt Fusion engine」より。 あくまで現状のアイデアとして発表があっただけで、実装が確定してるわけではありません。 紹介する機能や仕組みは、#dbt-fusion-engineやSDFの情報等に基づく推測です。 Fusionで検討中の機能アイデアを3つ簡単に紹介します。 (*1)
 1. model overlap
 2. PII classifiers
 3. local unit tests

  68. Copyright stable, inc. All rights reserved.
 ミクロなFusionのこれから – PII classifiers


    *SDF Classifiersが基の機能と思われます。 https://docs.sdf.com/guide/basics/classifiers 79 PII classifiersは、カラムの高次な型を後段モデルへ伝播するアイデア。 
 モデル中の機微な個人情報を特定し、仮名加工等のセキュリティ措置ができる! 
 first_name
 users
 last_name
 orders
 full_name
 user_orders
 order_id
 order_id
 PII
 PII
 PII

  69. Copyright stable, inc. All rights reserved.
 ミクロなFusionのこれから
 80 *1 「Next-gen

    data development with dbt Fusion engine」より。 あくまで現状のアイデアとして発表があっただけで、実装が確定してるわけではありません。 紹介する機能や仕組みは、#dbt-fusion-engineやSDFの情報等に基づく推測です。 Fusionで検討中の機能アイデアを3つ簡単に紹介します。 (*1)
 1. model overlap
 2. PII classifiers
 3. local unit tests

  70. Copyright stable, inc. All rights reserved.
 ミクロなFusionのこれから – local unit

    tests
 81 出典:「これからのSQL開発 — dbt FUSION engineの本質とその先の世界」 https://speakerdeck.com/myshmeh_/korekaranosqlkai-fa-dbt-fsion-enginenoben-zhi-tosonoxian-noshi-jie Fusion内包のクエリエンジンで、爆速・ゼロコストのユニットテストを実現!! 

  71. Copyright stable, inc. All rights reserved.
 マクロなFusionのこれから – Open Data

    Infrastructureでの役割
 83 https://www.getdbt.com/blog/what-is-open-data-infrastructure dbt x Fivetranで目論むOpen Data Infrastructure

  72. Copyright stable, inc. All rights reserved.
 マクロなFusionのこれから – Open Data

    Infrastructureでの役割
 84 出典:「これからのSQL開発 — dbt FUSION engineの本質とその先の世界」 https://speakerdeck.com/myshmeh_/korekaranosqlkai-fa-dbt-fsion-enginenoben-zhi-tosonoxian-noshi-jie Fusion x Icebergは、portableなデータ基盤で重要な役割を担う。 

  73. Copyright stable, inc. All rights reserved.
 1. はじめに
 2. Fusionのこれまで

    
 3. Fusionの今(3 Rewritesの紹介)
 4. Fusionのこれから 
 5. まとめ
 85
  74. Copyright stable, inc. All rights reserved.
 まとめ
 86 Coalesce2025のリリース情報を網羅的に知りたい方は、こちらを参照ください: https://docs.getdbt.com/docs/dbt-versions/dbt-cloud-release-notes#coalesce-2025-announcements

    - FusionがCore機能を揃える日( GA)は近い
 - Fusionは、開発体験、 AI体験、運用効率を Rewriteする!
 - Open Data Infrastructure構想に、Fusion x Icebergは不可欠!