Delta + Iceberg から読み解く、データ相互運用の現在地と次の一手

2026/10/02 に開催された「JEDAI Meetup! 秋のDatabricks技術トーク」での登壇資料です。

https://jedai.connpass.com/event/405514/

Transcript

1. JEDAI Meetup! 秋のDatabricks技術トーク Delta + Iceberg から読み解く、 データ相互運用の現在地と次の一手 株式会社ジール 島村 学
2. はじめに Apache Iceberg と Delta Lake のフォーマット論争は収束に向かい、 統合カタログをどう構築するかが、新たな重要テーマとなっています。 Iceberg + Delta は、単なる相互運用性の話ではなく、 AI 時代のキーエレメントに なりつつあります。 Iceberg + Delta 統合カタログ （統合 DWH） AI エージェント
3. 自己紹介 (1/2) 島村 学 株式会社ジールにて データ分析基盤・アプリの設計・構築 出所：ジールHP SHIMAMURA Manabu 出所：DMBOK 2nd Figure 82 Conceptual DW/BI and Big Data Architecture
4. 自己紹介 (2/2) DAMA日本支部 理事 出所：一般社団法人 データマネジメント協会 日本支部(DAMA Japan) 出所：一般社団法人 データマネジメント協会 日本支部(DAMA Japan)
5. Databricks と私 ◼ 2018年に Databricks と出会い、今に至ります。 Databricks Champion JEDAI Order 2026 の Master 引用元：JEDAI認定プログラム JEDAI Order 2026 受賞者一覧
6. DAIS 2026 の振り返り方法
7. 私の振り返り方法 ◼ セッション動画にて振り返りを実施しています。 ◼ 今年は YouTube ではなくサイトから視聴可能であり、 字幕等のダウンロードが可能です。 Databricks セッションの動画の視聴が可能 引用元：Delta + Iceberg, Better Together | Databricks
8. Iceberg + Delta
9. キーノートにて Iceberg 開発者の Ryan Blue 氏が登場 ◼ DAIS 2026 のキーノートに、Iceberg 開発者の Ryan Blue 氏が登壇しました。 ◼ 今回の登壇は、Iceberg + Delta の将来を見据えた重要な発表が目的ではないかと考えました。 キーノートにて Iceberg 開発者の Ryan Blue 氏が登場 引用元： No one needs to care about table formats with Databricks' Ryan Blue, creator of Apache Iceberg
10. Delta + Iceberg におけるボトルネック ◼ ２つのフォーマットを処理する際のメタデータが異なることがボトルネックでした。 Delta Lake と Iceberg の構成レイヤー データ処理エンジン カタログ メタデータ データ
11. Delta + Iceberg, Better Together ◼ Delta Lake と Iceberg の次期バージョンにて、メタデータを共通化するという フォーマット論争を終結する発表がされました。 Delta + Iceberg, Better Together 引用元：Delta + Iceberg, Better Together | Databricks
12. Delta + Iceberg のコンテンツメタデータ構造が共通化 ◼ Delta Lake と Iceberg のコンテンツメタデータ構造が Adaptive Metadata Tree に共通化。 Delta Lake と Iceberg の構成レイヤー データ処理エンジン カタログ メタデータ データ
13. AI Agent のための Iceberg + Delta の活用
14. AI Agent の課題 ◼ AI Agentの課題は、複数システムをまたがる際に認証・認可の運用が複雑になる点にあります。 ◼ また、統合DWHを実装する際には、CDC（変更データキャプチャ）に関する設計や考慮が不十分 であることが多く、データ統合が困難になるという課題があります。 ①複数システムにおける認証・認可が複雑 ②データ統合が困難 統合 DWH AI Agent DWH① DWH② DWH③ 認証 認証 認証 認可 認可 認可 STREAM CHANGES CDF CHANGES DWH① DWH② DWH③ ネイティブ テーブル Delta テーブル ネイティブ テーブル
15. Iceberg + Delta によりベストな AI Agent の選択が可能 ◼ Iceberg / Delta の活用にて既存の変更を最小限に抑えながら統合 DWH（統合カタログ）を実現 します。 ◼ 統合されたデータを共通基盤として、ベストな Data & AI 基盤 を柔軟に選択・実装できます。 ソース 業務系 システム データ AI Endpoint データ 探索・理解 ベストな Data & AI 基盤 非構造化 データ データ取得 物理統合 REST API データ 仮想化 ファイル ストレージ 仮想統合 OTF テーブル データ分析 MCP OTF統合 DWH データ処理 統合カタログ （統合DWH） データ共有 AI エージェント （データエージェント） データ変更 認証 Agent 認可 データ 設計・実装・運用 データ ガバナンス
16. ＜NEXT＞データ探索・理解 （Discover）の実現方法 ◼ データエージェントにデータ探索・理解 （Data Discovery）を実装するために、 オントロジー・ナレッジグラフで実現できると言われています。 ◼ 成熟段階にはないものの、統制語彙などのデータマネジメント活動が前提となっています。 Genie Ontology （Databricks 公式機能） ナレッジグラフ （Databricks Labs の OntoXxxxx） Coming Soon （島村検証中） 引用元： Data + AI Summit Keynote 2026 | Day 1
17. ありがとうございました