Databricks 月刊サービスアップデート 2026年05月号

5月に発表されたDatabricksアップデートからいくつかピックアップして紹介しています。

Transcript

1. ©2026 Databricks Inc. — All rights reserved Databricks アップデート 2026年5⽉号 Solutions Architect Yoshizawa Takumi
2. ©2026 Databricks Inc. — All rights reserved 今月のハイライト • ⽣成AI ◦ Foundation Model API: Claude Opus 4.8 / Gemini 3.5 Flash が GA ◦ Vector Search ストレージ最適化エンドポイントが GA ◦ Supervisor Agent: ネスト化 / Vector Search 連携が GA • Lakeflow ◦ Lakeflow リアルタイムモードが Public Preview（5ms 遅延） ◦ Lakeflow Pipelines Editor が GA（Genie Code 統合） ◦ Lakeflow Sinks API が GA（Kafka / Event Hubs へ出⼒） • Lakebase / Databricks SQL ◦ SQL Alerts が GA（KPI‧データ品質監視） ◦ Lakebase: Always-On 価格 / Scale-to-Zero 既定 / 64 CU ◦ Lakebase Change Data Feed (CDF) が Public Preview • ガバナンス / インフラストラクチャ ◦ Unity Catalog: Catalog Commits が GA / Compatibility Mode が Public Preview ◦ Microsoft Entra ID ⾃動 ID 管理が GA • Other
3. ©2026 Databricks Inc. — All rights reserved 今月の注目アップデート
4. ©2026 Databricks Inc. — All rights reserved Foundation Model API：Claude Opus 4.8 / Gemini 3.5 Flash が GA Anthropic と Google のフラッグシップを Databricks ホストで即日利用 2026.05 GA 概要 • Anthropic Claude Opus 4.8 を Databricks ホストモデルとして GA（5/28） • Google Gemini 3.5 Flash を GA（5/19）、ダッシュボードからも利⽤可能 • pay-per-token で提供（ai_query / OpenAI 互換クライアントから呼び出し） 顧客メリット • データを出さず Databricks 内で最新世代モデルを利⽤ • UC と AI Gateway で監査‧コスト上限を⼀元管理 • モデル切替は名前変更のみでベンダーロックインも回避 使い⽅‧参考 • model="databricks-claude-opus-4-8" / "databricks-gemini-3-5-flash" を指定 https://docs.databricks.com/aws/ja/machine-learning/foundation-model-apis/supported-models
5. ©2026 Databricks Inc. — All rights reserved Vector Search ストレージ最適化エンドポイントが GA 10 億ベクトル規模を低コストで、インデックスは 10〜20 倍高速 2026.05 GA 概要 • ストレージとコンピュートを分離した新エンドポイントが GA （5/20） • 次元 768 で 10 億超に対応、Standard ⽐ 10〜20 倍⾼速（1 ユニット =最⼤約6,400万ベクトル＝Standard の約32倍） 顧客メリット • 従来は数億〜数⼗億ベクトル規模で Standard のコストとインデッ クス構築時間がスケールの壁だったが、storage/compute 分離で 10 億規模を 8 時間未満で構築しベクトル単価を⼤幅最適化（例：13億 で Standard ⽐ 約1/7） 使い⽅‧参考 • 作成時に Storage Optimized を選択 • Scale-to-Zero ⾮対応 • 約1,000万ベクトル超の⼤規模向け（⼩規模なら Standard） https://docs.databricks.com/aws/ja/generative-ai/vector-search
6. ©2026 Databricks Inc. — All rights reserved Supervisor Agent：ネスト化 / Vector Search 連携が GA 多階層のエージェント調整と検索ツール統合が正式提供 2026.05 GA 概要 • Supervisor Agent が別の Supervisor Agent をサブエージェント化できるように（ネスト、5/19） • Vector Search インデックスをツールとして登録可能に（5/15） • マルチエージェントの階層的オーケストレーションを実現（両機能は GA、Supervisor Agent の⼀部管理機能は Beta） 顧客メリット • 従来は複雑な業務を 1 つのエージェントで処理するのが難しく専⾨タスクの分担や社内ナレッジ連携をコードで作り込 む必要があったが、専⾨エージェント群に分解して上位が統括し、加えて組織内ナレッジ（Vector Search）も検索ツー ルとして直接活⽤できる • Agent Bricks 上でコード不要に近い形で本番エージェントを構築 使い⽅‧参考 • Agent Bricks > Supervisor でサブエージェント‧ツールを登録 https://docs.databricks.com/aws/ja/generative-ai/agent-bricks/multi-agent-supervisor
7. ©2026 Databricks Inc. — All rights reserved Lakeflow リアルタイムモードが Public Preview 宣言型パイプラインで 5ms 級のエンドツーエンド遅延を実現 2026.05 Public Preview 概要 • Lakeflow 宣⾔型パイプライン（SDP）に「リアルタイム モード」を追加（5/27、Public Preview） • エンドツーエンド遅延は最⼩ 5 ミリ秒 顧客メリット • 従来は秒未満の即時処理に別のストリーミング基盤が必要 だったが、既存 Structured Streaming API のまま設定変更 だけでミリ秒級の低遅延を実現 • 詐欺検知‧即時レコメンド等で活⽤ • バッチ∕ストリーミングを同⼀基盤で統合運⽤ 使い⽅‧参考 • パイプライン設定でリアルタイムモードを有効化、 update_flow で出⼒ https://docs.databricks.com/aws/ja/structured-streaming/real-time
8. ©2026 Databricks Inc. — All rights reserved Lakeflow Pipelines Editor が GA Genie Code を統合したエージェント優先のパイプライン開発 UI 2026.05 GA 概要 • 宣⾔型パイプライン専⽤のエディタ体験が GA（5/4） • Genie Code を統合、⾃然⾔語でパイプラインの⽣成‧修正 を補助 • データプレビュー‧DAG‧エラー解析を 1 画⾯に集約 顧客メリット • 従来はコード‧プレビュー‧DAG‧エラー確認が別画⾯に 散らばっていたが、1 画⾯に集約＋ Genie Code の⾃然⾔語 補完で開発を⾼速化 • 設定変更は不要 • ⽣産性が向上し、初学者の学習コストも低減 使い⽅‧参考 • パイプライン作成時に新エディタが既定で開く https://docs.databricks.com/aws/ja/ldp/multi-file-editor
9. ©2026 Databricks Inc. — All rights reserved Lakeflow Sinks API が GA 宣言型パイプラインから外部システムへ直接出力 2026.05 GA 概要 • Lakeflow 宣⾔型パイプラインの Sinks API が GA（5/15） • これまで宣⾔型パイプラインの出⼒先は Delta テーブル（ストリーミングテーブル∕マテビュー）に限られていた • Sinks API で Apache Kafka / Azure Event Hubs などの外部システムへ直接出⼒できるように。create_sink() でパイプラ イン定義内に宣⾔ 顧客メリット • 従来は変換後データを外部のメッセージング基盤へ流すのに別の出⼒ジョブが必要だったが、取込→変換→外部配信を 1 つのパイプラインで完結でき運⽤がシンプルに • Kafka 等の下流へ連携しやすく、リアルタイムモードと組み合わせれば低遅延配信も可能 使い⽅‧参考 • create_sink() でシンクを定義し、フローから書き込み https://docs.databricks.com/aws/ja/ldp/
10. ©2026 Databricks Inc. — All rights reserved SQL Alerts が GA スケジュール実行クエリの条件判定で KPI・データ品質を自動監視 2026.05 GA 概要 • 最新版 SQL Alerts が GA（5/14）、すでに 4,000+ 顧客が本 番利⽤ • SQL で条件を 1 度定義し、スケジュール or Jobs パイプラ イン内で評価 • 条件成⽴時に通知（メール / Webhook 等） 顧客メリット • 従来は KPI ドリフトやデータ品質問題を⼿動スポット チェックに頼る必要があった • SQL で条件を 1 度定義すれば、⾃動で監視‧通知し異常を 早期検知 • Lakeflow Jobs の SQL Alert Task（Public Preview）で評 価結果による下流分岐も可能 使い⽅‧参考 • SQL > Alerts から作成、クエリ‧条件‧通知先を設定 https://docs.databricks.com/aws/ja/sql/user/alerts
11. ©2026 Databricks Inc. — All rights reserved Lakebase：Always-On 価格 / Scale-to-Zero 既定 / 64 CU 次世代 Postgres のコストとスケールが大幅進化 2026.05 GA 概要 • Always-On 価格を導⼊：常に起動されている場合、 baseline を 25% 低価格で課⾦、スパイクはオートスケー ルが吸収（5/27） • Scale-to-Zero が新規プロジェクトで既定有効、24h ⾮活動 でゼロ（5/13） ◦ アイドル明け初回のみ数百ms で復帰 • オートスケール最⼤ 64 CU / 128GB RAM（5/20） • 削除後 7 ⽇以内の復旧も提供 顧客メリット • 常時稼働は Always-On（baseline 25% 減）、低頻度は Scale-to-Zero（課⾦ゼロ）と⽤途に応じたコスト最適化が 可能に。⼤規模 OLTP も 1 基盤でカバー 使い⽅‧参考 • Compute > Lakebase で作成‧レンジ設定 https://docs.databricks.com/aws/ja/oltp/
12. ©2026 Databricks Inc. — All rights reserved Lakebase Change Data Feed (CDF) が Public Preview Postgres の変更を Lakehouse へ低遅延でストリーム 2026.05 Public Preview 概要 • Lakebase ネイティブの Change Data Feed (CDF) が Public Preview（5/27） • Lakebase Postgres テーブルの insert / update / delete を WAL から捕捉し、 UC 管理の Delta テーブルへ約15秒間隔で記録 • ダウンストリーム（DBSQL / SDP / Spark Structured Streaming）が増分変更を直接読取 顧客メリット • 従来は OLTP の取引データを分析‧AI 側へ取り込むのに別途 ETL でバッチ抽出が必要だったが、 CDF が変更を⾃動キャプチャし Lakehouse へ低遅延で還流して即時連携できる • lb_<tablename>_history から増分のみ取得でコスト効率も⾼い 使い⽅‧参考 • Lakebase プロジェクトで CDF を有効化、UC の履歴テーブルを参照 https://docs.databricks.com/aws/ja/oltp/
13. ©2026 Databricks Inc. — All rights reserved Unity Catalog：Catalog Commits / Compatibility Mode UC が「テーブルの調整システム」に、マルチエンジン相互運用を解放 2026.05 GA / PuPr 概要 • Catalog Commits が GA（5/8）：UC がコミットを調停し、外部の Spark 等から安全に書き込み‧相互運⽤ • Compatibility Mode が Public Preview：管理テーブルの読取専⽤コ ピーを外部 Delta / Iceberg クライアントから読める（事前作成の外部 ロケーションが必要） 顧客メリット • 従来は UC 管理テーブルを Databricks 外のエンジンから安全に読み書 きしづらかったが、Catalog Commits が書込競合‧ログ破損を調停 し、Compatibility Mode で外部 Delta / Iceberg クライアントからの読 み取りも可能になる • オープン性とガバナンスを両⽴ 使い⽅‧参考 • Catalog Commits を有効化∕読取は Compatibility Mode https://docs.databricks.com/aws/ja/release-notes/product/2026/may
14. ©2026 Databricks Inc. — All rights reserved Microsoft Entra ID 自動 ID 管理が AWS / GCP で GA SCIM プロビジョニング不要でユーザー・グループを自動同期 2026.05 GA 概要 • Microsoft Entra ID の⾃動 ID 管理（AIM）が AWS / GCP で GA（5/26）。 ◦ Azure Databricks では 2025年9⽉に GA 済み • SCIM コネクタの構築‧運⽤なしでユーザー‧グループ‧サービスプリンシパルを同期（既存の SCIM とも併⽤可） • ⾃動 ID 管理全体は Okta 対応も予定（Public Preview） 顧客メリット • 従来は SCIM コネクタの構築‧トークン更新‧障害対応に運⽤負荷がかかっていたが、Entra ID から⾃動同期され SCIM 運⽤が不要になり、アイデンティティを⼀元管理してガバナンス‧監査を強化 • ⼊退社‧組織変更がワークスペースへ⾃動反映 使い⽅‧参考 • アカウントコンソール > Settings > Identity で⾃動管理を有効化 https://docs.databricks.com/aws/ja/admin/users-groups/automatic-identity-management
15. ©2026 Databricks Inc. — All rights reserved 領域別ハイライト
16. ©2026 Databricks Inc. — All rights reserved AI/BI ハイライト Genie / Dashboards / Metric Views / Workspace UX • Genie: ◦ Genie Code のチャットを読み取り専⽤で共有可能に ◦ Genie Code Agent Mode がコンプライアンス対応 WS で⾃動有効化 ◦ Genie Benchmarks が Agent Mode をサポート（マルチステップ推論で評価） • Dashboards / モデル: ◦ Google Sheets 統合で実⾏履歴（Run ID / 開始時刻 / 成功状態）を表⽰ • Metric Views: ◦ LOD 式構⽂を簡素化、expr フィールドでウィンドウ関数を直接記述 • Workspace UX: ◦ サイドバーに Analytics セクション新設（ダッシュボード / Genie / アラート統合） ◦ 統合実⾏リストで全ジョブ‧パイプライン実⾏を⼀画⾯で追跡 ◦ ノートブック結果テーブルに列の分析統計をネイティブ表⽰
17. ©2026 Databricks Inc. — All rights reserved Mosaic AI / Agent Bricks ハイライト Model Serving / 文書 AI / Knowledge Assistant • Model Serving: ◦ Custom Model Serving：vLLM エンジンで独⾃ファインチューニング済み LLM をデプロイ（Public Preview） ◦ Alibaba Qwen3.5 122B A10B をサービング対象に追加（Public Preview） • ⽂書 AI: ◦ ai_parse_document がコンプライアンスプロファイルで既定有効化（CCCS Medium / UK Cyber Essentials 他 8 規格） • Agent Bricks: ◦ Knowledge Assistant の Knowledge Source あたりファイル数上限（2,000 件）を撤廃 ◦ Supervisor Agent のネスト化 / Vector Search 連携が GA（注⽬アップデート参照）
18. ©2026 Databricks Inc. — All rights reserved Lakeflow / Unity Catalog ハイライト パイプライン機能 / コネクタ / ガバナンス • Lakeflow（パイプライン）: ◦ update_flow API：ウォーターマーク不要のステートフル集約（Public Preview） ◦ Parameters：パイプラインレベルの key-value を SQL 内で参照 ◦ Environment Versions：Python バージョン‧事前インストールライブラリを固定 ◦ User-defined Operators：uc-udf / uc-udtf / python-run-function で独⾃オペレータ • Lakeflow Connect（コネクタ）: ◦ HubSpot コネクタが GA ◦ Google Drive / GitHub / Outlook / Smartsheet コネクタ（Public Preview） ◦ Community Connectors でコミュニティ主導の拡張に対応 • Unity Catalog: ◦ Refresh Policies が GA（増分 / 完全更新の制御でコスト最適化） ◦ EXPLAIN CREATE MATERIALIZED VIEW が GA（増分化可能性を事前検証） ◦ Cross-engine ABAC：外部エンジンが ABAC 対応テーブルを読取（Public Preview）
19. ©2026 Databricks Inc. — All rights reserved DBSQL / Apps / Platform ハイライト 監視 / アプリ / コンピュート / セキュリティ • DBSQL / BI: ◦ SQL Alert Task（Lakeflow Jobs）でアラート評価結果による下流分岐（Public Preview） ◦ Power BI 向け Microsoft Entra ID SSO（Public Preview） • Databricks Apps: ◦ App Telemetry：OpenTelemetry でトレース / ログ / メトリクスを UC に永続化（Public Preview） ◦ ⽔平スケーリングで複数インスタンス実⾏（Public Preview）、事前インストールライブラリのオプトアウト GA • Platform / Compute: ◦ %uv pip コマンドが GA（⾼速パッケージ管理） ◦ Serverless Notebook のタイムアウト既定設定が GA、Serverless WS 有効化がセルフサービス化 ◦ Databricks Container Services（標準コンピュートで Docker、Public Preview） • Security: ◦ Databricks CLI が U2M トークンを OS セキュアストレージで管理（GA） ◦ アカウントアクセス Denylist（AWS / GCP、Public Preview）、Instance Events / Pools システムテーブル
20. ©2026 Databricks Inc. — All rights reserved Thank you