Databricks 月刊サービスアップデートまとめ 2026年04月号

Databricksのアップデートを厳選してまとめました。

Transcript

1. ©2026 Databricks Inc. — All rights reserved Databricks アップデート 2026年4⽉号 Solutions Architect Yoshizawa Takumi
2. ©2026 Databricks Inc. — All rights reserved 今月のハイライト 1. ai_parse_document が GA 2. Foundation Model API: Claude Opus 4.7 / GPT-5.5 を Databricks ホスト 3. Genie（旧 Databricks One）アカウントレベル Public Preview 4. ABAC（属性ベースアクセス制御）が GA 5. Databricks Data Classification が GA 6. Lakeflow Designer が Public Preview（Visual ETL） 7. Zerobus Ingest が Tokyo / Seoul で利⽤可能 8. Classification / Information Extraction UI 9. ai_classify / ai_extract v2 シグネチャ 10. Scoped Personal Access Tokens GA 11. Git ベースの Databricks Apps デプロイ GA 12. Databricks Runtime 18.2 Public Preview（Spark 4.1.0） 13. Vector Search 検索品質評価 Public Preview 14. Unity Catalog 外部 Delta クライアント書き込み Public Preview 15. Catalog Explorer：AI ⽣成コメントの⾔語セレクター 領域別ハイライト（AI/BI、Mosaic AI、Lakeflow、UC、DBSQL、Apps ほか）
3. ©2026 Databricks Inc. — All rights reserved 今月の注目アップデート
4. ©2026 Databricks Inc. — All rights reserved ai_parse_document が GA SQL 1 関数で PDF・画像・Word・PowerPoint を構造化 2026.04 GA 概要 • ⾮構造ドキュメントをテキスト‧表‧図単位に分解して VARIANT で出⼒ • 最⼤ 500 ページ / 100MB に対応、信頼度スコアとバウン ディングボックス付き • TIF/TIFF 対応 顧客メリット • 専⽤ OCR 基盤不要、SQL やパイプラインから直接処理 • 公式ブログで Textract 等⽐ 3〜5 倍のコスト削減事例 • 契約書‧請求書‧紙帳票の電⼦化に直結 使い⽅‧参考 • SELECT ai_parse_document(bytes) で呼び出し • Lakeflow Declarative Pipelines でインクリメンタル処理可 https://docs.databricks.com/aws/en/sql/language-manual/functions/ai_parse_document
5. ©2026 Databricks Inc. — All rights reserved Foundation Model API：Claude Opus 4.7 / GPT-5.5 が GA Anthropic と OpenAI のフラッグシップを Databricks ホストで即日利用 2026.04 GA 概要 • Anthropic Claude Opus 4.7 GA • OpenAI GPT-5.5 / GPT-5.5 Pro GA • pay-per-token‧Provisioned Throughput 両対応、 ai_query / Responses API から呼び出し可 顧客メリット • 1M トークン級コンテキストで⻑⽂契約書‧⻑⼤ログ‧ エージェンティック処理を完結 • データは Databricks 外に出ず、Unity Catalog と AI Gateway で監査‧制限が効く • モデル切替は SDK のモデル名変更だけで完了、ベンダー ロックイン回避 使い⽅‧参考 • model="databricks-claude-opus-4-7" / "databricks-openai-gpt-5-5" を指定 • AI Gateway でレート制限‧コスト上限を設定可 https://docs.databricks.com/aws/en/machine-learning/foundation-model-apis/supported-models
6. ©2026 Databricks Inc. — All rights reserved Databricks One が Genie に名称変更 全ワークスペース横断で、ダッシュボード・Apps・Genie を 1 画面に集約 2026.04 Public Preview 概要 • 「Databricks One」が「Genie」へリネーム（機能‧URL は不変） • 複数ワークスペースのダッシュボード / Genie / Apps を 1 ホームから横断 • おすすめ‧お気に⼊り‧Genie チャット‧Apps 検索を統合 表⽰ 顧客メリット • 業務ユーザーが共有資産をワークスペース横断で発⾒可能 に • 権限は Unity Catalog に準拠、追加付与不要 • コンプライアンスプロファイルのワークスペースは⾃動除 外 https://docs.databricks.com/aws/en/workspace/databricks-one-account
7. ©2026 Databricks Inc. — All rights reserved ABAC（属性ベースアクセス制御）が GA Unity Catalog でタグ駆動の行フィルタ・列マスクをポリシーとして管理 2026.04 GA 概要 • governed tag を catalog / schema / table に付与 • ⾏フィルタ‧列マスクのポリシーをタグ条件で動的に適⽤ • policy quota も⼤幅拡張（Metastore 1k→10k、 Catalog/Schema 10→100、Table 5→50） 顧客メリット • 個別テーブルへの権限付与から、属性ベースの⼀括ポリ シー運⽤へ • ⾦融‧公共‧医療向けの機微データガバナンスを宣⾔的に 実装 • テーブル増加に追随可能なスケーラブル設計 使い⽅‧参考 • Catalog Explorer の Govern からポリシー定義 • SQL: CREATE GOVERNED TAG / GRANT GOVERNED TAG https://docs.databricks.com/aws/en/data-governance/unity-catalog/abac
8. ©2026 Databricks Inc. — All rights reserved Databricks Data Classification が GA agentic AI が Unity Catalog 上の機微データを自動分類・タグ付け 2026.04 GA 概要 • AI が UC 上のテーブル‧カラムをスキャンし機微度を分類 • 結果は governed tag として⾃動付与、ABAC ポリシーと連 動可能 • PII / PHI / ⾦融情報 / 機密情報など組み込みカテゴリと、カ スタム分類対応 顧客メリット • 機微データ棚卸しの⼯数を⼤幅削減（⼿動タグ付けから⾃ 動化へ） • ABAC と組み合わせ、検出 → 分類 → ポリシー適⽤までを ⼀気通貫で運⽤ • コンプライアンス監査の証跡として利⽤可能 使い⽅‧参考 • カタログ、スキーマ単位で有効化可能 https://docs.databricks.com/aws/en/data-governance/unity-catalog/data-classification
9. ©2026 Databricks Inc. — All rights reserved Lakeflow Designer が Public Preview ドラッグ&ドロップと自然言語で ETL を構築する Visual ETL 2026.04 Public Preview 概要 • ノードベースのキャンバスで取込‧変換‧出⼒を視覚的に 組み⽴て • ⾃然⾔語からの変換ロジック⽣成（chat-to-SQL / chat-to-PySpark） • ETL フローはコードに変換可能、ワークフローの本番運⽤ への移⾏をサポート 顧客メリット • SQL/PySpark に不慣れな業務ユーザーが ETL を⾃⾛可能 • 既存の Lakeflow 資産‧UC ガバナンス‧監視と完全統合 • デモから本番までの距離を短縮、PoC の⽴ち上げ時間が⼤ 幅短縮 使い⽅‧参考 • Public Preview ポータルで有効化 • サイドバーの「新規 (New)」から Visual data prep で作成 https://docs.databricks.com/aws/en/designer
10. ©2026 Databricks Inc. — All rights reserved Zerobus Ingest が Tokyo / Seoul で利用可能 メッセージバス不要で直接 Delta 取り込み、APJ 主要リージョン対応 2026.04 GA 概要 • Kafka 等を介さず、gRPC で直接 Delta / UC に near real-time 書き込み • ap-northeast-1（Tokyo）/ ap-northeast-2（Seoul）対応 • OpenTelemetry 取込も Public Preview で追加 顧客メリット • ⽇本‧韓国のデータ主権要件を満たしつつ秒単位の取り込 みが可能 • Kafka クラスタ不要でレイテンシ‧ネットワーク料⾦‧運 ⽤負荷を削減 使い⽅‧参考 • Zerobus SDK（gRPC クライアント）で UC テーブルへ append https://docs.databricks.com/aws/en/ingestion/zerobus/
11. ©2026 Databricks Inc. — All rights reserved Classification / Information Extraction UI コード不要で文書分類・情報抽出を本番パイプラインに 2026.04 Public Preview 概要 • Agent Bricks に 2 つの UI 製品を追加 • Classification：定義済みラベルへの分類 • Information Extraction：JSON スキーマに沿った構造化抽出 • 東京リージョンでも利⽤可能 顧客メリット • GUI のみで本番品質の⽂書パイプラインを構築可能 • HIPAA 準拠で医療‧⾦融⽂書にも適⽤可 使い⽅‧参考 • AI/ML > Agents から作成可能 https://docs.databricks.com/aws/en/generative-ai/agent-bricks/classification
12. ©2026 Databricks Inc. — All rights reserved ai_classify / ai_extract v2 シグネチャ parse → extract → classify を 1 本の SQL パイプラインで 2026.04 Public Preview 概要 • ai_classify：VARIANT ⼊⼒‧最⼤ 500 ラベル‧マルチラベ ル対応 • ai_extract：ネスト JSON スキーマ‧型検証に対応 • ai_parse_document 出⼒をそのまま合成可能 顧客メリット • parse → extract → classify を 1 本の SQL で完結 • ラベル数上限が 20 → 500 に拡張、より実務に近い分類が 実現可能 使い⽅‧参考 • SELECT ai_classify(content, labels) / ai_extract(content, schema) https://docs.databricks.com/aws/en/sql/language-manual/functions/ai_classify
13. ©2026 Databricks Inc. — All rights reserved Scoped Personal Access Tokens GA PAT に API スコープ付与、最小権限運用が可能に 2026.04 GA 概要 • PAT に API スコープ（sql / unity-catalog / scim 等）を付与可能に • 呼び出せる REST API 操作を最⼩権限に限定 • 2026-05 後半よりコンプライアンスプロファイルのワークスペースで既定化 顧客メリット • CI/CD や外部 BI ツール連携で最⼩権限原則を実装しやすい • ⾦融‧公共系のセキュリティ監査要件に有効 使い⽅‧参考 • User Settings > Developer > Access tokens 発⾏時にスコープを選択 https://docs.databricks.com/aws/en/dev-tools/auth/pat
14. ©2026 Databricks Inc. — All rights reserved Git ベースの Databricks Apps デプロイ GA GitHub / GitLab / Bitbucket から直接デプロイ、CI/CD を標準化 2026.04 GA 概要 • Apps を Git リポジトリから直接デプロイ可能に • ブランチ / タグ / コミット SHA / サブディレクトリを指定可 • ワークスペース管理者は Git 限定デプロイを強制可能 顧客メリット • レビュー‧履歴‧ロールバックが標準のエンジニアリング⼿順で完結 • 規制業種の変更管理プロセスに直結 使い⽅‧参考 • Apps UI / CLI / DAB で source_code_path と Git ref を指定 https://docs.databricks.com/aws/en/dev-tools/databricks-apps/deploy
15. ©2026 Databricks Inc. — All rights reserved Databricks Runtime 18.2 Public Preview Apache Spark 4.1.0 搭載の次期ランタイム、検証環境で先行評価可 2026.04 Public Preview 概要 • Spark 4.1.0 ベース、18.2 および 18.2 ML • CREATE OR REPLACE TEMP TABLE、agg() エイリアス • Delta Lake 4.1.0、VOID カラム対応 顧客メリット • 最新 SQL / Streaming 改善を検証環境で先⾏評価可能 • 安定化後の GA リリース直前にスムーズに切替えられる 使い⽅‧参考 • Compute 作成時に Runtime 18.2 または 18.2 ML を選択 https://docs.databricks.com/aws/en/release-notes/runtime/18.2
16. ©2026 Databricks Inc. — All rights reserved Vector Search 検索品質評価 Public Preview RAG の検索戦略をワンクリック採点、指標と信頼区間を可視化 2026.04 Public Preview 概要 • インデックスから⾃動でテストクエリ⽣成 • ANN / ハイブリッド / フルテキスト（リランクあり/なし） を横断評価 • NDCG@k / Recall@k / MRR 等を 95% 信頼区間付きで表⽰ 顧客メリット • RAG の「検索戦略が勘頼り」問題を解消 • ゴールデンデータセット作成不要で客観指標が取得可能 • PoC → 本番移⾏の意思決定が⾼速化 使い⽅‧参考 • Vector Search Index 画⾯ > Evaluate search quality ボタン https://docs.databricks.com/aws/en/vector-search/retrieval-quality-eval
17. ©2026 Databricks Inc. — All rights reserved Unity Catalog：外部 Delta クライアントからの書き込み Public Preview OSS Spark 等の外部エンジンから UC managed Delta に書き込み可能に 2026.04 Public Preview 概要 • Unity REST API と catalog-managed commits を組み合わせ • 外部 Delta クライアント（主に OSS Spark）から UC managed テーブルへ write / create • UC が commit を調停、並⾏書き込みでも破損‧競合を防⽌ 顧客メリット • 外部 Spark ジョブを UC ガバナンス下で実⾏可能に • マルチエンジン‧ハイブリッド構成でもオープン性を確保 使い⽅‧参考 • DBR 18.0+ で catalog-managed commits 有効化 • Unity REST API でテーブル登録、PAT / OAuth で書き込み https://docs.databricks.com/aws/en/delta/catalog-commits
18. ©2026 Databricks Inc. — All rights reserved Catalog Explorer：AI 生成コメントの言語セレクター テーブル / カラム / スキーマの AI 解説を日本語で出力可能に 2026.04 GA 概要 • Catalog Explorer の AI-generated comments に⾔語切替セレクター追加 • ブラウザのローカルストレージに保存、次回以降も有効 顧客メリット • テーブル‧カラムの AI 解説を⽇本語で⽣成可能（従来は英語既定） • Unity Catalog の業務ユーザー向けドキュメンテーションが⼤幅向上 https://docs.databricks.com/aws/en/comments/ai-comments
19. ©2026 Databricks Inc. — All rights reserved 領域別ハイライト
20. ©2026 Databricks Inc. — All rights reserved AI/BI ハイライト Genie / Dashboards / Metric Views / Visualization • Genie: ◦ Reasoning traces / Message comments を API で取得（Public Preview） ◦ Genie Code が space の instructions / example questions を更新可能に ◦ Genie space をアカウントユーザーへ共有可能 • Dashboards: ◦ Table cross-filtering / drill-through、Counter prefix/suffix ◦ Warehouse 過負荷時メッセージ、メール購読のテーブル添付 ◦ Schema browser から Local Metric View を既定⽣成（Public Preview） • Metric Views: ◦ 測定値‧ディメンション作成が Builder mode 既定（Public Preview） • Visualization: ◦ 破線‧点線スタイルに対応
21. ©2026 Databricks Inc. — All rights reserved Mosaic AI / Agent Bricks ハイライト umbrella 化、Workspace Skills GA、リージョン拡大 • Agent Bricks ページが Databricks AI 機能の 1 つとして再編 • Workspace Skills が GA：管理者が作成した Skill を、Genie Code から⾃動活⽤ • AI Runtime 1xH100 アクセラレータが Public Preview
22. ©2026 Databricks Inc. — All rights reserved Lakeflow / Unity Catalog ハイライト コネクタ・パイプライン運用・ガバナンス強化 • Lakeflow: ◦ Confluence / Zendesk Support コネクタが GA ◦ Query-Based Connectors（Oracle / SQL Server / PostgreSQL 他）が Public Preview ◦ Auto Loader Type Widening（Public Preview） ◦ SDP update 履歴が 30→60 ⽇ retention に拡張 ◦ cascade フィールドで UC pipeline DELETE 挙動制御（Public Preview） • Unity Catalog: ◦ UC 関数のタグ付け対応、governed tag SQL 5 ステートメント公開 ◦ catalog / schema のマネージドストレージロケーション変更が GA ◦ compute ログ配信を UC volumes へ（GA、推奨⽅式） ◦ Catalog Federation with BigQuery（公式 blog） ◦ Lakehouse Federation で Iceberg v3 読み取りサポート（Public Preview）
23. ©2026 Databricks Inc. — All rights reserved DBSQL / Apps / Platform ハイライト SQL Warehouse / Apps SDK / ネットワーキング • DBSQL: ◦ Databricks SQL 2026.10 が Preview チャンネルで利⽤可 ◦ 5X-Large SQL warehouse（512 worker）が Public Preview ◦ OBSERVE 句エラーが全体クエリ失敗を招かない動作改善 • Databricks Apps: ◦ Notebook / Jobs から Apps をクエリ可能（Public Preview、OBO 認可） ◦ Apps in Marketplace（Public Preview） • Platform: ◦ SSH リバーストンネル：オンプレ接続をインバウンドポート開放なしで実現 ◦ Excel Add-in がワークスペースプレビュー有効化必須に ◦ Connector for Google Sheets 更新（タイムアウト延⻑‧UI 改善）
24. ©2026 Databricks Inc. — All rights reserved Thank you