Data Intelligence PlatformによるIT管理の効率化

Slide 1

Slide 1 text

Slide 2

Slide 2 text

©2024 Databricks Inc. — All rights reserved 自己紹介弥生隆明 (やよいたかあき) Databricks アカウントSA部部長 ▪ 2020年からデータブリックスジャパンにおいて、プレセールス、POCに従事 ▪ 前職はコンサルティングファーム、総合電機メーカーにてデータ分析・Web サービス構築などに従事。インド赴任経験あり。 ▪ Qiitaでいろいろ書いています。 2 @taka_aki

Slide 3

Slide 3 text

アジェンダ ● IT管理者の日々の業務 ● IT管理者が抱える課題 ● Databricksの Data Intelligence Platform ● IT管理者の課題に対する Databricksのアプローチ ● 事例紹介 ● まとめ

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

IT管理者の抱える課題 • 管理すべきシステムが多数で複雑 ✓ 特にデータ分析においては、”多種多様な”データを一元的に分析する必要がある ✓ 例: 顧客データ(構造化データ)　＋　画像/動画/音声/IoT(非構造化データ) • クラウドサービスのコストが制御できない ✓ ユーザーが野放図に計算資源を利用しており、無駄なコストが発生している ✓ 管理を強化するとユーザーの自由度を奪ってしまう ✓ コストを削減したらリソース競合が発生した • システムのガバナンスが利かない ✓ アクセスすべきではないデータに許可されていないユーザーがアクセスしてしまっている ✓ 監査したくても記録がとられていない ✓ データの信頼性を担保できず、データ活用が進まない

Slide 8

Slide 8 text

Slide 9

Slide 9 text

©2023 Databricks Inc. — All rights reserved 6000+ の従業員 $1.5B+ の収益 $4B の投資レイクハウスの発明者 & 生成AIのパイオニア Gartnerに認知されるリーダー Database Management Systems Data Science and Machine Learning Platforms データ & AIカンパニーのクリエイター

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

©2023 Databricks Inc. — All rights reserved データレイクハウスすべてのデータに対するオープンで統合された基盤オープンデータレイクすべての生データ (ログ、テキスト、音声、動画、画像) Databricksがレイクハウスアーキテクチャを発明 2020 統合セキュリティ、ガバナンス、カタログ信頼性と共有のための統合データストレージ ETL & リアルタイム分析オーケストレーションデータウェアハウスデータサイエンス & AI Databricks AI Delta Live Tables Workﬂows Databricks SQL Unity Catalog Delta Lake グローバル企業の 74% がレイクハウスを導入現在 MIT Technology Review Insights, 2023

Slide 14

Slide 14 text

Slide 15

Slide 15 text

©2023 Databricks Inc. — All rights reserved ETL & リアルタイム分析オーケストレーションデータウェアハウスデータサイエンス & AI Databricks AI Delta Live Tables Workﬂows Databricks SQL 統合セキュリティ、ガバナンス、カタログ Unity Catalog Databricksデータ・インテリジェンス・プラットフォーム信頼性と共有のための統合データストレージ Delta Lake あなたのデータのセマンティクスを理解するために生成AIを活用データインテリジェンスエンジンオープンデータレイクすべての生データ (ログ、テキスト、音声、動画、画像) Unity Catalog 自然言語でセキュアに洞察を取得 Delta Lake 利用パターンに基づき自動でデータレイアウトを最適化 Databricks SQL テキストからSQL Workﬂows 過去の処理に基づくジョブコストの最適化 Delta Live Tables データ品質の自動化 Databricks AI カスタムLLMの作成チューニング、提供

Slide 16

Slide 16 text

Slide 17

Slide 17 text

©2023 Databricks Inc. — All rights reserved Databricksによるコスト / パフォーマンスの最適化 BI & データウェアハウスデータエンジニアリングデータストリーミングデータサイエンス & ML Databricksクラスターストレージと完全に分離された柔軟性のある計算資源クラウドデータレイクすべての構造化、半構造化、非構造化データオートスケール自動停止ポリシーコスト追跡

Slide 18

Slide 18 text

©2023 Databricks Inc. — All rights reserved 柔軟かつコスト効率の高いクラスター ■ 作業要件に応じて数クリックで必要な計算資源をセットアップできます。GPUもサポートしています。 ■ 計算資源を複数ユーザーで共有することも、専用の計算資源を準備することもできますので、リソース競合を容易に回避できます。 ■ オートスケーリングを用いると、実行しているジョブに基づいてノードとストレージを自動で追加 / 削除することができ、計算資源の利用率を最適化できます。 ■ 自動停止を有効化すると、処理が行われていない計算資源は自動で停止されるので、無駄なコストの発生を回避できます。

Slide 19

Slide 19 text

©2023 Databricks Inc. — All rights reserved クラスターポリシーによるコストコントロール ■ クラスターポリシーを用いることで、ユーザーがクラスター設定時に事前定義のルールに従うことを強制できます。 ■ ポリシーではクラスターのサイズやタイプ、クラスターで使用できる時間あたりの金額を設定できます。 ■ 部署ごとの課金を追跡できるようにクラスターへのタグづけを強制できます。

Slide 20

Slide 20 text

Slide 21

Slide 21 text

©2023 Databricks Inc. — All rights reserved DatabricksはデータとAIのガバナンスを統合します外部の計算プラットフォーム BI & データウェアハウスデータエンジニアリングデータストリーミングデータサイエンス & ML オープンインタフェース Databricks Unity Catalog (UC) 構造化、非構造化のデータ + AIに対する単一のガバナンスモデルデータベースやデータウェアハウスクラウドデータレイクすべての構造化、半構造化、非構造化データ外部カタログ

Slide 22

Slide 22 text

Databricks Unity Catalog (UC) ディスカバリーデータ共有アクセス制御監査リネージモニタリングテーブルファイルモデルノートブックダッシュボードデータ & AIに対する統合ガバナンスユーザーアプリ Databricks Unity Catalog データとAIに対する統合ビューデータとAIに対するシンプルな権限モデル AIで強化された監視と観測可能性オープンなデータ共有 Databricks Unity Catalog

Slide 23

Slide 23 text

©2023 Databricks Inc. — All rights reserved ML Models BI dashboards Data lake Data warehouse Permissions on ﬁles Permissions on tables, rows and columns Permissions on ML models, features Permissions on reports, dashboards Data Governance Team Data scientist Data engineer Data analyst Data Consumers Applications “Where are the datasets, models, notebooks, dashboards that I need?” “Can I trust the data and ML models?” “How to secure these assets?” “Who is accessing these assets and how?” “Are we meeting the regulatory compliance? ” Unity Catalogが価値を解放しますデータとAIの統合ビューデータとAIに対するシンプルな権限モデル AIで強化された監視と観測可能性オープンなデータ共有イノベーションの加速プラットフォームの複雑性とコストの削減リスクの低減とコンプライアンスの保証データの価値の連携と収益化

Slide 24

Slide 24 text

©2023 Databricks Inc. — All rights reserved データとAIの統合ビュー ■ 構造化データ、非構造化データ、ファイル、ノートブック、ML モデル、ダッシュボードを一つの場所からディスカバリー・分類 ■ データを移動、コピーすることなしに、単一のアクセスポイントを用いて他のデータベースやデータウェアハウスからのデータを統合、クエリー ■ 自動化リネージ、タグ、自動生成されるデータ洞察を用いて、ご自身のデータ領域をより深く理解 ■ 自然言語を用いたご自身のデータやAI資産の検索、理解、洞察の抽出による生産性の向上

Slide 25

Slide 25 text

©2023 Databricks Inc. — All rights reserved データとAIに対するシンプルな権限モデル ■ 一つの場所ですべてのデータとAI資産に対するアクセスポリシーを管理、監査するための統合され、シンプルなインタフェースを用いて皆様のデータ資産を保護 ■ 強化されたセキュリティのために、行や列に対するきめ細かいアクセス制御を有効化 ■ 一つの場所で一貫性を持って管理される権限とオープンなインタフェースを用いた他の計算プラットフォームからセキュアにデータにアクセス

Slide 26

Slide 26 text

©2023 Databricks Inc. — All rights reserved AIで強化された監視と観測可能性 ■ データとMLモデルの品質問題に対するプロアクティブな警告を受信 ■ 効率的な根本原因分析やインパクト評価のためにカラムレベルにまで追跡できるリアルタイムのデータリネージへのアクセス ■ ステークホルダーとデータとML品質レポートを容易に共有するための自動生成ダッシュボードの活用 ■ 課金、監査、リネージなどに対する運用インテリジェンスによる完全なデータとAIの観測可能性の実現

Slide 27

Slide 27 text

Slide 28

Slide 28 text

©2023 Databricks Inc. — All rights reserved 課題 Hiveメタストアによるレガシーなガバナンスモデルはワークスペース間のデータ共有の課題を引き起こしており、アクセスの分離、重複したユーザー管理や分断されたガバナンスプロセスの工数を強いていました。ソリューション Unity Catalogは統合されたメタデータカタログを提供することで、重複したテーブルの作成を不要にし、データ共有をシンプルにします。テーブルやカラムレベルでのきめ細かいアクセスコントロールを定義する能力を提供します。きめ細かいアクセスコントロールによって強化されたデータセキュリティインパクト “Unity Catalogによる分散データガバナンスはAkamaiのデータ管理、統治のアプローチを変革しました。 Akamaiでは40テラバイトから65テラバイトに至るいくつかの大規模なテーブルを含む 100以上のテーブルの移行に成功しました。Unity Catalogによって、行・列に対するきめ細かいアクセスコントロールが施された 6ペタバイト以上のデータを管理、制御できるようになっています。 ”— Gilad Asulin, Big Data Team Leader スケーラブルな分散データガバナンスの実現ワークスペース横断で 6PB のデータを管理、制御

Slide 29

Slide 29 text

©2023 Databricks Inc. — All rights reserved 課題分散されたファイルシステムのアクセスコントロールは困難であり、様々なデータソースからのストリーム /バッチによるデータ取り込みによってさらに複雑なものとなり、データから洞察を得るのに4時間のレーテンシーが発生していました。ソリューション Unity Catalogによってきめ細かいロールベースのアクセスコントロールが可能となり、権限が維持されていることを検証するためのリアルタイムのデータリネージを利用できるようになりました。 15分以内に 50億のイベントが分析で利用可能にインパクト “Unity Catalogによってデータベースよりも優れた柔軟性でファイル権限を管理できるようになりました。データリネージによって、我々のデータの使用状況を効果的に監視でき、データプラットフォームチームとして我々が設定した標準が維持されていることを確認できるようになりました。 ” —Chris Locklin, Engineering Manager, Data Platforms, きめ細かいデータセキュリティによる迅速な洞察効果的にデータリネージによってデータの利用をモニタリング

Slide 30

Slide 30 text

©2023 Databricks Inc. — All rights reserved 課題データカタログではAWS Glue、アクセスコントロールではAWSのIAMに依存していました。これは様々なユースケースにおいて個別のIAMロールを作成し、特定のクラスターにリンクするということを意味していました。ガバナンスで IAM ロールを使うには管理が困難で、きめ細かいアクセスコントロールに欠けていました。ソリューション長期的にはDatabricksのネイティブなガバナンスソリューションが必要となりました。 Unity Catalogによって、Amgenの厳密に制限されたデータセットに対して正確かつ複雑なガバナンスポリシーを実装する能力が強化されました。監査の管理の効率が 50% 改善されましたインパクト “Unity Catalogとのインテグレーションによって、 Amgenの厳格なデータセットに対して正確かつ複雑なガバナンスポリシーを定義する我々の能力が強化されました。この特筆すべき偉業によって、我々のデータエンジニアリング部門で非常に大きなやる気が引き起こされ、Unity Catalogが中央メタストアやアクセス管理サービスとして動作することで、我々のデータプラットフォームへの投資が増加しました ”— Jaison Dominic, Senior Manager, Information Systems 規制の厳しい業界でエンタープライズレベルのガバナンスをデプロイ 20% のDatabricksコスト削減

Slide 31

Slide 31 text

Slide 32

Slide 32 text

©2023 Databricks Inc. — All rights reserved Data Intelligence Platformによる管理の効率化 Databricksはインフラ管理の負荷を削減し、データとAIに対するガバナンスを実現します複雑化するシステムコスト / リソースの最適化データ / AIに対するガバナンス Databricksでシステムをシンプルに柔軟性のあるクラスターと管理機構によるコスト / リソースの最適化 Unity CatalogによるデータとAIに対するガバナンスの実現

Slide 33

Slide 33 text

©2023 Databricks Inc. — All rights reserved データ・インテリジェンス・プラットフォームによる管理の効率化 ■ ここ数年で管理対象はデータやAIに拡張し、IT管理者の皆様は複雑化していくシステムの管理に苦慮されているかと思います。特に今年の生成AIの爆発によって、企業における生成AIの活用が促進され、それらを実現するために必要なシステム対するコストやパフォーマンス、ガバナンスの管理の複雑性、難易度がこれまで以上に高まることは想像に難くありません。 ■ DatabricksのData Intelligence Platformを活用することで、これらデータ&AIのシステム管理の課題に容易に対応することができることを感じていただけたら幸いです。皆様のデータと(生成AIを含む)AIの取り組みを支援するために、Databricksは継続的に改善してまいります。是非ご活用ください！ Databricksはインフラ管理の負荷を削減し、データとAIに対するガバナンスを実現します