IBM_Databand.pdf

Transcript

1. 0 IAなくしてAIなし！ IBMのデータ連携基盤テクノロジーを理解しよう 第５回 気づく、防ぐ、信頼を守る IBM Databandが支えるデータ品質監視の最前線 日本アイ・ビー・エム株式会社 テクノロジー事業本部 watsonx事業部 第三テクニカルセールス 郭蕊（かく ずい）
2. 本日の内容 • IBM Databandの位置付け • データ・オブザーバビリティー(データ可観測性)とは？ • IBM Databandの機能概要 • デモ • ユースケース • QA IBM Data Platform / © 2025 IBM Corporation 1
3. 2 IBM Data Platform / © 2025 IBM Corporation Data sources On-premise Streaming Cloud Data types Structured Semi-structured Unstructured data Data Integration Bulk/batch, ETL/ELT Real-time streaming Data observability and quality Data Replication Data Store Hybrid, open data lakehouse Fit for purpose query engines Open-source data formats Separate storage and compute Hybrid/ multi-cloud infrasturcture Vectorized embeddings for RAG Data Intelligence Data governance Data quality Data lineage Data sharing Consumers Generative AI Machine Learning Business Intelligence Data Engineering Ecosystem interoperability 3rd Party Tools: Databases Integration tools Object storage Lakehouses Data catalogs +more Unified metadata and governance Guardium Data security posture management Data compliance Data detection and response AI security Quantum safe Data protection データ・ファブリック はじめに位置づけの整理 データ・ファブリック、データ・インテグレーション、データ・インテリジェンスのアーキテクチャー データ・インテグレーション ・データチームや分析者、AI利用者に ・すぐに利用できて信頼性の高いデータを ・高鮮度で確実に届けること データ・インテリジェンス ・AI戦略のキモである企業のデータを ・品質、信頼性、アクセス容易性と ・ガバナンスのバランスを取りながら ・利用者に提供するもの データ・インテリジェンス（DI）とは、コア・ データ管理とメタデータ管理の原則を、人工知 能や機械学習などの高度なツールと組み合わせ ることで、企業データの生成と活用の仕組みを 理解できるように支援するものです。データ・ インテリジェンスの洞察により、データのビジ ネス価値を引き出し、データ主導の意思決定が 促進されます。 IBMのデータ管理アーキテクチャー (IA : Information Architecture) IBM Databand
4. なぜData Observabilityが必要なのか エラーは後から発覚 業務への影響 パイプラインが複雑化 異常に気づくのが遅い 「データの信頼性」が低下 従来の監視 Data Observability • CPU/メモリなどのインフラ中心 • サーバーが動いているかどうかにフォーカス • ジョブは動いているように見えても、データの 遅延はわからない • 問題が発生してから対応 • データそのものの品質・遅延・欠損を監視 • パイプラインが予定どおり動いているかを可視化 • 何が？どこで？なぜ発生したか？ • 先を見越して、事前に、プロアクティブに IBM Data Platform / © 2025 IBM Corporation 3
5. IBM Data Platform / © 2025 IBM Corporation 4 根本的な原因 – 断片化したツールチェーン – データの爆発的増加 – ノイズの流入 データ品質の問題の ほとんどは発見されない データ利用者から報告 された場合にのみ問題を 知ることができる 問題が報告された後、 修正に数週間かかる データエンジニアは、データに関する問題に対して、問題が起きてから対応します。 その結果、工数負荷の肥大化や高コストにつながります。 Sources Data lake Data warehouse Data access (Analysts, scientists) Before：データの問題は発生してから対処、かつ発見しづらい 問題の多くは発見すらされずに、利用者からの報告があった場合のみ対処
6. IBM Data Platform / © 2025 IBM Corporation MTTD（平均検出時間）の改善 データ投入と同時に リアルタイムに問題を発見 プロアクティブなデータ可観測性。問題をソース(元)から解決する MTTR（平均解決時間）の向上 問題の原因・影響度を 瞬時に特定 データプロダクトの品質向上 信頼とデータ利用者の 満足度向上 Sources Data lake Data warehouse Data access (Analysts, scientists) 5 After：データの問題をリアルタイムに発見しソース(元) で解決 求められるソリューション – メタデータの収集 – ソースからターゲットまで のすべてのデータフローを 可視化 – ノイズの排除 データ・オブザーバビリティー 問題をよりデータソースに近いところで解決：Shift Left
7. IBM Data Platform / © 2025 IBM Corporation 6 Databandによる問題検知と解決の流れ Databandはデータそのものの品質だけでなくそれを生成するフローの可観測性を提供します。具体的には、データフローに関する統計情報・過 去のトレンドなどのメタデータを集め、データ生成におけるベースラインを定め、そのベースラインに基づいて監視を行い、基準を満たしてい ないものがあればアラートを発砲すると共に、SLAを保てるように問題と原因の特定を行います。 1 自動的にメタデータを収集 近年のデータ分析に使われる キーソリューションに対応 2 統計的な判断基準を作成 データ・パイプラインの過去の 稼働状況を元に作成 3 基準に反する異常をアラート 偏差やルールに基づいて意味のない ノイズと異常のシグナルを区別 4 自動化を活用した解決 スマートなワークフローを作成して、 データ品質の問題を修正し、SLAを遵守 Airflow、Spark、Databricks、 DataStage、dbt、Azure Data Factory ...
8. IBM Data Platform / © 2025 IBM Corporation 7 Databandの機能・特徴 データインシデント管理 全てのデータインシデント (異常)を1カ所で警告、対応、解決 データ品質管理 カラムの変更、NULLレコード、 配信遅延を検出することで、デー タのSLAを達成 データ異常検知 逸脱した動作を自動的に検出する ことで、不良データのサプライズ を排除 データ・リネージュと影響分析 データインシデントが上流および 下流のデータフローに与える影響 を特定 データスタック可視性 Airflow、Spark、Databricks、 DataStage、dbtなどの既存のデー タスタックを統合 データ・パイプライン・モニタリ ング 100〜1,000のデータ・パイプライ ンの健全性を管理
9. IBM Data Platform / © 2025 IBM Corporation 8 データ・オブザーバビリティソリューションIBM Databandが実現すること Databandは、データに関する問題を即座に検知し、解決するためのオペレーションを提供します。 ビジネスに大きな影響を与える前に、問題を把握して対応を開始することができます。 より早く検知 未知のデータに関する問題をピンポイント で特定し、平均検出時間（MTTD）を日単 位から分単位に短縮します より早く解決 問題のアラートと解決方法の特定により、 平均解決時間（MTTR）を数週間から数時 間に改善します 信頼できるデータを提供 信頼性とデータ配信のSLAを強化し、通常で は検出されないパイプラインの品質問題を可 視化します
10. IBM Data Platform / © 2025 IBM Corporation 9 デモ IBM DataStageで作成したパイプラインを可視化し、リアルタイムでアラートを確認する DataStageの接続 データ処理の可視化 アラートの設定
12. IBM Data Platform / © 2025 IBM Corporation 11 データ・パイプライン管理の効率化 • Snowflake(DWH)とDataStage(ETL)を利用し膨大なデータ パイプラインを管理 • 会社全体のインフラ間をデータがめまぐるしく移動するため、 データがどこからどこへ移動しているのか全容の把握が困難で 多大な工数を掛けており早急な可観測性向上が期待されていた • 各国の規制当局に準拠するために、データがどこで？どのように 移動し？どのように使用されているのか？エラー状況も含めて、 迅速に適切に把握できるようになった • 膨大なデータ・パイプラインの手動監視とデバッグを排除 • ELT処理は正常終了しているが、処理遅延やデータ変化傾向・ 予兆にいち早く気づくことができるようになった 構成イメージ 要望/課題 解決策と効果 データソース 銀行業・金融業 ユースケース データソース DataStageによるETL処理
13. IBM Data Platform / © 2025 IBM Corporation 12 データ・パイプラインの効率化 • データの信頼性が無く、データSLAを維持することが困難 • 新しいデータプロジェクトや収益機会を逃している • データ・パイプラインの60％に何らかの問題があり、データ エンジニアのデバッグ工数が高い • データSLA担保、デバッグ作業だけではなく、データモデルの構 築に時間を費やすことができるようになり生産性を3倍に向上 • データパイプラインの信頼性向上により、モデル精度を96％に • 60％のパイプラインに問題があったが、現在は1％未満となり、信 頼性の高いモデル・サービス提供が可能となり顧客数が3倍に 増加 構成イメージ 要望/課題 解決策と効果 ITビジネス業 流通サービス業 Data Source 分析 アプリ DataMart DWH or Lake ETL/EAI DataMart 異常値 欠損値 処理時間 異常 ①アラート通知(データインシデント発生) ②原因、影響範囲を確認し対処 データエンジニア ユーザが異常に気づく前にアラート通知を 受けて、何が原因？どこに原因？どこに影響？ があるかを視覚的に調査可能で生産性向上 データパイプラインの品質向上 消費財/小売メーカーに対する商品棚・在庫管理に関するデー タ収集、測定、分析ソリューションを提供
14. IBM Data Platform / © 2025 IBM Corporation 13 本日のまとめ • IBM Databandの位置付け • データ・オブザーバビリティー(データ可観測性)とは？ • IBM Databandの機能概要 • デモ • ユースケース
15. ワークショップ、セッション、および資料は、IBMまたはセッション発表者によって準備され、それぞれ独自の見解を反映したものです。それらは情報提供の目的のみで 提供されており、いかなる参加者に対しても法律的またはその他の指導や助言を意図したものではなく、またIBM製品やサービスがお客様に適用ある特定の法令に適合す ることを保証するものでもありません。本講演資料に含まれている情報については、完全性と正確性を期するよう努めておりますが、「現状のまま」提供され、明示また は黙示にかかわらず、商業性、特定の目的への適合性、非侵害性を含め、いかなる保証も伴わないものとします。本講演資料またはその他の資料の使用によって、あるい はその他の関連によって、いかなる損害が生じた場合も、IBMは責任を負わないものとします。 本講演資料で言及されるIBM製品、プログラム、またはサービスは、IBM がビジネスを行っているすべての国・地域でご提供可能なわけではありません。本講演資料で言及される将来の展望（製品リリース日付や製品機能を含む）は、市場機会 またはその他の要因に基づいてIBM独自の決定権をもっていつでも変更できるものとし、将来の製品または機能が使用可能になること、もしくは特定の結果を確約するこ とを意図するものではありません。本講演資料は、言及される IBM製品またはサービスに適用ある契約条件を変更するものでも、追加の表明または保証を意図するもので もありません。 本講演資料に含まれている内容は、参加者の活動によって特定の結果が生じると述べる、または暗示することを意図したものでも、またそのような結果を生むものでもあ りません。 パフォーマンスは、管理された環境において標準的なIBMベンチマークを使用した測定と予測に基づいています。ユーザーが経験する実際のスループットやパ フォーマンスは、ユーザーのジョブ・ストリームにおけるマルチプログラミングの量、入出力構成、ストレージ構成、および処理されるワークロードなどの考慮事項を含 む、数多くの要因に応じて変化します。したがって、個々のユーザーがここで述べられているものと同様の結果を得られると確約するものではありません。記述されてい るすべてのお客様事例は、それらのお客様がどのようにIBM製品を使用したか、またそれらのお客様が達成した結果の実例として示されたものです。実際の環境コストお よびパフォーマンス特性は、お客様ごとに異なる場合があります。 IBM、IBMのロゴ、ibm.comは、世界の多くの国で法的に登録された、International Business Machines Corporationの商標です。その他の製品名・サービス名はIBMま たは他社の商標である可能性があります。IBM商標の最新リストは、ウェブ上の「著作権および商標情報」（ www.ibm.com/jp-ja/legal/copytrade.shtml ）でご確認いた だけます。 通知と免責事項