第1回データ連携基盤のIBMテクノロジー超概要

Transcript

1. 1 IAなくしてAIなし！ IBMのデータ連携基盤テクノロジーを理解しよう 第1回 データ連携基盤のIBMテクノロジー超概要 ～Data Fabric、Data Intelligence、Data Integration～ 日本アイ・ビー・エム株式会社 テクノロジー事業本部 watsonx事業部 データ・プラットフォーム 第三テクニカルセールス 小澤充明 IAなくしてAIなし！ IBMのデータ連携基盤テクノロジーを理解しよう 第1回 データ連携基盤のIBMテクノロジー超概要 ～Data Fabric、Data Intelligence、Data Integration～ 日本アイ・ビー・エム株式会社 テクノロジー事業本部 watsonx事業部 データ・プラットフォーム 第三テクニカルセールス 小澤充明
2. 本日の内容 • 生成AIをはじめとするデータ利活用・データ連携基盤の課題 • データ・ファブリック、データ・インテグレーション、データ・イン テリジェンスが再注目されている背景 • 課題を解決するIBMのデータ連携基盤テクノロジー超概要 • QA IBM Data Platform / © 2025 IBM Corporation
3. 散存するデータソース内の様々な形式のデータを素早く、安全にAI、 分析モデルに合致した様式で提供することが全社での生成AIやAIの利用、 データ利活用にとって不可欠です → データ連携・利活用基盤の整備も重要 生成AIをはじめとするデータ利活用・データ連携基盤の課題 • 繰り返されるPOC • 業務への組み込みまで 辿り着けない 適切なデータは 散在し、形式も 様々 ガーベージ・イン ガーベージ・アウト AIの結果 分析モデル IBM Data Platform / © 2025 IBM Corporation
4. データ利活用基盤の整備の課題 1.データサイロの複雑化・肥大化 • サイロが散在 • 個々のサイロが肥大化 業務 アプリケーション カスタム・ アプリケーション デバイス 顧客中心型 業務自動化 運用高度化 2.システム間連携も個別最適で作られていて、 システム間でツールや方式がバラバラ • 仕組みが多過ぎて運用が限界 IBM Data Platform / © 2025 IBM Corporation
5. データ利活用基盤の整備の課題と解決策 3.データエンジニアのワーク ロード不足 4.ユーザーによるデータ抽出のセルフサービス化で 解決 ・ユーザー部門、IT部門との責任分解点も課題に IT部門 ユーザー部門 • 上流システムからガバナンスの効いたデー タを抽出・加工するのは問題ないが、細か なユーザーリクエストに対応できるワーク ロードがない • 一定のデータを整備したあとはユーザーで 自由にデータ抽出してほしい • IT部門にデータ抽出を依頼してもタイム リーにデータが届かない • セルフサービスでデータ抽出したいが、 ツールも難解、プログラムも書けない IBM Data Platform / © 2025 IBM Corporation
6. これらの問題を解決するのがデータ・ファブリック データ利活用基盤の整備、ひいては生成AIのエンタープライズ(企業)利用 の課題を解決するためのアーキテクチャーがデータ・ファブリックです • ガバナンスの効いたデータへのシングル・アクセスポイント データ・ファブリック ガバナンスの効いたデータ への シングル・アクセスポイント ユーザー • ビジネスアナリスト • データエンジニア IBM Data Platform / © 2025 IBM Corporation
7. データ・ファブリック データ・ファブリックの構成要素とIBM製品の特徴 データソース データベース データウェアハウス データレイクハウス データガバナンス データ統合 データ可観測性 マスター・データ管理 AI と データ・プラットフォーム データ シェアリング BIと機械学習 オブジェクトストレージ リネージュ データガバナンス、データ統合、データ可観測性、マスター・データ管理、リネージュ等で構成 様々な製品に生成AI、機械学習のテクノロジーが埋め込まれ、データ利活用基盤構築を効率化 Data Intelligence Data Integration IBM Data Platform / © 2025 IBM Corporation
8. 8 IBM Data Platform / © 2025 IBM Corporation Data sources On-premise Streaming Cloud Data types Structured Semi-structured Unstructured data Data Integration Bulk/batch, ETL/ELT Real-time streaming Data observability and quality Data replication Data Store Hybrid, open data lakehouse Fit for purpose query engines Open-source data formats Separate storage and compute Hybrid/ multi-cloud infrasturcture Vectorized embeddings for RAG Data Intelligence Data governance Data quality Data lineage Data sharing Consumers Generative AI Machine Learning Business Intelligence Data Engineering Ecosystem interoperability 3rd Party Tools: Databases Integration tools Object storage Lakehouses Data catalogs +more Unified metadata and governance Guardium Data security posture management Data compliance Data detection and response AI security Quantum safe Data protection データ・ファブリック データ・ファブリック、データ・インテグレーション、データ・インテリジェンス のアーキテクチャ データ・インテグレーション ・データチームや分析者、AI利用者に ・すぐに利用できて信頼性の高いデータを ・高鮮度で確実に届けること データ・インテリジェンス ・AI戦略のキモである企業のデータを ・品質、信頼性、アクセス容易性と ・ガバナンスのバランスを取りながら ・利用者に提供するもの データ・インテリジェンス（DI）とは、コア・ データ管理とメタデータ管理の原則を、人工知 能や機械学習などの高度なツールと組み合わせ ることで、企業データの生成と活用の仕組みを 理解できるように支援するものです。データ・ インテリジェンスの洞察により、データのビジ ネス価値を引き出し、データ主導の意思決定が 促進されます。 IBMのデータ管理アーキテクチャー (IA : Information Architecture)
9. 9 IBM Data Platform / © 2025 IBM Corporation Data Integration Bulk/batch, ETL/ELT Real-time streaming Data observability and quality Data replication DataStage StreamSets Data Replication Databand • 多様なソースとターゲット間で データを統合するためのスケー ラブルなETLツール • 並列エンジンによるETL パフォーマンスの最適化とス ループットを最大化を実現 • ロード・バランシングにより、 大規模データをバッチ処理 • オンプレミスまたは クラウドに展開可能 • リアルタイムにハイブリッド 環境とクラウド環境でのデータ パイプラインを実現 • 監視ツールとエラー処理ツール を備えたユーザーフレンドリー なインターフェースを提供 • 実行状況に関するインサイトを 提供し、処理の中断を最小限に 抑えるパイプラインの設計が 可能 • クラウドとオンプレミスの システム間でニアリアル タイムでデータを同期 • チェンジ・データ・キャプチャ (CDC) を使用して、 変更されたデータを効率的に レプリケート • DB移行、ディザスタリカバリ、 ニアリアルタイム分析を実現 • データ・パイプラインを 監視して、データ品質の 問題を検出 / 防止 • データの更新頻度、 完全性、精度をツール間 で追跡 • タイムリーなアラートと トラブルシューティング を提供 データ連携基盤におけるデータ・インテグレーションのIBMテクノロジー w/LLM Coming Soon
10. 10 IBM Data Platform / © 2025 IBM Corporation Manta Data Lineage Data Product Hub • エンドツーエンドのデータ トレーサビリティ • コンプライアンス、ガバナンス、 リスク軽減をサポート • データドリブンな意思決定と 最適化を支援 IBM Knowledge Catalog • データカタログ • データの統一理解と信頼性向上 を実現 • メタデータ管理、AIを活用した メタデータ・エンリッチメント • データ保護ルールの 一元管理 • データ利用規約、SLAなどを データ・プロダクトとして 作成・管理 • ECサイトで買い物をする感覚 で、データ・プロダクトを 簡単に検索、購読、配信 • データ・プロダクトの パフォーマンスの使用量、 品質を監視 Data Intelligence Data governance Data quality Data lineage Data sharing データ連携基盤におけるデータ・インテリジェンスのIBMテクノロジー w/LLM Coming Soon
11. DataStageと生成AI(LLM)の統合 Get started, fast 最初のフロー構築や自然言語 でのチュートリアルの実行な どのクイックスタートが可能 です Understand and confirm, with trust 複雑なデータ変換するだけでな く、フロー内の論理チェック等 の機能するも保持しています Access and trust the most powerful data transformation engine, all with word. • 強力なバッチ連携、ETLツール • 生成AIとの統合により、自然言語を使用して豊富なデータ変換・加工ジョブを作成します Engage rich integration, simply 自然言語を通じて、複数ステップ のデータ変換処理も作成可能。各 種パラメータ設定にも対応します Coming Soon Data Integration IBM Data Platform / © 2025 IBM Corporation
12. StreamSets(ストリームセット) ストリーミング・データ・パイプラインによる、データ加工処理で、データ連携の 遅延を最小化しながら企業全体でデータを活用できます 生産性を10倍向上 • コネクタ・変換のプリビルドパーツ • 直感的なインターフェース • データ・エンジニアはより迅速にデー タ・リクエストに対応可能 メンテナンス時間を80% 削減 • データドリフト・スキーマ の変更に起因するパイプラ インの修正時間を削減 データ移動の最小化 • オンプレミスまたはク ラウドのデータの保管 場所でデータを処理し、 データ移動を最小化 リアルタイム処理 • データ・ストリーミング Data Integration IBM Data Platform / © 2025 IBM Corporation
13. • データやデータパイプラインインシデントをほぼリアルタイムに 特定・説明するだけでなく、なぜそれが発生したのか？どこに原因があるのか？ど こに影響があるのか？を把握することが可能になります(データ可観測の実現) • 過去のデータ傾向からデータ品質の異常を予兆検知 Databand～データ可観測性～ 過去のデータ傾向からデータ品質異常を自動的に予兆検知 1. 自動的にメタデータを収集 データ分析に使われるキー ソリューションに対応 2. 統計的な判断基準を作成 データ・パイプラインの過去 の稼働状況を元に作成 3. 基準に反する異常をアラート 偏差やルールに基づいて意味の ないノイズと異常のシグナルを 区別 4. 自動化を活用した解決 ワークフローを作成して、 データ品質の問題を修正し、 SLAを遵守 Data Integration IBM Data Platform / © 2025 IBM Corporation
14. 14 IBM Data Replication 異種環境におけるデータベース複製ソリューション ・DB標準のコピー機能では負荷が高い、データ連携のスピードが足りない → 低負荷、高速なデータ連携 ・異なるDB間、OS間でデータ連携が難しい → 多くのOS/DBMSに対応 • ホストとオープン系連携の豊富な実績 ・データ連携アプリケーションに多大な開発コストがかかっている → 開発負荷の低減 機能 • ソースDBのログをキャプチャーしターゲットへ反映。リフレッシュ機能と継続ミラーリング 効果 • 異なるシステムのDBをほぼリアルに連携、データベース移行の切替時間の短縮 データベース ログ ソース側 エンジン ターゲット側 エンジン TCP/IP データベース DB2, Oracle, Microsoft SQL Server等 ・DataStage ・メッセージ・キュー ・フラット・ファイル Data Integration IBM Data Platform / © 2025 IBM Corporation
15. メタデータエンリッチメントを LLMで強化 15 AIとLLMを使用した項目名、説明文の精 度向上により、データ・キュレーション を加速 • LLMの利用により、データの文脈に 沿った項目名と説明を自動生成 • 従来と比較し、自動生成した内容の 精度を向上 項目名候補を 自動生成 説明候補を 自動生成 AIが生成したコンテン ツの信頼度スコア IBM Knowledge Catalogと 生成AI(LLM)の統合 Data Intelligence Coming Soon IBM Data Platform / © 2025 IBM Corporation
16. Manta Data Lineage 倉庫 （データレイク） 配送 (バッチ処理) 店舗 (データマート・ レポート) 農場でオーガニック栽培したリンゴが店舗に並ぶまで ＝データパイプライン 農作物 (データ源泉) 不良品調査 ＝エラー調査 監督官庁監査 ＝データ監査 来歴・原因調査=リネージュ 『データの流れの管理と迅速な調査を実現するリネージュがデータガバナンス向上 ＆利活用促進のカギ』 監督官庁 品質責任者 本当に全部オーガニックなの？ ＝信頼性のあるデータなの？ たぶん・・関連部署に問合せます ＝時間がかかり、期限に間に合わない 店⾧ このリンゴは何処から出荷さ れた？ ＝間違ったデータはどこで処 理された？ ちょっと・・配送業者に確認します ＝時間がかかり、クレームが増加 【MANTAのインターフェース】 • データの流れを自動的に可視化 • 履歴管理や間接影響も可視化 カラム単位で可視化 過去バージョンを変更点と合わせて表示 Data Intelligence IBM Data Platform / © 2025 IBM Corporation
17. 社内マーケット・プレイスにデータ利活用に必要なデータと関連アセット を「プロダクト」として登録し、利活用を促進 Data Product Hub ～データ・シェアリング～ 必要なものをパッケージ&再利用 • データ・プロダクトは、データと 関連アセットをパッケージング • エンドユーザのニーズに合わせ、 定義済のプロダクトを再利用する ことで、迅速にパッケージ化 • 関連アセットとは、データ、BIレポー ト、手順書、ダッシュボードAIモデル、 分析ツール等データの利用に必要なもの データのライフサイクル、利用方法、利用 条件・制約をまとめて管理 • 利用者のニーズ、解決できる課題、創出できる 価値、SLAをデータ・プロダクトで管理 • 経験知、慣習、不文律等、データ利用にまつわ る利用条件と制約を文書化してバンドル • 異なる業務目的、部門、地域をまたいだデータ 共有時も意図しない利用や不正利用のリスクを 排除 Data Intelligence IBM Data Platform / © 2025 IBM Corporation
18. DataStageと生成AI(LLM)の統合demo Coming Soon Data Integration IBM Data Platform / © 2025 IBM Corporation IBM Knowledge Catalogと 生成AI(LLM)の統合demo Coming Soon Data Intelligence
19. 19 IBM Data Platform / © 2025 IBM Corporation データ連携基盤が引続き重要視されている背景や課題、 それらを解決するIBMテクノロジー(SW)の「超概要」をご紹介させていただきました。 次回以降、個々のテクノロジー(SW製品)をより深掘ってご紹介していきます。 終わりに