第2回CloudデータLiftからZeroETLもレガシー・モダナイズも実現するレプリケーション概要

Transcript

1. 0 IAなくしてAIなし！ IBMのデータ連携基盤テクノロジーを理解しよう 第2回 CloudデータLiftからZeroETLもレガシー・モダナイズ も実現するレプリケーション概要 ～Data Integration～ 日本アイ・ビー・エム株式会社 テクノロジー事業本部 watsonx事業部 データ・プラットフォーム 第三テクニカルセールス 小澤充明
2. 本日の内容 • レプリケーション技術の概要をIBM Data Replication製品でご説明 • 6つのユースケースのご紹介 • デモ • CloudデータLift • レガシー・モダナイズ • QA IBM Data Platform / © 2025 IBM Corporation 1
3. 2 IBM Data Platform / © 2025 IBM Corporation Data sources On-premise Streaming Cloud Data types Structured Semi-structured Unstructured data Data Integration Bulk/batch, ETL/ELT Real-time streaming Data observability and quality Data Replication Data Store Hybrid, open data lakehouse Fit for purpose query engines Open-source data formats Separate storage and compute Hybrid/ multi-cloud infrasturcture Vectorized embeddings for RAG Data Intelligence Data governance Data quality Data lineage Data sharing Consumers Generative AI Machine Learning Business Intelligence Data Engineering Ecosystem interoperability 3rd Party Tools: Databases Integration tools Object storage Lakehouses Data catalogs +more Unified metadata and governance Guardium Data security posture management Data compliance Data detection and response AI security Quantum safe Data protection データ・ファブリック はじめに位置づけの整理 データ・ファブリック、データ・インテグレーション、データ・インテリジェンスのアーキテクチャー データ・インテグレーション ・データチームや分析者、AI利用者に ・すぐに利用できて信頼性の高いデータを ・高鮮度で確実に届けること データ・インテリジェンス ・AI戦略のキモである企業のデータを ・品質、信頼性、アクセス容易性と ・ガバナンスのバランスを取りながら ・利用者に提供するもの データ・インテリジェンス（DI）とは、コア・ データ管理とメタデータ管理の原則を、人工知 能や機械学習などの高度なツールと組み合わせ ることで、企業データの生成と活用の仕組みを 理解できるように支援するものです。データ・ インテリジェンスの洞察により、データのビジ ネス価値を引き出し、データ主導の意思決定が 促進されます。 IBMのデータ管理アーキテクチャー (IA : Information Architecture) Data Replication
4. 3 IBM Data Replication 概要：異種環境におけるデータベース複製ソリューション ・DB標準のコピー機能では負荷が高い、データ連携のスピードが足りない → 低負荷、高速なデータ連携 ・異なるDB間、OS間でデータ連携が難しい → 多くのOS/DBMSに対応 ーホストとオープン系連携の豊富な実績 ・データ連携アプリケーションに多大な開発コストがかかっている → 開発負荷の低減 機能 • ソースDBのログをキャプチャーしターゲットへ非同期で反映。リフレッシュ(洗い替え) とミラーリング (差分同期)機能 • (ソースのテーブルイメージをそのままターゲットにコピーが原則(パフォーマンス劣化防止) 効果 • 異なるシステムのDBをニア・リアルに連携、データベース移行の切替時間の短縮 アーキテクチャ ソース側 エンジン ターゲット側 エンジン ・データベース ・DataStage(ETL) ・メッセージ・キュー IBM Data Platform / © 2025 IBM Corporation IDR IDR データベース log データ ベースlog Zero ETL 管理コンソール レガシー・モダナイズ
5. レプリケーション のユースケース IBM Data Platform / © 2025 IBM Corporation •Major z/OS revenue driver •Give it away for Db2 on other platforms ニア・リアルタイム/リアルタイムなデータ利活用 によりビジネスを促進 •Major z/OS revenue driver •High value embed for Db2 on other platforms システムの持続的な可用性を支えるために データの同期を提供 イベント・ドリブン ・ リアルタイム分析 高可用性と災害復旧 停止時間を最小化した サーバー移行 データの同期と複製 Data Replication 1 2 リアルタイムのビジネス –データ・イベントが発生すると同時に検出 して反応することによるビジネスの促進 –最新のデータ (リアルタイム分析) を使用 した意思決定の最適化 定常的に同期を取るべきデータ –アクティブ/スタンバイとアクティブ/ アクティブを使用した高可用性 –停止時間のないデータの移行と バージョンアップをサポートするデータの 同期 レガシー・モダナイズ Cloudデータ Lift 3 4 5 6 4
6. ユースケース1：イベント・ドリブン ・リアルタイム分析 ～データ・ウェアハウス(DWH)のニア・リアルタイム化 ～ IBM Data Platform / © 2025 IBM Corporation ETL DWH 夜間バッチ ODS 基幹への 負荷 多くの プログラム開発 長時間のバッチ 処理 ETL DWH 短時間のバッチ 処理 古いデータ 夜間処理 ODS 低負荷 非同期 IDR プログラム不要 高鮮度データ 従来のデータウェアハウス構築 IDRを使ったデータウェアハウス構築 【課題】 • 分析ニーズの拡大に伴うデータ量増加で、DWHを 構築する夜間バッチが終わらない • 夜間バッチの基幹への負荷が大きすぎて、24時間 運用に支障をきたしている • 連携のための開発工数が大きい 【ソリューション】 • 差分データでバッチ時間を大幅に削減 • 低負荷・非同期の差分情報抽出 • 連携のためのプログラムが不要 5
7. ユースケース2：データの同期と複製〜 システム間データ連携 〜 IBM Data Platform / © 2025 IBM Corporation 配送計画システム 顧客情報 在庫情報 売上システム 異なるDB間、プラット フォーム間でもプログ ラミングレスで連携 最新の発送ステータス で顧客サービス向上 既存システムを 修正なしに活用 最新の在庫情報で販売 機会を 最大化 IDR IDR IDR IDR ECサイト 配送情報 売上情報 【課題】 • 最新の情報を利用して、システムの利用価値を高め たい • 異なるシステムのデータを活用したいが変更や開発 に時間とコストがかかる 【ソリューション】 • 最新の情報をシステム間で連携し、ビジネスに活用 • 異なるシステムをプログラミングなしに連携 6
8. ユースケース3：高可用性と災害復旧〜災害対策 〜 7 論理区画#１ 論理区画#2 論理区画#3 物理サーバー 異機種間 レプリケーション IDR IDR IDR 1台を論理区画分割し、 待機系コストを最小化 スタンバイも読書き可能で、 システムリソースを有効活用 可能 【課題】 • 災害対策のサーバーは低コスト、管理負荷軽減のため に統合サーバーや廉価サーバーを使いたい • スタンバイ機も平常時はレポート出力などを行い、 費用対効果を高めたい 【ソリューション】 • 最新の情報をシステム間で連携し、ビジネスに活用 • 異なるシステムをプログラミングなしに連携
9. 2Q25 Data Integration + Data Intelligence enablement, April 22nd/IBM Data Platform / © 2025 IBM Corporation 8 Export Import ▪ ステップ1 ：初期コピー ▪ ステップ2 ：差分転送 ユースケース4：停止時間を最小化したサーバー移行 ～データベース短時間停止移行～ 新DBへのデータ移行の ために長時間の業務停止 初期コピー中の変更を 後から追いかけるため、 その間の業務停止が不要 DB,OS,バージョンの 相違を吸収 現行と異なるDBやOS、 バージョンの新規環境へ の移行では制限が多い 従来の移行方法 IDRを使った移行方法 ▪ ステップ2 ：差分転送 Export Import IDR 【課題】 • バージョンアップやサーバー移行に伴う業務停止を 最小限に抑えたい • 現行データベースには影響をあたえられない • 異なるDBやOS、バージョンの移行では制限が多い 【ソリューション】 • 差分更新情報をつかって、業務停止を極小化 • ログベースの軽量で非同期な動作 • 異なるOSやバージョンを論理コピーでレプリケー ション
10. Demo CloudデータLift IDR 9 Db2 AWS RDS for Db2
11. ホストデータ連携/利活用の背景 ～今、求められていること～ レガシー・モダナイズ~ DataGate for watsonx ~ 重要なデータは未だホストに存在 • データ利活用の再検討が急務 • 業務システムの刷新(更改)も大きな経営課題に データ連携ニーズの高まり • システム更改案件でのデータ連携(移行) • ダウンサイジング • 情報系／分析系システムへのデータ連携 • 生成AIや機械学習での活用 データ連携 オンプレミス オンプレミス クラウド • 業務システム刷新/更改(リフト） • 新規情報系/分析系システム整備 • 業務システム刷新/更改(リフト） • 新規情報系/分析系システム整備 10
12. ホストからのデータ連携のよくある悩み 1. ホストのリソースの課題 2. データの事前加工 3. データの鮮度 •データを抽出するためのクエリ によりホストの処理リソースを 消費 ➢バッチなどへの影響 ➢コストの増加 •ホストのスキルのある人材の 確保 •データ形式の違い •文字コード •データ構造 •データベース管理システムの 違い •トランザクションの違い •データの同期 •データの一貫性 ホスト 分散 これらを考慮したソリューションが必要 11
13. 新たなホストデータ連携方式 従来のホストを含めたデータ連携 • ホストへの負荷の考慮が必要 • 対象別の複雑なデータ連携 • 限定的なユースケース • ホストへの負荷を最小化 • シンプルなデータ連携 • 生成AIを含めたユースケースへの展開 watsonx.dataをHUBとした連携 12 DataGate for watsonx
14. Demo レガシー・モダナイズ IBM Data Gate for watsonx ～ホストVSAMデータを容易に利活用～ watsonx.data VSAM IBM Cloud Object Storage Apache Iceberg表形式 (オープン・ソース形式) IBM Data Gate for watsonx 分散クエリ・ エンジンPresto 13
15. 本日のまとめ • レプリケーション技術の概要をIBM Data Replication製品でご説明 • 6つのユースケースのご紹介 • デモ • CloudデータLift • レガシー・モダナイズ IBM Data Platform / © 2025 IBM Corporation 1 4
16. 15 IBM Data Platform / © 2025 IBM Corporation Data sources On-premise Streaming Cloud Data types Structured Semi-structured Unstructured data Data Integration Bulk/batch, ETL/ELT Real-time streaming Data observability and quality Data replication Data Store Hybrid, open data lakehouse Fit for purpose query engines Open-source data formats Separate storage and compute Hybrid/ multi-cloud infrasturcture Vectorized embeddings for RAG Data Intelligence Data governance Data quality Data lineage Data sharing Consumers Generative AI Machine Learning Business Intelligence Data Engineering Ecosystem interoperability 3rd Party Tools: Databases Integration tools Object storage Lakehouses Data catalogs +more Unified metadata and governance Guardium Data security posture management Data compliance Data detection and response AI security Quantum safe Data protection データ・ファブリック データ・ファブリック、データ・インテグレーション、データ・インテリジェンス のアーキテクチャ データ・インテグレーション ・データチームや分析者、AI利用者に ・すぐに利用できて信頼性の高いデータを ・高鮮度で確実に届けること データ・インテリジェンス ・AI戦略のキモである企業のデータを ・品質、信頼性、アクセス容易性と ・ガバナンスのバランスを取りながら ・利用者に提供するもの データ・インテリジェンス（DI）とは、コア・ データ管理とメタデータ管理の原則を、人工知 能や機械学習などの高度なツールと組み合わせ ることで、企業データの生成と活用の仕組みを 理解できるように支援するものです。データ・ インテリジェンスの洞察により、データのビジ ネス価値を引き出し、データ主導の意思決定が 促進されます。 IBMのデータ管理アーキテクチャー (IA : Information Architecture)
17. 16 IBM Data Platform / © 2025 IBM Corporation アンケートへのご協力のお願い [conpassにも記載のURL] https://ibm.biz/BdexBq