RDS for Db2 データ移行編 - Part3: Qレプリケーションでデータ連携/20241025-RDSforDb2-dojo

2024/10/25(金) オンライン開催 

RDS for Db2 データ移行編 - Part3: Qレプリケーションでデータ連携
https://ibm-developer.connpass.com/event/334546/
の資料です。

【内容】

・既存Db2環境からのデータ移行・データ連携の方法
・ RDS for Db2 データ移行編 - Part3: Qレプリケーションでデータ連携

IBM Data Replication（Qレプリケーション）製品を使うと、ソース・データベースとなるDb2のログから更新を読み取り、ターゲット・データベースへ差分データの反映ができます

オンプレ/IaaS上のDb2データベース（ソース）から、RDS for Db2（ターゲット）へ、レプリケーションによるデータ連携をしてみましょう

Transcript

1. 2024年10月25日 RDS for Db2 データ移行編 – Part3: Qレプリケーションでデータ連携 12:05より開始します IBM Database Dojo 2024年 Autumn編 Db2 11.5.9 平野 真弓 Mayumi Hirano 日本アイ・ビー・エム株式会社 テクノロジー事業本部 Data & AI Technical Sales 西戸 京子 Kyoko Nishito
2. 本日のAgenda 12:05〜12:45 ⚫ 既存Db2環境からのデータ移行・データ連携の方法 ⚫ RDS for Db2 データ移行編 - Part3: Qレプリケーションでデータ連携 • IBM Data Replication（Qレプリケーション）製品を使うと、ソース・データベースとなる Db2のログから更新を読み取り、ターゲット・データベースへ差分データの反映ができま す • オンプレ/IaaS上のDb2データベース（ソース）から、RDS for Db2（ターゲット）へ、レ プリケーションによるデータ連携をしてみましょう ⚫ 実際に見てみよう Qiita)「Amazon RDS for Db2とのQレプリケーション」 - https://ibm.biz/qrep-rdsdb2 2
3. 前回と、2024年6月-７月までの内容 RDS for Db2はじめの一歩：全３回 • #1 「作り方編」：6月28日（金）資料と録画公開済み • #2 「HA(高可用性)編」：7月12日（金）資料と録画公開済み • #3 「バックアップ編」：7月25日（木）資料と録画公開済み • Qiita記事 • 「RDS for Db2・はじめの一歩」3回 シリーズ 3 RDS for Db2 データ移行編：３回 • #1： 9月27日（金） 「S3からデータ・ロードしてみよう」<資料公開済> • #2：10月11日（金）「S3経由のバックアップ/リストアでデータ移行」<資料公開済> #3：10月25日（金）「Q レプリケーションでデータ連携」 <本日>
4. Q&A • 質問があればチャットに宛先を「全員宛」で随時入れてください • 回答可能なのものはその場でチャットで回答します • 最後にQ&Aの時間をとります - 前回#2のアンケートのコメントやご質問も、最後のQ&Aタイムに回答させていただきます - QAタイムの時間が超過してしまいましたら後ほど録画を公開しますので、録画をチェックし てください アンケート • Slidoのアンケートにコメントお願いします！ 4
5. 既存Db2環境からAmazon RDS for Db2へのデータ移行 環境や要件によって様々な方法があります マイグレーション タイプ Source OS 方法 使用するツールのタイプ ワンタイム・ マイグレーション Linux(64bit LE) Db2 v11.1〜11.5のみ バックアップを作成し、リストア ネイティブDb2ツール LUW, z/OS DDL出力 & export →テーブル作成 & import or load (Db2コマンド等の利用) ネイティブDb2ツール Linux, AIX Db2MT OSSのDb2 to RDS for Db2 支援ツールhttps://github.com/IBM/db2-db2mt メタデータを抽出し、データをアンロード可能。抽出したメタデータを 使用してデータベースオブジェクトを作成し、その後 Db2MT を利用し て Amazon S3 から直接 Amazon RDS for Db2 にデータをロード可能 その他バックアップ/リストア機能もあり。 OSS ログレプリケーションによる 移行 (切替時間が短い) LUW, z/OS IBM Data Replication (Q レプリケーション) IBM Software LUW, z/OS (OSにより条件あり) AWS DMS (z/OSはワンタイムのみ) AWS Service Linux(64bit LE) Db2 v11.1〜11.5のみ Db2MT OSSのDb2 to RDS for Db2 支援ツールhttps://github.com/IBM/db2-db2mt Db2MT は定期的にログを直接 Amazon S3 にアーカイブし、データベー スをロールフォワードペンディングモードに維持して、ログを RDS for Db2 に適用する手順を提供 OSS *LUW: Linux, Unix, Windows 5 参考: Amazon Web Services ブログ Amazon RDS for Db2 へのデータマイグレーション戦略
6. 既存Db2環境からAmazon RDS for Db2へのデータ移行 環境や要件によって様々な方法があります マイグレーション タイプ Source OS 方法 使用するツールのタイプ ワンタイム・ マイグレーション Linux(64bit LE) Db2 v11.1〜11.5のみ バックアップを作成し、リストア ネイティブDb2ツール LUW, z/OS DDL出力 & export →テーブル作成 & import or load (Db2コマンド等の利用) ネイティブDb2ツール Linux, AIX Db2MT OSSのDb2 to RDS for Db2 支援ツールhttps://github.com/IBM/db2-db2mt メタデータを抽出し、データをアンロード可能。抽出したメタデータを 使用してデータベースオブジェクトを作成し、その後 Db2MT を利用し て Amazon S3 から直接 Amazon RDS for Db2 にデータをロード可能 その他バックアップ/リストア機能もあり。 OSS ログレプリケーションによる 移行 (切替時間が短い) LUW, z/OS IBM Data Replication (Q レプリケーション) IBM Software LUW, z/OS (OSにより条件あり) AWS DMS (z/OSはワンタイムのみ) AWS Service Linux(64bit LE) Db2 v11.1〜11.5のみ Db2MT OSSのDb2 to RDS for Db2 支援ツールhttps://github.com/IBM/db2-db2mt Db2MT は定期的にログを直接 Amazon S3 にアーカイブし、データベー スをロールフォワードペンディングモードに維持して、ログを RDS for Db2 に適用する手順を提供 OSS *LUW: Linux, Unix, Windows 6 参考: Amazon Web Services ブログ Amazon RDS for Db2 へのデータマイグレーション戦略 ※本日の内容
7. Qレプリケーションの説明 ◼ 「Qレプリケーション」とは、IBM Data Replication(ソフトウェア製品の名称) で提供される、大量のデータを短い待ち時間で複製することができる製品 ◼ ソースDBのコミットされたトランザクション・データを、ターゲットDBに反映 するしくみを提供 ◼ ソースの更新情報を収集するコンポーネントと更新情報をターゲットに反映する ２つのコンポーネントの連携で構成される • キャプチャーとアプライと呼ばれる ◼ Qレプリケーションは、データの送受信にMQメッセージ・キューを利用する ◼ Db2 LUW(Linux,Unix,Windows)環境だけでなくz/OSでも同じアーキテクチャー で動くレプリケーション製品です ◼ Qレプリケーション概要資料 Qレプリケーションそのものの概要は、こちらの資料をご覧ください IBM Support :【SIL】【IM】Qレプリケーション概要 7
8. Qレプリケーションのアーキテクチャー ログベース Db2/zOS Db2/LUW ＭＱ ソ ー ス タ ー ゲ ッ ト Qキャプチャー Db2/zOS Db2/LUW 連続稼動 Qアプライ パラレル な適用 MQチャネル ログ ＭＱ Agent Agent Agent どの行がINSERT/UPDATE/DELETE されたという情報を格納 コミット・インターバル (ミリ秒単位。 デフォルト５００ミリ秒) 同様の仕組みで同一表の双方向更新も 可能 CD1 制御表群 CD1 制御表群 ▪ Qレプリケーションには３つのコンポーネントがある – Qキャプチャー：変更トランザクションの収集 – IBM MQ ：変更トランザクションの転送 – Qアプライ ：変更トランザクションをターゲットに適用 8
9. Qレプリケーションの活用例 情報系システム構築 異なる業務間でのデータ連携 Db2マイグレーションのデータ移行 災対システム 既存DB 新DB DB,OS,バージョン の相違を吸収 Qレプリケーション 9
10. [2024/6]RDS for Db2とのQレプリケーション QRep Setup Between Db2 On-Prem and AWS RDS for Db2 10
11. 【Db2 LUW⇔RDS for Db2】 情報系システム構築 異なる業務間でのデータ 連携 Db2マイグレーションの データ移行 災対システム 11
12. 【Db2 for z/OS⇔RDS for Db2】 情報系システム構築 異なる業務間でのデータ 連携 Db2マイグレーションの データ移行 災対システム 12
13. 【RDS for Db2⇔RDS for Db2】 情報系システム構築 異なる業務間でのデータ連携 Db2マイグレーションの データ移行 災対システム 13
14. 今回やってみたのはこちら 【Db2 LUW⇔RDS for Db2】 情報系システム構築 異なる業務間でのデータ 連携 Db2マイグレーションの データ移行 災対システム 14
15. 実際に Qレプリケーションを動かして みます Amazon RDS for Db2とのQレプ リケーション https://ibm.biz/qrep-rdsdb2 15
16. 前回#2 「S3経由の バックアップ/リス トアでデータ移行」 時のアンケートでの ご質問を、最後の Q&Aタイムに回答さ せていただきます 16
17. <前回>のご質問より 参考：Db2用語のおさらい BACKUP DATABASE 障害 RESTORE DATABASE バックアップ イメージ BACKUP DATABASE 障害 RESTORE DATABASE ROLLFORWARD DATABASE バックアップ イメージ ログファイル ◼ ロールフォワード回復 • ログを適用しデータベスをある時点までの状態に戻す ◼ バージョン回復 • バックアップを使用してデータベースを回復する ◼ オフライン・バックアップ • データベースに他のアプリケーションが接続してい ない状態でバックアップを取得する方法 • データベース全体のバージョン回復の場合、ログフ ァイルがなくてもリカバリー可能 • 循環ロギングの時にはこのモードのみ選択可能 ◼ オンライン・バックアップ • データベースに他のアプリケーションが接続して いる状態でバックアップを取得する方法 • データベースはアーカイブ・ロギング方式である 必要がある • オンライン･バックアップからの回復時には、オン ライン・バックアップ取得終了時点までのログ・ ファイルのロールフォワードが必須 17
18. 実際に見てみよう：オフライン・バックアップからの移行 （バージョン回復） オンプレミス / Amazon EC2など RDS Db2 AWS Cloud Db2 (1)db2 backup db xxx （直接S3へ書き出し） または ローカルに取得した db2バックアップ・イメージを S3へコピー (2) db2 call rdsadmin.restore_database (xxx) RDSADMIN S3 18 バックアップ イメージ - RDS for Db2ストアドプロシージャ「データベースの管理」 https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/db2-sp-managing-databases.html
19. 実際に見てみよう：オンライン・バックアップからの移行 （ロールフォワード回復） オンプレミス / Amazon EC2など RDS Db2 AWS Cloud Db2 (1)db2 backup db ONLINE xxx （直接S3へ書き出し） または ローカルに取得した db2バックアップ・イメージを S3へコピー (2)アーカイブ・ログ・パスもS3に置 いておく、またはファイルをコピー (3) db2 call rdsadmin.restore_database (xxx) (4) db2 call rdsadmin.rollforward_database (xxx) S3 19 バックアップ イメージとログ - RDS for Db2ストアドプロシージャ「データベースの管理」 https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/db2-sp-managing-databases.html RDSADMIN
20. お薦めブログやQiita､コミュニティサイト情報 • IBM Japan Newsroomの発表レター「IBM、AWSとの協業によりAIワークロードのデータ管理を最適化 する新しいクラウド・データベースを提供開始」 • IBM Amazon RDS for Db2サイト: • https://www.ibm.com/jp-ja/products/db2/database/amazon-rds • IBMブログ • IBM Db2がAmazon RDSで利用可能になりました(翻訳) • AWS上のIBMデータベースでAIのデータ課題に挑む (翻訳) • Top 20 most-asked questions about Amazon RDS for Db2 answered (英語) • IBM Community: RDS for Db2情報を追加 https://ibm.biz/jpibmdb • Qiita記事 • Amazon RDS for Db2: AWSでフルマネージドDb2 データベースを作ってみた! • DBeaverからAmazon RDS for Db2にアクセスする • 「RDS for Db2・はじめの一歩」3回 シリーズ 20
21. * 詳細・申込： ibm.biz/techxchange24 お申込みフォームの 「案内した社員」 の欄に、 姓「西戸京子」 名「平野真弓」 を入力して下さい *セッション参加後は 「 Technology Happy Hour (18-19 お食事と ドリンク付き)」で楽し みましょう ※IBM社員の方は別途案内をお待ちください（サイトからの申込をしないでください） 21
22. Data Management &watsonx.data in IBM TechXchange Japan ブレイクアウト・セッション watsonx ハンズオン 12:00-13:40 さわってみようベクトル・データ ベース watsonx.dataでRAG体験 生成AIの回答精度を向上させるために、自社内の データを活用しませんか。このハンズオンでは、 ベクトル・データーベースを使ったRAGの基本を 学びます。データとAIのためのオープンなデータ レイクハウス watsonx.dataに含まれるベクトル・ データベース Milvusを使って、生成AIで新しいデ ータ探索を体験してみましょう。 Room: 4F 清風、講師: IBM 西戸 京子 ブレイクアウト・セッション Data Management & watsonx.data 14:00-14:40 データ統合とAIのための watsonx.data入門 データのないAIはありません。生成AIの情報源と して自社データを使う時でもデータ・ストア・ソ リューションの重要性は高まっています。当セッ ションではデータ・ストア機能だけでなく、IBM メインフレームを含む多様なデータソースを仮想 統合でき、AI用データの準備もできる watsonx.dataの概要と最新情報をお届けします。 また、watsonx.dataと統合することで負荷をオフ ロードできるDb2やNetezzaファミリーの最新情報 にも触れます。 Room: 4F 孔雀、講師: IBM 國守 知成 ブレイクアウト・セッション Data Management & watsonx.data 15:00-15:40 生成AIでデータ・ファブリックと データ・ガバナンスを簡単に ビジネスのためのAIには、信頼できるデータとそ れを支えるデータ基盤が必要です。クラウド上の データやメインフレームを含む様々なデータを全 社的に活用することも重要です。IBMのデータ・ ファブリックとデータ・ガバナンスには生成AIが 組み込まれています。データの意味づけと検索処 理を強化し、簡単なデータ入手を支援する Semantic Automationで、AI開発者・データ分析者 の生産性を向上します。 Room: 4F 孔雀、講師: IBM 小澤 充明 日程: 2024/11/27(水) 12:00-15:40 会場: ホテル雅叙園東京(清風&孔雀）東京都目黒区下目黒1-8-1 対象 : 技術者の皆様 Data Management & watsonx.data 関連のセッションでは、以下のセッションやハンズオンを予定しております。 IBMデータベース製品関連の最新情報も、このイベントでご紹介いたします。お申し込みはこちらから→ ibm.biz/techxchange24 22