RDS for Db2 データ移行編 - Part1: S3からロードしてみよう /20240927-RDSforDb2-dojo

2024/09/27(金) オンライン開催
RDS for Db2 データ移行編 - Part1: S3からロードしてみよう
https://ibm-developer.connpass.com/event/331359/

の資料です。

【内容】
・既存Db2環境からのデータ移行・データ連携の方法

・RDS for Db2 データ移行編 - Part1: S3からロードしてみよう
Db2move(export/import)を使った方法や、S3を使ったデータ・ロードの方法について

Transcript

1. 2024年9月27日 RDS for Db2 データ移行編 - Part1: S3からロードしてみよう IBM Database Dojo 2024年 Autumn編 Db2 11.5.9 平野 真弓 Mayumi Hirano 日本アイ・ビー・エム株式会社 テクノロジー事業本部 Data & AI Technical Sales 西戸 京子 Kyoko Nishito
2. 2024年6月-７月までの内容 RDS for Db2はじめの一歩：全３回 • #1 「作り方編」：6月28日（金）資料と録画公開済み • #2 「HA(高可用性)編」：7月12日（金）資料と録画公開済み • #3 「バックアップ編」：7月25日（木）資料と録画公開済み • Qiita記事 • 「RDS for Db2・はじめの一歩」3回 シリーズ 2
3. Q&A • 質問があればチャットに宛先を「全員宛」で随時入れてください。 • 回答可能なのものはその場でチャットで回答します。 • 最後にQ&Aの時間がとれましたら、回答できなかったものはそこでも拾う予定です。 • 要調査または回答時間がなかった場合は、次回のRDS for Db2 Dojo等で、後日回答いたします。 アンケート • 最後にSlidoでのアンケートのurlをチャットにいれますので、ご回答お願いします！ RDS for Db2 データ移行編：３回 • #1： 9月27日（金） 「S3からデータ・ロードしてみよう」<本日> • #2：10月11日（金）「S3経由のバックアップ/リストアでデータ移行」 ※ • #3：10月25日（金）「Q レプリケーションでデータ連携」 ※ ※予定・内容は変更の可能性があります 3 IBM Database Dojo 2024年 Autumn編
4. 本日のAgenda 12:05〜12:45 ⚫ 既存Db2環境からのデータ移行・データ連携の方法 ⚫ RDS for Db2 データ移行編 - Part1: S3からロードしてみよう Db2のexport/importを使った方法や、S3を使ったデータ・ロードの方法について ⚫ 実際に見てみよう AWSのRDSとしてDb2が利用可能になっています。 今回は、既存オンプレ/IaaS環境にあるDb2からのデータ移行やデータ連携の方法について説明します。 実際にご覧いただきながら、どのような仕組みになっているのかを40分で説明、実演します。 Qiita）Amazon RDS for Db2: S3からデータをロード(既存Db2からの移行) 4
5. 既存Db2環境から Amazon RDS for Db2への データ移行 既存Db2環境＝オンプレミスのDb2、 EC2 (IaaS)上のDb2など AWSマニュアルやブログでは「セルフ マネージド Db2 データベース」と表現 されている 5
6. 既存Db2環境からAmazon RDS for Db2へのデータ移行 環境や要件によって様々な方法があります マイグレーション タイプ Source OS 方法 使用するツールのタイプ ワンタイム・ マイグレーション Linux(64bit LE) Db2 v11.1〜11.5のみ バックアップを作成し、リストア ネイティブDb2ツール LUW, z/OS DDL出力 & export →テーブル作成 & import or load (Db2コマンド等の利用) ネイティブDb2ツール Linux, AIX Db2MT OSSのDb2 to RDS for Db2 支援ツールhttps://github.com/IBM/db2-db2mt メタデータを抽出し、データをアンロード可能。抽出したメタデータを 使用してデータベースオブジェクトを作成し、その後 Db2MT を利用し て Amazon S3 から直接 Amazon RDS for Db2 にデータをロード可能 その他バックアップ/リストア機能もあり。 OSS ログレプリケーションによる 移行 (切替時間が短い) LUW, z/OS IBM Data Replication (Q レプリケーション) IBM Software LUW, z/OS (OSにより条件あり) AWS DMS (z/OSはワンタイムのみ) AWS Service Linux(64bit LE) Db2 v11.1〜11.5のみ Db2MT OSSのDb2 to RDS for Db2 支援ツールhttps://github.com/IBM/db2-db2mt Db2MT は定期的にログを直接 Amazon S3 にアーカイブし、データベー スをロールフォワードペンディングモードに維持して、ログを RDS for Db2 に適用する手順を提供 OSS *LUW: Linux, Unix, Windows 6 参考: Amazon Web Services ブログ Amazon RDS for Db2 へのデータマイグレーション戦略
7. 既存Db2環境からAmazon RDS for Db2へのデータ移行 環境や要件によって様々な方法があります マイグレーション タイプ Source OS 方法 使用するツールのタイプ ワンタイム・ マイグレーション Linux(64bit LE) Db2 v11.1〜11.5のみ バックアップを作成し、リストア ネイティブDb2ツール LUW, z/OS DDL出力 & export →テーブル作成 & import or load (Db2コマンド等の利用) ネイティブDb2ツール Linux, AIX Db2MT OSSのDb2 to RDS for Db2 支援ツールhttps://github.com/IBM/db2-db2mt メタデータを抽出し、データをアンロード可能。抽出したメタデータを 使用してデータベースオブジェクトを作成し、その後 Db2MT を利用し て Amazon S3 から直接 Amazon RDS for Db2 にデータをロード可能 その他バックアップ/リストア機能もあり。 OSS ログレプリケーションによる 移行 (切替時間が短い) LUW, z/OS IBM Data Replication (Q レプリケーション) IBM Software LUW, z/OS (OSにより条件あり) AWS DMS (z/OSはワンタイムのみ) AWS Service Linux(64bit LE) Db2 v11.1〜11.5のみ Db2MT OSSのDb2 to RDS for Db2 支援ツールhttps://github.com/IBM/db2-db2mt Db2MT は定期的にログを直接 Amazon S3 にアーカイブし、データベー スをロールフォワードペンディングモードに維持して、ログを RDS for Db2 に適用する手順を提供 OSS *LUW: Linux, Unix, Windows 7 参考: Amazon Web Services ブログ Amazon RDS for Db2 へのデータマイグレーション戦略 ※本日の内容
8. ネイティブDb2ツール • メリット • 移行元Db2のバージョン、OSを問わずに使える方法 • Db2/Linux、Db2/AIX、Db2/Windows、Db2 z/OSからのデータ移行に利用できる • 各ツールの説明 • export、import、load • テーブル単位での、データのアンロードとロード • db2move • データベース、スキーマ、テーブル単位で一括指定でき、内部的にexport、import、 loadを発行 • 外部表（CREATE EXTERNAL TABLE ステートメント） • 直接S3へexternal tableとしての表データの書き出しが可能 • db2look • データベース内のDDLを抽出 8
9. 実際に見てみよう：db2moveを使った簡単データ移行 オンプレミス / Amazon EC2など RDS Db2 AWS Cloud /tmp/db2move_data/ db2move.lst tabnnn.ixf … db2move SAMPLE1 export –sn TEST01 –l /tmp/db2move_data (3) db2move IMPORT （補足） ・db2moveに関する説明はこちらが詳細です「[Db2] db2move によるデータベースの移行方法」 ・注1：db2moveのCOPYオプション（中間ファイルなし）は、RDS for Db2では使用できない。 - 内部的にカーソル・ロードを使用しており、ターゲット側RDSローカルで実行する必要があるため ・注2：db2move IMPORTアクションでは、デフォルトは REPLACE_CREATEであるため、ターゲットDBに表がない場合は表が自動的に作成される。 ただし、IMPORTのREPLACE_CREATオプションは非推奨で、将来的にはdb2lookを使用して事前に表を作成しておくことが推奨される。 Db2 db2 catalog TCPIP node AWSNODE remote … db2 catalog database RDSTEST at node AWSNODE … (1) RDS DBをカタログ済み SAMPLE (2) db2move EXPORT db2move RDSTEST import -u admin -p yyyyyyy -l /tmp/db2move_data RDSTEST 9
10. 実際に見てみよう：S3からのLOAD方式でデータを移行 オンプレミス / Amazon EC2など RDS Db2 AWS Cloud （補足） ・RDS for Db2へのLOADは、NONRECOVERABLEオプションとなる。 - RDS for Db2はDB2_LOAD_COPY_NO_OVERRIDEのパラメータの値がNONRECOVERABLEになっているため ・NONRECOVERABLE LOADでは、LOAD後すぐにデータにアクセスできるが、その後ストレージ障害等により、 NONRECOVERABLE LOAD以前のDBバックアップよりRESTOREしてROLLFORWARDすると、NONRECOVERABLE表は drop pendingとなる。よってLOAD後には手動でRDSスナップショットを取得するか、LOADジョブの最後にRDSの自動バッ クアップを設定する運用を推奨 Db2 (1) db2 CREATE EXTERNAL TABLE で直接S3へ書き出し または exportしたデータをS3へコピー SAMPLE (2) db2 create table xxx (db2look等で入手したDDLを実行) (3) db2 load from db2remote:xxx RDSTEST S3 10 /tmp/db2move_data/ db2move.lst tabnnn.ixf …
11. 実際に ロードしてみます Amazon RDS for Db2: S3からデータをロ ード(既存Db2からの移行) https://ibm.biz/s3load-rdsdb2 11
12. * 詳細・申込： ibm.biz/techxchange24 お申込みフォームの 「案内した社員」 の欄に、 姓「西戸京子」 名「平野真弓」 を入力して下さい *セッション参加後は 「 Technology Happy Hour (18-19 お食事と ドリンク付き)」で楽し みましょう ※IBM社員の方は別途案内をお待ちください（サイトからの申込をしないでください） 12
13. Data Management &watsonx.data in IBM TechXchange Japan ブレイクアウト・セッション watsonx ハンズオン 12:00-13:40 さわってみようベクトル・データ ベース watsonx.dataでRAG体験 生成AIの回答精度を向上させるために、自社内の データを活用しませんか。このハンズオンでは、 ベクトル・データーベースを使ったRAGの基本を 学びます。データとAIのためのオープンなデータ レイクハウス watsonx.dataに含まれるベクトル・ データベース Milvusを使って、生成AIで新しいデ ータ探索を体験してみましょう。 Room: 4F 清風、講師: IBM 西戸 京子 ブレイクアウト・セッション Data Management & watsonx.data 14:00-14:40 データ統合とAIのための watsonx.data入門 データのないAIはありません。生成AIの情報源と して自社データを使う時でもデータ・ストア・ソ リューションの重要性は高まっています。当セッ ションではデータ・ストア機能だけでなく、IBM メインフレームを含む多様なデータソースを仮想 統合でき、AI用データの準備もできる watsonx.dataの概要と最新情報をお届けします。 また、watsonx.dataと統合することで負荷をオフ ロードできるDb2やNetezzaファミリーの最新情報 にも触れます。 Room: 4F 孔雀、講師: IBM 國守 知成 ブレイクアウト・セッション Data Management & watsonx.data 15:00-15:40 生成AIでデータ・ファブリックと データ・ガバナンスを簡単に ビジネスのためのAIには、信頼できるデータとそ れを支えるデータ基盤が必要です。クラウド上の データやメインフレームを含む様々なデータを全 社的に活用することも重要です。IBMのデータ・ ファブリックとデータ・ガバナンスには生成AIが 組み込まれています。データの意味づけと検索処 理を強化し、簡単なデータ入手を支援する Semantic Automationで、AI開発者・データ分析者 の生産性を向上します。 Room: 4F 孔雀、講師: IBM 小澤 充明 日程: 2024/11/27(水) 12:00-15:40 会場: ホテル雅叙園東京(清風&孔雀）東京都目黒区下目黒1-8-1 対象 : 技術者の皆様 Data Management & watsonx.data 関連のセッションでは、以下のセッションやハンズオンを予定しております。 IBMデータベース製品関連の最新情報も、このイベントでご紹介いたします。お申し込みはこちらから→ ibm.biz/techxchange24 13
14. お薦めブログやQiita､コミュニティサイト情報 • IBM Japan Newsroomの発表レター「IBM、AWSとの協業によりAIワークロードのデータ管理を最適化 する新しいクラウド・データベースを提供開始」 • IBM Amazon RDS for Db2サイト: • https://www.ibm.com/jp-ja/products/db2/database/amazon-rds • IBMブログ • IBM Db2がAmazon RDSで利用可能になりました(翻訳) • AWS上のIBMデータベースでAIのデータ課題に挑む (翻訳) • Top 20 most-asked questions about Amazon RDS for Db2 answered (英語) • IBM Community: RDS for Db2情報を追加 https://ibm.biz/jpibmdb • Qiita記事 • Amazon RDS for Db2: AWSでフルマネージドDb2 データベースを作ってみた! • DBeaverからAmazon RDS for Db2にアクセスする • 「RDS for Db2・はじめの一歩」3回 シリーズ 14