[AWS] Database Migration Seminar 20191008

by toru.kimura

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Page.3 ©IPG inc. All Rights Reserved. CHAPTER 0 / アジェンダ AGENDA 1. IPGについて 2. AWS DMSを選んだ理由 3. AWS DMSを使ってみる 4. AWS DMSを導⼊する 5. まとめ 6. 今後の改善 ※ AWS Database Migration Service 以降資料上では、AWS DMS、DMSと略させて頂きます。

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Page.5 ©IPG inc. All Rights Reserved. CHAPTER 1 / IPGについて Gガイド受信機（TV／レコーダー／セットトップBOX）放送型Gガイド AD シンジケーテッドGガイドメーカースマホ/タブレット向け対応アプリ 3キャリア標準プリイン通信型Gガイド株式会社IPG 設⽴：1999年4⽉22⽇主要株主：電通、TiVo Corporation、東京ニュース通信社電⼦番組表（EPG）サービス「Gガイド」のサービス企画、開発、運⽤

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Page.8 ©IPG inc. All Rights Reserved. CHAPTER 1 / IPGについて mindsで取り扱うデータ番組情報 250,000 番組/⽇放送局 200 局 1,000 ch プラットフォーマー 10 社バッチプログラム 40 本オペレーションUI 10 本 APIサービス 40 本テレビ 56,000,000 台モバイル 2,000,000 MAU ウェブサービス 140,000,000 PV

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Page.15 ©IPG inc. All Rights Reserved. • AWS Summitへの参加 • ソリューションアーキテクトへの構成相談 • ハンズオンの活⽤ • AWS Cloud Formation を使って環境を⾃動⽣成 • AWS Schema Conversion Tool（SCT）を使ったスキーマ変換 • DMSのセットアップと実⾏ Ø AWS アカウントを持っていれば1時間程度で習得可能 DMSの理解を深める AWSイベントの活⽤ CHAPTER 3 / AWS DMSを使ってみる

Slide 16

Slide 16 text

Page.16 ©IPG inc. All Rights Reserved. CHAPTER 3 / AWS DMSを使ってみるターゲットデータベースを決める AWS Schema Conversion Toolによる検証 • Oracle からの移⾏先として、機能互換性の観点から⼀般的には PostgreSQL が選ばれるケースが多い • ⼀⽅で、社内でよく利⽤していたデータベースエンジンは、MySQL • 移⾏対象の Oracle データベースを AWS Schema Conversion Tool （SCT）でチェック • それぞれのエンジンの互換性を確認

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Page.18 ©IPG inc. All Rights Reserved. CHAPTER 3 / AWS DMSを使ってみる A) フルロード時にソースデータベース(Oracle) の負荷が上がることで業務影響が発⽣ Ø 原因として、ソースデータベースの Read Throughput が上がったことで、 Network 帯域の上限に達し影響を及ぼしたことが判明 B) フルロードが、10時間を経過しても終わらない Ø 原因としては、以下の3点が影響していることが判明 I. テーブルマッピングを明⽰的に指定しなかったため、テンポラリのテーブルなども⾃動で作成されターゲットテーブルでエラーになっていた II. AWS SCTで⾃動作成されるスキーマは、外部キーやインデックスが設定されたままのため、フルロードの⻑時間化を引き起こしていた III. ターゲットデータベースのインスタンスサイズが、⼩さかったため書き込みにかかる処理速度に影響を与えた

Slide 19

Slide 19 text

Page.19 ©IPG inc. All Rights Reserved. ステージングで問題が顕在化したことで、改めて以下整理の上、導⼊構成の検討 1. 既存の Oracle 環境は、システム停⽌や構成変更が容易には⾏えないため、Oracle 環境には最低限の影響で実⾏ができる必要がある 2. フルロードの時間が短くすることは、障害復旧におけるRTO（Recovery Time Objective）を短くし、サービスレベルを向上させる 3. インフラは、ダブルコストになる。新しい環境は、できる限り最低限のインフラ構成でランニングコストを抑える CHAPTER 3 / AWS DMSを使ってみる DMS導⼊にあたって問題の整理

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Page.22 ©IPG inc. All Rights Reserved. データ量調整所要時間無し 12 時間有り 7 時間 CHAPTER 4 / AWS DMSを導⼊するアクション.1 移⾏テーブルの明⽰化 • ソースデータベースのデータ量としては、約 500 テーブル/ 約 15 億⾏のデータが存在 • サービス利⽤に必要なテーブルを選別することで、約 160 テーブル/ 約 3.5 億⾏に削減 • 移⾏タスクに設定する Mapping rule で、すべてのテーブルに対してルールを作成し、各テーブルの “rule-action” に "include"（移⾏する） or "exclude" （移⾏しない）を明⽰的に設定データ調整有/無時のフルロード時間

Slide 23

Slide 23 text

Page.23 ©IPG inc. All Rights Reserved. 実⾏⽅法所要時間インデックスを付けたままのフルロード 12時間実⾏⽅法所要時間インデックスをすべて外してフルロード 5 時間インデックスをすべてに付与（8プロセス並列） 13 時間 CHAPTER 4 / AWS DMSを導⼊するアクション.2 ターゲットデータベースでの外部キーとインデックスの調整 • フルロード時間を約半分以下に削減したが、フルロード後に外部キー制約及びインデックスを付け直すための時間に、フルロードにかかる時間以上にかかった • 1テーブルあたりの⾏数が少ないケースでは有⽤かもしれない。 • 今回は外部キー制約及びインデックスを付けたままフルロードを実施

Slide 24

Slide 24 text

Page.24 ©IPG inc. All Rights Reserved. CHAPTER 4 / AWS DMSを導⼊するアクション.3 ソース/レプリケーション/ターゲットのそれぞれのインスタンスサイズの調整 • フルロード時は、⼤きなインスタンスサイズでフルロードにかかる時間を短縮 • 差分適⽤であるCDC（Change Data Capture）では、必要最⼩限のインスタンスサイズで構成 ※ ただし、本番 Oracle環境のインスタンスの停⽌も構成変更もできない

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Page.26 ©IPG inc. All Rights Reserved. CHAPTER 4 / AWS DMSを導⼊する ① 本番 Oracle から Snapshot を取得してフルロード専⽤ Oracleインスタンスとして復元 ü Snapshotの作成時刻を記録する（コンソールから確認） ü 復元したフルロード専⽤ Oracleインスタンスは、既存業務系に接続しない ü フルロード専⽤ oracleインスタンスのインスタンスサイズは⼤きなサイズで復元する

Slide 27

Slide 27 text

Page.27 ©IPG inc. All Rights Reserved. CHAPTER 4 / AWS DMSを導⼊する ② フルロード専⽤ Oracle インスタンスをソースデータベースとしてフルロードタスクを実⾏ ü レプリケーション/ターゲットデータベースインスタンスのインスタンスサイズは⼤きなサイズを選択する ü タスク設定の移⾏タイプ（Migration type）は、既存のデータを移⾏する（Migrate existing data）を指定する

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Page.29 ©IPG inc. All Rights Reserved. CHAPTER 4 / AWS DMSを導⼊する ④ 本番 Oracle をソースデータベースとして、CDCタスクを実⾏ ü ①で取得したSnapshot作成時刻から、SCN（System Change Number）を割り出す ü CDC開始モード（CDC Start mode）に、ログシーケンス番号の指定（Specify log sequence number）を選択し、 SCN をセットする ex) SELECT timestamp_to_scn(to_timestamp('16/04/2019 13:46:51','DD/MM/YYYY HH24:MI:SS')) as scn from dual; SCN ------------ 12345678

Slide 30

Slide 30 text

Page.30 ©IPG inc. All Rights Reserved. インスタンスサイズ所要時間ソースデータベース: レプリケーションインスタンス: ターゲットデータベース: large large large 7時間36分ソースデータベース: レプリケーションインスタンス: ターゲットデータベース: 2xlarge 2xlarge 2xlarge 2時間30分ソースデータベース: レプリケーションインスタンス: ターゲットデータベース: 4xlarge 4xlarge 4xlarge 1時間46分 CHAPTER 4 / AWS DMSを導⼊する各インスタンスサイズとフルロード時間

Slide 31

Slide 31 text

Page.31 ©IPG inc. All Rights Reserved. CHAPTER 4 / AWS DMSを導⼊する継続的に運⾏するトラブルに強くするには？ l ソースデータベース • REDOログのサイズ調整 • オンラインREDOログ ※ REDOログサイズの調整⽅法はこちら • アーカイブログ ※ アーカイブログ期間の調整⽅法はこちら l 監視メトリクス • DMSタスクログのエラー監視 • CDCレイテンシーソース • CDCレイテンシーターゲット • DMSタスクの稼働状態 l マルチAZ • 通常運⾏時は、ソース／レプリケーション／ターゲットを同ゾーンで運⾏ ex) aws dms describe-replication-tasks --filters "Name=replication-task-arn,Values=${taskarn}" --query "ReplicationTasks[0].{Status: Status}" { "Status": "running" }

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Page.36 ©IPG inc. All Rights Reserved. u CDCのスタートポイントが曖昧 Ø CDC の開始位置は SCN で指定することが可能です。現状は Oracle データベースの Snapshot を取得したタイミングの SCN を特定することができません。そのため、Snapshot の取得時間から、 SCN を特定しているのですが、秒オーダーの精度なので、そのタイミングでの発⽣した更新の状態が不定になり、データの消失やデータ重複が発⽣し得ます。 CHAPTER 6 / 今後の改善改善ポイント

Slide 37

Slide 37 text

Page.37 ©IPG inc. All Rights Reserved. 募集職種機械学習.アプリ.インフラ. etc… わたしたちが求める⼈材 • ⽣涯エンジニアを希望している⼈。 • 何事も「変化すること」を前提に、変化を受け⼊れ、柔軟に物事を進める事ができる⼈。 • 常に新しい技術分野にチャレンジし、良い物はチームや世間に広げたい⼈。 • ユーザーファーストで物事を思考している⼈。 • チームワークを⼤事にしている⼈。 • 効率化のために何でも⾃動化したくなる⼈。気軽にオフィスに遊びに来てください！ご連絡はこちら（https://ipg.co.jp/recruit/）まで IPGでは、エンジニアを募集しています