2000万アカウントの無停止データ移行の裏側

#DataMigrationNight にて発表したスライドです

Transcript

1. 2000万超アカウント データ移行の裏側 サービス基盤の大規模データ移行事例 株式会社DMM.comラボ プラットフォーム開発部 飯田涼太 2017/05/22 Data Migration Night@六本木セミナールーム
2. システム本部 チームリーダー I ♥ Kanazawa. • 186cm • mesh1neko • 最近はAWSと奮闘 • 金沢すきま旅（PR） AWS Summit2017 も出るよ 発表者紹介 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。 2
3. • データ移行のゴール • データ移行の課題 • 新旧同期Replicatorとは • 新旧同期Replicatorを用いた移行の流れ 3 アジェンダ Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。
4. データ移行のゴール 4 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。
5. old master new master old2new Replicator new2old Replicator 5 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。 今回のデータ移行のゴール 事業部が任意のタイミングでAPIの切り替えをできるように 新旧どちらも利用できる仕組みを用意する old PF-API new PF-API 事業部 Client 今日お話 する仕組みはココ
6. old master new master old2new Replicator new2old Replicator 6 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。 新旧同期Replicatorを開発 新旧環境で常にデータを同期することで 任意のタイミングで移行可能に
7. 1. データ構造が異なるDBへ移行したい 2. サービス停止を避けたい 3. サービスの切替タイミングを任意としたい 7 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。 課題点は大きく３つ
8. 最新の利用状況を考慮し 今後の事業展開を見越した より汎用的なデータ構造に改修 8 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。 課題1. データ構造が異なるDBへ移行したい
9. 多くの事業を支える基盤として 全体メンテナンスは避けたいところ ^^ ^^ ^^ ^^ ^^ 9 課題2. サービス停止を避けたい Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。
10. 各事業の最適なタイミングで移行が可能 済 未 済 未 未 10 課題3. 切替タイミングを任意としたい Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。
11. 使う人に気持ち良く使ってもらいたい 「ここぞ、PFの腕の見せ所」 11 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。
12. リアルタイム双方向同期を実現する 新旧同期Replicatorとは？ 2000万超アカウント移行の救世主 12 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。
13. 【機能】 • 双方向レプリケーション ◦ 循環更新防止 • 新旧スキーマのマッピング ◦ オンライン定義更新 • リレーログ同等の永続性 ◦ MQによるバッファ 13 実現に何が必要なのか 【非機能】 • 低レイテンシー Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。
14. 14 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。 どう実現したのか？ (双方向 - 配置) RabbtMQ old master new master old2new Replicator new2old Replicator 双方向のデータフローに対し Replicatorを配置
15. Replicatorは MySQLの slaveとして更新情報を取得 15 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。 どう実現したのか？ (双方向 - 認識) old master new master old2new Replicator new2old Replicator slave slave
16. 16 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。 どう実現したのか？ (双方向 - キュー) old master new master old2new Replicator new2old Replicator Replicatorは前段にRabbitMQのキューを配置し リレーログ相当の永続性を担保 RabbitMQ RabbitMQ
17. • 柔軟な同期の実現のために • オンラインで設定変更が可 • 更新内容に応じた条件分岐 　e.g. INSERT/UPDATE ONLY, green => ok • 別DBからのデータ取得にも対応 　e.g. DBをまたいだリレーション(第三者的DB)もレプリケー ション元としてSELECT可 17 新旧のマッピング情報はymlで設定 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。
18. old master new master MySQL Replicator RabbitMQ RabbitMQ Adapter Query Mapper Query Executor 18 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。 レプリケータ内部構成 Powered by Vert.x 3
19. new master MySQL Replicator RabbitMQ RabbitMQ Adapter Query Mapper Query Executor 19 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。 レプリケータ内部構成 binlog取得 by OpenReplicator MQとの仲介 マッピング 実行 old master
20. SQL Parser Query Executor Replication STATEMENT Replication Row JSQLParser Source Query Destination Query translate schema/ table.yml New Query 20 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。 クエリ変換のイメージ クエリの解析・スキーマの翻訳・変換後クエリの実行 の各プロセスを経て変換機能を実現します
21. どれがソースでも解析できるように対応 5.1 5.5 5.6 STATEMENT MIXED STATEMENT デフォルトbinlog_formatは違うため 21 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。 binlogフォーマットの複数バージョン対応
22. • Max:4,000req/sec • 1日の更新クエリの99%が15msで同期 22 Replicatorの性能実績 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。
23. Replicatorを用いた データ移行の流れ コンバートから双方向同期まで 23 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。
24. new slave old master old slave new master old slave Replication stop @2553923 サービスイン中 24 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。 1. slaveを1台サービスアウト
25. new slave old master old slave new master コンバート old slave 25 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。 2. slaveから全データをコンバート Replication stop @2553923
26. new slave old master old slave new master old slave Replication start @2553924 移行期間分の遅れをとっ ているため ひたすら追いかける 26 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。 3. 続きを slaveから差分で同期 old2new Replicator コンバート
27. new slave old master new master Replication start @1 27 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。 4. 順方向の同期完了後、逆方向も同期を開始 コンバート old2new Replicator
28. old Master new Master old2new Replicator new2old Replicator 28 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。 5. 新旧同期できる状態で新APIの提供を開始
29. • 1処理で大量のcommitが走る際は順番のズレに留意 -> スレッド処理のため。最終的に整合性が合えばOK • 循環同期の発生に留意 -> 今回は更新者というカラムやコメント文で制御 • データ上の矛盾に留意 -> 別途テストを用意すべき 29 Replicatorを用いたデータ移行の留意点 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。
30. old master new master old2new new2old ①UPDATE A to B ②UPDATE A to B ③UPDATE A to B? ④UPDATE A to B? 30 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。 循環同期について（補足）
31. old master new master old2new new2old ①UPDATE A to B ②UPDATE A to B ③UPDATE A to B? ④UPDATE A to B? 31 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。 循環同期について（補足） 実際に循環することはないが 無駄にクエリが走ると 問題につながりかねない
32. old master new master old2new new2old UPDATE A to B By User UPDATE A to B By Replicator 32 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。 更新者を明示して対応
33. old master new master old2new new2old UPDATE A to B By User UPDATE A to B /* Replicator */ 33 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。 更新者を明示して対応
34. old master new master old2new new2old STATEMENT ROW 更新者を示すための カラム有り 更新者を示すため のカラム無し 34 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。 明示の仕方の違い
35. • あくまでマッピングに従って同期しているだけ • データに矛盾がないかはわからない → 対応する新旧APIを叩いて データに問題ないか毎日確認 ※テストを量産しやすいcodeceptionを利用 35 データの矛盾確認-compatible checker Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。
36. 今日お話した仕組みはココ 36 old Master New Master old2new Replicator new2old Replicator old PF-API new PF-API 事業部 Client Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。
37. 絶対サービスは止めたくない 熱い思いが詰まったReplicator 37 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。
38. 質疑応答 38 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。
39. ご清聴ありがとうございました。 Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved.　無断複製・転載を禁じます。