Slide 1
Slide 1 text
2000万超アカウント
データ移行の裏側
サービス基盤の大規模データ移行事例
株式会社DMM.comラボ プラットフォーム開発部 飯田涼太
2017/05/22 Data Migration Night@六本木セミナールーム
Slide 2
Slide 2 text
システム本部
チームリーダー
I ♥ Kanazawa.
• 186cm
• mesh1neko
• 最近はAWSと奮闘
• 金沢すきま旅（PR）
AWS Summit2017
も出るよ
発表者紹介
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。 2
Slide 3
Slide 3 text
• データ移行のゴール
• データ移行の課題
• 新旧同期Replicatorとは
• 新旧同期Replicatorを用いた移行の流れ
3
アジェンダ
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
Slide 4
Slide 4 text
データ移行のゴール
4
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
Slide 5
Slide 5 text
old
master
new
master
old2new
Replicator
new2old
Replicator
5
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
今回のデータ移行のゴール
事業部が任意のタイミングでAPIの切り替えをできるように
新旧どちらも利用できる仕組みを用意する
old
PF-API
new
PF-API
事業部
Client
今日お話
する仕組みはココ
Slide 6
Slide 6 text
old
master
new
master
old2new
Replicator
new2old
Replicator
6
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
新旧同期Replicatorを開発
新旧環境で常にデータを同期することで
任意のタイミングで移行可能に
Slide 7
Slide 7 text
1. データ構造が異なるDBへ移行したい
2. サービス停止を避けたい
3. サービスの切替タイミングを任意としたい
7
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
課題点は大きく３つ
Slide 8
Slide 8 text
最新の利用状況を考慮し
今後の事業展開を見越した
より汎用的なデータ構造に改修
8
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
課題1. データ構造が異なるDBへ移行したい
Slide 9
Slide 9 text
多くの事業を支える基盤として
全体メンテナンスは避けたいところ
^^ ^^ ^^ ^^ ^^
9
課題2. サービス停止を避けたい
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
Slide 10
Slide 10 text
各事業の最適なタイミングで移行が可能
済 未 済 未 未
10
課題3. 切替タイミングを任意としたい
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
Slide 11
Slide 11 text
使う人に気持ち良く使ってもらいたい
「ここぞ、PFの腕の見せ所」
11
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
Slide 12
Slide 12 text
リアルタイム双方向同期を実現する
新旧同期Replicatorとは？
2000万超アカウント移行の救世主
12
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
Slide 13
Slide 13 text
【機能】
● 双方向レプリケーション
○ 循環更新防止
● 新旧スキーマのマッピング
○ オンライン定義更新
● リレーログ同等の永続性
○ MQによるバッファ
13
実現に何が必要なのか
【非機能】
● 低レイテンシー
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
Slide 14
Slide 14 text
14
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
どう実現したのか？ (双方向 - 配置)
RabbtMQ
old
master
new
master
old2new
Replicator
new2old
Replicator
双方向のデータフローに対し Replicatorを配置
Slide 15
Slide 15 text
Replicatorは MySQLの slaveとして更新情報を取得
15
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
どう実現したのか？ (双方向 - 認識)
old
master
new
master
old2new
Replicator
new2old
Replicator
slave
slave
Slide 16
Slide 16 text
16
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
どう実現したのか？ (双方向 - キュー)
old
master
new
master
old2new
Replicator
new2old
Replicator
Replicatorは前段にRabbitMQのキューを配置し
リレーログ相当の永続性を担保
RabbitMQ
RabbitMQ
Slide 17
Slide 17 text
• 柔軟な同期の実現のために
• オンラインで設定変更が可
• 更新内容に応じた条件分岐
e.g. INSERT/UPDATE ONLY, green => ok
• 別DBからのデータ取得にも対応
e.g. DBをまたいだリレーション(第三者的DB)もレプリケー
ション元としてSELECT可
17
新旧のマッピング情報はymlで設定
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
Slide 18
Slide 18 text
old
master
new
master
MySQL
Replicator
RabbitMQ
RabbitMQ
Adapter
Query
Mapper
Query
Executor
18
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
レプリケータ内部構成
Powered by
Vert.x 3
Slide 19
Slide 19 text
new
master
MySQL
Replicator
RabbitMQ
RabbitMQ
Adapter
Query
Mapper
Query
Executor
19
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
レプリケータ内部構成
binlog取得 by
OpenReplicator
MQとの仲介
マッピング 実行
old
master
Slide 20
Slide 20 text
SQL
Parser
Query
Executor
Replication
STATEMENT
Replication
Row
JSQLParser
Source
Query
Destination
Query
translate
schema/
table.yml
New
Query
20
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
クエリ変換のイメージ
クエリの解析・スキーマの翻訳・変換後クエリの実行
の各プロセスを経て変換機能を実現します
Slide 21
Slide 21 text
どれがソースでも解析できるように対応
5.1 5.5 5.6
STATEMENT MIXED STATEMENT
デフォルトbinlog_formatは違うため
21
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
binlogフォーマットの複数バージョン対応
Slide 22
Slide 22 text
• Max:4,000req/sec
• 1日の更新クエリの99%が15msで同期
22
Replicatorの性能実績
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
Slide 23
Slide 23 text
Replicatorを用いた
データ移行の流れ
コンバートから双方向同期まで
23
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
Slide 24
Slide 24 text
new
slave
old
master
old
slave
new
master
old
slave
Replication stop
@2553923
サービスイン中
24
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
1. slaveを1台サービスアウト
Slide 25
Slide 25 text
new
slave
old
master
old
slave
new
master
コンバート
old
slave
25
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
2. slaveから全データをコンバート
Replication stop
@2553923
Slide 26
Slide 26 text
new
slave
old
master
old
slave
new
master
old
slave
Replication start
@2553924
移行期間分の遅れをとっ
ているため
ひたすら追いかける
26
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
3. 続きを slaveから差分で同期
old2new
Replicator
コンバート
Slide 27
Slide 27 text
new
slave
old
master
new
master
Replication start
@1
27
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
4. 順方向の同期完了後、逆方向も同期を開始
コンバート
old2new
Replicator
Slide 28
Slide 28 text
old
Master
new
Master
old2new
Replicator
new2old
Replicator
28
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
5. 新旧同期できる状態で新APIの提供を開始
Slide 29
Slide 29 text
• 1処理で大量のcommitが走る際は順番のズレに留意
-> スレッド処理のため。最終的に整合性が合えばOK
• 循環同期の発生に留意
-> 今回は更新者というカラムやコメント文で制御
• データ上の矛盾に留意
-> 別途テストを用意すべき
29
Replicatorを用いたデータ移行の留意点
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
Slide 30
Slide 30 text
old
master
new
master
old2new
new2old
①UPDATE A to B ②UPDATE A to B
③UPDATE A to B?
④UPDATE A to B?
30
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
循環同期について（補足）
Slide 31
Slide 31 text
old
master
new
master
old2new
new2old
①UPDATE A to B ②UPDATE A to B
③UPDATE A to B?
④UPDATE A to B?
31
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
循環同期について（補足）
実際に循環することはないが
無駄にクエリが走ると
問題につながりかねない
Slide 32
Slide 32 text
old
master
new
master
old2new
new2old
UPDATE A to B
By User
UPDATE A to B
By Replicator
32
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
更新者を明示して対応
Slide 33
Slide 33 text
old
master
new
master
old2new
new2old
UPDATE A to B
By User
UPDATE A to B
/* Replicator */
33
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
更新者を明示して対応
Slide 34
Slide 34 text
old
master
new
master
old2new
new2old
STATEMENT
ROW
更新者を示すための
カラム有り
更新者を示すため
のカラム無し
34
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
明示の仕方の違い
Slide 35
Slide 35 text
• あくまでマッピングに従って同期しているだけ
• データに矛盾がないかはわからない
→ 対応する新旧APIを叩いて
データに問題ないか毎日確認
※テストを量産しやすいcodeceptionを利用
35
データの矛盾確認-compatible checker
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
Slide 36
Slide 36 text
今日お話した仕組みはココ
36
old
Master
New
Master
old2new
Replicator
new2old
Replicator
old
PF-API
new
PF-API
事業部
Client
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
Slide 37
Slide 37 text
絶対サービスは止めたくない
熱い思いが詰まったReplicator
37
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
Slide 38
Slide 38 text
質疑応答
38
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。
Slide 39
Slide 39 text
ご清聴ありがとうございました。
Copyright © 2017 DMM.com Co., Ltd. All Rights Reserved. 無断複製・転載を禁じます。