オンプレMySQLをTiDB Cloudへ移行した手順紹介 @TiUG #0

オンプレMySQLを TiDB Cloudへ移行した手順紹介 TiUG #0

自己紹介 DMM.com プラットフォーム事業本部渡部太緒 (わたなべたお) X: @tao_wata 認証APIの開発・運用を行っています

発表内容 • オンプレMySQLをTiDB Cloudへ移行した手順 • 差分チェックツール sync-diff-inspector の詰まりどころ

オンプレMySQLをTiDB Cloudへ移行した手順

移行の要件サービス無停止

移行手順 1. 既存データdump&import 2. 並行書き込み 3. 差分チェックと差分解消 4. 参照先をMySQLからTiDBへ切り替え

オンプレ環境既存データをdumpし、S3へアップロード MySQL .sql ファイル Amazon S3

TiDB CloudへS3経由でデータimport コンソールからimportできる空のテーブルを作成しておく Amazon S3 TiDB Cloud

オンプレ環境並行書き込み API MySQL 書き込み (Upsert) 書き込み読み取り MySQLとTiDB片方の書き込みが失敗した場合
両方ロールバックして整合性を担保 TiDBへの書き込みはUpsert

差分チェックと解消オンプレMySQLのデータdump から並行書き込み開始までの間に更新のあったデータはTiDBに同期されていない → sync-diff-inspectorで差分チェックし、差分解消クエリを実行する

sync-diff-inspectorとは GitHub: pingcap/tidb-tools リポジトリで管理されているツール MySQLとTiDB, MySQLとMySQL, TiDBとTiDBのデータを比較できる少量のデータに差分があるシナリオで差分解消ができる

sync-diff-inspectorの実行オンプレ環境 API MySQL 書き込み書き込み読み取り sync-diff-inspector 読み取り読み取り
差分解析結果と差分解消クエリの出力

差分解消クエリの実行 sync-diff-inspectorによって出力された差分解消クエリを TiDBに対して実行 → 再度sync-diff-inspectorを実行し、差分がないことを確認

意外とうまくいった実は、sync-diff-inspectorはデータ書き込みのあるMySQLとTiDB 間のオンラインチェックをサポートしていない確かにエラーの発生で差分チェックが中断することがあったが... [FATAL] [diff.go:548] ["the count is
not correct"] 出力できたところまでの差分解消クエリの実行と差分チェックの再実行を繰り返すことでデータ同期が完了

参照先をMySQLからTiDBへ切り替え既存のSQLがそのまま使えるので、苦戦することなく切り替え完了オンプレ環境 API MySQL 書き込み書き込み読み取り読み取り

結果サービス無停止でのDB移行ができた

sync-diff-inspectorの詰まりどころ

現象: 差分解消クエリが文字化け ↓ BINARY型カラムのデータがそのまま出力されていたため文字化けしてしまった REPLACE INTO `table_name`(...,`binary_column`, ...) VALUES (...,'ßä��<95>ko^P��«',
...); REPLACE INTO `sbtest`.`sbtest99`(`id`,`k`,`c`,`pad`) VALUES (3700000,2501808,'hello','world');

解決策: 16進数形式でクエリを出力するよう改修 sync-diff-inspectorをフォーク 16進数表記にデータ変換し、 UNHEX関数を利用してクエリを出力するよう改修 REPLACE INTO `table_name`(...,`binary_column`, ...) VALUES
(...,UNHEX('hexadecimal representation'), ...);

Feature Request 投げました sync-diff-inspector: use UNHEX for BINARY and VARBINARY
types #746 https://github.com/pingcap/tidb-tools/issues/746

まとめ

まとめ TiDB Cloudのimport 機能とsync-diff-inspectorを利用して無停止移行ができた sync-diff-inspectorがもっと使いやすくなると嬉しい

オンプレMySQLをTiDB Cloudへ移行した手順紹介 @TiUG #0

オンプレMySQLをTiDB Cloudへ移行した手順紹介 @TiUG #0

Tao Watanabe

More Decks by Tao Watanabe

Other Decks in Technology

Featured

Transcript