MySQL Shell dumpInstance のバグを調べた件

Transcript

1. MySQL Shell dumpInstance のバグを調べた件 2020/12/11 忘年LT⼤会 2020
2. 2 坂井さん 毎年ありがとうございます︕
3. MySQL Shell の util.dumpInstance おさらい • 論理バックアップ • 並列で⾼速にバックアップ • １つのテーブルをチャンクに分けてSELECT 3 $ ls -rw-r----- 1 samitani users 296 Oct 28 23:13 t.json -rw-r----- 1 samitani users 531 Oct 28 23:13 t.sql -rw-r----- 1 samitani users 289084 Oct 28 23:13 t@t@@0.tsv -rw-r----- 1 samitani users 8 Oct 28 23:13 t@t@@0.tsv.idx
4. ⼀貫性のあるバックアップ • 複数のセッションでバックアップを⾏う • 各セッションで同じ時点のデータを読まなければ、正しい バックアップとならない 4 SELECT 〜 FROM t WHERE pk BETWEEN 1 AND 100 SELECT 〜 FROM t WHERE pk BETWEEN 101 AND 200 SELECT 〜 FROM t WHERE pk BETWEEN 201 AND 300
5. ⼀貫性がどのように担保されているか 5 FLUSH TABLES WITH READ LOCK START TRANSACTION START TRANSACTION START TRANSACTION UNLOCK TABLES SELECT 〜 FROM t WHERE pk BETWEEN 1 AND 100 SELECT 〜 FROM t WHERE pk BETWEEN 101 AND 200 SELECT 〜 FROM t WHERE pk BETWEEN 201 AND 300 この間は 書き込め ない
6. ⼀貫性がどのように担保されているか 6 FLUSH TABLES WITH READ LOCK START TRANSACTION START TRANSACTION START TRANSACTION UNLOCK TABLES SELECT 〜 FROM t WHERE pk BETWEEN 1 AND 100 SELECT 〜 FROM t WHERE pk BETWEEN 101 AND 200 SELECT 〜 FROM t WHERE pk BETWEEN 201 AND 300 この間は 書き込め ない なるほど かしこい
7. 7 しかし・・・
8. ⼀貫性のあるバックアップが取れない • このようなトランザクションを実⾏中にバックアップする・・・ • db1.t1, db2.t2 で件数が⼀致しないバックアップが 出来上がってしまった・・・ 8 BEGIN; INSERT INTO db1.t1 VALUES(1); INSERT INTO db2.t1 VALUES(1); COMMIT;
9. ⼀貫性のあるバックアップが取れない • このようなトランザクションを実⾏中にバックアップする・・・ • db1.t1, db2.t2 で件数が⼀致しないバックアップが 出来上がってしまった・・・ 9 BEGIN; INSERT INTO db1.t1 VALUES(1); INSERT INTO db2.t1 VALUES(1); COMMIT; その後、調べて原因がわかりました
10. 原因 10 FLUSH TABLES WITH READ LOCK START TRANSACTION START TRANSACTION START TRANSACTION UNLOCK TABLES SELECT 〜 FROM t WHERE pk BETWEEN 1 AND 100 SELECT 〜 FROM t WHERE pk BETWEEN 101 AND 200 SELECT 〜 FROM t WHERE pk BETWEEN 201 AND 300 LOCK TABLES mysql.proc
11. 原因 11 FLUSH TABLES WITH READ LOCK START TRANSACTION START TRANSACTION START TRANSACTION UNLOCK TABLES SELECT 〜 FROM t WHERE pk BETWEEN 1 AND 100 SELECT 〜 FROM t WHERE pk BETWEEN 101 AND 200 SELECT 〜 FROM t WHERE pk BETWEEN 201 AND 300 LOCK TABLES mysql.proc 暗黙の コミット
12. 修正済 • 8.0.23 で修正される 12
13. 13 気づいたこと x 2
14. MySQL Shell のビルドが茨の道だった • 本体もビルドが必要 • 本体は cmake3 系 • Shell は cmake2 系 • 他にも⾊々・・・ • https://mita2db.hateblo.jp/entry/2020/11/05/223232 • （CentOS 7 以外なら簡単かも） 14
15. MySQL Shell、デバッグに便利 • タイミングイシューのため、複数回バックアップを実⾏す る必要があった • Pythonでそのまま、書ける。簡単。 15 mysqlsh> \py mysqlsh> for i in range(10): util.dump_instance('/tmp/bk%s' % i, compression='none')
16. 16 まとめ
17. まとめ • dumpInstance はFTWLで⼀貫性を確保 • バグは 8.0.23 で修正されるよ • MySQL Shell @CentOS7 でのビルド⽅法 • https://mita2db.hateblo.jp/entry/2020/11/05/223232 • MySQL Shell デバッグにも便利︕ 17
18. 18 おしまい