About table-size-estimator

SHOW CREATE TABLE hoge; から取得したCREATE TABLE文からテーブルのディスクサイズを見積もるためのツールを作りました
MySQL Casual Talks vol.11, 2019/6/7

Transcript

1. MySQL table-size-estimator
   @tom__bo (MySQL Casual 6/7)
   

   View Slide

2. Outline
   • What is table-size-estimator
   • Why do I develop table-size-estimator?
   • CREATE TABLE Syntax
   • Subset of CREATE TABLE Syntax
   • How to calculate disk-size from CREATE TABLE
   • Limitations
   • Future work
   

   View Slide

3. What is table-size-estimator?
   • テーブル定義からディスクサイズを⾒積もるツール
   • CREATE TABLE⽂を⼊⼒し、そのテーブルの
   1レコードのサイズを出⼒
   • https://github.com/tom--bo/table-size-estimator
   • demo
   

   View Slide

4. Why do I develop table-size-estimator?
   • MySQLのSQLパーサーが欲しい！
   • Query digestの作成とかクエリーの書き換えを
   ⾃分で柔軟にやりたい
   • Linterとか補完Pluginとか作りたい
   

   View Slide

5. Can I use existings?
   • MySQL本体のparser??
   • includeしているものが多くてparser部分だけ抜き出すのむずい
   • そもそもparser周辺の仕組みを知らないので、切り出す部分の判
   断がむずい
   • TiDBのparserが読みやすそう??
   • MySQL-client互換
   • Goで書かれてる(C++よりは切り出しが簡単)
   • パーサが別packageに出されている
   • github.com/pingcap/parser/mysql
   • だめだ結局何をしてるのかよくわからん
   

   View Slide

6. Can I use existings?
   • MySQL本体のparser??
   • headerが多くてparser部分だけ抜き出すのむずい
   • そもそもparser周辺の仕組みを知らないので、切り出す部分の判
   断がむずい
   • TiDBのparserが読みやすそう??
   • MySQL-client互換
   • golangで書かれてる(C++よりは切り出しが簡単)
   • パーサが別packageに出されている
   • github.com/pingcap/parser/mysql
   • だめだ結局何をしてるのかよくわからん
   作ってみよう！
   Parseの仕組みを知ることで、MySQLがどうやってParseして
   どんなAST(抽象構⽂⽊)を作ってるのかを知る⼿がかりにもなる
   

   View Slide

7. Basic of Compiler
   • プログラムからToken,
   Syntaxを解析しつつ、
   構⽂⽊を作り、中間表現
   を作るまでがFrontend
   • そこから最適化をしつつ、
   機械コードを吐くのが
   Backend
   A.V. エイホ, M.S.ラム, R.セシィ, J.D.ウルマン 共著, 原⽥堅⼀ 訳, “コンパイラ[第2版] 原理・技法・ツール”,
   サイエンス社, 1990/10/10
   Backend
   Frontend
   

   View Slide

8. Compiler Frontend
   • 字句解析 (lexical analysis)
   • プログラム中の語彙(lexicon), 単語(word)を
   トークン(token)として抽出する
   • ex) “CREATE”, “TABLE”, “INT”, “BIGINT”, ”=“, “,”, “;” ...
   • 今回は既存のlexical analyzerであるflexを使う
   • https://www.gnu.org/software/flex/
   • https://github.com/westes/flex
   ⼭下義⾏, “コンパイラ⼊⾨ -構⽂解析の原理とlex/yacc, C⾔語による実装-”, サイエンス社, 2008/6/25
   

   View Slide

9. Compiler Frontend
   • 構⽂解析 (syntax analysis)
   • 字句解析で抽出されたトークンからプログラムの構⽂構造
   (Syntax Structure)を解析する
   • 解析したトークン列は具象構⽂⽊や抽象構⽂⽊で表現する
   • 今回はパーサジェネレータのYacc(Yet Another Compiler
   Compiler)の上位互換であるBisonを使う
   • LALR(1) 構⽂解析器 (Look Ahead Left to Right)
   • https://www.gnu.org/software/bison/
   

   View Slide

10. Compiler Frontend
    • 意味解析 (semantic analysis)
    • 構⽂解析時に作成した構⽂⽊と記号表の情報を使って意味
    的な解析を⾏う(型検査や型変換など)
    • 中間語作成
    • 構⽂⽊をそのまま中間表現とする場合もあるが、⽬的コード
    に近い形で実⾏順序に並べ中間表現とする場合もある
    • 今回は構⽂解析まで
    • create table⽂から情報を抜き出すだけなら構⽂解析までで
    ⼗分
    中⽥育男, “コンパイラの構成と最適化（第２版）”, 朝倉書店, 2014/11/20
    

    View Slide

11. CREATE TABLE syntax
    • Sample syntax from document
    https://dev.mysql.com/doc/refman/5.7/en/create-table.html
    

    View Slide

12. CREATE TABLE syntax
    • Full syntax from document
    https://dev.mysql.com/doc/refman/5.7/en/create-table.html
    

    View Slide

13. Subset of CREATE TABLE syntax
    • subset
    https://github.com/tom--bo/table-size-estimator#supported-syntax
    

    View Slide

14. Flex, 字句解析
    

    View Slide

15. Bison, 構⽂解析
    

    View Slide

16. How to calculate disk-size from
    CREATE TABLE syntax
    • data-typeからわかるサイズ
    • Secondary indexとPK
    • ⾏ごとのメタデータサイズ
    

    View Slide

17. How to calculate disk-size from
    CREATE TABLE syntax
    • data-typeからわかるサイズ
    • Secondary indexとPK
    • ⾏ごとのメタデータサイズ
    

    View Slide

18. disk-size from data-type (Number)
    • DECIMAL(M,D), NUMERIC(M,D)
    • Mは最⼤桁数, Dは⼩数点の右側の桁数
    (scale)
    • M <= 65, D <= M, D <= 30
    • MとDはそれぞれ別々に計算され、9桁ご
    とに4byte, あまりは以下のテーブルのよ
    うにbyte数が必要
    https://dev.mysql.com/doc/refman/8.0/en/storage-requirements.html
    

    View Slide

19. disk-size from data-type (Date/Time)
    https://dev.mysql.com/doc/refman/8.0/en/storage-requirements.html
    

    View Slide

20. disk-size from data-type (String)
    Lは⽂字列のバイト⻑.
    utf8は最⼤3byte,
    utf8mb4は最⼤4byte
    https://dev.mysql.com/doc/refman/8.0/en/storage-requirements.html
    

    View Slide

21. How to calculate disk-size from
    CREATE TABLE syntax
    • data-typeからわかるサイズ
    • Secondary indexとPK
    • ⾏ごとのメタデータサイズ
    

    View Slide

22. PK and secondary index
    • Secondary IndexはLeaf nodeにPKの値を保持している
    https://dev.mysql.com/doc/refman/8.0/en/innodb-index-types.html
    http://nippondanji.blogspot.com/2010/10/innodb.html
    

    View Slide

23. How to calculate disk-size from
    CREATE TABLE syntax
    • data-typeからわかるサイズ
    • PKとSecondary indexとPK
    • ⾏ごとのメタデータサイズ
    

    View Slide

24. Metadata for each record
    • Field Start Offsets
    • ⾏の各カラムが何バイト⽬で始まっ
    ているかを逆順で保持している
    • 1⾏のコンテンツ(全カラムの総
    フィールドサイズ)が127byte以下で
    あれば1カラムごとに1byte, それ以
    上であれば2byteが使われる
    https://dev.mysql.com/doc/internals/en/innodb-overview.html
    

    View Slide

25. How to calculate disk-size from
    CREATE TABLE syntax
    • 実装済み
    • data-typeからわかるサイズ
    • Secondary indexとPK
    • ⾏ごとのメタデータサイズ
    • 未対応
    • PK, Secondary indexの中間ノード
    • ページごとのメタデータサイズ
    • innodb_fill_factor, merge_threshold
    

    View Slide

26. Limitation of table-size-estimator
    • Partitionに対応していない
    • Pageごとのメタデータは考慮しない
    • フラグメンテーションは考慮しない(できない)
    • 1⽂字4byte固定(utfmb4想定でmaxsize)
    • 暗黙のPK(明⽰的にPK指定しないやつ)は対象外
    

    View Slide

27. Future work
    • table-size-estimatorは引き続き機能を充実させます
    • Limitationの内容を潰していく
    • GitHub(https://github.com/tom--bo/table-size-estimator)
    にIssueお願いします
    

    View Slide

28. Future work
    • それで？？ SQL parserは？
    • Subset定義しつつ作るかもしれません。。。
    • SQLの構⽂は予想以上に複雑。
    • LALRのConflictがでないようにParser作るの⼤変、
    きれいに(メンテしやすい)Parser作るのむずい。
    • 意外な構⽂がぼろぼろ出てくる。
    • ドキュメントのsyntaxは完璧じゃない、補完が必須
    

    View Slide