TiDB の SQL Parser を使用して CSV ファイルの不備を検知する仕組み

Go Connect #5 2025/02/19 (Web) @株式会社ビットキー
https://gotalk.connpass.com/event/340279/

参考記事
TiDBのSQLパーサーを使ってみました
https://qiita.com/kitahar/items/3c2655cdee4819fb0e45

pingcap/parser (MySQL互換) で SQL を手軽に解析
https://developers.freee.co.jp/entry/parse-sql-with-pingcapparser

GolangでMySQLのSQL文をパースする（CREATE TABLE文のパース例）
https://zenn.dev/nishisuke/articles/golang-parse-sql

Transcript

1. TiDB の SQL Parser を使用して CSV ファイルの不備を検知する仕組み 1 Go Connect #5 2025/02/19 (Web) @mwudo / 岸田慎之介
2. 2 自己紹介 • 　SO Technologies 株式会社 • 　新卒4年目 • Go言語でAPI/バッチ処理の開発を主に行いつつ 問い合わせの調査も行っている グループ横断の取り組みで使うアプリの開発にも従事 • 　毎週ボルダリングに通ってる 岸田　慎之介 @mwudo
3. 話すこと 3 テストで使用している CSV ファイルの不備に気づくために SQL Parser の使った取り組みについて紹介
4. CSVの不備 4 開発で DB 定義（DDL）に則したダミーデータ を CSV ファイルとしてリポジトリで用意 CSV ファイルを DB へ投入するときのコマンドは LOAD DATA LOCAL INFILE を使用 既存の DB のテーブル定義に対して列の追加・削除などの対応を 行った時に漏れる場合があった
5. SQL Parser の導入 5 正規表現 を使用して検知を試みた ChatGPT などを使えば正規表現を用意することは可能 正規表現自体が複雑になり保守性が低い しかし
6. SQL Parser の導入 6 PingCAP が開発している TiDB で使用されている SQL Parser https://github.com/pingcap/tidb/tree/master/pkg/parser
7. github.com/pingcap/tidb/pkg/parser 7 SQL を抽象構文木（以下 AST）に変換 AST のノードを参照することで SQL の情報を取得することが可能 https://github.com/pingcap/tidb/tree/master/pkg/parser MySQL のほとんどの構文をサポート 数行の実装を追加するだけで、独自の構文をサポート パフォーマンスがよい README によると、
8. 実装の一部を紹介 8 AST のノードを取得するためには、以下の interface を実装
9. 実装の一部を紹介 9 DDL の情報を取得するために構造体は以下のように定義
10. 実装の一部を紹介 TableDef のメソッドに Visitor を実装 10
11. 実装の一部を紹介 SQL を引数にして parser.New().ParseSQL を呼び出し Accept を実行すると、AST のノードが取得され def に情報を格納 11
12. 実装の一部を紹介 12 型ごとに期待される値かどうかテスト
13. 検知する仕組みを取り入れた結果 いくつか不備を見つけた 13 カラム名が間違っていた データのフォーマットが異なっている 列不足のデータも存在 当初の目的は果たせている • 例：2020-01-01 00:00:0 → 2020-01-01 00:00:00
14. さらなる改善 DDL のカラムの順序と CSV ファイルの列の順序が異なっていると検知できていない LOAD DATA LOCAL INFILE は DDL のカラムの順序のつもりで CSV ファイルを解釈する 14 カラムの順序の検知もテストに加えたい
15. 参考記事 ❏ TiDB の SQL Parser を使用して CSV ファイルの不備を検知する仕組み ❏ TiDBのSQLパーサーを使ってみました ❏ pingcap/parser (MySQL互換) で SQL を手軽に解析 ❏ GolangでMySQLのSQL文をパースする（CREATE TABLE文のパース例） 15