TiDB の SQL Parser を使用して CSV ファイルの不備を検知する仕組み

TiDB の SQL Parser を使用して CSV ファイルの不備を検知する仕組み 1 Go Connect
#5 2025/02/19 (Web) @mwudo / 岸田慎之介

2 自己紹介 • 　SO Technologies 株式会社 • 　新卒4年目 • Go言語でAPI/バッチ処理の開発を主に行いつつ
問い合わせの調査も行っているグループ横断の取り組みで使うアプリの開発にも従事 • 　毎週ボルダリングに通ってる岸田　慎之介 @mwudo

話すこと 3 テストで使用している CSV ファイルの不備に気づくために SQL Parser の使った取り組みについて紹介

CSVの不備 4 開発で DB 定義（DDL）に則したダミーデータを CSV ファイルとしてリポジトリで用意 CSV ファイルを
DB へ投入するときのコマンドは LOAD DATA LOCAL INFILE を使用既存の DB のテーブル定義に対して列の追加・削除などの対応を行った時に漏れる場合があった

SQL Parser の導入 5 正規表現を使用して検知を試みた ChatGPT などを使えば正規表現を用意することは可能正規表現自体が複雑になり保守性が低いしかし

SQL Parser の導入 6 PingCAP が開発している TiDB で使用されている SQL Parser
https://github.com/pingcap/tidb/tree/master/pkg/parser

github.com/pingcap/tidb/pkg/parser 7 SQL を抽象構文木（以下 AST）に変換 AST のノードを参照することで SQL の情報を取得することが可能 https://github.com/pingcap/tidb/tree/master/pkg/parser
MySQL のほとんどの構文をサポート数行の実装を追加するだけで、独自の構文をサポートパフォーマンスがよい README によると、

実装の一部を紹介 8 AST のノードを取得するためには、以下の interface を実装

実装の一部を紹介 9 DDL の情報を取得するために構造体は以下のように定義

実装の一部を紹介 TableDef のメソッドに Visitor を実装 10

実装の一部を紹介 SQL を引数にして parser.New().ParseSQL を呼び出し Accept を実行すると、AST のノードが取得され def に情報を格納
11

実装の一部を紹介 12 型ごとに期待される値かどうかテスト

検知する仕組みを取り入れた結果いくつか不備を見つけた 13 カラム名が間違っていたデータのフォーマットが異なっている列不足のデータも存在当初の目的は果たせている • 例：2020-01-01 00:00:0
→ 2020-01-01 00:00:00

さらなる改善 DDL のカラムの順序と CSV ファイルの列の順序が異なっていると検知できていない LOAD DATA LOCAL INFILE は
DDL のカラムの順序のつもりで CSV ファイルを解釈する 14 カラムの順序の検知もテストに加えたい

参考記事 ❏ TiDB の SQL Parser を使用して CSV ファイルの不備を検知する仕組み ❏
TiDBのSQLパーサーを使ってみました ❏ pingcap/parser (MySQL互換) で SQL を手軽に解析 ❏ GolangでMySQLのSQL文をパースする（CREATE TABLE文のパース例） 15

TiDB の SQL Parser を使用して CSV ファイルの不備を検知する仕組み

TiDB の SQL Parser を使用して CSV ファイルの不備を検知する仕組み

shinnosuke

More Decks by shinnosuke

Other Decks in Technology

Featured

Transcript