Rust 製の ripgrep というツールと正規表現

Transcript

1. Rust 製の ripgrep という ツールと正規表現 kb10uy / 日下夏稀
2. 自己紹介 • kb10uy (ｹｲﾋﾞｰｼﾞｭｳﾕｰﾜｲ) • おととい内定式に出てきた • ルービックキューブ 40 秒切れるようになっ てきた • https://kb10uy.org
3. Ripgrep というツール • grep のすごいやつ • Rust で書かれているので速い • 最初からディレクトリの再帰的検索をサポート • .gitignore とかを認識して除外してくれる • 速い！！ • grep に限らず様々なツールで正規表現が使われている • そのお話をちょっとします
4. 正規表現の実装 • PCRE2 などの正規表現エンジンは従来型NFAと称されている • (数学的には)正規ではない表現も使える • 例: /((.+)¥2){2}/ …… “つつうらうら”、”かんかんがくがく”など • 一方、POSIX コマンドのデフォルトや ripgrep のデフォルトの 正規表現は DFA で実装されている • 「記憶」が必要な表現は基本的に無理
5. じゃあ NFA だけでよくない？ • そう思うじゃん？でもね…… • 実行時間も消費メモリ量も増える • 特に実行時間が致命的 • 有名な例として /X(.+)+X/ を =XX================= にマッ チさせるとバックトラックが爆発して終わらない
6. DFA はエコ • DFA の正規表現は計算量が線形 • バックトラック用に記憶しておく必要がないのでメモリにもや さしい • Rust の regex crate や Golang の regex はスケールした際の最 悪ケースを考慮している(と言われている) • そもそもバックトラックそんな使ってなくない？ • 個人差があります • 僕は (*SKIP) とか (*PRUNE) とか好きだよ
7. SKK の辞書から色々な単語を抽出しよう • 昨日ブログに書いた話 • 実演 • https://kb10uy.hateblo.jp/entry/2020/10/02/131621
8. まとめ 秘伝の正規表現には 気をつけよう！！