mrubyでワンバイナリーなテキストフィルタツールを作った / Building Text Filtering Tools with mruby #tokyorubykaigi

東京Ruby会議12で発表した資料です。 https://regional.rubykaigi.org/tokyo12/
私の作っているrfコマンドの紹介、mrubyの基本的な情報、使い方、開発するときのTipsを紹介しています。

Transcript

1. 1 mrubyでワンバイナリーな テキストフィルタツールを作った 高谷 雄貴@buty4649 Tokyo Ruby Kaigi 12 2025.01.18
2. 2 自己紹介 GMOペパボ株式会社 プリンシパルエンジニア 2014年 中途入社 高谷 雄貴 Yuki Koya いわゆるインフラエンジニア。プライベートクラウドや 社内システムの面倒をみていたが今は育休中。 • GitHub: buty4649 • mixi2: @buty4649 • X(旧Twitter): @buty4649 • Blog: https://tech.buty4649.net
3. GMOペパボについて 3 ※ https://pepabo.com/
4. 4 今日は仕事の話はしません！ 趣味で作っているテキストフィルタツールと mrubyの布教活動をします！
5. 5 アジェンダ 1. rfコマンドの紹介 2. mrubyとは？ 3. mrubyを使ったCLIツールの作り方 4. mrubyで開発するときのTips 5. まとめ
6. rfコマンドの紹介 6
7. 「テキストフィルタツール」とは指定した条件に基づいてテキストデータの加工や変 換、整形や抽出といった処理を効率的に行えるツール テキストフィルタツールの例 • プレーンテキスト : grep, sed, awk … • JSON : jq … • YAML : yq … rfコマンドの紹介 7
8. rfコマンドの紹介 8 sedで文字列置換をするのはどうするんだっけ？ jqを使ってJSONファイルから値を抜き出すのはどうするんだっけ？ Rubyならすぐに書けるのに…
9. rfコマンドの紹介 9 rubyコマンドの起動オプションを工夫するとワンライナーで実行できる Rubyでテキストフィルタしたい # grep foo と同等の処理をする例 $ ruby -ple 'next if ! /foo/' hoge.txt # sed -i.bak 's/foo/bar/g'と同等の処理をする例 $ ruby -i.bak -pe 'gsub(/foo/,"bar")' hoge.txt # jq '.[].foo'と同等の処理をする例 $ ruby -rjson -e 'p JSON[ARGF.read].dig(0,"foo")' hoge.json
10. rfコマンドの紹介 10 rubyコマンドの起動オプションを工夫するとワンライナーで実行できる Rubyでテキストフィルタしたい # grep foo と同等の処理をする例 $ ruby -ple 'next if ! /foo/' hoge.txt ←—------- タイプ数は27 # sed -i.bak 's/foo/bar/g'と同等の処理をする例 $ ruby -i.bak -pe 'gsub(/foo/,"bar")' hoge.txt ← タイプ数は35 # jq '.[].foo'と同等の処理をする例 $ ruby -rjson -e 'p JSON[ARGF.read].dig(0,"foo")' hoge.json ↑ タイプ数は47
11. rfコマンドの紹介 11 Rubyで書けるけどタイプ数が多くて毎回打つのが大変だなぁ… Rubyでテキストフィルタを書けて、タイプ数も少ないツールがほしいなぁ
12. rfコマンドの紹介 12 そうだ！存在しないなら作ればいいんだ！！
13. rfコマンドの紹介 13 rfコマンド爆誕！！
14. rfコマンドの紹介 14 • 私が作っているテキストフィルタツール ◦ Ruby Filterの略 ◦ 名前の短さもタイプ数を考慮 ◦ 名前のとおりRubyでフィルタリング処理が書ける • 出力時に色付けを自動で行い視覚的に見やすく • プレーンテキストはもちろんJSONやYAMLにも対応 • 独自の拡張でタイプ数を極力減らしている • ワンバイナリ構成でマルチプラットフォーム対応 rfコマンドとは？
15. rfコマンドの紹介 15 rubyコマンドのワンライナーの例をrfコマンドで置き換えると rfコマンドの実行例(grep, sed相当) # grep foo と同等の処理をする例 $ rf /foo/ hoge.txt ←ーーーーーーーーーー タイプ数が27から9 foobar barfoo # sed -i.bak 's/foo/bar/g'と同等の処理をする例 $ rf -i.bak 'gsub(/foo/,"bar")' hoge.txt ← タイプ数が35から29 $ cat hoge.txt barbar barbar
16. rfコマンドの紹介 16 rubyコマンドのワンライナーの例をrfコマンドで置き換えると rfコマンドの実行例(jq相当) # jq '.[].foo'と同等の処理をする例 $ rf -j _.foo hoge.json ←-- タイプ数が47から11 { "bar": 1, "baz": "2" }
17. rfコマンドの紹介 17 mrubyを使ってワンバイナリーになっているのでポン置きできる • バイナリの直接ダウンロード (Win/Mac/Linux) ◦ https://github.com/buty4649/rf/releases パッケージマネージャにも対応！ • asdf/mise (Mac/Linux) ◦ https://github.com/buty4649/asdf-rf • Homebrew (Mac) ◦ https://github.com/buty4649/homebrew-tap rfコマンドのインストール方法
18. rfコマンドの紹介 18 • rfコマンドは当初からワンバイナリーにしようと思っていた ◦ rubyコマンドに依存せずポータビリティを高めたかった • Rubyが使えてバイナリ化できる選択肢は… ◦ mruby ◦ Ruby Packer ◦ ruby.wasm + WASIランタイム? • 私が慣れているという理由でmrubyを採用 • mrubyについては次の章で なぜmruby?
19. rfコマンドの紹介 19 Usage: rf [入力データの形式] [オプション] <フィルタ> [入力ファイル...] • 入力データの形式 ◦ -t: プレインテキスト(省略可)、-j : JSON、-y YAML • オプション ◦ 再帰検索(-r)やファイルの上書き保存(-i)などなど • フィルタ ◦ Rubyでフィルタを定義 • 入力ファイル ◦ 複数指定可能、省略した場合は標準入力 rfコマンドの使い方
20. rfコマンドの紹介 20 awkやruby -a -nとだいたい同じ 1. 入力されたデータをrf内蔵のフィルタを通して分割する a. プレーンテキストであれば一行ごとに分割 b. 分割したデータをrfではレコードと呼んでいる c. レコードはさらにスペースで分割される(rfではフィールドと呼んでいる) 2. レコードごとにイテレーション処理する a. レコードを入力としてRubyのコードを実行する b. 評価結果を加工して出力 i. プレーンテキストであればto_s ii. JSON/YAMLであればto_json / to_yaml rfの処理の流れ
21. rfコマンドの紹介 21 レコードやフィールドはよく使うので特殊な変数として追加 • レコードは _ (アンダーバー)に格納されている ◦ ruby -nにおける $_ と同等だが1文字削減 • フィールドは _1, _2, …(アンダーバー + 数字)に格納されている ◦ Ruby本来の構文では番号指定パラメータとして機能する • 具体例: 入力が a␣b␣c だった場合 ◦ _ : a␣b␣c ◦ _1 : a ◦ _2 : b ◦ _3 : c rfコマンドの独自拡張(特殊変数)
22. rfコマンドの紹介 22 ワンライナーで初期化処理をなくしタイプ数を減らす • 未定義な変数に対して加算代入 ◦ s+=1やs+="hello"みたいなことができる ▪ 通常なら undefined method `+' for nil ◦ Arrayも加算代入できるがHashはできない ▪ Hashには+メソッドがないため • 例えば数値の集計をしたいときに使う ◦ rf 's+=_1.to_i' sum.txt ◦ s||=0は不要 rfコマンドの独自拡張(未定義な変数への加算)
23. rfコマンドの紹介 23 プレーンテキストでは入力はすべてStringのため数値として扱うにはto_i/to_fが必要 タイプ数を減らすためrfではStringからInteger/Floatへ暗黙的な変換がされる • 具体例 : 1 + "1" ◦ 通常なら String can't be coerced into Integer ◦ rfだと 2 • 例えば数値の集計時に便利 ◦ rf 's+=_1' sum.txt ◦ _1にto_iが不要 rfコマンドの独自拡張(StringのInteger/Floatへの暗黙的な変換)
24. rfコマンドの紹介 24 rfコマンドを使ってみて、機能の提案やバグを見つけたなどあればフィードバックもらえる とありがたいです！ issueやPRは日本語でOKです https://github.com/buty4649/rf/issues?q=sort%3Aupdated-desc+is% 3Aissue+is%3Aopen GitHub以外のSNSでももちろんOKです！ フィードバック募集中！
25. mrubyとは？ 25
26. mrubyとは？ 26 • 軽量Rubyと呼ばれる実装 • Ruby(CRuby,MRI)と比べてメモリ使用量が少ない • 必要な機能のみmrubyに組み込むことができる ◦ mrbgemsというパッケージを追加することで機能を追加できる • 組み込み用途で利用されることが多い ◦ IoT ◦ ミドルウェア • 基本的にはmrubyをコンパイルするとライブラリが生成される ◦ libmruby.aといったファイルができる mrubyとは？
27. mrubyとは？ 27 CRubyに比べて制約がある • 標準ライブラリが少ない ◦ 例えば標準ではJSONやYAMLのライブラリがない • 使えない機能がある ◦ Kernel#require、スレッドなど • public、private、protectedで違いがない • 詳しくは以下を参照のこと ◦ https://github.com/mruby/mruby/blob/master/doc/limitations.md mrubyにおける制約
28. mrubyとは？ 28 まずは素のmrubyをビルドしてみる • ビルドするためのツールをインストール ◦ gcc または clang など ◦ rakeコマンド • https://github.com/mruby/mruby/ からgit cloneする ◦ 頻繁に更新されているのでGitHubから持ってくるのがおすすめ • mrubyディレクトリに入りビルドする ◦ $ cd mruby && rake • build/host/bin配下にmrubyやmirbコマンドなどが作成される ◦ mruby関連のコマンドはprefixにmが付く mrubyの始め方
29. mrubyとは？ 29 • mrubyのビルドコマンドやmrbgemsの追加を行う ◦ Rubyで定義を書く ◦ クロスコンパイルの定義もここで行う • デフォルトではmrubyディレクトリ配下のbuild_config/defaut.rbを使用 • default.rbでは以下のようになっている ◦ gccまたはclangを使ってビルド ◦ クロスコンパイルしない ◦ 標準のmrbgemsを使用 ◦ デバッグは無効、テストは有効、バイナリテストも有効 build_config.rbを使ってカスタマイズする
30. mrubyを使ったCLIツールの作り方 30
31. mrubyを使ったCLIツールの作り方 31 mrbgemsでspec.binsを指定するとCLIツールが作れる 具体例としてはmrubyコマンドやmirbコマンド これらもmrbgemsとして分離されている CLIツールの作り方 # mruby-bin-mirbのmrbgems MRuby::Gem::Specification.new('mruby-bin-mirb') do |spec| spec.license = 'MIT' spec.author = 'mruby developers' spec.summary = 'mirb command' —- snip —- spec.bins = %w(mirb) # <- ここで指定している spec.add_dependency('mruby-compiler', :core => 'mruby-compiler') end ※https://github.com/mruby/mruby/blob/master/mrbgems/mruby-bin-mirb/mrbgem.rake
32. mrubyを使ったCLIツールの作り方 32 • 必ずmrbgem.rakeを作らないといけない ◦ メタ情報やビルドコマンドをRubyで定義 • RubyまたはC/C++で記述できる ◦ Rubyはmrblib配下、C/C++はsrc配下 • C/C++の場合は初期化関数、終了関数の定義が必要 ◦ mrb_<mrbgem名>_gem_init ◦ mrb_<mrbgem名>_gem_final • CLIツールの場合はtools配下に配置 mrbgemsの作り方 ※https://github.com/mruby/mruby/blob/master/doc/guides/mrbgems.md # ディレクトリ構成 <root> |-- mrbgem.rake | |-- mrblib | |-- foo.rb | |-- src | |-- foo.c | |-- tools |-- foo |-- main.c
33. mrubyを使ったCLIツールの作り方 33 • mrubyにはAPIがあり、mruby VMを作成・操作できる • APIを使うにはmruby.hをincludeしビルド時にlibmrubyにリンクする • 最低限知っておくとよいAPI ◦ mrb_open : mruby VMを作成 ◦ mrb_funcall : mrubyのメソッドを実行 ◦ mrb_close : mruby VMを破棄 • C/C++のmain関数からmrubyのメソッドを呼びだすことでCLIツールを実現 C/C++からmrubyを利用する
34. mrubyを使ったCLIツールの作り方 34 #include<mruby.h> int main(int argc, char* argv) { // mruby VMの作成 mrb_state* mrb = mrb_open(); // mrubyのmainメソッドを実行 mrb_funcall(mrb, mrb_top_self(mrb), "main", 0, NULL); // mruby VMの破棄 mrb_close(mrb); return 0; } C/C++からmrubyを使う例 def main … # CLIツールの実装を書く … end C/C++のコード mrubyのコード
35. mrubyを使ったCLIツールの作り方 35 • mrb_eval : 指定された文字列をmruby VM上でevalする • mrb_str_new_cstr : 指定されたCの文字列をmrubyのStringに変換する • mrb_ary_new : Array.newを行う • mrb_ary_push : Array#pushを行う • mrb_hash_new : Hash.newを行う • mrb_hash_set : Hash#[]=を行う (参考)よく使うmruby API
36. mrubyを使ったCLIツールの作り方 36 • 各プラットフォーム向けのC/C++コンパイラを用意する ◦ Mac向けにはSDKも必要 • zigをつかうと環境を気にせずクロスコンパイルできて便利 ◦ https://k0kubun.hatenablog.com/entry/zig • Dockerを使う場合、拙作のmruby-buildを使うと便利 ◦ https://github.com/buty4649/mruby-build マルチプラットフォーム対応
37. mrubyを使ったCLIツールの作り方 37 • zig内蔵のヘッダファイルでは関数の定義が足りなくてエラーになる • zigを使ってビルドするとWindows Defenderがブロックする ◦ 何が原因かわからず… ◦ gccを使ってビルドすると回避できる zigでWindows向けのビルドをする際の注意点 ※https://tech.buty4649.net/entry/2023/10/21/141300
38. mrubyで開発するときのTips 38
39. mrubyで開発するときのTips 39 • build_config.rbでenable_testを有効にする ◦ mruby-testが自動的に追加される ◦ rake testするとtestディレクトリ配下が実行される • mrubyの仕様上テスト時にもバイナリビルドされる ◦ バイナリビルドは遅い ◦ rfではenable_testを無効にしている ◦ 代わりにrspecとcucumber/arubaを利用 ▪ cucumber/arubaはCLIテストフレームワーク ▪ https://github.com/cucumber/aruba テストについて
40. mrubyで開発するときのTips 40 GitHub Actionで各環境のテストができる 右図はrfの設定の抜粋(※) マルチプラットフォーム環境でのテストについて jobs: build: runs-on: ubuntu-latest strategy: matrix: os-arch: [linux-amd64, darwin-arm64, windows-amd64] steps: - run: rake build:${{ matrix.os-arch }} - uses: actions/upload-artifact@v4 test: needs: build strategy: matrix: runs-on: [ubuntu-latest, macos-14, windows-latest] include: - runs-on: ubuntu-latest os-arch: linux-amd64 - runs-on: macos-14 os-arch: darwin-arm64 - runs-on: windows-latest os-arch: windows-amd64 runs-on: ${{ matrix.runs-on }} steps: - uses: actions/download-artifact@v4 - name: Run test run: bundle exec rake spec ※https://github.com/buty4649/rf/blob/main/.github/workflows/ci.yml
41. mrubyで開発するときのTips 41 • build_config.rbにenable_debugを有効にする ◦ ビルド時に-g3 -O0が追加される ▪ リリースビルド時には無効にする(大切) ◦ Ruby部分の例外発生時にバックトレースが出力される • コードによってデバッグツールが変わる ◦ C/C++のコードはgdbを使う ◦ Rubyのコードはmrdbを使う ▪ https://github.com/mruby/mruby/blob/master/doc/guides/debugger.md デバッグについて
42. mrubyで開発するときのTips 42 • 通常のRuby開発と同じ設定を使いまわせる ◦ Ruby LSP ◦ rubocopもそのまま使える • C/C++の設定 ◦ Include Pathにmruby.hのディレクトリを指定 ▪ build/host/includeも追加しないとpresym.h(※)が参照できない ◦ ビルドタスクの構成にrake allの実行を追加 ◦ デバッグの構成にgdbを追加 ▪ デバッグ実行時にrake allタスクを実行するように設定 ▪ mrdbを使ったデバッグは研究中… VSCodeのおすすめ設定 ※https://github.com/mruby/mruby/blob/master/doc/guides/symbol.md
43. mrubyで開発するときのTips 43 # .vscode/settings.json: C/C++のInclude Pathの設定 { "C_Cpp.default.includePath": [ "${workspaceFolder}/mruby/include", "${workspaceFolder}/build/host/include" ] } # .vscode/settings.json: ビルドタスクの構成 { "version": "2.0.0", "tasks": [ { "label": "rake build", "type": "shell", "command": "rake build" } ] } VSCodeの設定例 # .vscode/launch.json: デバッグの構成 { "version": "0.2.0", "configurations": [ { "name": "gdb", "type": "cppdbg", "request": "launch", "program": "${workspaceFolder}/build/bin/rf", "args": [], "cwd": "${workspaceRoot}", "MIMode": "gdb", "miDebuggerPath": "/usr/bin/gdb", "preLaunchTask": "rake build" } ] }
44. まとめ 44
45. • rfコマンドの紹介を行った ◦ Rubyでテキストフィルタがかける ◦ タイプ数を少なくする工夫をしている ◦ 使ってみた感想やフィードバックお待ちしております！ • mrubyの基本と利用方法を説明した • mrubyで開発を行うときのTipsを共有した mrubyでワンバイナリーなCLIツールを作るときの参考になったら幸いです！ まとめ 45
46. ありがとうございました！ 46