なぜtree-sitter-rubyの日本語シンボルはシンタックスハイライトされないのか

Transcript

1. なぜtree-sitter-rubyの日本語シ ンボルはシンタックスハイライトさ れないのか いとじゅん(@itojum1230)
2. 自己紹介 いとじゅん(@itojum1230) SmartHRでプロダクトエンジニアやってます。試用 期間が終わりました 技術コミュニティとメタプログラミングに 興味があります VRChat.rbのオーガナイザーをやってます 2
3. tree-sitter • 構文解析ライブラリ • 使われているところ ◦ GitHub ◦ Zed ◦ コーディングエージェント(Claude Code, Codex等) tree-sitter-rubyは、tree-sitterのRuby文法ライブラリ tree-sitterのロゴ https://github.com/tree-sitter
4. なにがおこったの？ ハイライトされんなー
5. なにがおこったの？ ？？？？？？？？？？
6. なにがおこったの？ • いくつかの文字がハイライトされない ◦ 刀, 儀, 一, 最などなど • Playgroundを見るとエラーになっている
7. 原因(たぶん) 文字 codepoint 下位バイト 一致する禁止文字 言 U+5200 0x00 \0 儀 Ux5100 0x00 \0 一 U+4E00 0x00 \0 最 U+6700 0x00 \0 • 禁止文字の判定メソッドがUnicodeをchar(8bit)に切り詰めて いた • マルチバイト文字の下位バイトが Rubyのシンボルの禁止文 字に一致したとき 、エラーを出していた
8. Issue🚀
9. おわりに • 文字コードなどの知識も大事ですねー • 普段使っているOSSのバグを見つけると興奮しますね ◦ OSS貢献やっていき • tree-sitter-rubyはメンテがほぼ止まっているっぽい ◦ メンテされてないOSSってどうすればいいんでしょうね？