カジュアルコントリビュータと学ぶRustコンパイラ

Rustの現場に学ぶ
〜Webアプリの裏側からOS、人工衛星まで〜
https://findy.connpass.com/event/359456/

にて発表した際に使用したスライドです。

Transcript

1. カジュアルコントリビュータと学ぶRustコンパイラ 2025/09/10 Rustの現場に学ぶ 〜Webアプリの裏側からOS、人工衛星まで〜
2. 目次 自己紹介 前提の整理 カジュアルコントリビュータ？ Rustコンパイラの構成と特徴 Rustコンパイラ開発の個人的体験 1
3. 自己紹介 yuki (@helloyuki_) Sansan株式会社のBill Oneというプロダクトでアーキテクト。 普段は海外チームと働いています。 Rust.Tokyoのオーガナイザー。 2
4. 前提の整理 コンパイラに関するある程度の知識は既知とさせてください 説明しているとさ すがに15分〜20分では扱いきれないためです。 字句解析（レキサ）、構文解析（パーサー）、抽象構文木あたりのイメージがつけば大丈 夫…だと思う。 尺の都合で実装レベルの話までは踏み込めません。 懇親会でお話ししましょう…！私も初心者ですが。 3
5. カジュアルコントリビュータ？ 4
6. カジュアルコントリビュータ？ 定義 私が勝手にそう呼んでいるだけで、一般的な定義はない。 時折現れてIssueを解決していく人。 ガチ勢ではない（ので、「カジュアル」）が、多少はコンパイラに詳しいだろう ということで今日話をする。 5
7. カジュアルコントリビュータ？ 動機 転職してRustエンジニアではなくなったので、Rustを触る機会が激減した。 前からやってみたかったRust本体へのコントリビューションをしてみることに。 6
8. Rustコンパイラの構成と特徴 7
9. Rustコンパイラの構成と特徴 全体的な構成の概観を説明し、Rustコンパイラの特徴的な実装を2つ紹介する。 全体的な構成: よくあるコンパイラの構成。ASTを構築後、中間表現に変換し、コ ード生成を経てバイナリが作られる。 特徴的な設計: 「クエリシステム」「エラーメッセージ」あたりは、Rustコンパイ ラの特徴の一つと言える。 8
10. Rustコンパイラの構成と特徴 全体的な構成 Rustコンパイラ内では、大まかには次のように「中間表現（IR）」が変換されていく。 AST HIR MIR LLVM IR (Codegen) 上のフェーズから下のフェーズに中間表現が直されていくことを「lowering」と呼ぶ。 9
11. Rustコンパイラの構成と特徴 全体的な構成: AST ソースコードを解析（字句、構文）し、抽象構文木（Abstract Syntax Tree; AST） に直すフェーズ。 ちなみにRustは、再帰下降構文解析で、パーサーを手で実装している。 10
12. Rustコンパイラの構成と特徴 全体的な構成: HIR HIR (High-level Intermediate Representation) と呼ばれる中間表現がまずは生成さ れる。その後THIR (Typed High-level Intermediate Representation)が生成され、次 のフェーズ（MIR）に渡される。 主には脱糖（desugar）を担う。たとえば、Rustの文法上現れる下記の文法機能 は、コンパイラ内部では違う形で扱われる。 for式やwhile式は、すべてmatch + loopに変換される。 asyncやawaitは、コンパイラ内部表現としてコルーチンに変換される。 11
13. Rustコンパイラの構成と特徴 全体的な構成: HIR そのほか、型に関するさまざまな解析がかけられる。 型推論、トレイトと実装の紐付け、型チェックはHIRへの変換のタイミングで行われる。 パターンマッチ時に現れる網羅性チェックは、THIRへの変換のタイミングで行われる。 12
14. Rustコンパイラの構成と特徴 全体的な構成: HIR HIRは、次のcargoコマンドで確認できる。 cargo rustc -- -Z unpretty=hir-tree # AST形式で出力 cargo rustc -- -Z unpretty=hir # Rustのコード形式で出力 cargo rustc -- -Z unpretty=thir-tree 13
15. Rustコンパイラの構成と特徴 全体的な構成: HIR 試しに下記のようなコードをHIRとして出力させてみる。 fn main() { let nums = vec![1, 2, 3, 4, 5, 6, 7, 8, 9, 10]; let mut ans = 0; for num in nums { ans += num; } assert_eq!(ans, 55); } 14
16. Rustコンパイラの構成と特徴 全体的な構成: HIR 本来のHIR自体はこのようにASTに近しい形だが、少し読みにくいのでRustコードに近い形式 で出力させる。 DefId(0:0 ~ for_hir[8e24]) => OwnerNodes { node: ParentedNode { parent: 4294967040, node: Crate( Mod { spans: ModSpans { inner_span: src/bin/for_hir.rs:1:1: 8:2 (#0), inject_use_span: no-location (#0), }, 15
17. すると、for式がmatch, loop, matchの形式で変換されていることを確認できる。 // ... fn main() { let nums = <[_]>::into_vec(::alloc::boxed::box_new([1, 2, 3, 4, 5, 6, 7, 8, 9, 10])); let mut ans = 0; { let _t = match #[lang = "into_iter"](nums) { mut iter => loop { match #[lang = "next"](&mut iter) { #[lang = "None"] {} => break, #[lang = "Some"] { 0: num } => { ans += num; } } }, }; _t }; match (&ans, &55) { (left_val, right_val) => { if !(*left_val == *right_val) { let kind = ::core::panicking::AssertKind::Eq; ::core::panicking::assert_failed(kind, &*left_val, &*right_val, ::core::option::Option::None); } } }; } 16
18. Rustコンパイラの構成と特徴 全体的な構成: MIR THIRからMIR（Mid-level Intermediate Representation）が生成される。 MIRはRustコンパイラの根幹をなす中間表現である。主には制御フローグラフに基 づいた中間表現になっており、型付けもなされた状態である。 たとえば下記が含まれる。 ボローチェック（Borrow Check）。 単相化（Monomorphization）: コンパイル時にジェネリクスを具体的に型に置き換えて実装 を生成し、実行速度を最適化する仕組み。 17
19. Rustコンパイラの構成と特徴 全体的な構成: MIR MIRは、次のcargoコマンドで出力できる。 cargo rustc -- -Z unpretty=mir 18
20. Rustコンパイラの構成と特徴 全体的な構成: MIR HIRで使用したのと同じコードを使ってMIRを出力させてみると、次のような出力を見ること ができる。 copy などの文字列が見られる。 fn main() -> () { let mut _0: (); let _1: std::vec::Vec<i32>; // ... bb1: { _6 = ShallowInitBox(move _5, [i32; 10]); _26 = copy ((_6.0: std::ptr::Unique<[i32; 10]>).0: std::ptr::NonNull<[i32; 10]>) as *const [i32; 10] (Transmute); _27 = copy _26 as *const () (PtrToPtr); _28 = copy _27 as usize (Transmute); _29 = AlignOf([i32; 10]); _30 = Sub(copy _29, const 1_usize); _31 = BitAnd(copy _28, copy _30); _32 = Eq(copy _31, const 0_usize); assert(copy _32, "misaligned pointer dereference: address must be a multiple of {} but is {}", copy _29, copy _28) -> [success: bb15, unwind unreachable]; } 19
21. Rustコンパイラの構成と特徴 全体的な構成: LLVM IR（Codegen） MIRからLLVM IRが生成される。バイナリが生成される直前のフェーズであると言 える。 バイナリの生成までにはさらにいくつかのステップを経るが、詳しくは下記の記 事を参考にできる。 Resolving Rust Symbols: https://blog.shrirambalaji.com/posts/resolving-rust-symbols/ ちなみに、この記事の著者は昨年Rust.Tokyoに登壇してくれた。 20
22. 特徴的な設計 21
23. Rustコンパイラの構成と特徴 特徴的な設計 クエリシステム（Query System） エラーメッセージ（Diagnostics; 診断） 22
24. Rustコンパイラの構成と特徴 特徴的な設計 > クエリシステム: クエリシステムとは 一義的には、あるキーに対するクエリ（問い合わせ）があった際に、その結果を 返す。結果はキャッシュされ、2回目以降の問い合わせではキャッシュの結果を使 用する、というもの。 アナロジー的には、Rustコンパイラの各モジュールの知識はいわゆるデータベー スのようになっていて、そのデータベースに対してクエリをかけ、結果を取得す る。 23
25. Rustコンパイラの構成と特徴 特徴的な設計 > クエリシステム: クエリシステムとは ソースコードを全部コンパイルするのではなく、最終的に生成されるバイナリ等 に必要になるソースコード部分や機能のみコンパイルする。かつ、問い合わせが あるまではコンパイルは遅延される。 これをRustコンパイラの説明では、Demand-Driven Compilation（要求駆動コンパ イル）などと呼んでいる。 本筋から外れるが、このシステムを実装できるSalsaというOSSがある。 https://github.com/salsa-rs/salsa 24
26. Rustコンパイラの構成と特徴 特徴的な設計 > クエリシステム: TyCtxt<'tcx> 各クエリの結果は TyCtxt<'tcx> の構造体に実装されている関数を経由して取り 出せる。 TyCtxt が持つ type_of() などの関数を呼び出すと、 i. キャッシュがあるかないかをまずチェックする。 ii. キャッシュがあればその値を返し、なければデフォルト実装用の関数を呼び 出す。 iii. 結果はキャッシュとして保存される。 25
27. Rustコンパイラの構成と特徴 特徴的な設計 > クエリシステム: クエリの定義 内部的には rustc_queries! というマクロで定義されている。 rustc_queries! { /// Records the type of every item. query type_of(key: DefId) -> Ty<'tcx> { cache_on_disk_if { key.is_local() } desc { |tcx| "computing the type of `{}`", tcx.def_path_str(key) } } ... } あとは先ほどの TypCtxt<'tcx> 経由で呼び出せる。 fn foo(tcx: TyCtxt<'_>, def_id: DefId) { let ident = tcx.type_of(def_id).instantiate_identity(); } 26
28. Rustコンパイラの構成と特徴 特徴的な設計 > エラーメッセージ Rustのエラーメッセージは丁寧と話題だが、その裏側は意外と泥臭い。 コンパイル時のさまざまな処理フローに対して、事細かにエラーメッセージの送出に関する 記述をしている。 条件分岐なども結構多く、そういうわけでエラーメッセージにはよくバグが見つかる。 27
29. Rustコンパイラの構成と特徴 特徴的な設計 > エラーメッセージ: DiagCtxt クエリシステムと似たように、コンパイル時のエラー（診断; Diagnosticsという） については rust_errors::DiagCtxt というコンテクストに保有される。 実装中は rust_errors::DiagCtxtHandle<'a> を経由して呼び出す。 実装時はこれに診断内容を送る。 28
30. Rustコンパイラの構成と特徴 特徴的な設計 > エラーメッセージの管理 エラーメッセージの管理自体は、コンパイラの各クレートに存在する message.ftl というファイルで行われている。 このファイルはキーと値が詰まった形式になっている。 よく見る実装の提案に関するヘルプメッセージなども定義できる。 下記はたとえば、staticな可変参照を作ることはできない、というコンパイルエラ ーに関するメッセージの定義。 lint_static_mut_refs_lint = creating a {$shared_label}reference to mutable static .label = {$shared_label}reference to mutable static .suggestion = use `&raw const` instead to create a raw pointer .suggestion_mut = use `&raw mut` instead to create a raw pointer``` 29
31. Rustコンパイラの構成と特徴 特徴的な設計 > エラーメッセージの管理 呼び出しは、コンパイルエラーを表現する構造体のアトリビュートに、どのエラ ーメッセージを呼び出すかの情報を記述して行われる。 #[derive(LintDiagnostic)] #[diag(lint_static_mut_refs_lint)] pub(crate) struct RefOfMutStatic<'a> { #[label] pub span: Span, #[subdiagnostic] pub sugg: Option<MutRefSugg>, pub shared_label: &'a str, #[note(lint_shared_note)] pub shared_note: bool, #[note(lint_mut_note)] pub mut_note: bool, } 30
32. Rustコンパイラ開発の個人的体験 31
33. Rustコンパイラ開発の個人的体験 前提として必要そうな知識など 楽しい点と苦労している点 AIの活用 プロジェクトへの印象など 将来への展望 32
34. Rustコンパイラ開発の個人的体験 前提として必要そうな知識など Rustそれ自体への理解は必要。 Issueを見て、「ああ、あの機能ね」とあたりがつくのが大事。 コントリビューションを開始する前にまずRustを学ぶのは必須だと思う。 コンパイラへの基礎的な理解は必要。 コンパイラの教科書を一冊軽く読んでおくのをおすすめはする。ただ、公開されている開発 者向けガイドで結構追いつけるといえば追いつける。 英語でのコミュニケーションは必要。 今はLLMを使ってなんとかなるので、最悪大丈夫。 でも、そもそも英語を使えれば心理的障壁なく、臆することなく普段のPull Request上での ノリで会話できるので、できるようになっておくにこしたことはないと思っている。 33
35. Rustコンパイラ開発の個人的体験 楽しい点と苦労している点 楽しい点 Rustに貢献できる点。自分の名前がコントリビュータリストに載る。 なんとなく使っていた文法機能を深く理解できることが多い。 Rustを書ける。 34
36. Rustコンパイラ開発の個人的体験 楽しい点と苦労している点 苦労している点 子持ちかつ休日もワンオペが多いタイプの人間（私）の場合、単に時間の捻出がかなり難し い。気合いで時間を見つけてる。 コードベースが巨大すぎて普段使ってるツールだと固まる。Neovimでがんばってるがさす がにVSCodeの方が動作が速い CIは長い。1回睡眠が挟まるレベル。 rust-analyzer、マクロに強くなってくれ。 35
37. Rustコンパイラ開発の個人的体験 AIの活用 どちらかというと読む方にたくさん使っている。DeepWikiはとくに便利かも。 書かせる方はなんか難しい。コードベースが巨大すぎるのか？で、わりと頓珍漢 な回答が返ってくることも多い。実装のアイデアの相談には使える。 AIがなかったら人に聞かないといけなかったので、聞くのが億劫で正直コントリ ビュートできてなかったかも。 36
38. Rustコンパイラ開発の個人的体験 プロジェクトへの印象など コードが巨大かつ、めちゃくちゃ綺麗に整理されているかというとそうでもな い。 強いリーダーシップやイニシアチブが求められていそうなフェーズに見える。 コンパイルスピードの改善とかは、正直解決できないことはないと思うけど、全体を把握し ている人が少ない＆いろんなところへの影響を考慮しないといけないなどなどで重い腰が上 がらないのはわかる。 誰かが強い意志を持って主導しないと解決しない問題だと思う。 全体を把握してる人、いるのか…？ 37
39. Rustコンパイラ開発の個人的体験 将来への展望 引き続き時間があるときにやるスタンスで行きたい。 将来的にはasync/awaitの改善周りのプロジェクトに参加したい。 Rustをどうこうしたいという情熱を保ち続けるのが大事そう 38
40. 最後に 今日できなかった突っ込んだ話の大半は、「Rust Compiler Development Guide」 に書いてあります。 https://rustc-dev-guide.rust-lang.org/ 39
41. おしまい。 40