Rustソースコードのざっくりとした歩き方 🦀

https://techfeed.io/events/techfeed-experts-night-24

Transcript

1. Rustソースコードのざっくり とした歩き方 🦀 Takayuki Maeda / TaKO8Ki
2. • Rust committer (member of compiler contributors team and diagnostic working group) • Rust Foundation 2023 Fellow Takayuki Maeda / TaKO8Ki @TaKO8Ki @TaKOBKi
3. テーマ
4. rustcのコードをほとんど読んだことないRustacean がコントリビュートするための ざっくり入門編
5. セットアップ
6. セットアップ 「Rust Compiler Development Guide」という素晴らしいドキュメントがある。
 
 
 
 
 ref: https://rustc-dev-guide.rust-lang.org
7. とりあえずgit cloneしてみる。 $ git clone https://github.com/rust-lang/rust.git $ cd rust
8. セットアップ rustリポジトリのbuildにはx.pyというツールを使います。これで標準ライブラリ含めて 丸っとbuildできます。
 ref: https://rustc-dev-guide.rust-lang.org/building/bootstrapping.html
9. 次にsetupしてみる。色々出てくるので最後compilerを選択する。 $ ./x.py setup
10. VSCodeユーザー向けに setting.jsonが自動的に追加される。 ref: Configuring rust-analyzer for rustc
11. その他サブコマンド (cargoと同じ感じ): $ ./x.py check $ ./x.py build $ ./x.py test $ ./x.py fmt $ ./x.py clean
12. いよいよ、buildしてみる。 $ ./x.py build
13. buildしたcompilerをcargoやrustcで使う。 $ rustup toolchain link stage1 build/[your host]/stage1 $ cargo +stage1 -vV $ rustc +stage1 -vV
14. 準備が整ったのでとりあえずテストを実行してみる。 $ ./x.py test
15. セットアップ デバッグはどうやるのか？
 ref: https://rustc-dev-guide.rust-lang.org/compiler-debugging.html
16. backtraceが欲しい時は、 $ RUST_BACKTRACE=1 cargo +stage1 build
17. エラーの発生箇所が知りたい場合は、 $ RUSTFLAGS='-Z track-diagnostics' cargo +stage1 build
18. また、Rustではloggingにtracingというtokio organizationで開発されて いるcrateを使っている。 ref: Using tracing to debug the compiler $ RUSTC_LOG=rustc_parse=debug cargo +stage1 build
19. セットアップ 基本は、修正 → UIテスト追加 → ./x.pyでテスト実行して壊れてないか確認 → プルリク の流れが多い。

20. コードを読んでみる
21. コードを読んでみる 全ては紹介しきれないので、まず、比較的優しい気がするparserを読んでみる。parse はparseがprefixとしてつくmethodやfunctionを目印に読んでいけばいい。
 
 Rustのparserはトップダウンな再帰下降パーサー。
 ref: https://rustc-dev-guide.rust-lang.org/overview.html#lexing-and-parsing
22. entry pointは、 - Parser::parse_crate_mod - Parser::parse_mod
23. parse_modを読み進めてみる。
24. parse_modを読み進めてみる。 上から順に見ていくと、 ここでloopでitemをparseしてそう
25. 次にparse_itemに飛んでみる。
26. parse_item_を実行しているのでそっちに行ってみる。
27. parse_item_はこんな感じなのでそれっぽいparse_item_commonを見て みる。
28. parse_item_はこんな感じなのでそれっぽいparse_item_commonを見て みる。
29. まだコアの実装ぽいところにきて無さそうなので、parse_item_common_に ジャンプする。
30. まだコアの実装ぽいところにきて無さそうなので、parse_item_common_に ジャンプする。
31. なんかそれっぽくなってきた。 Parser::parse_item_commont_
32. なんかそれっぽくなってきた。 Parser::parse_item_commont_
33. 拡大すると、なんか色々やってそうなmethodが見える。
34. ついにparse_item_kindに辿り着いた。
35. 例えばここでenumをparseしてる。
36. せっかくなので、parse_item_enumも覗いてみる。
37. 確かにmethodの下の方でコンマ区切りでEnum variantをparseしてそう。
38. では、ここで変更加えてbuildしてみる。 例えばこのエラーメッセージでリポジトリ 内を検索してみると
39. するとUIテスト用のファイルが見つかる。 tests/ui/structs-enums/issue-103869.rs
40. コードを読んでみる UIテストとは何か？
 > tests that check the stdout/stderr from the compilation and/or running the resulting executable
 
 コンパイルによるstdout/stderrと
 実行可能ファイルを実行した結果をチェックするためのテスト 
 
 
 ref: https://rustc-dev-guide.rust-lang.org/tests/compiletest.html#test-suites
41. では適当なdebug用のcrateを作ってmain.rsに下記をコピペしてみる。
42. 試しにstage1コンパイラでbuildしてみると、 $ cargo +stage1 build
43. こういうエラーが得られる。
44. こういうエラーが得られる。 さっきparse_item_enumで見つけたエ ラーがある
45. 試しにエラーメッセージを変更してみる。 perhaps you meant to use `struct` here foobar
46. 再度buildする。 $ ./x.py build
47. もう一度デバッグ用のcrateをbuildしてみると、確かにエラーが変わってる。
48. これであなたもRustコントリビューター 🦀
49. コードを読んでみる rustc_parseの他にもRustリポジトリにはさまざまなcrateがある。
 - rustc_ast_lowering
 - rustc_ast_passes
 - rustc_hir
 - rustc_hir_typeck
 - rustc_borrowck
 などなど。

50. コードを読んでみる 例えば rustc_ast_lowering はrustc_parseで作ったASTをHIRにloweringするため のcrate。lowerがprefixなmethod、functionが目印。

51. rustc_ast_loweringのentry pointは、 rustc_ast_lowring::lower_to_hir
52. 同じように覗いてみると、
53. 同じように覗いてみると、 ast_indexごとにlower_nodeを呼んでそう
54. lower_nodeの実装は、
55. ここまでくるとなんかいけそう
56. 同じように下に読み進めていけば良さそう
57. コードを読んでみる 基本はこんな感じで下記のようなcrateなら読める。
 - rustc_resolve
 - rustc_hir
 - rustc_hir_typeck
 
 rustc_borrwckとかは割と複雑で難しい。

58. 実際にissueに取り組 んでみる
59. 実際にissueに取り組んでみる 今回は自分が過去に取り組んだ比較的シンプルなissueを参考に見てみます。
 
 “consider dereferencing here” help doesn’t account for operator precedence of the deref operator · Issue #105429 · rust-lang/rust

60. issueを見ると、下記のソースコードが与えられた時に、
61. このようなエラーが得られるとあります。(現時点では修正済み)
62. 正しくないのはこの箇所です。
63. 実際はこのようにdereferenceする必要があります。
64. 検索したり-Zフラグを使ってエラーの発生箇所を特定してみると、 ref: rustc_trait_selection/src/traits/error_reporting/suggestions.rs#L778
65. 検索したり-Zフラグを使ってエラーの発生箇所を特定してみると、 ref: rustc_trait_selection/src/traits/error_reporting/suggestions.rs#L778
66. やる必要があるのは、dereferenceする対象がmethodのreceiverの際に 特別なハンドリングをすること。 ref: rustc_trait_selection/src/traits/error_reporting/suggestions.rs#L778
67. 何から始めたらいいか分からないと仮定してまず、spanに定義ジャンプしてみ る。 ref: rustc_trait_selection/src/traits/error_reporting/suggestions.rs#L778
68. ありました。これがspan。ObligationCauseのspanというfieldから取れるっ ぽい。 ref: rustc_trait_selection/src/traits/error_reporting/suggestions.rs
69. obligationはここでも使われてる。codeという概念があるらしい。 ref: rustc_trait_selection/src/traits/error_reporting/suggestions.rs
70. obligation.causeのなかにエラー発生箇所のspanなどの情報が詰められて そう？なことが分かる。 今回のissueではintoなのでargはありませ んが、これは引数のことっぽい。 ref: rustc_trait_selection/src/traits/error_reporting/suggestions.rs
71. obligation.causeのなかにエラー発生箇所のspanなどの情報が詰められて そう？なことが分かる。 また、hir_idというのが取れると、それがどう いうNodeかチェックできるっぽい ref: rustc_trait_selection/src/traits/error_reporting/suggestions.rs
72. このNode enumの定義を見てみる。 ref: rustc_trait_selection/src/traits/error_reporting/suggestions.rs
73. このNode enumの定義を見てみる。
74. このNode enumの定義を見てみる。
75. このNode enumの定義を見てみる。
76. さらにExpr structに飛んでみる。
77. Exprはkindを持ってるので、これでmethodのreceiverかどうか判別できる のでは？
78. でもarg_hir_idはあるが、対象のexprがmethod callで対象がその receiverかどうか判別できないとダメそう。 試しにFunctionArgumentObligationを見に行ってみる。
79. それっぽいのがあるので、いけそう！
80. ということでこの実装をcall_hir_idを使って修正してみる。
82. call_hir_idを元にexprがmethod callかど うか判別できた
83. あとはmethod callでかつ対象がそのreceiverの時だけ()で 囲ってdereferenceすればいい
84. 実際にissueに取り組んでみる あとはUIテストを書いて全てのテストにパスすることを確認して、プルリクの完成
 
 Suggest dereferencing receiver arguments properly by TaKO8Ki · Pull Request #105595 · rust-lang/rust

85. まとめ
86. © Money Forward, Inc. まとめ • 基本は「Rust Compiler Development Guide」を読めば大体のことが分 かる。
 • 下に下に掘り下げていけば割と読める。
 • 分からないことはある程度推測しながら身につけていけば、全体像が見え なくても修正を加えたりできる。

87. We are hiring!