configの設定をちょっと変えたら Autoloading and Reloadingのエラーに 思いっきりハマってしまった話

configの設定をちょっと変えたら
Autoloading and Reloadingのエラーに
思いっきりハマってしまった話

Transcript

1. configの設定をちょっと変えたら Autoloading and Reloadingのエラーに 思いっきりハマってしまった話 2021.05.20
2. Yuta Fujii • RailsのAutoloading and Reloading Constantsとは • development環境でのサーバー処理と定数読み込み • 開発中に遭遇したエラーの話 • 直近の動向 Contents
3. Yuta Fujii • 人材紹介業に関連するシステム • 2019年夏に入社して開発・運用を行っている • 入社当時，プレーンはRailsアプリケーションとして使っていた．画面もerbで記述し ていた • 当時のRailsのバージョンは5.2 前提知識
4. Yuta Fujii Autoloading and Reloading Constants
5. いきなりですが
6. Yuta Fujii このRubyコードはエラーを起こす？
7. Yuta Fujii →知らない定数があるとエラーが出る
8. Yuta Fujii 事前にそれら定数が書かれているファイルをrequireする
9. Yuta Fujii • このコードはなぜ動くのか なぜRailsはrequireを書かなくていいのか？
10. Yuta Fujii 未知の定数に出会った時， それがありそうなファイルパスを探して読み込むから なぜRailsはrequireを書かなくていいのか？ Answer 実際にはautoload_pathに入っているパス
11. もうひとつ
12. Yuta Fujii • modelやcontrollerなどを修正してもブラウザでリロードすると反映される なぜRailsはファイル修正したらすぐ反映されるのか？
13. Yuta Fujii （rails serverにおいて） ファイル修正を検知した場合， 修正が加わったクラスやモジュールを定数リストから落とし 次のリクエスト受理時にAutoloadingを再度走らせるから なぜRailsはファイル修正したらすぐ反映されるのか？ Answer
14. Yuta Fujii Autoloading and Reloading Constants 未知の定数に遭遇　→ NameError まず推論 ファイル修正　→ 反映されない 必要に応じてリロード
15. Yuta Fujii Autoloading and Reloading Constants 未知の定数に遭遇　→ NameError まず推論 ファイル修正　→ 反映されない 必要に応じてリロード Autoloading Reloading
16. RailsはAutoloadingとReloadingのため に何をしたのか？
17. Yuta Fujii RailsはAutoloadingとReloadingのために何をしたのか？ 未知の定数に遭遇　→ NameError まず推論 ファイル修正　→ 反映されない 必要に応じてリロード Autoloading Reloading
18. Yuta Fujii RailsはAutoloadingとReloadingのために何をしたのか？ 未知の定数に遭遇　→ NameError まず推論 ファイル修正　→ 反映されない 必要に応じてリロード Autoloading • 既にある処理を変えている＝メソッドのオーバーライト ◦ Moduleクラスのconst_missing
19. Yuta Fujii RailsはAutoloadingとReloadingのために何をしたのか？ ActiveSupport::Dependencies
20. Yuta Fujii RailsはAutoloadingとReloadingのために何をしたのか？ 未知の定数に遭遇　→ NameError まず推論 ファイル修正　→ 反映されない 必要に応じてリロード Reloading • これまでにない処理がある＝メソッドの追加 ◦ consoleでのreload!メソッド ◦ Serverでのreload & autoloadのメカニズム（後述）
21. Yuta Fujii RailsはAutoloadingとReloadingのために何をしたのか？ ActiveSupport::FileUpdateChecker
22. Yuta Fujii RailsはAutoloadingとReloadingのために何をしたのか？ Rails::Application::Finisher
23. 今日は特にdevelopment環境での サーバーの挙動を考えます
24. Yuta Fujii 開発環境でブラウザからアプリを開く時，何が起きている？ ClientがHTTPリクエスト HTTP POST /admin/books_tags
25. Yuta Fujii namespace :admin do resources :books_tags end 開発環境でブラウザからアプリを開く時，何が起きている？ ClientがHTTPリクエスト routingがあるか探索
26. Yuta Fujii controller_name = ‘admin/books_tags_controller’ controller_name.constantize # => Admin::BooksTagsController 開発環境でブラウザからアプリを開く時，何が起きている？ ClientがHTTPリクエスト routingがあるか探索 対応するコントローラーを探索
27. Yuta Fujii module Admin class BooksTagsController def create @tagging = BookTag.new # … end end end 開発環境でブラウザからアプリを開く時，何が起きている？ ClientがHTTPリクエスト routingがあるか探索 対応するコントローラーを探索 処理が実行，レスポンス
28. Yuta Fujii 開発環境でブラウザからアプリを開く時，何が起きている？ ClientがHTTPリクエスト routingがあるか探索 対応するコントローラーを探索 処理が実行，レスポンス 終了 200 OK POST /admin/books_tags
29. 定数に着目して もっとよく見直してみる
30. Yuta Fujii Autoloadingの仕組み ClientがHTTPリクエスト HTTP POST /admin/books_tags
31. Yuta Fujii namespace :admin do resources :books_tags end Autoloadingの仕組み ClientがHTTPリクエスト routingがあるか探索
32. Yuta Fujii controller_name = ‘admin/books_tags_controller’ controller_name.constantize # => Admin::BooksTagsController Autoloadingの仕組み ClientがHTTPリクエスト routingがあるか探索 対応するコントローラーを探索 ない場合は const_missingメソッド発火 autoload_pathから定義を探索 ”Admin::BooksTagsController” 定数を取得しようとする
33. Yuta Fujii module Admin class BooksTagsController def create @tagging = BookTag.new # … end end end Autoloadingの仕組み ClientがHTTPリクエスト routingがあるか探索 対応するコントローラーを探索 処理が実行，レスポンス ”BookTag” 定数を取得しようとする ない場合は const_missingメソッド発火 autoload_pathから定義を探索
34. Yuta Fujii Autoloadingの仕組み ClientがHTTPリクエスト routingがあるか探索 対応するコントローラーを探索 処理が実行，レスポンス 終了 200 OK POST /admin/books_tags
35. Yuta Fujii Reloadingの仕組み ClientがHTTPリクエスト routingがあるか探索 対応するコントローラーを探索 処理が実行，レスポンス 終了 修正ファイルをunload unload対象の定数もリストから削除 ない場合は const_missingメソッド発火 autoload_pathから定義を探索 ”Admin::BooksTagsController” 定数を取得しようとする ”BookTag” 定数を取得しようとする ない場合は const_missingメソッド発火 autoload_pathから定義を探索 先に定数リストから修正入ったものを削除しておくことで const_missingを発火する ようにしておく
36. だからRailsでは Require書かなくても動くものが多い だからRailsでは ファイル修正がすぐ反映される
37. 定数にまつわる設定ミスで 実際にあった問題
38. Yuta Fujii ある日，普通に開発していると．．． 突如現れるエラー
39. Yuta Fujii 突如現れるエラー
40. Yuta Fujii 突如現れるエラー 画面のイメージ
41. Yuta Fujii 正直メッセージの内容がわかりづらい “A copy of Foo has been removed from the module tree but is still active!” どゆこと？ ME “A copy of Foo has been removed from the module tree but is still active!” ... ME
42. Yuta Fujii 対処方法として見つかったもの① https://tech.unifa-e.com/entry/2017/08/09/183519 ググって見つかったブログより抜粋
43. Yuta Fujii 1個直すとまた1個別の場所で同じエラーが出たりする ただ，全部のクラスやモジュールで生じているわけではなかった 根本解決している気はしなかったが，しばらくこのまま運用を続けた そうしている間にVueを導入したり外部APIを実装するなどソースコードも複雑になって いった しかし
44. Yuta Fujii すると，次第に「なぜそこで起きている？！」という場所でこのエラーが登場するように なる これまではモデルの読み込みエラーだけだったが，コントローラー名称の一部分でもエ ラーが起こるように レベルアップしていくエラー
45. Yuta Fujii レベルアップしていくエラー “A copy of Foo::Api has been removed from the module tree but is still active!” え，君も！？てかこれどこ？ ME “A copy of Foo::Api::Some has been removed from the module tree but is still active!” さっきと微妙に違う．．． ME
46. Yuta Fujii 対処方法として見つかったもの② http://sugilog.hatenablog.com/entry/20110806/1312584149 ググって見つかったブログより抜粋
47. Yuta Fujii 対処方法として見つかったもの② configを変更すれば問題は回避できた
48. Yuta Fujii この設定をすると，ソースコードを書き換えた時に変更が反映されなくなる ファイル修正の都度サーバーを再起動する必要が生じた しかし
49. Yuta Fujii 次第にチーム全員が諦観し，疲弊していく 誰でも良い。早く直してくれ。
50. 起きていたことと本当の原因
51. Yuta Fujii 本当の原因
52. Yuta Fujii config.reload_classes_only_on_change = false の場合 reload_classes_only_on_change = falseだと ClientがHTTPリクエスト routingがあるか探索 対応するコントローラーを探索 処理が実行，レスポンス 終了 リスエスト処理が完了するたびに 次のリクエストで都度定数を全削除してしまう
53. Yuta Fujii その結果 ClientがHTTPリクエスト routingがあるか探索 対応するコントローラーを探索 ClientがHTTPリクエスト routingがあるか探索 対応するコントローラーを探索 GET /api/books GET /api/tags Vueインスタンス created() ほぼ同時にリクエストが 2本送られる
54. Yuta Fujii その結果 ClientがHTTPリクエスト routingがあるか探索 対応するコントローラーを探索 ClientがHTTPリクエスト routingがあるか探索 対応するコントローラーを探索 GET /api/books GET /api/tags Vueインスタンス created() ほぼ同時にリクエストが 2本送られる Subdomain::Api::BooksController Subdomain::Api::TagsController remove_const remove_const config.reload_classes_only_on_change = false なのでリクエストの度にここでほぼ全ての定数が削除
55. Yuta Fujii その結果 → race condition ClientがHTTPリクエスト routingがあるか探索 対応するコントローラーを探索 ClientがHTTPリクエスト routingがあるか探索 対応するコントローラーを探索 GET /api/books GET /api/tags Vueインスタンス created() ほぼ同時にリクエストが 2本送られる Subdomain::Api::BooksController Subdomain::Api::TagsController remove_const remove_const Subdomain::Api::BooksControllerが missing_constを引き起こし 順次Moduleオブジェクトを作っていく． （Subdomain, Subdomain::Api, Subdomain::Api::BooksController） 各Moduleオブジェクト作成途中に 2本目のリクエストで必要な Subdomain::Api::BooksControllerが missing_constを引き起こし， 同じModuleのオブジェクトが2個できてしまう
56. Yuta Fujii その結果 → race condition
57. 全ては3年前に始まっていた
58. Yuta Fujii 3年前の2018年3月に追加されていた
59. Yuta Fujii Application（選考）というModelを使っていたため Answer この設定が必要だった背景（推測）
60. Yuta Fujii どうしても「選考」というデータが重要であり，自然な英訳で「Application」というモデル が作成された しかし，Applicationという名前のクラスはRailsのアプリケーション作成時に一つ作成さ れる 人材紹介に関するシステムだったので
61. Yuta Fujii この設定が必要だった背景（推測） config/application.rb
62. Yuta Fujii config/application.rbとapp/models/application.rb ソースコードでApplicationが使われている箇所では，app/models/application.rbをうま くautoloadしてくれなかった
63. Yuta Fujii そうしたわけで，こうした設定が追加されていた
64. Yuta Fujii requireしてしまうとreloadされない Never be require d https://guides.rubyonrails.org/autoloading_and_reloading_constants_classic_mode.html#autoloading-and-require
65. Yuta Fujii だからこの設定がさらに追加されたのだろう
66. Yuta Fujii その結果
67. Yuta Fujii Applicationモデルのロードエラーの防ぎ方 require_dependencyを利用．もっとも最後の手段的な位置付け https://guides.rubyonrails.org/autoloading_and_reloading_constants_classic_mode.html#require-dependency
68. ところでこのrace conditionって
69. Yuta Fujii Railsの設計そのものがあまりイケテナイ？ • Railsでもイシューが上がっている • 対応案も出されていたが，Rubyも改修が必要だった • しかし，成就することはなかった https://github.com/rails/rails/issues/33209
70. Yuta Fujii • 新たなautoloadの方法 登場するZeitwerk https://github.com/fxn/zeitwerk
71. Yuta Fujii Classicモードはいずれ使えなくなる • Zeitwerkモードに早めに移行しておこう https://guides.rubyonrails.org/autoloading_and_reloading_constants.html#classic-mode-is-deprecated
72. Yuta Fujii 移行方法は1行configに追加するだけではある • 実際にはテストが大量にこけたりしたが無事に移行済み https://guides.rubyonrails.org/autoloading_and_reloading_constants.html#enabling-zeitwerk-mode
73. Yuta Fujii 余談 Dog オブジェクト Object オブジェクト Class オブジェクト Is instance of Is instance of Is inherited from name: ‘Object’ constants:[:Dog, ..etc.] 定数とクラスと名前の話． 右の1行がインタプリタによって処理されるとき， Classクラスのインスタンスである Dogクラスオブ ジェクトが作成される． 基本的に作成されるクラスは Objectクラスを継承 しており，Dogクラスも同様となる． Objectクラスのconstantsに :Dogが追加される． 定数DogにはDogクラスのオブジェクトが対応す る． constantとしてのDogと,Classクラスのオブジェク トであるDogクラスと,Dogクラスというオブジェクト に備わっているnameメソッド（Moduleクラスのメ ソッド）の戻り値になる ’Dog’の区別を意識するの はなかなか難しい． Is instance of name: ‘Dog’ constants:[] name: ‘Class’ constants:[]
74. Yuta Fujii 参考 RAILS GUIDES https://guides.rubyonrails.org/autoloading_and_reloading_constants_classic_mode.html https://guides.rubyonrails.org/autoloading_and_reloading_constants.html Rails GitHub https://github.com/rails/rails/blob/main/activesupport/lib/active_support/dependencies.rb https://github.com/rails/rails/blob/main/activesupport/lib/active_support/inflector/methods.rb Rails Issue https://github.com/rails/rails/issues/33209 Zeitwerk GitHub https://github.com/fxn/zeitwerk#pronunciation バグ検証メモ https://zenn.dev/yutafujii/scraps/cd5500cd468a39
75. ありがとうございました