Web Framework Benchmark Battle 2026, Any%

Kaigi on Rails 2026 の発表「Web Framework Benchmark Battle 2026, Any%」の発表スライド https://kaigionrails.org/2026/talks/amatsuda/ #kaigionrails

Transcript

1. Web Framework Benchmark Battle 2026, Any% @a_matsuda, at Kaigi on Rails 2026 1 / 175
2. me ! Kaminariってやつをやってます 2 / 175
3. Kaminari !!! 3 / 175
4. Kaminari https://github.com/kaminari/kaminari/ 4 / 175
5. Kaminari ! Kaigi on Rails 2026記念リリース(?) 5 / 175
6. me ! RubyKaigiってやつをやってます 6 / 175
7. RubyKaigi ! 来年は宮崎" ! うまいものが⾷えそう！ 7 / 175
8. me ! Asakusa.rbってやつをやってます 8 / 175
9. ⼤江⼾RubyKaigi 11 ってやつをやります！ ! 2026/11/8(⽇) ! 北千住「天空劇場」 9 / 175
10. me ! Rubyのコミッターってやつをやってます ! Ruby on Railsのコミッターってやつをやってます 10 / 175
11. RailsのLuminaryってやつを やってます 11 / 175
12. で、Railsなんですけど、 12 / 175
13. Railsって なんか遅いらしいじゃないですか 13 / 175
14. たとえばこんな⽐較サイト 14 / 175
15. たとえばこんな⽐較サイト ! 523個中の382番⽬にやっと出てくる ! ("Web Framework"じゃないものもけっこう混じってて よくわからんランキングではあるけど) 15 / 175
16. どうにかしたい ! じゃあ改善しよう 16 / 175
17. パフォーマンスを改善するには まず何をしたら良いか？ 17 / 175
18. まずは計測 ! ダイエットといっしょ ! 健康診断といっしょ 18 / 175
19. パフォーマンス改善のステップ 1. Railsのスピードを数値化する 2. 分析する 3. 数値を改善する 19 / 175
20. Rubyのいろんなパフォーマンスをはかるやつ https://github.com/ruby/ruby-bench 20 / 175
21. https://github.com/ruby/ruby-bench YJITの速さを ベンチマーク集 慢 計測するためにShopify社が作った 自 ! 21 / 175
22. ruby-benchの構造 ! フィボナッチみたいなやつからRailsまでカバーしてる ! harnessってやつでベンチマークの切り⼝をいろいろ指定できる 22 / 175
23. 今回やりたい最適化の3段階 1. Railsのボトルネックの解消(アップストリーム) 2. Railsのマイクロオプティマイゼーション(アップストリーム) 3. Railsの魔改造(おたのしみ) 23 / 175
24. 1. ボトルネックの解消 24 / 175
25. 1. ボトルネックの解消 ! そんなものはない 25 / 175
26. 1. ボトルネックの解消 おわり 26 / 175
27. 2. マイクロ オプティマイゼーション ! 部分的なベンチマークでちょっとでも改善が⾒られたらよし(かもしれない)とする 27 / 175
28. 計測対象 28 / 175
29. いちばん単純なやつから 始めてみる GET /up 29 / 175
30. ログとか⾒ながら 速くできるかもしれないところを探す 30 / 175
31. 計測の指標 ! 普通はbenchmark-ipsてきな 31 / 175
32. もうひとつ別の指標 32 / 175
33. オブジェクト⽣成数 ! オブジェクトのアロケーション数 33 / 175
34. ちょっと前までRailsのログに 表⽰されてたやつ 34 / 175
35. Rails界でみんなが 気にしてるやつ ! フレームワークのレベルで削れるととてもデカい 35 / 175
36. Rails界でみんなが 気にしてるやつ ! (諸説あり) 36 / 175
37. ともあれ、 37 / 175
38. オブジェクトがたくさん⽣まれてるところは 遅そうな気がする 38 / 175
39. 「スピード」と違って、ブレない数字なので 指標にすると便利 ! 環境に左右されない ! 再現性がある 39 / 175
40. ruby-benchでオブジェクト⽣成数をはかる harness ! ruby-benchには含まれていない ! なんかAIでサクッと 40 / 175
41. どこの処理でいくつオブジェクトが作られてい るか可視化 ! フレームグラフみたいなやつで、クリックしてドリルダウンできるwebアプリを作った ! なんかAIで ! とても便利 41 / 175
42. それを眺めながら削れるところを ちまちま削ってみる 42 / 175
43. みたいな作業を、 43 / 175
44. お⾒せできるといいんじゃないかな！ ! 考えかたとか ! hotspotを探し当てるコツとか ! 最適化作業のウデの⾒せどころ的なやつとか ! ベンチマークの正しい取りかたとか 44 / 175
45. って思って、 45 / 175
46. 実際にちょっとだけ⼿元でやってみて、 46 / 175
47. できそうな感触があったので プロポーザルを書いて出しました ! 2026年7⽉のことでした 47 / 175
48. で、本番 ! おととい ! そろそろ準備すっかー 48 / 175
49. プロポーザルを書いた⽇から 3ヶ⽉後 49 / 175
50. パッチ袋に3ヶ⽉寝かせてたパッチを いくつかrebase ! 熟成が効いててコンフリクトしまくり ! AIでピッと解消 50 / 175
51. で、おもむろに以下のプロンプト "Now that you understand the concept and the workflow, can you try digging more and finding more room for similar optimizations?" 51 / 175
52. 出るわ出るわ 52 / 175
53. 33ぷるり 53 / 175
54. いったんこれくらいで 勘弁してやろうか 54 / 175
55. 「考えかたとか」？ ! すんません、なんも頭使ってません。AIが全部やりましたÉÉ 55 / 175
56. ベンチマークどうしよっかな 56 / 175
57. もはや考えるのをやめた "Could you summarize the performance gains on various benchmarks?" 57 / 175
58. 結果: アロケーション数 Endpoint | before | after | Change ---------------------------+----------+---------+-------/up | 400 | 271 | −32% Hello, World! | 322 | 250 | −22% scaffold index (20 rows) | 4611 | 2997 | −35% scaffold show | 593 | 512 | −14% scaffold new (form_with) | 1096 | 908 | −17% index.json (20 records) | 1479 | 1187 | −20% feed (collection partial) | 4195 | 3049 | −27% 58 / 175
59. 結果: 実⾏時間 (µs) Endpoint | before | after | Change ---------------------------+----------+----------+-------/up | 93.8 | 79.4 | −15% Hello, World! | 82.2 | 74.3 | −10% scaffold index (20 rows) | 1231.6 | 1042.5 | −15% scaffold show | 177.4 | 168.2 | −5% scaffold new (form_with) | 310.8 | 269.6 | −13% index.json (20 records) | 318.1 | 298.0 | −6% feed (collection partial) | 939.7 | 807.4 | −14% 59 / 175
60. なんと、ここまでで15%の⾼速化を達成 ! Rails main (8.2.0) にコミット済み 60 / 175
61. てなわけで、 61 / 175
62. 今回得られた知⾒ 62 / 175
63. アロケーション数と パフォーマンスの相関関係 ! それなりにある気がするよねえ 63 / 175
64. フレームワークやミドルウェアの チューニングは難しくない ! いまどき何も頭を使わなくてもほぼ全⾃動でAIでできる時代になりつつある ! 3ヶ⽉前とちがって 64 / 175
65. 思うに、 65 / 175
66. 新機能の実装や不具合の修正と 違って、「正解」がある ! 挙動が変わってないけどベンチマーク結果が改善されてたら正解 66 / 175
67. いわゆるOSSへの「コントリビュート」の ⼊り⼝としてアリでは ! 考えなきゃいけないことが少ないので 67 / 175
68. こんな地味な作業でも、チリツモで けっこうバカにならない 68 / 175
69. こうやってノイズを削っているうちに、 ラスボス(= 真のボトルネック) の姿が⾒えてくることがよくある 69 / 175
70. mameさんいわく、 70 / 175
71. mametter「ボトルネックを解消してないパフォ ーマンス改善パッチはゴミ」 71 / 175
72. かっけえ 72 / 175
73. とはいえ、 ! ⼀撃でラスボスを殴り倒せる戦闘⼒の裏付けがないとこういうことは⾔えない ! Railsみたいな巨⼤で複雑なソフトウェアに、そんなわかりやすいボトルネックなんて残って ない 73 / 175
74. 庭の雑草を抜くぐらいの カジュアルなコントリビューション ! 個⼈的には良いものだと思ってます 74 / 175
75. ただし、 75 / 175
76. マイクロチューニングの宿命 ! 可読性とのトレードオフ 76 / 175
77. 実例 + + + + + + def index_with(default = (no_default = true)) if block_given? to_h { |elem| [elem, yield(elem)] } # rubocop:disable Rails/IndexWith result = {} each { |elem| result[elem] = yield(elem) } result elsif no_default to_enum(:index_with) { size if respond_to?(:size) } else to_h { |elem| [elem, default] } # rubocop:disable Rails/IndexWith result = {} each { |elem| result[elem] = default } result end end 77 / 175
78. メンテナはこんなきたないものを メンテしたくない 78 / 175
79. メンテするならきれいで短いコードがいい 79 / 175
80. ミドルウェアみたいなところ以外ではやるべき ではない 80 / 175
81. ていうのと、⼈間がコードを読まなくなりつつ ある現代なら許されるコミット、なんじゃない かな 81 / 175
82. ともあれ、 82 / 175
83. まとめ 83 / 175
84. みんなもAIでパフォチューで Railsにコントリビュートしてこ？ 84 / 175
85. このトークのねらい ! アプリケーションの話ばっかりじゃなくて、もっとRails本体の話をする⼈が増えてほしい。 だって、Railsのカンファレンスなんでしょ？ ! テックカンファレンスは「IT勉強会」がデカくなっただけのものではない ! カンファレンスがエコシステムを駆動するようなものでありたい 85 / 175
86. ÉÉっていうふうな話をしようと思って、 7⽉にプロポーザルを出しました 86 / 175
87. さらに、ここから、Rails本体にパッチを当てる んじゃなくて、ベンチマークのスコアを上げる ためだけのしょーもないワークアラウンドを いろいろ披露するつもりでした 87 / 175
88. (ここまで10分ぐらいでサラッとしゃべる予定) 88 / 175
89. ところが、 89 / 175
90. 2026年9⽉23⽇ ! テキサス州オースティン 90 / 175
91. Rails World 2026 91 / 175
92. いきなり世界が変わってしまった 92 / 175
93. DHH 93 / 175
94. DHH "Rails遅いからRustに乗り換えたわー" 94 / 175
95. これはやべえ 95 / 175
96. そのとき会場にいたMatzは 96 / 175
97. DHH vs Matz対談セッション 97 / 175
98. Matz 「Rubyが遅いならSpinelを使えばいいじゃない」 98 / 175
99. Ruby & Rails⻩⾦時代の終焉か？ 99 / 175
100. 「みんなもAIでパフォチューでRailsにコントリ ビュートしてこ？」 100 / 175
101. After Rails World 2026にこんな能天気なことやってる場合かÉÉ？ 101 / 175
102. 第1部完 To Be Continued... 102 / 175
103. 第2部 103 / 175
104. Meet Pines 104 / 175
105. ということでここからが本題 105 / 175
106. 第1部のまとめ ! Railsの時代は終わりつつある ! 時代はSpinel 106 / 175
107. Spinelとは？ ! Matzが作っている3つ⽬のRuby処理系 ! AOTコンパイラ ! Prismで静的解析して、独⾃のコンパイラでネイティブバイナリにコンパイルしちゃう ! RubyKaigi 2026っていうイベントで発表されたらしい 107 / 175
108. 「Rubyの50倍速い」 108 / 175
109. シンプルなRubyスクリプトならまあまあ動く ! Hello, World! ! fib 109 / 175
110. OptCarrotぐらいは動いているっぽい 110 / 175
111. すごそう 111 / 175
112. 制約 ! できないことがいろいろある ! 詳しくはMatzのプレゼンやドキュメント参照 112 / 175
113. Matz 「Rubyが遅いならSpinelを使えばいいじゃない」 113 / 175
114. 正気か？ 114 / 175
115. Railsとか動くわけねーじゃん 115 / 175
116. Matzが⾔うところの 「Rails動いてる」 116 / 175
117. Roundhouse by Sam Ruby ! 本⼈がRubyConfで発表した ! Rubyスクリプトを他⾔語に翻訳して動かすやつらしい ! Spinelで動くものに変換することもできるとのこと ! なんか速いとのこと 117 / 175
118. めでてえじゃん 118 / 175
119. ほんとに？ 119 / 175
120. でもどうやってるんだろう？ 120 / 175
121. コードを⾒てみるとÉÉ 121 / 175
122. ものすごいアドホックな書き換えの数々 ! この⽅針で安定させるのは⼤変そうÉÉ 122 / 175
123. たぶん、Spinel側にもRails側にも いろいろワークアラウンドを⼊れて、 すごく限定的な何かが動いてる状態 123 / 175
124. なんかとりあえず⼒技で動いたことにして数字 をアピールするマーケティングっていう段階 124 / 175
125. ただ、Railsアプリを⾼速なランタイムで動かす というアイデアと実装の先駆者としては、 めちゃめちゃリスペクトしてます！ ! (このページは、講演後に追加したものです。とても⼤事なことなのに壇上で⾔及するのを忘 れてしまいました。たいへん申し訳ございませんでした) 125 / 175
126. この⽅針で「動いてる」状態を 維持するのは⼤変そうÉÉ 126 / 175
127. Rails World会場にて ! Matz「Spinel on Rails⼀緒にやろうぜ」 ! Matz「Roundhouse使わないでも動くようにしたいんだよね」 ! Matz「僕はRailsのことよくわかんないから動くようにしといて」 127 / 175
128. 俺「マジかよ〜」 128 / 175
129. まあでもやってみることにした ! あの会場に居合わせたのもきっと何かのご縁なんでしょう 129 / 175
130. 基本⽅針 ! RailsとSpinelの間にプリプロセッサを1枚嚙ます ! ワークアラウンドに逃げずにボトムアップで全部ちゃんとやる ! なるべくちゃんとSpinelのアップストリームを直す 130 / 175
131. やってみた 131 / 175
132. Spinelぜんぜん動いてねーじゃん！ ! ファミコンが動いたからといってRailsが動くわけじゃないんだなー 132 / 175
133. Let's seriously make Rails on Spinel happen 133 / 175
134. 進め⽅ 134 / 175
135. いくつかのフェーズに分けて 1. Gemを読めるようにする 2. Active Supportが動くようにする 3. Action PackでシンプルなHTTP request/response 4. Active Recordでクエリ 5. rails newしたアプリ 6. scaffoldアプリ 135 / 175
136. 「Spinelで動く」には3つの段階 1. コンパイルが通る 2. 実⾏できる 3. 実⾏結果がCRubyと同じ 136 / 175
137. 最終的にRubyと同じになるように すればよいので ! 答えのある問題 ! つまりAIの得意分野 ! というか丸投げできる ! さっきのパフォチューの話と⼀緒ですね 137 / 175
138. Pines ! SpinelとRailsの間のglueライブラリ ! アドホックの寄せ集め ! "spinel"のアナグラム的な 138 / 175
139. 9⽉27⽇(4.days.since(RailsWorld)) ! Active Supportの全機能がそれぞれ単体で動くようになった！ ! この時点で、まつもとさんに「やれそうです」と報告 ! Spinelへのアップストリーミングを開始 139 / 175
140. ここからのSpinelリポジトリの 盛り上がりっぷりがすごい 140 / 175
141. Pinesの進捗 141 / 175
142. 3. Action Packでシンプルな HTTP request/response ! WEBRickでそれっぽいものが返せるものはできた 142 / 175
143. 4. Active Record ! 動的なコードが多いのでむずかしい ! メソッド呼び出しのたらい回しが多くてむずかしい 143 / 175
144. 4. Active Record gem "activerecord", "8.1.4"; gem "activesupport", "8.1.4"; gem "sqlite3", "2.9.6" require "active_record" require "active_record/connection_adapters/sqlite3_adapter" ActiveRecord::Base.establish_connection(adapter: "sqlite3", database: ":memory:") ActiveRecord::Base.connection.execute(<<~SQL) CREATE TABLE users (id INTEGER PRIMARY KEY AUTOINCREMENT, name TEXT NOT NULL, age INTEGER) SQL class User < ActiveRecord::Base end User.create!(name: "alice", age: 30) User.create!(name: "bob", age: 25) User.create!(name: "carol", age: 35) puts User.count p User.where(name: "bob").pluck(:id, :name, :age) p User.where("age > ?", 26 u = User.find(1) puts "#{u.id} #{u.name} #{ p User.find_by(name: "nobody") 144 / 175
145. なんと、これをコンパイルするのに 10時間かかる！ ! M1 Pro, MacOS, 32GB 145 / 175
146. 時間が⾷われている部分 ! 型推論フェーズ? 146 / 175
147. Rails本体とかgemの型だったら RBSで書いて喰わせちゃえばいいのでは？! 147 / 175
148. やってみた 148 / 175
149. https://github.com/ruby/gem_rbs_collection 149 / 175
150. Rails 8.1の全コンポーネントの RBSをコミットしておきました ! 今回の⼀連の作業で唯⼀、皆さまに今⽇からでもお役⽴ていただけるアウトプットかも 150 / 175
151. RBSアリ/ナシのコンパイル速度の⽐較 TODO 151 / 175
152. 5. rails newしたアプリ 152 / 175
153. 5. rails newしたアプリ ! こんなんまったく無理。コンパイルが終わらない 153 / 175
154. ターゲット変更 ! 5. rails newしたアプリ ! 5. rails newしたアプリを極限まで⼩さくしたやつ 154 / 175
155. 依存はこれだけ gem "railties" gem "actionpack" gem "webrick" gem "rackup" 155 / 175
156. 10/14 これでも2時間経ってもコンパイルが終わらないÉÉ 日 ! 夜 発表直前 156 / 175
157. Benchmarks ! いちおう現時点で取れる数字を載せるだけ載せておきます ! そういえば今⽇のお題はBenchmarkだった気がするのでÉÉ ! (発表当⽇時点での着地点はまだまったく⾒えていません) 157 / 175
158. まとめ 158 / 175
159. 本⽇のトピック 159 / 175
160. Web Framework Benchmark Battle 2026, Any% 160 / 175
161. DHHとMatzのせいで、プロポーザルに書いた内容 と違うトークになってしまいました 161 / 175
162. オーガナイザー、オーディエンスの皆さまには お詫び申し上げます 162 / 175
163. でも時代が変わっちゃったんだから しょうがない 163 / 175
164. しょうがないというか、この2026年10⽉という 激変期にふさわしいトピックを持ってこようと 思ったらこうせざるを得ませんでした 164 / 175
165. 時代はSpinel 165 / 175
166. SpinelはRubyなのか？ ! .rbファイルがなんか動くからRuby ! Matzが作ってるからRuby ! ってMatzが⾔ってた 166 / 175
167. Spinel + AI ! 今まで⼈類が30年かけて丁寧に築いてきたものをAIがネイティブバイナリで書き出す作業 ! 開発速度がえぐい 167 / 175
168. Spinel on Rails ! 今のところは使い物になるかどうかは不明 ! Pinesってやつを使えば動くようになる未来が来る、かもしれない ! もしかしたらすっごい速い、かもしれない ! コンパイルに異常に時間がかかる、かもしれない ! すっごい速いぱそこんを買ったら解決する、かもしれない 168 / 175
169. Current status 169 / 175
170. "Not working yet" "The runner still doesn't boot." 170 / 175
171. 今後の⽅針とか ! SpinelのRuby互換性の改良 ! C-ext => Ruby ! PinesはSpinel側あるいはRails側に少しずつ還元していって、いずれはPinesがなくてもRails が動くようになるのが理想、かなあ 171 / 175
172. 所感 ! ここに来て既存のRBSエコシステムが重要になってきたのとかアツい ! 個⼈的にはpure Rubyでシェル作ったりしてたのとも繋がってきてたりしておもろい 172 / 175
173. 時代はSpinel 173 / 175
174. かなぁ？ 174 / 175
175. end (game over...) 175 / 175