RBSのメモリ使用量改善への道

RBSのメモリ使用量改善への道岡山Ruby, Ruby on Rails勉強会 #23

誰 • Pocke • Ruby committer • RBSのメンテナ • 2020年から岡山に住んでいます

Agenda メインのトピックが2つ • ファイル数が多い時に、Steepの実行速度を改善した話 • Ruby向けのメモリプロファイラを作っている話

なぜメモリ使用量の改善が必要なのか

なぜメモリ使用量の改善が必要なのか • Steepはメモリをたくさん使う ◦ LSP Serverとしてプロセスが常駐する ◦ 1プロセスあたり 1.5GB ▪
* LSPが立ち上がっているプロジェクト数 ▪ * CPUの数(並列化するため) • Steepを広く使ってもらうにはメモリ使用量改善が必要

Steepの実行速度を改善した話

Steepの実行速度を改善した話 • Steepのメモリ使用量の改善に取り組んでいたら、その副産物として実行速度の改善ができた ◦ メモリ使用量の改善はまだ…… • これはこれで面白かったので、紹介します • (来週この内容でブログ記事を公開するよ)

メモリのプロファイリング • SamSaffron/memory_profilerを使う • すべてのメモリの確保と、確保したまま残っているメモリを表示してくれる

memory_proﬁler の結果

memory_proﬁler の結果 set.rbがめちゃくちゃメモリを使っている！

わかった問題 • set.rb がメモリをたくさん確保している ◦ 全体のメモリ確保の70%ぐらいがここで確保されている • これを直せれば問題が解決できるかも！

わかっていないこと • set.rb のコードがどこから呼ばれているのかが分からない • これがわからないとSteepのどこを直したらよいのかが分からない

Rubyの雑パッチを書いた https://gist.github.com/pocke/7499e5799856393 b930684ebb905d41c

雑パッチ • MemoryProfilerは ObjectSpace.allocation_sourcefile などを使っている • このメソッドが位置情報を取得するところにパッチする ◦ 取得した位置情報がset.rbならば、バックトレースを1つ遡る

雑パッチ

再度memory_proﬁlerを実行

再度memory_proﬁlerを実行 Steepのどこがメモリを確保しているのかわかった！

実行速度の問題が解決された💪 https://github.com/soutaro/steep/pull/1184 でもメモリ使用率はまだ未解決…

新しいメモリプロファイラ

今までの反省点 • メモリ使用量を改善するつもりが、実行速度の改善になってしまっていた • memory_profilerで正しく問題を捉えられていなかった

今までの反省点(2) • memory_profilerで見ていた指標は「すべてのメモリ確保」 • 一方でメモリ使用量の削減のために知りたいのは「メモリ使用量がピークの時にメモリを使っているオブジェクト」 • ここでずれがあった
◦ たくさん確保されてはすぐ消えるオブジェクトがノイズとなっていた

これに対するアプローチ • 長生きしたオブジェクトに絞って、メモリのプロファイリングをできるとよいのでは • つまり、GCを生き残ったオブジェクトに注目する

メモリプロファイラを作った󰩂 https://github.com/pocke/majo • GCを1回でも生き残ったオブジェクトだけを集めて集計するプロファイラ • 一応まともに使えるので、v1.0.0をリリース済み

使ってみた感想 • 出る情報はmemory_profilerと近い ◦ しかし「長生きしたオブジェクト」しか結果に含まれないので、ノイズがないことがわかるのが大きい ◦ 案外どれが長生きでどれが短命なのかは自明ではない • CSV出力が意外とかなり便利
◦ もしくはスプレッドシートが便利とも言える • memory_profilerに比べると若干高速 ◦ 「全オブジェクト」を対象にするmemory_profilerはかなり遅い ◦ 一方で短命オブジェクトを無視できるMajoは若干マシ

余談(1) memory_profilerのretainedを見るんじゃだめだったの？ • retainedを見るにはオブジェクトを生かしておく必要があり、memory_profilerを差し込む場所を考えるのがむずかしい… • 「メモリ使用量がピークの時」にmemory_profilerを止めないといけない

余談(2) • https://github.com/ruby/ruby/pull/10598 ◦ RubyのMajor GCだけを止めて、Minor GCのみを動かす機能追加のPR • 最初実現方法を考えている時に、このPRも試せないかなと眺めていた
• 結果としては使わなかったけれど、PRでバグ報告をしたりしていい経験になった

RBSのメモリ使用量改善への道

RBSのメモリ使用量改善への道

pocke

More Decks by pocke

Other Decks in Technology

Featured

Transcript