Mastodon on Ruby master

第5回 Fediverse Linux Users Group 勉強会

Transcript

1. Mastodon on Ruby master S.H.
2. 自己紹介 S.H. Rubyにたまにパッチを投げてる人 2017年ごろから鯖缶やってる人 最近ActivityPubリレーサーバを自作した
3. Rubyの コントリビューター
4. Mastodonの鯖缶
5. 今日話すこと Ruby masterについて 実際の運用方法 バグの事例
6. Ruby masterについて
7. Ruby master とは? ruby/ruby リポジトリのmasterブランチのこと つまりRubyの開発版 rbenv などのバージョン管理ツールで使える 公式の rubylang/ruby イメージ経由でも使 える
8. Ruby master を使うメリット 新機能をいち早く試せる パフォーマンス改善の恩恵を受けられる バグを踏める コントリビューションチャンスがある
9. Ruby master を使うデメリット バグを踏むことがある バグを踏んだときは自力でどうにかするしかな い デバッグとかつらい
10. 利用状況や安定性 Shopify や GitHub でも利用されている コミッター(開発者)がそれらの企業にいるため バグも修正されやすい 基本的に安定している バグを踏んでも少し待てば修正されることが多 い
11. 弊鯖での利用バージョン Ruby 3.4-dev(hash) jemalloc(アロケーションの改善) Universal Parser(パーサー周りの設定) YJIT(パフォーマンス改善) M:N Thread(軽量な並行処理の改善)
12. 実際の運用方法
13. MastodonでRuby masterを使う RubyのバージョンやGemfile、CI の修正が必 要 デプロイ時にRuby masterをビルド それ以外は基本的に必要な変更はない
14. Rubyのバージョン変更 .ruby-versionをruby-dev に変更 - 3.3.6 + ruby-dev
15. Gemfileの変更 bundled_gem になった gem を追加 一部のgemは特定のコミットに変更 + gem 'rexml', '~> 3.2' - gem 'pg', '~> 1.5' + gem 'pg', github: 'ged/ruby-pg', ref: 'd072b218'
16. CIの修正 GitHub Actions にruby-devを追加 strategy: fail-fast: false matrix: ruby-version: - '3.2' - '3.3' + - 'head'
17. デプロイ時のビルド rbenvを使ってRuby masterをビルド jemallocやYJITなどをオプションで有効化 ビルド時のログも出力し、バグや警告も確認
18. 実際のビルドコマンド RUBY_CONFIGURE_OPTS=" \ --with-jemalloc \ --enable-yjit \ cppflags=-DUNIVERSAL_PARSER \ " \ rbenv install ruby-dev --verbose
19. バグを踏んだ時 本番環境のログを確認 ローカル環境で再現手順を作製 パッチを投げる パッチが難しい場合は、Ruby 3.2 か 3.3へダ ウングレードして解消
20. バグの事例
21. RDocがビルドできない(1) Ruby masterでRDocがインストールできない Generating RDoc documentation Parsing sources... double free or corruption (!prev) Aborted make: *** [uncommon.mk:676: rdoc] Error 134
22. RDocがビルドできない(2) どうもメモリ周りの問題らしい double free or corruption (!prev) Aborted make: *** [uncommon.mk:676: rdoc] Error 134
23. 調査(1) ログからメモリ周りの問題であることは判明 オプションのオンオフを試す
24. 調査(2) -DUNIVERSAL_PARSER が有効な場合の み再現 直近の変更を確認し、各コミット毎にビルドを試 す
25. 調査(3) [Feature #20257] Rearchitect Ripper これがマージされて以降に発生していることが分 かった
26. 調査(4) RipperとRDocのコードを読み最小の再現コー ドを作成 require 'ripper' Ripper.new("./array.rb")
27. 調査結果 RipperとPaserのメモリアロケーション関数が 同じ関数を使っている Universal Parserを有効化した際にCの translation unitで構造体のアロケーションさ れるサイズが異なっていた
28. パッチ作成(1) RipperとPaserそれぞれでアロケーションされ るサイズを調整 再現コードでエラーにならないことを確認
29. パッチ作成(2)
30. パッチ作成(3) レビューで「アロケーション周りの関数を共有し ているのをやめ、分離してはどうか？」とコメント を頂いた そのほうが後々も楽そうなので分離する方向で 対応し、無事マージされた
31. まとめ Ruby masterでMastodon を動かすことはで きる バグを踏むこともあるけどコントリビューション チャンスでもあるので楽しい