2017年バルス祭りのまとめ

2017年にMasotodon界隈でぼちぼち盛り上がったバルス祭りの際、自身のインスタンスにどんなふうに影響があったのかについて計測等してみたというお話。

Transcript

1. BLUECORE.NET Home IT infrastructure hobbyist 2017年バルス祭りのまとめ @localusr@social.bluecore.net
2. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET 実施方針 Router REDIS (2vCPU/2GB RAM) AP (8vCPU/8GB RAM) DB (2vCPU/2GB RAM) Redis Data mastodon/live DB data Unity VSA(NVMe/HDD FASTVP) Redis live DB data ReadyNAS(災対サイト) 静的NAT/Packet Filter nginx puma sidekiq streaming SSL終端 IPv6受付可 pgsql redis 各サーバはESXi上に仮想マシン として配置 Toot 打ち込み
3. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET Hinemosで採取した性能グラフ  時間最大値を1時間毎に採取(変動が最もはっき り現れるため)  ロードアベレージは高くない  CPU負荷も高くない  メモリ負荷も全く上がってない んまぁ、大事には至らず。  sns-ap(nginx/puma/sidekiq/streamingを動かしてるサーバ)を対象  sns-db, sns-redisの負荷は猛烈に低かったので、記載を割愛。
4. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET 0 2 4 6 8 10 12 14 16 23時00分02… 23時00分44… 23時01分26… 23時02分08… 23時02分50… 23時03分32… 23時04分14… 23時04分56… 23時05分38… 23時06分20… 23時07分02… 23時07分44… 23時08分26… 23時09分08… 23時09分50… 23時10分32… 23時11分14… 23時11分56… 23時12分38… 23時13分20… 23時14分02… 23時14分44… 23時15分26… 23時16分08… 23時16分50… 23時17分32… 23時18分14… 23時18分56… 23時19分38… 23時20分20… 23時21分02… 23時21分44… 23時22分26… 23時23分08… 23時23分50… 23時24分32… 23時25分14… 23時25分56… 23時26分38… 23時27分20… 23時28分02… 23時28分44… 23時29分26… 23時30分08… 23時30分50… 23時31分32… 23時32分14… 23時32分56… 23時33分38… 23時34分20… 23時35分02… 23時35分44… 23時36分26… 23時37分08… 23時37分50… 23時38分32… 23時39分14… 23時39分56… 23時40分38… %user CPU負荷をもう少し確認する  sns-apのsarコマンドにて、%user値を対象としてグラフに。  2秒間隔で採取 「バルス」tootの お時間 CPU負荷は凡そtoot直後は10%程度 その後のほうがCPU負荷が高い その後の余韻toot&他インスタンスの再送処理が影響したのかなぁ？ ・・・？？
5. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET Sidekiqの状態は？  外出中だったため、スマホのブラウザでSidekiq画 面を開き確認。  本音を言うともう少しちゃんとグラフをとりたかっ たが、スマホのブラウザだと画面切り替えただけで 表示がクリアされるため・・・ぐぬぬ。 「バルス」tootの お時間 ピークは明確に見えた。 一瞬で終わったことから力技で処理しきった模様。 その後の状態 以降、100は超えてない
6. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET Storageの状態は？ 「バルス」tootの お時間 「バルス」tootの お時間  EMC Unity VSAのUnisphereにて、Performance Graphを採取  NFSファイルシステムの帯域使用率とIO負荷を確認 超余裕。23:30頃も低負荷。
7. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET 「バルス」tootの お時間 1.5MB/secが ピーク ピークすら1.5MB/sec × 8 = 9.0Mbps んまぁ、大したこたーない ネットワークの状態は？  RTX3000のWAN側帯域状態を確認したが地べたを這ってた  VMware側のグラフに変動が見られたので、コレを読み取ってみた。 再送処理等 発生した？
8. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET Nginx受付状況  Nginxのアクセスログから、その一分間のアクセス総数を引き出してみる 時間 1分あたりの リクエスト数 1秒あたりの リクエスト数 9/27 23:21 127 2.12 9/27 23:22 114 1.9 9/27 23:23 115 1.91 9/27 23:24 80 1.33 9/27 23:25 90 1.50 9/27 23:26 67 1.12 9/27 23:27 137 2.28 9/27 23:28 365 6.08 9/27 23:29 68 1.13 9/27 23:30 81 1.35 「バルス」tootの お時間 それから時間を置いて本当の ピークが着ている。 コレはネットワーク負荷にも 関連する。 大したことはないんだが、 性能ピークの読み取り方は再考要。
9. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET 取り敢えず見えたこと アクティブユーザ数の少ないインスタンスは、 一斉tootの影響をあんまし受けない どちらかと言うと、インスタンス内部のtoot処理が 過多になると色々大変な気がする  結局負荷増大は目立ったものは見られず、きちんと処理できていたように 見える。  どちらかと言うと、相手が再送処理をリアルタイムにしきれず、流入量は それに影響して、あまり負担にならない程度に落ち着いてしまうのではな いかと感じた。  大規模インスタンスの一つ、Pawooは稼働維持できなかった模様  その他、大規模インスタンスだとLoad Average増加の話など聞いており、どちら かと言うとインスタンス内部処理がデカイと、そこでSidekiqがフン詰まってるよう な印象を受ける。  ウチではSidekiq処理数が600程度だったが、16,000程度とかあったりしたらしい。
10. Home IT infrastructure hobbyist -BLUECORE.NET Home IT infrastructure hobbyist -BLUECORE.NET 今後気をつけたほうが良さげなもの ちゃんとtoot届いてる？ 性能ピークのとりかた  結局フン詰まって発信されないインスタンスが散見されていた  バルス唱えて祭り終わりではなく、HTL/FTLにバルスが埋めつくされて 初めて意味があるか。  今回、本当のピークはバルス発信後5分後ぐらいだったようにみえる。 発信後、10分程度の注視が必要かなと思う。  その時のSideKiqが取れなかったことが心底悔やまれる  しょうがないじゃない・・・パソコンもってなかったんだから・・・