Goで圧倒的な速度改善をした話

圧倒的ッ！圧倒的改善ッ！
僥倖ッ！伏魔殿ッッ！

Transcript

1. Goで圧倒的な速度改善をした話
 千株式会社　高倉 輝

2. 自己紹介
 千株式会社 ものづくり部 
 コンシューマー開発G フォトEC 
 高倉　輝 (secobaka)
 
 GitHub: https://github.com/secobaka 
 Qiita: https://qiita.com/secobaka 
 
 趣味: 漫才
 youtube: https://www.youtube.com/@友を失った夜 

3. これはなんの話？

4. Goのプログラムの
 パフォーマンスを改善した話

5. 139日かかるはずの処理がッ
 2分にッッッ！！！
 ※計算上は

6. その差、およそ10万倍ッ！
 ※計算上は

7. はいチーズ！フォトとは？
 - 幼稚園や保育園を中心に展開してい る写真販売のプラットフォーム
 - 入学式や運動会などのイベント・催し事の 写真を販売するEC
 - ユーザーは園から配布される認証キーを 登録することでイベントの写真を閲覧・購 入できるようになる

8. そもそもなんのプログラム？
 - イベントの掲載開始や掲載終了の通 知を送るプログラム
 - 抽出：対象をParquetファイルに吐き出す 
 - 送信：それをメールやLINEで送る 
 - Parquetファイルに吐き出すところ（抽 出）で問題が起きていた

9. 何が起きたのか？
 - イベント終了の通知対象が10万人を超えた日に抽出バッチが一生動き続けてしま うバグが発生していた
 - 10時間近くバッチが動きっぱなしになっていた 
 - 一体なぜこんなことに...

10. 原因を追う

11. そもそもどういう状況なんだっけ？
 - そもそもどういう状況？
 - ローカルでは10万件でも時間はかかるが動く 
 - 本番では動かない
 - メモリリークしてそう? 
 - てことはメモリを積めば解決なのでは？
 - そんなマッチョな解決で終わらせていいのか...？ 

12. ツールを使って原因を追う
 - 主に以下の3つを行った
 - Logを仕込む
 - delveを使う
 - pprofを使う

13. Logを仕込む
 - そもそも処理がどこまで進んでるん だっけ？を確認
 - 特定の処理で止まっていることが分かっ た
 - あとすごい数のループが走ってることも分 かった

14. delveを使う
 - Goで使えるデバッグツール
 - https://github.com/go-delve/delve 
 - ブレークポイントを設定して値やトレー スの確認ができる
 - 思ってる値が入ってる？を確認 
 - 値がもっとじゃかじゃか入るはずなんだけ どあんまり入ってない？ 
 - 思った動きをしてないかも？ 

15. pprofを使う
 - Goで使えるプロファイリングデータの 視覚化ツール
 - https://github.com/google/pprof 
 - どの辺でメモリとか処理時間食ってる の？どこがネックで遅いの？とかがわ かる
 - 対象が少ない時は特にめちゃめちゃ重い ところはない
 - 1万件くらいからなんか特定のメソッドがや たらと重くなってる
 - ここに原因があるのでは...？ 

16. そして解決へ

17. Goの言語仕様
 - Goにおける配列の表現方法
 - array
 - 固定長配列
 - var a1 [5]int - slice
 - 可変長配列
 - var s1 []int - map
 - 連想配列みたいなもの 
 - var m1 map[int]string
18. 根本原因
 - 元々はsliceを愚直にforで回していた
 - 計算量はO(n * k)
 - 今日掲載終了のイベントのslice(n) 
 - ユーザーが登録しているイベントの slice(k)

19. 解決方法
 - 一度イベントのsliceをmapに変換して から検索する
 - mapならキーで一発で持ってくることがで きる
 - 計算量はO(n + k)
 - イベントの一覧を一度mapに変換(n) 
 - ユーザーが登録しているイベントの slice(k)

20. O(n * k) がッ！
 O(n + k) にッッッ！

21. すなわち、n倍速ッッ！
 ※ほぼ

22. 結論

23. ちゃんと計算量を考えて実装しよう！
 - いまは動いているように見えても、対象が増えたときも同じように動くとは限らない
 - 単純にバッチ内でのループ処理などだけでなく、DBにおけるn+1問題やそもそものバカ重クエリなど も含め
 - 計算量を考えて実装できるようになろう！