毎日13時間もかかるバッチ処理をたった3日で60%短縮するためにやったこと

Transcript

1. 毎日13時間もかかるバッチ処理を たった3日で60%短縮するために やったこと Sasaki Sho 2024/12/22 PHP Conference Japan 2024
2. Sasaki Sho X：@sho_ssk_ 所属：株式会社ウィルゲート 趣味：サッカー観戦
3. このLTで伝えたいこと
4. 仕様変更も パフォーマンス改善に貢献できる！
5. 対象のサービスについて
6. https://tact-seo.com/
7. • 検索キーワードに対して適切にページを 表示できるようにするためのツール
8. • 検索キーワードに対して適切にページを 表示できるようにするためのツール • リリースから7年経過、技術負債や蓄積 データ量および処理の長期化が課題
9. 13時間かかるバッチについて
10. 対象：サイトの順位データを集計するバッチ
11. 対象：サイトの順位データを集計するバッチ • 仕様上、毎日“絶対に”完了しないといけない
12. 対象：サイトの順位データを集計するバッチ • 仕様上、毎日“絶対に”完了しないといけない • 順位データおよびクライアント数の増加に より処理時間が長期化
13. 対象：サイトの順位データを集計するバッチ • 仕様上、毎日“絶対に”完了しないといけない • 順位データおよびクライアント数の増加に より処理時間が長期化 • 毎日 1億件!以上のレコードをRDSへ追加
14. このバッチの問題点 2選
15. このバッチの問題点 2選 • 集計が完了しないと表示されない画面がある
16. このバッチの問題点 2選 • 集計が完了しないと表示されない画面がある • 集計中にRDSの負荷が高騰し、画面レスポン スに遅れが発生
17. このバッチの問題点 2選 • 集計が完了しないと表示されない画面がある • 集計中にRDSの負荷が高騰し、画面レスポン スに遅れが発生 顧客のUXに大きな悪影響
18. なんとかしよう！
19. ①ロジック改修してみよう
20. ①ロジック改修してみよう • 対象コードが超レガシー
21. ①ロジック改修してみよう • 対象コードが超レガシー • 既に数十億単位のデータが存在するテーブルの 構成変更
22. ①ロジック改修してみよう • 対象コードが超レガシー • 既に数十億単位のデータが存在するテーブルの 構成変更 無理そう
23. ②ビジネスサイドへ利用状況を確認
24. ②ビジネスサイドへ利用状況を確認 • そもそも全期間のデータ見てない
25. ②ビジネスサイドへ利用状況を確認 • そもそも全期間のデータ見てない • 過去1年分くらい見れれば十分
26. ②ビジネスサイドへ利用状況を確認 • そもそも全期間のデータ見てない • 過去1年分くらい見れれば十分 全期間の集計いらなくない？
27. 集計期間を絞ろう！
28. やったこと
29. ①表示期間を設定する画面を追加
30. ①表示期間を設定する画面を追加
31. ②SQLクエリへ1行追加
32. ②SQLクエリへ1行追加 全期間を集計
33. ②SQLクエリへ1行追加 全期間を集計 指定期間のみ集計
34. その結果
35. バッチの実行時間
36. 13h → バッチの実行時間
37. 13h → 5h バッチの実行時間
38. 13h → 5h バッチの実行時間 60%の削減に成功！ 🎉
39. 圧倒的に少ない工数で対応
40. 圧倒的に少ない工数で対応 40人日 →
41. 40人日 → 3人日 圧倒的に少ない工数で対応
42. 学んだこと
43. • 仕様変更もパフォーマンス改善に貢献でき る！
44. • 仕様変更もパフォーマンス改善に貢献でき る！ • “今”必要なデータの質と量を確認しよう
45. “柔軟に”パフォーマンス 改善していきましょう！
46. fin