Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ランダム処理を修正し、DBの負荷を下げた話

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →
Avatar for Keisuke Yamauchi Keisuke Yamauchi
April 12, 2024
0
33

 ランダム処理を修正し、DBの負荷を下げた話

Avatar for Keisuke Yamauchi

Keisuke Yamauchi

April 12, 2024
Tweet

More Decks by Keisuke Yamauchi

See All by Keisuke Yamauchi
Gopherになって気づくPHPの良さ
Avatar for Keisuke Yamauchi kechiiin
0
120
動的型付け言語に抗うPHPStanという戦士
Avatar for Keisuke Yamauchi kechiiin
0
25
Cake.jpのCRM 今と未来
Avatar for Keisuke Yamauchi kechiiin
0
55
半年かけてPHP5.6からPHP7.4までバージョンアップした苦労と工夫 PHPカンファレンス福岡2024
Avatar for Keisuke Yamauchi kechiiin
1
790
（弊社の）OpenSearchに潜んでいた罠
Avatar for Keisuke Yamauchi kechiiin
0
130
before/afterで見る Cake.jpのアジャイル開発
Avatar for Keisuke Yamauchi kechiiin
0
25
レガシーからモダンへ？ PHP5.6からの脱却
Avatar for Keisuke Yamauchi kechiiin
0
360

Featured

See All Featured
Typedesign – Prime Four
Avatar for Hannes Fritz hannesfritz
42
3k
Stewardship and Sustainability of Urban and Community Forests
Avatar for Eric Wiseman pwiseman
0
110
Leveraging Curiosity to Care for An Aging Population
Avatar for Cassini Nazir cassininazir
1
170
Getting science done with accelerated Python computing platforms
Avatar for Jacob Tomlinson jacobtomlinson
2
120
The agentic SEO stack - context over prompts
Avatar for schlessera schlessera
0
650
How To Speak Unicorn (iThemes Webinar)
Avatar for Michelle Schulp Hunt marktimemedia
1
380
How to build a perfect <img>
Avatar for Jono Alderson jonoalderson
1
4.9k
We Have a Design System, Now What?
Avatar for Morgane Peng morganepeng
54
8k
Leveraging LLMs for student feedback in introductory data science courses - posit::conf(2025)
Avatar for Mine Cetinkaya-Rundel minecr
0
160
Self-Hosted WebAssembly Runtime for Runtime-Neutral Checkpoint/Restore in Edge–Cloud Continuum
Avatar for Yuki Nakata chikuwait chikuwait
0
340
Gemini Prompt Engineering: Practical Techniques for Tangible AI Outcomes
Avatar for Mfonobong Umondia mfonobong
2
280
Building Adaptive Systems
Avatar for Chris Keathley keathley
44
2.9k

Transcript

  1. © Cake.jp Co.Ltd. All Right Reserved.｜Confidential 2024/04/11
 
 ランダム処理を修正し、DBの負荷を 下げた話


    
 山内 啓輔
 


  2. 2 © Cake.jp Co.Ltd. All Right Reserved.｜Confidential 自己紹介 山内 啓輔

    やまうち 　けいすけ 担当業務 カテゴリーページ、検索機能など 🍰おすすめスイーツ 元祖かぼちゃプリン 約1.2kg かぼちゃ感が強く、甘さが控えめで美味し い！ 付属のカラメルをかけることで甘さもアップ カテゴリページ 検索機能

  3. 3 © Cake.jp Co.Ltd. All Right Reserved.｜Confidential 今日話す内容 1.　 何が起きたのか

    2.　 どういった処理なのか 3.　 どういった対応をしたのか 4.　 その対応でどうなったのか 5.　 まとめ

  4. 4 © Cake.jp Co.Ltd. All Right Reserved.｜Confidential 今日話す内容 1.　 何が起きたのか

    2.　 どういった処理なのか 3.　 どういった対応をしたのか 4.　 その対応でどうなったのか 5.　 まとめ

  5. 5 © Cake.jp Co.Ltd. All Right Reserved.｜Confidential 何が起きたのか 前提：商品詳細ページについて どういった商品なのか確認できる商品詳細と呼ぶページがある

    https://cake.jp/item/3388709/

  6. 6 © Cake.jp Co.Ltd. All Right Reserved.｜Confidential 何が起きたのか 該当箇所 「この商品を見た人は、こんな商品も見ています

    」という、 おすすめ商品を出している箇所の夜間バッチ

  7. 7 © Cake.jp Co.Ltd. All Right Reserved.｜Confidential 何が起きたのか 事象 DBの負荷が爆上がりで、サイトにアクセスできない状況が発生した

  8. 8 © Cake.jp Co.Ltd. All Right Reserved.｜Confidential 今日話す内容 1.　 何が起きたのか

    2.　 どういった処理なのか 3.　 どういった対応をしたのか 4.　 その対応でどうなったのか 5.　 まとめ

  9. 9 © Cake.jp Co.Ltd. All Right Reserved.｜Confidential どういった処理なのか ざっくり判断基準 ブックマークを元に、その商品とのおすすめ度を判断している

    ちょっと詳しく 対象の商品をブックマーク・購入している人がブックマークしている商品をおすすめの商品としている それを公開中の全商品分、夜間に行っている ※全商品 = 約8000商品、ブックマーク数 = 約130万件

  10. 10 © Cake.jp Co.Ltd. All Right Reserved.｜Confidential どういった処理なのか SQLのイメージ

  11. 11 © Cake.jp Co.Ltd. All Right Reserved.｜Confidential どういった処理なのか SQLのイメージ ※約130万件を8000回

  12. 12 © Cake.jp Co.Ltd. All Right Reserved.｜Confidential 今日話す内容 1.　 何が起きたのか

    2.　 どういった処理なのか 3.　 どういった対応をしたのか 4.　 その対応でどうなったのか 5.　 まとめ

  13. 13 © Cake.jp Co.Ltd. All Right Reserved.｜Confidential どういった対応をしたのか 対象を減らした ・過去のすべてデータを取るのではなく、過去

    1年に減らす ・10件以上ブックマークされているもののみ取得 5000件程度まで対象が減る

  14. 14 © Cake.jp Co.Ltd. All Right Reserved.｜Confidential どういった対応をしたのか ループ内での取得をやめる ループで行うべき条件がない・・・！

    事前に取得をしておき、その結果をループで使用するように変更した ※再掲

  15. 15 © Cake.jp Co.Ltd. All Right Reserved.｜Confidential どういった対応をしたのか SQLのランダム処理をやめる 100万件を超える取得結果に対してのランダム処理が処理が重いので、アプリ側で行うようにした

  16. 16 © Cake.jp Co.Ltd. All Right Reserved.｜Confidential どういった対応をしたのか 対応まとめ ・検索対象を減らした

    　　・過去のすべてデータを取るのではなく、過去 1年に減らす 　　・10件以上ブックマークされているもののみ取得 ・ループ内での処理をやめる 　　・ループ前にやっておける重い処理を事前に行った ・SQLでのランダム処理をやめた 　　・負荷の高いORDER BY RAND()をやめ、アプリで行うようにした

  17. 17 © Cake.jp Co.Ltd. All Right Reserved.｜Confidential 今日話す内容 1.　 何が起きたのか

    2.　 どういった処理なのか 3.　 どういった対応をしたのか 4.　 その対応でどうなったのか 5.　 まとめ

  18. 18 © Cake.jp Co.Ltd. All Right Reserved.｜Confidential その対応でどうなったのか 負荷が下がった！！

  19. 19 © Cake.jp Co.Ltd. All Right Reserved.｜Confidential その対応でどうなったのか グラフがこうなった

  20. 20 © Cake.jp Co.Ltd. All Right Reserved.｜Confidential 今日話す内容 1.　 何が起きたのか

    2.　 どういった処理なのか 3.　 どういった対応をしたのか 4.　 その対応でどうなったのか 5.　 まとめ

  21. 21 © Cake.jp Co.Ltd. All Right Reserved.｜Confidential まとめ 得られた知見 ・この機能が作られた当初（2020/06）は問題にはなっていなかったが、データ量が増えたことでパ

    フォーマンスの問題が露見した。 データの増加を見越して、負荷の高いクエリになっていないかどうかを意識してコードを書く必要があ る。 ・ループ内で行っている処理は、事前にまとめて行うことが可能かどうかを常に考える必要がある