０→１フェーズのプロダクトのパフォーマンス分析をしてみた話/登壇資料（二瓶亮）

Slide 1

Slide 1 text

Confidential ０→１フェーズのプロダクトのパフォーマンス分析をしてみた話 2024年4月25日二瓶亮

Slide 2

Slide 2 text

Copyright Hacobu, Inc. 2 自己紹介二瓶亮（にへいりょう） nihei9 2023年5月、Hacobuに入社。配送案件管理サービスMOVO Vistaの開発を経て、現在はトラック予約受付サービスMOVO Berthの開発に携わる。株式会社 Hacobu バックエンドエンジニア

Slide 3

Slide 3 text

Slide 4

Slide 4 text

MOVO Vista？分析の動機

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Copyright Hacobu, Inc. 6 MOVO Vista？取引関係の多さ＋多重下請け → 取引データが増えやすい構造運んで欲しいものがある人たちものを運べる人たち下請けに依頼することも多いこの人たちがVistaを契約してくれるとこの人たちは無料でVistaを使えるようになる。同一案件で複数の運送会社に依頼を出すこともある。トラック輸送における多重下請構造についての実態把握調査に係る調査結果多重下請け構造が問題視されている。

Slide 7

Slide 7 text

Copyright Hacobu, Inc. 7 分析の動機ビジネス目標の達成をシステムのスケーラビリティが阻害することを懸念していた。取引データが一気に増えやすい。トラフィックの規模の割にDBの負荷が高い。深刻なパフォーマンス問題は起きていない。導入社数を増やしたい。プロダクトの性質開発チームのモニタリングビジネス目標データ量の増加が気になる。将来的にパフォーマンスが悪化しそうなAPIにあたりがつけられたら嬉しいかもしれない。潜在的な問題がいつ顕在化してもおかしくない。取引関係の多さ・多重下請構造物流業界の性質潜在的な問題をどうやって見つけよう？

Slide 8

Slide 8 text

Slide 9

Slide 9 text

データのばらつき具合の可視化

Slide 10

Slide 10 text

Copyright Hacobu, Inc. 10 データのばらつき具合の可視化箱ひげ図＝データのばらつき具合を表した図参考：総務省統計局 | なるほど統計学園＜ばらつき中央値小さい大きい大きい小さい＞ ※箱の幅に意味はない最大値最小値中央値 50% 25% 25% 箱やひげが長い＝データが広くばらついている

Slide 11

Slide 11 text

APIの応答速度の分布を調べる（実際のデータ）

Slide 12

Slide 12 text

Copyright Hacobu, Inc. 12 APIの応答速度の分布を調べる実際の図「ばらつきが大きい＝不安定」と捉えてみる。箱の幅が広い箱の幅が狭い応答速度が不安定応答速度が安定的 ※Spread Sheetのローソク足チャートを使用しています。厳密には箱ひげ図ではありませんが見方は同じです。

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Copyright Hacobu, Inc. 14 APIの応答速度の分布を調べる山が２つある（二峰性）。異なる性質を持つ集団のデータが混在していると考えられる。使っているユーザーとそのデータ規模に偏りがあるのかもしれない。一定規模以上のデータは処理方法変えたりデータ量の制限を設けたりするといいかもしれない。一般論仮説観測値

Slide 15

Slide 15 text

Copyright Hacobu, Inc. 15 APIの応答速度の分布を調べるデータ量などの影響を受けやすく、パフォーマンスの劣化する速度が速いのかもしれない。ばらつきの裾が非常に広い。観測値仮説計算量削減や最悪時のパフォーマンスだけでも改善することを目標にチューニングするといいかもしれない。

Slide 16

Slide 16 text

Copyright Hacobu, Inc. 16 APIの応答速度の分布を調べる応答速度の分布を可視化することはAPIのパフォーマンス特性を捉えるのに役立った。もっと具体的に調べるには？ • プロファイリングツールの結果をフレームグラフなどで可視化する。 • パフォーマンステストを実施してより詳細なパフォーマンス特性を把握する。他のアプローチは？ • マシンリソースの面からパフォーマンスを分析する。 • 分析せずにパフォーマンステストからパフォーマンス特性を調査する。応答速度の分布を知ることで単一の統計値より深くAPIの特性を理解できる。パフォーマンスの平均値・中央値と安定性は区別して考えた方がいい。パフォーマンス特性を知ることはチューニングの方向性を考えるヒントにもなる。学び

Slide 17

Slide 17 text

Copyright Hacobu, Inc. 17 まとめユーザー数が少なくても傾向を分析することで予防的な対策への第一歩になる。ユーザー数が少ないプロダクトでは、パフォーマンス問題は後回しにされがちなうえ、平均値などの単一の統計値を観察するだけでは潜在的な問題に気づきづらい。パフォーマンスの不安定さに注目することで潜在的な問題に気づけるかもしれない。システムのスケーラビリティがビジネスの成長が阻害しないようにするための予防的な分析として効果的だった。分析は将来的なリスクへの解像度を上げることにも寄与し、関係者間の認識を合わせることにも役立った。まとめ

Slide 18

Slide 18 text

No content