PHPerのための計算量入門/Complexity101 for PHPer

PHPカンファレンス2024の登壇資料です。

Transcript

1. PHPerのための計算量入門 PHPカンファレンス 2024/12/22 @hanhan1978
2. @hanhan1978 名前 富所 亮 所属 株式会社カオナビ CTO室 BackEnd Re-architecturing Team (BERT) Blog https://blog.hanhans.net Podcast https://podcasters.spotify.com/pod/show/yokohama-north-am 2
3. 本トークの背景 社内ISUCONの解説で「計算量」という言葉が全く伝わらなかったので もっとわかりやすせねば！！！と決意
4. 計算量とは？
5. その前に...
6. 計算とは？
7. 計算 [参照] アーキテクチャ: コンピュータの仕組み https://www.gsic.titech.ac.jp/matsuda/l/CS/arch/index.htm
8. PHPにおける計算 [参照] PHP の関数実行とその計測（記事版）https://qiita.com/sj-i/items/836fa5a5e246961c40b6
9. PHPにおける計算 [参照] PHP の関数実行とその計測（記事版）https://qiita.com/sj-i/items/836fa5a5e246961c40b6 ZendVM による Opcode の実行
10. PHPにおける計算 普段われわれが書いているPHPのソースコードも 最終的にはOpCode配列に変換され実行される
11. 計算量とは？
12. コード例1 1から引数$nまでの数を足し算する関数
13. コード例1 ループの中で n回の足し算を計算する
14. コード例1 Opcode Opcode Dump (最適化後)
15. コード例1 Opcode Jump命令を使ったn回計算
16. 余談 - Opcodeの出力方法 PHP 7.x 以降であれば php-cli で出力できる
17. 余談 - Opcodeの出力方法 $ docker run -it -v `pwd`:/hoge php:8.4-cli bash # docker-php-ext-install opcache # cd hoge # php -d opcache.enable_cli=1 \ -d opcache.opt_debug_level=0x20000 \ sample.php 10 docker 最高！
18. コード例2 1から引数$nまでの足し算を公式を使って計算
19. コード例2 nの数に依らず1行の計算
20. コード例2 Opcode Opcode Dump (最適化後)
21. コード例2 Opcode nの数によらず6行の計算
22. O記法 (Big-O notation) オーダー記法【ランダウの記号】O記法 IT用語辞典 e-Words https://e-words.jp/w/オーダー記法.html
23. O記法 (Big-O notation) 計算量の目安を表す便利な記法。 O記法での表現によって、そのアルゴリズムがどんな 時間計算量特性を持つのかを理解できる。 O(1), O(n), O(n^2), O(n*log n) 括弧の中身が計算量のオーダーを表す
24. データ量と時間計算量特性の関係 [引用]　開発新卒に捧ぐ、基本のアルゴリズムと計算量 https://www.techscore.com/
25. コード例1 引数nに対してn回の計算 ▶ O(n)
26. コード例2 Nの数に依らず一定数の計算 ▶ O(1)
27. 実測してみよう！
28. データ量に対する計算時間の比較
29. ２つの計算量 時間計算量(Time Complexity) プログラムの計算の回数 空間計算量(Space Complexity) プログラムが利用するメモリ使用量
30. 時間計算量 先程のコード例1, 2 は時間計算量比較 O(n) O(1)
31. 空間計算量 メモリが枯渇する可能性がある
32. 空間計算量 Bookの個数が増えると共にメモリ使用量が増える
33. 空間計算量をチェックするには？ https://www.php.net/manual/ja/function.memory-get-usage.php
34. 空間計算量をチェックするには？ https://www.php.net/manual/ja/function.memory-get-peak-usage.php
35. もう少し現実的なコード例から 計算量を理解してみよう
36. 例題 とあるウェブサービスを運営する会社の社員が会員 データの分析をするためのCSVファイルを作ります。 全ユーザのデータをDatabaseから取得して、各種付帯 情報を追加してCSVファイルを作成します。
37. コード例（CSVファイル作成）
38. コードの問題は何？ 仕様は満たしている、動作も問題ない ▶ しかし、データの増大と共に問題を起こす可能性がある。 負荷試験を行って、データ量と処理時間の関係を確認する。
39. データ件数と処理時間の関係
40. データ件数と処理時間の関係 計算量は O(n^2) と推定
41. この問題をどのように検出する？ なるべく勘や経験に頼りたくはない。 何か良い方法はあるだろうか？
42. ◎負荷試験 本番相当以上のデータ量を用意した負荷試験を行 えば、確実に検出することが可能 ただし、コアドメインじゃない限り負荷試験はコ ストがかかるので行われない…
43. ×静的解析 PHPStan, PHPMD等は検出する対象の問題が 異なる 流石に無理...
44. ▲経験 好きなアプローチではない 現状もっとも低コストで現実的に実行できる対策 はこれになってしまう。 研修や教育によって計算量に対して、意識を向け てもらうようにする。 今、まさにやってるコレ
45. ◯継続的なメトリクスの確認 Mackerel, New Relic, Datadog アラートで早めに気付ければOK
46. 時間計算量の数え方 (練習)
47. 単純な掛け算関数
48. 単純な掛け算関数
49. 単純な掛け算関数 O(n)
50. 計算量視点でコード例を改善しよう
51. コード例（CSVファイル作成）
52. コード例（CSVファイル作成）
53. コード例（CSVファイル作成） O(n^2)
54. 計算量オーダーを下げる
55. 改善例 in_array ▶ array_key_exists ※事前に $purchased_users のid, key を入れ替えておく
56. 改善例 計算量オーダーが下がった！
57. 処理時間を再計測
58. データ件数と処理時間の関係（改善後）
59. データ件数と処理時間の関係（改善後）
60. しかし、常に改善すれば良いわけではない
61. 計算量警察󰠕 計算量視点を手に入れたエンジニアは どんな関数でも計算量を改善しようとする...
62. ここでデータ量と計算量オーダーの関係を 思い出そう
63. データ量と時間計算量特性の関係 [引用]　開発新卒に捧ぐ、基本のアルゴリズムと計算量 https://www.techscore.com/ データ量が少ない場合 どんなアルゴリズムでも計算量は少ない
64. 良い指摘の仕方 このプログラムが処理するデータ量は３万件で す。アルゴリズムの計算量がO(N^2)なので、処理 時間に懸念があります。 ▶ 計算量を指摘する場合は想定データ量とセット！
65. よく使う処理の計算量
66. アルゴリズムと計算量 アルゴリズム 計算量 バブルソート O(n^2) マージソート O(n * log n) バイナリーサーチ O(log n) 基本情報処理技術者試験！
67. 配列操作関数の計算量 O(1) O(n) O(n^2) array_key_exists array_key_first array_key_last array_push array_pop array_combine array_flip array_keys array_map array_rand array_shift array_sum array_unique array_values arsort asort in_array array + array range array_fill array_intersect array_merge 配列計算はPHPの華...
68. Laravel Collection 文字が小さくてゴメン
69. Redis
70. 仕様変更も視野に入れる
71. 複雑な要件を放置しない
72. チューニングには限界がある ビジネス要件が複雑すぎる場合... いくらアルゴリズムを調整したところで 計算量を減らす限界がある プログラムのことだけを考えても改善できない
73. チューニングには限界がある ビジネス要件が複雑すぎる場合... いくらアルゴリズムを調整したところで 計算量を減らす限界がある プログラムのことだけを考えても改善できない 視野を広く！
74. まとめ
75. まとめ 1. 「計算」を理解する 2. 「計算量」を理解する 3. よく使う関数の「計算量」を把握する 4. 仕様変更も視野に入れる
76. まとめ 1. 「計算」を理解する 2. 「計算量」を理解する 3. よく使う関数の「計算量」を把握する 4. 仕様変更も視野に入れる
77. まとめ 1. 「計算」を理解する 2. 「計算量」を理解する 3. よく使う処理の「計算量」を把握する 4. 仕様変更も視野に入れる
78. まとめ 1. 「計算」を理解する 2. 「計算量」を理解する 3. よく使う処理の「計算量」を把握する 4. 仕様変更も視野に入れる
79. 参考書籍
80. 数学ガール 乱択アルゴリズム 結城 浩 (2011) SoftBank Creative 第10章 乱択アルゴリズム 物語調で 理解しやすい
81. みんなのコンピューターサイエンス Wladston Ferreira Filho 著、小山 裕司 翻訳 (2019) 翔泳社 2. 計算量 一番簡潔
82. アルゴリズムと計算量 野崎昭弘 著 (1987) 共立出版 第一章 アルゴリズムと計算量 ちょっと難しい