空間計算量入門 / Basic Knowledge of Space Complexity

by Ryo Tomidokoro

Slide 1

Slide 1 text

空間計算量の話 Ryo Tomidokoro PHP Study 2019/4/24 @hanhan1978

Slide 2

Slide 2 text

前回までのあらすじ

Slide 3

Slide 3 text

@hanhan1978は、PHPerKaigi2019で時間計算量のトークをしてきた。しかし、Q&Aで質問されたのは空間計算量についての質問だったため、何を言っているのかよく分からない。ちなみにAsk The Speakerでは、「今、Out of Memoryで困ってます。」という人生相談を受けた。なので、おそらく顧客が本当に知りたいのは時間計算量ではなく、空間計算量。

Slide 4

Slide 4 text

時間計算量のおさらい ※手抜きではない。

Slide 5

Slide 5 text

コード例

Slide 6

Slide 6 text

コードの問題は何？仕様は満たしている、動作も問題ない。しかし、データの増大と共に問題を起こす可能性がある。実際に、サンプルコードの負荷試験をして、データ量と処理時間の関係を確認する。

Slide 7

Slide 7 text

データ件数と処理時間の関係

Slide 8

Slide 8 text

データ件数と処理時間の関係

Slide 9

Slide 9 text

計算量視点を持ついつものコーディングに、新しい視点として、計算量を加えて見よう。

Slide 10

Slide 10 text

計算量とは？

Slide 11

Slide 11 text

２つの計算量時間計算量(Time Complexity) プログラムの演算の回数空間計算量(Space Complexity) プログラムが利用するメモリ使用量

Slide 12

Slide 12 text

時間計算量の測り方

Slide 13

Slide 13 text

単純な掛け算関数

Slide 14

Slide 14 text

単純な掛け算関数

Slide 15

Slide 15 text

単純な掛け算関数

Slide 16

Slide 16 text

O記法 (Big-O notation) 計算量の目安を表す便利な記法。O記法での表現によって、そのアルゴリズムがどんな時間計算量特性を持つのかを理解できる。 O(1), O(n), O(n^2), O(n*log n) 括弧の中身が計算量のオーダーを表す

Slide 17

Slide 17 text

データ量と時間計算量特性の関係 [引用]　開発新卒に捧ぐ、基本のアルゴリズムと計算量 https://www.techscore.com/

Slide 18

Slide 18 text

アルゴリズムと計算量アルゴリズム計算量バブルソート O(n^2) マージソート O(n * log n) バイナリーサーチ O(log n)

Slide 19

Slide 19 text

計算量視点で最初の例を読み返す

Slide 20

Slide 20 text

コード例

Slide 21

Slide 21 text

計算量オーダーを下げる

Slide 22

Slide 22 text

改善例 ※ $purchased_usersのkeyとvalueを入れ替えておく

Slide 23

Slide 23 text

改善例

Slide 24

Slide 24 text

改善例

Slide 25

Slide 25 text

処理時間を再計測

Slide 26

Slide 26 text

データ件数と処理時間の関係（改善後）

Slide 27

Slide 27 text

データ件数と処理時間の関係（改善後）

Slide 28

Slide 28 text

計算量という視点を持つことで、プログラムが潜在的にもつ問題点を見つけることが出来た。 ※ただし、データ量が少なければ問題ないことが多いので、無闇に計算量ばかり指摘するのはやめましょう。

Slide 29

Slide 29 text

ここから空間計算量の話

Slide 30

Slide 30 text

だいたい時間計算量の話と一緒手抜きではない...

Slide 31

Slide 31 text

例えばこんなプログラム

Slide 32

Slide 32 text

例えばこんなプログラム 1000 + 100 * 5 = 1500(Byte)

Slide 33

Slide 33 text

PHPにもGCはあるけど、一回のウェブリクエスト中では発動しない。リクエスト終了後にメモリがクリアされる方が先。時間計算量同様に、一個ずつメモリの使用量を計算していけば理詰めで算出できる。（する？）

Slide 34

Slide 34 text

PHPのGC https://www.php.net/manual/en/features.gc.php

Slide 35

Slide 35 text

gc_collect_cycles()を実行すると、強制的にGC させられるらしい。そういえば、composerもそのへんで一度トラブルを抱えていたような…

Slide 36

Slide 36 text

いや、違う

Slide 37

Slide 37 text

顧客が本当に求めているのは、空間計算量の話でもなく、Allowed memory size of … でエラーが起きないようにするにはどうしたらいいか？だった。

Slide 38

Slide 38 text

Allowed memory size of ..で怒られなくする話 Ryo Tomidokoro PHP Study 2019/4/24 @hanhan1978

Slide 39

Slide 39 text

サンプル

Slide 40

Slide 40 text

実行すると

Slide 41

Slide 41 text

怒られる

Slide 42

Slide 42 text

基本的に無限にメモリを利用するようなプログラムを書いた場合は、どんなにメモリを積んでも避けられない。無限にメモリを利用しない場合は、避ける方法が何個かある。

Slide 43

Slide 43 text

たくさんメモリを割り当てる ini_set(‘memory_limit’, ‘8G’); とかすると、きっと頑張ってくれるが、もちろん根本的解決ではない。メモリ量を上回る富豪プログラマーが破産させてくれるはず。

Slide 44

Slide 44 text

最近のfreeコマンドは、available列を表示してくれるので、空きメモリ容量が分かりやすい。 memory_limitを上げるときは空き容量と相談しながら。

Slide 45

Slide 45 text

例えばunbuffered query $pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false); こうすると、DB側のメモリにリザルトセットを積めるので、クライアント側はメモリを節約できる。けど、これやってる間は他のクエリを受け付けてくれないので、用法用量を守らないと事故る。

Slide 46

Slide 46 text

データ分割可変の大量データを扱うのが問題なので、固定量のデータを扱うプログラムに変更すればよい。王道だけど、バッチプログラムとかでは再実行性とか冪等性に配慮する必要はある。

Slide 47

Slide 47 text

ファイルIO メモリにファイルを全部積むようなプログラムを書くと、発生してしまいがち。 GuzzleとかStreamであつかえるAPIがあるので、そっちを使いましょう。 DropboxAPIとかも大容量ファイルを省メモリで送ることのできるAPIをちゃんと準備してくれています。

Slide 48

Slide 48 text

その他のtips memory_get_usage で現在のメモリ使用量を取得することができる。これはZend/zend_alloc.cの_zend_mm_heap->sizeを返してる。バッチとかならvmstatとかでメモリの減り具合を見ても分かる。

Slide 49

Slide 49 text

バッチならまだしも、ウェブアプリでMemory allocation ...が出てる場合は、どうせろくでもない事をしているに違いない。間違いない。とにかく、可変でサイズの大きいデータを扱う場合は一次作業場所（メモリ）が限られていることを事前に意識しないと問題が起きがち。

Slide 50

Slide 50 text

ところで

Slide 51

Slide 51 text

このmemory allocationのエラーの本当の意味を理解するには、PHPのプログラムがどのように実行されているのかを知る必要がある。すごく細かく説明されているサイトを発見した

Slide 52

Slide 52 text

https://codingjp.com/web/21119/

Slide 53

Slide 53 text

PHPが実行されていく過程

Slide 54

Slide 54 text

Nginx + PHP-FPM, php-cliの場合 ※諸事情によりApache mod-php駄目絶対マンになったので、今後私からその方面の情報が出てくることは多分ない。