Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
空間計算量入門 / Basic Knowledge of Space Complexity
Search
Sponsored
·
Your Podcast. Everywhere. Effortlessly.
Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
→
Ryo Tomidokoro
April 24, 2019
Programming
3
1.1k
空間計算量入門 / Basic Knowledge of Space Complexity
Basic Knowledge of Space Complexity
Ryo Tomidokoro
April 24, 2019
Tweet
Share
More Decks by Ryo Tomidokoro
See All by Ryo Tomidokoro
開発者が知っておきたい複雑さの正体/where-the-complexity-comes-from
hanhan1978
8
3.4k
Spec Driven Development入門/spec_driven_development_for_learners
hanhan1978
2
1.7k
フロントエンドがTypeScriptなら、バックエンドはPHPでもいいじゃない/php-is-not-bad
hanhan1978
8
14k
どうすると生き残れないのか/how-not-to-survive
hanhan1978
17
15k
100分で本番デプロイ!Laravelで作るWebアプリケーション作成/100min_web_app_cicd
hanhan1978
1
250
PHPerのための計算量入門/Complexity101 for PHPer
hanhan1978
8
3.5k
集中して作業する技術/how_to_work_deeply
hanhan1978
65
55k
PHPでデータベースを作ってみた/create-data-with-php
hanhan1978
11
11k
ADRを一年運用してみた/adr_after_a_year
hanhan1978
8
4.8k
Other Decks in Programming
See All in Programming
ふつうのRubyist、ちいさなデバイス、大きな一年 / Ordinary Rubyists, Tiny Devices, Big Year
chobishiba
1
470
GC言語のWasm化とComponent Modelサポートの実践と課題 - Scalaの場合
tanishiking
0
120
[PHPerKaigi 2026]PHPerKaigi2025の企画CodeGolfが最高すぎて社内で内製して半年運営して得た内製と運営の知見
ikezoemakoto
0
130
CSC307 Lecture 14
javiergs
PRO
0
480
How to stabilize UI tests using XCTest
akkeylab
0
130
AI駆動開発の本音 〜Claude Code並列開発で見えたエンジニアの新しい役割〜
hisuzuya
4
520
AI Assistants for Your Angular Solutions
manfredsteyer
PRO
0
140
The Past, Present, and Future of Enterprise Java
ivargrimstad
0
700
RubyとGoでゼロから作る証券システム: 高信頼性が求められるシステムのコードの外側にある設計と運用のリアル
free_world21
0
310
TipKitTips
ktcryomm
0
170
The Past, Present, and Future of Enterprise Java
ivargrimstad
0
650
Redox OS でのネームスペース管理と chroot の実現
isanethen
0
210
Featured
See All Featured
Believing is Seeing
oripsolob
1
86
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
31
3.1k
What does AI have to do with Human Rights?
axbom
PRO
1
2k
StorybookのUI Testing Handbookを読んだ
zakiyama
31
6.6k
WCS-LA-2024
lcolladotor
0
480
Accessibility Awareness
sabderemane
0
82
Measuring Dark Social's Impact On Conversion and Attribution
stephenakadiri
1
160
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
52
5.9k
The browser strikes back
jonoalderson
0
810
The Director’s Chair: Orchestrating AI for Truly Effective Learning
tmiket
1
130
Max Prin - Stacking Signals: How International SEO Comes Together (And Falls Apart)
techseoconnect
PRO
0
120
DBのスキルで生き残る技術 - AI時代におけるテーブル設計の勘所
soudai
PRO
64
52k
Transcript
空間計算量の話 Ryo Tomidokoro PHP Study 2019/4/24 @hanhan1978
前回までのあらすじ
@hanhan1978は、PHPerKaigi2019で時間計算量のトーク をしてきた。しかし、Q&Aで質問されたのは空間計算量につ いての質問だったため、何を言っているのかよく分からな い。 ちなみにAsk The Speakerでは、「今、Out of Memoryで 困ってます。」という人生相談を受けた。
なので、おそらく顧客が本当に知りたいのは時間計算量 ではなく、空間計算量。
時間計算量のおさらい ※手抜きではない。
コード例
コードの問題は何? 仕様は満たしている、動作も問題ない。しかし、データ の増大と共に問題を起こす可能性がある。 実際に、サンプルコードの負荷試験をして、データ量と 処理時間の関係を確認する。
データ件数と処理時間の関係
データ件数と処理時間の関係
計算量視点を持つ いつものコーディングに、新しい視点として、計算量を 加えて見よう。
計算量とは?
2つの計算量 時間計算量(Time Complexity) プログラムの演算の回数 空間計算量(Space Complexity) プログラムが利用するメモリ使用量
時間計算量の測り方
単純な掛け算関数
単純な掛け算関数
単純な掛け算関数
O記法 (Big-O notation) 計算量の目安を表す便利な記法。O記法での表現によっ て、そのアルゴリズムがどんな時間計算量特性を持つのか を理解できる。 O(1), O(n), O(n^2), O(n*log
n) 括弧の中身が計算量のオーダーを表す
データ量と時間計算量特性の関係 [引用] 開発新卒に捧ぐ、基本のアルゴリズムと計算量 https://www.techscore.com/
アルゴリズムと計算量 アルゴリズム 計算量 バブルソート O(n^2) マージソート O(n * log n)
バイナリーサーチ O(log n)
計算量視点で最初の例を読み返す
コード例
計算量オーダーを下げる
改善例 ※ $purchased_usersのkeyとvalueを入れ替えておく
改善例
改善例
処理時間を再計測
データ件数と処理時間の関係(改善後)
データ件数と処理時間の関係(改善後)
計算量という視点を持つことで、プログラム が潜在的にもつ問題点を見つけることが出来 た。 ※ただし、データ量が少なければ問題ないこ とが多いので、無闇に計算量ばかり指摘するの はやめましょう。
ここから空間計算量の話
だいたい時間計算量の話と一緒 手抜きではない...
例えばこんなプログラム
例えばこんなプログラム 1000 + 100 * 5 = 1500(Byte)
PHPにもGCはあるけど、一回のウェブリクエスト中 では発動しない。 リクエスト終了後にメモリがクリアされる方が先。 時間計算量同様に、一個ずつメモリの使用量を計算 していけば理詰めで算出できる。(する?)
PHPのGC https://www.php.net/manual/en/features.gc.php
gc_collect_cycles()を実行すると、強制的にGC させられるらしい。 そういえば、composerもそのへんで一度トラブ ルを抱えていたような…
いや、違う
顧客が本当に求めているのは、空間計算量の話 でもなく、Allowed memory size of … でエ ラーが起きないようにするにはどうしたらいい か? だった。
Allowed memory size of ..で怒ら れなくする話 Ryo Tomidokoro PHP Study
2019/4/24 @hanhan1978
サンプル
実行すると
怒られる
基本的に無限にメモリを利用するようなプログ ラムを書いた場合は、どんなにメモリを積んで も避けられない。 無限にメモリを利用しない場合は、避ける方法 が何個かある。
たくさんメモリを割り当てる ini_set(‘memory_limit’, ‘8G’); とかすると、きっと頑張ってくれるが、もちろん根本的解 決ではない。メモリ量を上回る富豪プログラマーが破産さ せてくれるはず。
最近のfreeコマンドは、available列を表示して くれるので、空きメモリ容量が分かりやすい。 memory_limitを上げるときは空き容量と相談し ながら。
例えばunbuffered query $pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false); こうすると、DB側のメモリにリザルトセットを積めるので、クラ イアント側はメモリを節約できる。 けど、これやってる間は他のクエリを受け付けてくれないので、 用法用量を守らないと事故る。
データ分割 可変の大量データを扱うのが問題なので、固定量のデータ を扱うプログラムに変更すればよい。 王道だけど、バッチプログラムとかでは再実行性とか冪等 性に配慮する必要はある。
ファイルIO メモリにファイルを全部積むようなプログラムを書くと、 発生してしまいがち。 GuzzleとかStreamであつかえるAPIがあるので、そっちを使 いましょう。 DropboxAPIとかも大容量ファイルを省メモリで送ることの できるAPIをちゃんと準備してくれています。
その他のtips memory_get_usage で現在のメモリ使用量を取得することが できる。 これはZend/zend_alloc.cの_zend_mm_heap->sizeを返して る。 バッチとかならvmstatとかでメモリの減り具合を見ても分 かる。
バッチならまだしも、ウェブアプリでMemory allocation ...が出てる場合は、どうせろくで もない事をしているに違いない。間違いない。 とにかく、可変でサイズの大きいデータを扱う 場合は一次作業場所(メモリ)が限られている ことを事前に意識しないと問題が起きがち。
ところで
このmemory allocationのエラーの本当の意味を 理解するには、PHPのプログラムがどのように実 行されているのかを知る必要がある。 すごく細かく説明されているサイトを発見した
https://codingjp.com/web/21119/
PHPが実行されていく過程
Nginx + PHP-FPM, php-cliの場合 ※諸事情によりApache mod-php駄目絶対マンになったの で、今後私からその方面の情報が出てくることは多分な い。
None
None
None
None
Allowed memory size of ... 実行時にmemory_limitをオーバーした場合
Out of memory ... 実行時に新しいchunkを割り当てられない場合
つまり 誰か、私と一緒にゆるゆるPHP闇勉強会やろうず
おしまい