Qiita Night PHP 2023 - Speaker Deck

Slide 1

Slide 1 text

൓෮ॲཧͱ JUFSBCMFͰ༇շͳ஥ؒͨͪ Hirosugu Takeshita @fuwasegu

Slide 2

Slide 2 text

• 竹下拓秀 / ふわせぐ（@fuwasegu） • 株式会社ゆめみ / 21卒 – コーポレートエンジニア • PHP / Laravel がメイン – Svelte（JS / TS），Rust Go 勉強中 • 長崎県出身 / 愛知県在住 • !（3 歳）の父 2 自己紹介 Qiita Night 〜PHP〜

Slide 3

Slide 3 text

宣伝 3 Qiita Night 〜PHP〜 • mpyw さんと二人で Laravel のソースコードを読む会 • 隔週で YouTube Live で配信中 • バックナンバー • Model の with • Model の scope • SoftDelete • サービスコンテナ • ルートモデルバインディング • ExceptionHandler 次回: 2023-01-30 14:00:00

Slide 4

Slide 4 text

• PHP での反復処理について • Generator の紹介 4 今日話すこと Qiita Night 〜PHP〜

Slide 5

Slide 5 text

5 7 分しかないのでめっちゃ突っ走ります（後日 Qiita に記事出すので詳しくはそちらで） Qiita Night 〜PHP〜

Slide 6

Slide 6 text

反復処理（Iteration）ってどんなもの？ Qiita Night 〜PHP〜 6 反復可能な値の各要素に対して，同じ処理を順番に行うこと

Slide 7

Slide 7 text

• オブジェクト • iterable 型 7 PHP で反復可能な値になりうるもの Qiita Night 〜PHP〜

Slide 8

Slide 8 text

• オブジェクト 8 PHP で反復可能な値になりうるもの Qiita Night 〜PHP〜アクセス権限があるプロパティは， foreach で取り出せる（private なものは取り出せない）

Slide 9

Slide 9 text

• iterable 型 9 PHP で反復可能な値になりうるもの Qiita Night 〜PHP〜今日の本題はこっち

Slide 10

Slide 10 text

• iterable = (Traversable | array) – 型のエイリアス – PHP7.1 〜 PHP8.0 では疑似型 – それ以前は未定義 • foreach で反復処理ができるもの • iterator_to_array() に渡すと array になるもの – iterator_to_array() の引数 Traversable | array になったのは PHP8.2 から – それまでは Traversable のみだった 10 iterable とは Qiita Night 〜PHP〜

Slide 11

Slide 11 text

11 Qiita Night 〜PHP〜 iterable array Traversable

Slide 12

Slide 12 text

12 Qiita Night 〜PHP〜 iterable array Traversable IteratorAggregate Iterator Generator extends extends extends implements

Slide 13

Slide 13 text

13 Qiita Night 〜PHP〜 iterable IteratorAggregate Iterator Generator extends extends extends implements 時間がないので説明は割愛

Slide 14

Slide 14 text

Iterator とは • 反復処理中の状態を持つオブジェクト自身を定義するinterface – 現在の要素を取得 – 現在のキーを取得 – 次の要素に進む – 最初の要素に巻き戻し – 現在位置が有効かどうか取得 Qiita Night 〜PHP〜 14

Slide 15

Slide 15 text

IteratorAggregate とは • Iterator（Traversable）を作る interface • 自分自身が要素を持ったり状態を管理するわけではない Qiita Night 〜PHP〜 15 • getIterator() は新しいイテレータを返す • foreach に IteratorAggregate を渡すと勝手に getIterator() が呼ばれるポイント

Slide 16

Slide 16 text

Generator とは • イテレータが簡単に作れるやつ – 本来 Iterator を自前で作る場合，インタフェースに定義されたメソッドをそれぞれ実装する必要がある – Generator は yield するだけで良い • 遅延評価される（＝省メモリ） – 値（演算結果）が必要になったときに初めて評価されるということ Qiita Night 〜PHP〜 16

Slide 17

Slide 17 text

17 ジェネレーター構文の例 Qiita Night 〜PHP〜

Slide 18

Slide 18 text

18 ジェネレーター構文の例 Qiita Night 〜PHP〜まだ何が嬉しいか分からん！

Slide 19

Slide 19 text

19 もうちょっと具体的なユースケースを考えます Qiita Night 〜PHP〜

Slide 20

Slide 20 text

仮想の要件 • 大容量の CSV ファイルを読み込む – ID,姓,名,生年月日,郵便番号,電話番号,メールアドレス,性別 • フィルターしてデータを抜き出す – 名字が山田 – 二十歳以上 – 男 – 頭から 3 件取得する Qiita Night 〜PHP〜 20

Slide 21

Slide 21 text

愚直に実装してみる（方針） • 一気には読み込めないので一行ずつ読む – fopen() して fgetcsv() しながらループ • ループの中で条件に合致しなかったら読み飛ばす • カウンタを作っておいてインクリメントしていく – 必要数集まったら break Qiita Night 〜PHP〜 21

Slide 22

Slide 22 text

22 Qiita Night 〜PHP〜条件の数だけ if を並べる 1個の if にまとめる愚直に実装してみる（実装）文字が小さいのは許して

Slide 23

Slide 23 text

23 Qiita Night 〜PHP〜愚直に実装してみる（実装）

Slide 24

Slide 24 text

24 メソッドに分割してみる Qiita Night 〜PHP〜年齢でフィルター名前でフィルター性別でフィルター指定要素数取り出し

Slide 25

Slide 25 text

• 一見見通しが良くなったが，前もって CSV を全部読み込む必要があり激重 • 毎回 foreach で全探索するので激重 25 分割したメソッドで組み立て Qiita Night 〜PHP〜 CSV が大きいとメモリが食いつぶされます

Slide 26

Slide 26 text

26 Generator を使って書き直す Qiita Night 〜PHP〜年齢でフィルター性別でフィルター名前でフィルター指定要素数取り出し CSV 読み込み

Slide 27

Slide 27 text

27 Generator を使って書き直す Qiita Night 〜PHP〜今回は Generator 関数を用いましたが，IteratorAggregate を使ってクラスごとに分割する方法もあります（Qiita で解説します！）

Slide 28

Slide 28 text

• さっきと見た目は変わらない • 全て Generator なので CSV を一気に読み込む必要も無くなった 28 分割したメソッドで組み立て Qiita Night 〜PHP〜 CSV がどれだけ大きくても動作します

Slide 29

Slide 29 text

• Generator を使わない場合 – Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 20480 bytes) • Generator を使った場合 – 2936 バイトで正常に終了 29 実験 Qiita Night 〜PHP〜 • 100 万行の CSV（77.2 MB）を入力 • CSV の読み込み〜フィルターにかかる使用メモリを計測結果

Slide 30

Slide 30 text

• Generator は yield が呼ばれるたびに値を生成する – Generator でない場合要素分のメモリが必要 – Generator が生成した値は消費されるので古いものは破棄される – つまり巻き戻せない（単一方向の Iterator） • Generator は値が必要になったときに初めて評価される – 並列で並べた時，Generator でない場合毎回全部ループして都度全要素評価する – Generator の場合，一行読み込むたびに次の処理に移れる 30 なぜ Generator は省メモリなのか Qiita Night 〜PHP〜メモリの使用量が要素数に比例しないので，無限長のリストを扱える

Slide 31

Slide 31 text

31 実際の処理を見てみよう Qiita Night 〜PHP〜 6, 2, 10, 9, 3, 12 読み取りたいデータ

Slide 32

Slide 32 text

32 Generator を使わない場合 Qiita Night 〜PHP〜全部読み込み全探索で絞り込み全探索で絞り込み早期リターン出力

Slide 33

Slide 33 text

33 Generator を使わない場合 Qiita Night 〜PHP〜 6 2 10 9 3 12 read_data 1 2 3 4 5 6 filter_1 7 8 9 10 11 12 filter_2 13 14 15 16 take 17 18 foreach 19 20 データ処理黒の数字は読み取り順処理が軸になる

Slide 34

Slide 34 text

34 Generator を使う場合 Qiita Night 〜PHP〜 1 要素目 2 要素目 3 要素目

Slide 35

Slide 35 text

35 Generator を使う場合 Qiita Night 〜PHP〜 6 2 10 9 3 12 read_data 1 6 8 filter_1 2 7 9 filter_2 3 10 take 4 11 foreach 5 12 データ処理黒の数字は読み取り順値が軸になる

Slide 36

Slide 36 text

• Generator を使わない場合 – 全てのデータを読み込んだ – メソッドは呼び出し時に実行された – 毎回全要素を参照した • take の早期リターンは例外 • Generator を使った場合 – 全てのデータは読み込まなかった – メソッドは呼び出し時に実行されなかった • 要素ごとに遅延実行された – 演算対象の要素のみ参照した 36 結果 Qiita Night 〜PHP〜

Slide 37

Slide 37 text

37 Qiita Night 〜PHP〜 Generator はいいぞ！