Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
EventLoopの実装から考えるFiberの位置付けについて/Fiber and Async...
Search
Ryo Tomidokoro
December 22, 2021
Technology
4
1.2k
EventLoopの実装から考えるFiberの位置付けについて/Fiber and Async Request
非同期処理によるAPIリクエストのサンプル実装を通して、Fiberが求められてきた背景を説明します。最終的に、それがEventLoopにつながっていきます。
Ryo Tomidokoro
December 22, 2021
Tweet
Share
More Decks by Ryo Tomidokoro
See All by Ryo Tomidokoro
100分で本番デプロイ!Laravelで作るWebアプリケーション作成/100min_web_app_cicd
hanhan1978
1
50
PHPerのための計算量入門/Complexity101 for PHPer
hanhan1978
6
1.8k
集中して作業する技術/how_to_work_deeply
hanhan1978
62
46k
PHPでデータベースを作ってみた/create-data-with-php
hanhan1978
11
9.7k
ADRを一年運用してみた/adr_after_a_year
hanhan1978
8
3.8k
B+木入門:PHPで理解する データベースインデックスの仕組み/b-plus-tree-101
hanhan1978
5
4.9k
ADRを一年運用してみた/our_story_about_adr
hanhan1978
5
2.1k
PHPで学ぶ Session の基本と応用 / web-app-session-101-2024
hanhan1978
12
5.7k
レガシー回避のPHP開発術/avoid_php_legacy
hanhan1978
16
13k
Other Decks in Technology
See All in Technology
オブザーバビリティの観点でみるAWS / AWS from observability perspective
ymotongpoo
8
1.5k
ホワイトボードチャレンジ 説明&実行資料
ichimichi
0
130
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
6
57k
室長と気ままに学ぶマイクロソフトのビジネスアプリケーションとビジネスプロセス
ryoheig0405
0
360
2024.02.19 W&B AIエージェントLT会 / AIエージェントが業務を代行するための計画と実行 / Algomatic 宮脇
smiyawaki0820
13
3.3k
モノレポ開発のエラー、誰が見る?Datadog で実現する適切なトリアージとエスカレーション
biwashi
6
800
データの品質が低いと何が困るのか
kzykmyzw
6
1.1k
滅・サービスクラス🔥 / Destruction Service Class
sinsoku
6
1.6k
開発スピードは上がっている…品質はどうする? スピードと品質を両立させるためのプロダクト開発の進め方とは #DevSumi #DevSumiB / Agile And Quality
nihonbuson
2
2.9k
データ資産をシームレスに伝達するためのイベント駆動型アーキテクチャ
kakehashi
PRO
2
530
偶然 × 行動で人生の可能性を広げよう / Serendipity × Action: Discover Your Possibilities
ar_tama
1
1.1k
エンジニアが加速させるプロダクトディスカバリー 〜最速で価値ある機能を見つける方法〜 / product discovery accelerated by engineers
rince
4
320
Featured
See All Featured
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Automating Front-end Workflow
addyosmani
1368
200k
Statistics for Hackers
jakevdp
797
220k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
366
25k
Done Done
chrislema
182
16k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
49
2.3k
Designing for Performance
lara
604
68k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
21
2.5k
How GitHub (no longer) Works
holman
314
140k
Designing for humans not robots
tammielis
250
25k
Fontdeck: Realign not Redesign
paulrobertlloyd
83
5.4k
Docker and Python
trallard
44
3.3k
Transcript
EventLoop の実装から考えるFiber PHPerKaigi petit - PHP8.1 リリース祝賀会 2021-12-21 @hanhan1978
自己紹介
こんなのを PHP カンファレンス2021 でやった。 https://speakerdeck.com/hanhan1978/php-async-programming
ペチコンの内容を3行でまとめると... 非同期処理はわからん Fiber よくわからん とりあえず、PHP でPHP を動かせ 全体的に、分かってるやつしか分からん構成になってしまって反省し ている。
8.1 リリース祝賀会バージョンでは... Fiber 完全に理解している 非同期処理を完全に理解している わかりやすく説明できる自信がある
Fiber を理解する必要はあるか? よくある解説 これがイヤな場合 -> Fiber を理解しないといかん。 これでOK な場合 ->
Fiber を実行基盤にもつフレームワークが登場した時に詰む -> つまり、Fiber を理解しないといかん。 なんとなく非同期処理ができるっぽいやつ。ライブラリ作成者の 為の機能、一般開発者は気にしなくて良い。 “ “
まじめな話 PHP ファンデーションとかもできたし、実装の詳細から逃げ回ってい るだけでは駄目。 みんなで知見をため、公表しあって、日本からもコミッターが出るよ うに盛り上げていかないとイカン。 今日一番まじめな話、終わり。
今日のゴール Fiber をみんなが完全に理解すること
物語の開始地点 なぜ、Fiber が求められているのか? なぜ、それがPHP に入ってくるのか? この物語のWHY が解決しないと、以降の議論は全て薄くなる。 非同期処理が2021 年現在、非同期処理から遠い位置にいるPHP にまで
言語機能として入ってこようとしているのはなぜ?
半導体の話 ムーアの法則が、頭打ちしつつある。電気的に、熱的に、集積度を上 げにくくなってる。 -> コアの性能アップは難しい -> だから、マルチコアで並行処理をすることで、スループットを上げ よう。 ここが開始地点。 パタヘネを読もう。
並行処理の話 これまでは、我々が気にする必要がなかった。 -> アプリケーションレイヤーの話ではなく、ハードウェアやOS の役 目 我々は同期処理パラダイスで生きていけた。
もったいない HTTP リクエストの応答待ち、DB クエリの応答待ち。この間、CPU は 遊んでる。 厳密には、遊んでるわけではないが、PHP のスクリプトは同期的処理 を行うため、きっちり応答をまつ。 結果として、CPU
はその性能を全て引き出されていない状態になる。
もったいない
もったいなくない
もったいないサンプル dummy API ( リクエストにきっちり1 秒かかる)
古き良きPHP スクリプト (API を5 回叩く)
同期的HTTP リクエストの結果
なぜ、5 秒かかるのか? 1 + 1 + 1 + 1 +
1 = 5 だから。 PHP の組み込み関数はブロッキング。つまり、処理をブロックする HTTP Request -> 応答待ちで1 秒待つ 解消するためには、応答を待たずに次のLoop に入らないといけない。 HTTP Request -> 応答を待たずにLoop -> 結果が帰ってきたら出力
じゃあどうすればいい? file_get_contents は処理をブロックする... curl でも一緒... どうすれば、処理をブロックしないのか?誰がブロックするのか?
ブロックしていたのは誰? Socket ブロッキング、ノンブロッキングのモードを持つ。つまり、ノンブロ ッキングモードのSocket を使う file_get_contents を作ればいい。
ブロックしない file_get_contents
PHP によるブロックしないAPI コール
PHP によるブロックしないAPI コール結果 ブロックしない、非同期プログミングが完了。
NonBlocking 化による実行スレッドの流れ 夢は達成された。Generator も Fiber もいらなかったんや...
本当か? それを確かめるために、調査隊はさきほどのソースコードを Generator を使って書き直してみた。
非同期関数のGenerator 版
PHP によるブロックしないAPI コール(Generator 版)
通信結果を受け取る関数(Generator 版) ※まじで酷いコードだが、検証用なので許して。
Generator 版の実行結果 きっちり1 秒で5 リクエスト
Generator にしたことで何が起きた? 結果を受け取る処理が、g->current() に置き換わった。 Generator で停止したスレッドの再開 という形で抽象化された。
Generator 前のコード Socket から結果を受け取るという具象コードを書いている。 Generator を使うと 停止・再開 という文脈を活かした抽象化が出来 る。
Generator 化による実行スレッドの流れ 夢は達成された。 Fiber はいらなかったんや...
本当か? それを確かめるために、調査隊はさきほどのソースコードをFiber を使 って書き直してみた。
PHP によるブロックしないAPI コール(Fiber 版)
通信結果を受け取る関数(Fiber 版) ※Generator を返す必要が無くなった
通信結果を受け取る関数2(Fiber 版)
Fiber 版の実行結果 きっちり1 秒で5 リクエスト
Fiber にしたことで何が起きた? 停止スレッドは Fiber オブジェクトに抽象化 Fiber オブジェクトの処理内部では、どこからでも自分を停止でき る。 Generator と違って、
yield して主スレッドに戻す必要がない。
Fiber 化による実行スレッドの流れ ここまでのまとめ
個人的にポイントになると思うところ 非同期プログミングにおいては、主スレッドと分岐スレッドという考 え方を常に持つ必要がある。 今回の例だと、HTTP リクエストを投げているのは分岐スレッド 分岐スレッドがレスポンスが受け取ったことを検査して、分岐スレッ ドの停止・再開を行うのは主スレッド 非同期プログミングは、分岐スレッドを管理する主スレッドが必要
EventLoop とは? Swoole, ReactPHP, AmPHP などは、それぞれ EventLoop を実装し ている。 なぜ、彼らは
EventLoop を実装する? EventLoop とは?? 並行処理をするのに、何故 EventLoop が必要なのか?
EventLoop 語弊を恐れずにいうと、ただのLoop さっきのサンプルのFiber 版では、Fiber オブジェクトを生成してLoop で回して処理をしていた。 これも広義のEventLoop といえる(はず)
EventLoop の構成要素 EventProvider 処理を Queue に追加 EventLoop スケジューラーに従って Event を
処理 EventHandler Event を実行する
EventLoop の構成要素 EventLoop はシングルスレッドでいい リクエストは Queue で一直線にされる (DeMultiplex) Reactor Pattern
という
EventLoop と Fiber の関係 Fiber により、停止・再開が抽象化されると、処理が抽象的に、簡潔 にかけるようになる。 これが、Fiber の本当の意味。
Fiber の中身 ucontext というライブラリが使われている。このシステムコールは、 ユーザーコンテキストの作成・切替をサポートする。boost_context というやつもある。 Swoole は、boost_context を使って、Fiber っぽいことをやってい
る。
この先の展開 Fiber で実装された EventLoop を持つフレームワークが出てくる。 (間違いない) Fiber が拡張され、スケジューラーやPromise, Async/Await が
PHP に 提供される (8.3? 9.0?)
hanhan1978 の予定 Fiber で EventLoop を実装し、分かりやすいサンプルを書く。 EventLoop の構成要素を、分かりやすいサンプルで書く。 分かりやすい図で、下の概念を説明する。 スケジューラー
non-preemptive 非同期、並行、このあたりはOS 周りの実装で出てくる。 OS 実装の本とかに参考になる記述が散見される。
PHPerkaigi にプロポーザル投げるの で、みんな星つけてね!