作ってわかる！非同期ランタイム

Transcript

1. 作って分かる！非同期処理ランタイム Leverages TechFes 2025 Winter
3. 今日話すこと • 非同期処理とはなにか • 非同期処理ランタイムについて • 非同期処理ランタイムをつくってみ た
4. 非同期処理とはなにか？
5. 処理が終わるまで 待たずに他の処理を実 行すること
6. task_1 task_2 task_1 task_2 task_1 task_2 同期処理 task_2はtask_1が終わって から処理を開始する 非同期処理 （並行)
7. なぜ非同期処理が必要なのか？
8. 時間がかかる処理を 待っている間を 有効活用するため
9. task_1 task_2 task_3 task_1 task_2 task_3 同期処理
10. task_1 task_2 task_3 task_1 task_2 task_3 非同期処理
11. task_1 task_2 task_3 task_1 task_2 task_3 task_1 task_2 task_3 task_1 task_2 task_3 同期処理 非同期処理
12. 時間がかかる処理とは？
13. https://i.gzn.jp/img/2017/07/07/intel-core-i9-7900x/00.jpg,(参照2025-02-05)
14. CPU Intel Core i9 • 動作周波数：2.3 ~ 6.0GHz https://i.gzn.jp/img/2017/07/07/intel-core-i9-7900x/00.jpg,(参照2025-02-05)
15. CPU Intel Core i9 • 動作周波数：2.3 ~ 6.0GHz → 1秒間に23億回 ~ 60億回の計算が 可能 https://i.gzn.jp/img/2017/07/07/intel-core-i9-7900x/00.jpg,(参照2025-02-05)
16. CPU Intel Core i9 • 動作周波数：2.3 ~ 6.0GHz → 1秒間に23億回 ~ 60億回の計算が 可能 → CPUが一回の計算にかかる時間は 0.2 ~ 0.5ナノ秒 https://i.gzn.jp/img/2017/07/07/intel-core-i9-7900x/00.jpg,(参照2025-02-05)
17. CPUとコンポーネント間の通信にかかる時間 レジスタ ：0.2 ~ 0.5 ナノ秒 RAM ：80 ~ ナノ秒 SSD (SATA3.0) ：100 ~ マイクロ秒 HDD (SATA3.0) ：10 ~ ミリ秒 ネットワーク ：10 ~ 100 ミリ秒 図：Socket AM3＋マザーボードの進化系、GIGABYTE「GA~990FXA-UD5 R5」徹底検証 https://www.gdm.or.jp/review/2015/0515/114349/2,(参照2025-02-05)
18. CPUとコンポーネント間の通信にかかるクロック数 レジスタ ：1 クロック RAM ：400~ クロック SSD (SATA3.0) ：50,000~ クロック HDD (SATA3.0) ：5,000,000~ クロック ネットワーク ：5,000,000~ クロック 図：Socket AM3＋マザーボードの進化系、GIGABYTE「GA~990FXA-UD5 R5」徹底検証 https://www.gdm.or.jp/review/2015/0515/114349/2,(参照2025-02-05)
19. CPUとコンポーネント間の通信にかかるクロック数 CPUがHDDにアクセスしてデータを得るまでに一 千万回計算ができる！ レジスタ ：1 クロック RAM ：400~ クロック SSD (SATA3.0) ：50,000~ クロック HDD (SATA3.0) ：5,000,000~ クロック ネットワーク ：5,000,000~ クロック 図：Socket AM3＋マザーボードの進化系、GIGABYTE「GA~990FXA-UD5 R5」徹底検証 https://www.gdm.or.jp/review/2015/0515/114349/2,(参照2025-02-05)
20. I/O待ち中のプロセス I/O発生 I/O 結果返る
21. • プロセスがディスクやネットワーク に対してI/Oを行うとそのプロセス を実行待機状態にして他の実行 可能なプロセスを動かす とはいえOSも馬鹿じゃ ない I/O 発生 I/O 結果返る 現代のOSは こっち
22. • プロセスがディスクやネットワーク に対してI/Oを行うとそのプロセス を実行待機状態にして他の実行 可能なプロセスを動かす • プロセスを切り替えるときに切り替 えるためのオーバーヘッド（スイッ チングコスト ）が生じるのでシング ルプロセスと比べて時間がかかる とはいえOSも馬鹿じゃ ない ただし… I/O 発生 I/O 結果返る スイッチングコスト
23. • I/Oは発生しないが時間のかかる 処理が存在する • 時間計算量の大きい計算が該当 する CPU bound…?
24. CPU bound…? 別スレッドで 非同期に処理をする • I/Oは発生しないが時間のかかる 処理が存在する • 時間計算量の大きい計算が該当 する
25. 時間がかかる処理は CPU boundな処理と I/O boundな処理の ２つがある
26. CPU bound • CPUの処理速度によって律速され る • プロセスレベルで最適化するために は並列処理が有効 • 特定のワークロードに最適化された 専用ハードウェアを使うことで最適 化が可能（ネットワーク、グラフィッ ク、暗号化） I/O bound • ディスクのIOPS、レイテンシによっ て律速される • プロセスレベルで最適化するために は並行処理が有効 • HDD→SSDにするなどしてスルー プットやレイテンシを向上させること で最適化が可能
27. CPU bound • 文字列処理（正規表現など） • 全文検索 • 暗号化 • ハッシュ化 • 圧縮・解凍処理 • 画像処理 • 動画エンコード I/O bound • ファイルの読み取り・書き出し • APIへのリクエスト • メモリスワップ 基本的なWebアプリケーションはほとんど I/Oが問 題になる（テーブルフルスキャン , N + 1問題, 外部 API連携, …etc）
28. これらの処理で CPUを効率よく扱うた めに生まれたのが非同 期処理
29. 非同期処理ランタイムについて
30. 非同期処理を ユーザー空間レベルで 実現するための機構が 非同期処理ランタイム
31. 言語機能として組み込み • JavaScript（Promise） • Java（CompletableFuture） • Kotlin（Coroutines） • Scala（Future） • Go（Goルーチン） • C#（Task） • Erlang ライブラリとして提供 • Rust（tokio） • C言語 • PHP（ReactPHP） • Python（asyncio）
32. 非同期処理ランタイムを 構成しているもの
33. 非同期処理ランタイムを構成しているもの • Executor • Scheduler • (Reactor) • Task
34. 非同期処理ランタイムを構成しているもの • Executor • Scheduler • (Reactor) • Task TaskをSchedulerから受け 取って実際に処理を行う 実装によっては他の ExecutorからTaskを奪うこと もある（stealing）
35. 非同期処理ランタイムを構成しているもの • Executor • Scheduler • (Reactor) • Task Taskを受け取っていつ、どれ くらい実行するのかを決めて Executorに実行させる
36. 非同期処理ランタイムを構成しているもの • Executor • Scheduler • (Reactor) • Task 非同期なIOにおいて結果が 返ったときにTaskを実行可能 状態に変える
37. 非同期処理ランタイムを構成しているもの • Executor • Scheduler • (Reactor) • Task 処理の実行状態を管理する オブジェクト 一般にコルーチンを用いて実 装される
38. 非同期処理ランタイムの構成例 Executor Executor Executor Scheduler 実行キュー Task Task Task Task Task ランタイム I/Oキュー Task Reactor
39. 非同期処理ランタイムの構成例 Executor Executor Executor Scheduler 実行キュー Task Task Task Task Task ランタイム I/Oキュー Task Reactor Executorは処理をある程度 進めると実行キューに戻す
40. 非同期処理ランタイムの構成例 Executor Executor Executor Scheduler 実行キュー Task Task Task Task Task ランタイム I/Oキュー Task Reactor Executorは処理をある程度 進めると実行キューに戻す 処理は実行・中断・再開が 可能でないといけない
41. こんな非同期処理があったとき...
42. こんな非同期処理があったとき... 時間のかかる処理 （ネットワーク IO）
43. こんな非同期処理があったとき... 時間のかかる処理 （ネットワーク IO） ここまで到達したら一 時中断する
44. こんな非同期処理があったとき... 時間のかかる処理 （ネットワーク IO） ここまで到達したら一 時中断する レスポンスが 届いたら再開する
45. こんな非同期処理があったとき... 時間のかかる処理 （ネットワーク IO） ここまで到達したら一 時中断する レスポンスが 届いたら再開する こっちも同じ
46. タスクA,B,Cを A 1 →B 1 →C 1 →A 2 →…と進 めることで非同期処理が 可能になる
47. JavaScriptだとawaitは プログラマがランタイムに 中断ポイントを 明示する構文
48. Goはawaitがなくランタイムが 強制的に割り込んで処理の中断・再 開を行う →プログラマに非同期を極力意識さ せない言語設計になっている
51. 実際にJavaScriptで実装してみよう！
52. 今回作るもの • Executor • Scheduler • (Reactor) • Task シングルスレッドで実行する のでExecutorは必要ない 非同期I/Oはサポートしない 非同期処理の状態を管理す るTaskとTaskを実行する Schedulerのみを実装する
53. Scheduler + Executor 実行キュー 実装する非同期処理ランタイムの構成 Task Task ランタイム
54. https://github.com/nonaka-shu-lvgs/async-runtime
55. Runtime = Executor + Scheduler spawnされるとタスクを 実行キューに積む
56. JSで中断可能な関数（コルーチン）→ ジェネレータ Runtimeから処理を進めるように 指示がされるとコルーチンを進める コルーチンを進めた結果、 それが終了したら完了状態にする
61. 出力結果が同じに なった！
62. さらなる高みへ • 非同期処理ランタイムを実現するために今回はコルーチンを用いたがこの方式を 協調的マルチタスキングという ◦ 協調的マルチタスキングは非協調的マルチタスキングと比べて実装が容易というメリットがある反 面、あるタスクが無限ループに陥ると処理系全体が機能不全に陥るというデメリットがある ◦ 協調的マルチタスク方式を採用している言語は JavaScript, Python, Ruby, Rustなどがある • 非同期タスクが自発的に他のタスクに譲らず、処理系から割り込む方式を非協調 的マルチタスキングという ◦ 実装が複雑になる反面、無限ループに陥ったタスクを処理系が強制終了させることができる ◦ OSはこっち
63. さらなる高みへ ー 最適化への道 • V8エンジンの制約によりNode.jsでは不可能だったが、複数Executorによる並列処 理を実装することで更にスループットが向上する ◦ Rust（tokio）はイベント駆動 × マルチ軽量スレッド ◦ Goは同期IO × マルチ軽量スレッド ◦ Node.jsはイベント駆動 × シングルスレッド • 今回は非同期I/Oを実装しなかったが、I/Oをポーリングするのではなくイベント駆動 にすることで計算負荷が低減する
64. Thank you for listening!