FastAPIでのasync defとdefの使い分け

Slide 1

Slide 1 text

Slide 2

Slide 2 text

CONFIDENTIAL Copyright © Acroquest Technology Co., Ltd. All rights reserved. 佐々木峻 Acroquest Technology株式会社執筆 Interface誌 • 2023年Interface 4月号 ChatGPTについて • 2023年Interface 11月号ローカルLLMについて • 2024年Interface 8月号 GPU x ローカルLLMについて開発 • NLP／検索が専門 • LLMを使ったRAGソリューションの開発資格 • Azure Developer Associate • Azure Data Engineer Associate • Azure Data Scientist Associate

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Copyright © Acroquest Technology Co., Ltd. All rights reserved. 4 前提 CPUは意外と暇 I/Oを待っている間、CPUは何もしてない。暇。外部アクセス等のI/O処理が多いとき、CPUはその性能をフルに発揮できてない I/O待ち CPU処理例）DBアクセスが発生するWebサーバの処理 ※I/O待ちが多い処理を「I/Oバウンド」、I/O待ちではなくCPU処理が多い場合を「CPUバウンド」と呼ぶ。今回取り上げたいのはI/Oバウンドな処理サーバ処理 I/O待ちサーバ処理 I/O待ち DBアクセス DBアクセス

Slide 5

Slide 5 text

Copyright © Acroquest Technology Co., Ltd. All rights reserved. 5 前提２暇してもらっては困る CPUは明らかに暇なのに、何も効率化しないと、 CPUが忙しくないが利用者は待たされる事態となる Aさんのリクエスト例）DBアクセスが発生するWebサーバの処理で、1プロセス1コアで何も考えずに処理した場合このあと説明する並列処理、並行処理、非同期処理などで暇をなくすことが重要！ Bさんのリクエスト Cさんのリクエストサーバ処理 I/O待ちサーバ処理サーバ処理 I/O待ちサーバ処理サーバ処理 I/O待ちサーバ処理待機さらに待機…

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

CPUコア1 CPUコア1 CPUコア1 それぞれのイメージ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 8 並列処理並行処理非同期処理処理 I/O待ち I/O待ちイベントループマルチプロセスマルチスレッド async/await 処理 I/O待ち処理 I/O待ち処理 I/O待ち処理処理処理 CPUコア2 処理 I/O待ち CPUコア3 処理 I/O待ち • 処理をプロセスとして起動 • プロセスごとにCPUコアを割り当てて同時並列に処理プロセス1 プロセス2 プロセス3 スレッド1 スレッド2 スレッド3 • 処理をスレッドとして起動全スレッドは1コアで動作 • I/O待ち中に他のスレッドが処理を進めることで同時処理 • １コアで処理を実施 • I/O待ちの開始終了はイベントループが管理。待ちが終了次第、空きを見つけて続きの処理をそれぞれ実施処理処理処理処理処理処理処理処理処理

Slide 9

Slide 9 text

Copyright © Acroquest Technology Co., Ltd. All rights reserved. 9 Pythonにおける並列処理・並行処理・非同期処理並列処理並行処理非同期処理マルチプロセスマルチスレッド async/await • multiprocessingという標準ライブラリを利用 Pythonでの実装 • threadingという標準ライブラリを利用 • async/await機能を利用 • プロセス自体を分けるので CPUリソースを効率よく使うことができるメリット • API呼び出しなどのI/O バウンドな処理の場合に高速化が期待できる。 • 共有リソースの実装などが比較的容易 • API呼び出しなどのI/O バウンドな処理の場合に高速化が期待できる。 • プロセス間の値の受け渡しなどの実装がやや難しいデメリット • コンテキストスイッチがありスレッドが増えると速度が低下する • 非同期処理を利用する時にはasync/await専用の実装が必要。

Slide 10

Slide 10 text

それぞれのイメージ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 10 なぜスレッドが分かれているのに順番を待っているのか？ CPUコア1 CPUコア1 CPUコア1 並列処理並行処理非同期処理処理 I/O待ち I/O待ちイベントループマルチプロセスマルチスレッド async/await 処理 I/O待ち処理 I/O待ち処理 I/O待ち処理処理処理 CPUコア2 処理 I/O待ち CPUコア3 処理 I/O待ちプロセス1 プロセス2 プロセス3 スレッド1 スレッド2 スレッド3 処理処理処理処理処理処理処理処理処理

Slide 11

Slide 11 text

Pythonにおけるマルチスレッドの罠 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 11 1. Javaだとスレッドを分けるとコアを複数利用できるが、 Pythonだと1つのコアしか利用できない ⇒Global Interpreter Lock 2. Pythonの処理系の一つであるCPythonなどにある制約 • JythonなどGILがない処理系もあるので、その場合は今回の話の対象外 3. Pythonでは一つのプロセスが同時に実行できるスレッドは一つだけ。 4. なので、CPUを多く使う処理ではマルチスレッドにしてもマルチプロセスとは違い高速化はしない。 5. 左のようにI/O待ちがある処理では、I/O待ちのときにスレッドを切り替えて処理を進められる。並行処理マルチスレッド処理 I/O待ち処理 I/O待ち処理 I/O待ち

Slide 12

Slide 12 text

それぞれのイメージ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 12 やっていること同じなのでは？ CPUコア1 CPUコア1 CPUコア1 並列処理並行処理非同期処理処理 I/O待ち I/O待ちイベントループマルチプロセスマルチスレッド async/await 処理 I/O待ち処理 I/O待ち処理 I/O待ち処理処理処理 CPUコア2 処理 I/O待ち CPUコア3 処理 I/O待ちプロセス1 プロセス2 プロセス3 スレッド1 スレッド2 スレッド3 処理処理処理処理処理処理処理処理処理

Slide 13

Slide 13 text

マルチスレッドとasync/await Copyright © Acroquest Technology Co., Ltd. All rights reserved. 13 スレッドの切り替えにもコストがかかる切り替え時間並行処理非同期処理マルチスレッド async/await 一つのスレッドの中でI/O待ちのときに次の処理を進めているだけ。スレッドの切り替えは、async/awaitの処理切替よりも時間がかかる。（コンテキストスイッチ）

Slide 14

Slide 14 text

Slide 15

Slide 15 text

マルチスレッドとasync/await Copyright © Acroquest Technology Co., Ltd. All rights reserved. 15 async/awaitは実装に慣れが必要（個人の感想です） 1. これまで同期処理しか書いてこなかったエンジニアからすると最初はなじみづらい。 2. async/awaitを使用する場合、その処理内で呼ばれるメソッドなどはすべてasync/awaitを意識したコードにする必要があり、ライブラリも対応したものしか使えない。例）requestsライブラリはasyncに対応していない。

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

FastAPIにおけるasync defとdefの違い Copyright © Acroquest Technology Co., Ltd. All rights reserved. 18 async defは非同期処理、defはマルチスレッド 1. FastAPIはPath Operation関数をdefで書いた場合、リクエストを受けたらスレッドを自動で起こしてくれる。 2. async defで書かれている場合は、非同期処理にとして扱われるため、スレッドは作成されない。 defを利用する場合 async defを利用する場合

Slide 19

Slide 19 text

FastAPIにおけるasync defとdefの違い Copyright © Acroquest Technology Co., Ltd. All rights reserved. 19 async defは非同期処理、defはマルチスレッド 1. FastAPIはPath Operation関数をdefで書いた場合、リクエストを受けたらスレッドを自動で起こしてくれる。 2. async defで書かれている場合は、非同期処理にとして扱われるため、スレッドは作成されない。 async defの中で同期処理を実装すると、シングルスレッドの同期処理になってしまう

Slide 20

Slide 20 text

検証 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 20 async def＋同期処理はどれくらい遅くなるのか 1. OpenAIのAPIにリクエストを投げる処理を例に実験してみる。 2. async def+同期処理とdef+同期処理で実装したAPIに、それぞれに1分間に100リクエスト送ってレスポンスタイムの推移を比較する環境 1. クラウド上のLinux VM（vCPU:1, メモリ:1GB, OS: Linux） 2. Python 3.12

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

まとめ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 24 Pythonにおけるマルチプロセス・マルチスレッド・async/awaitは処理がCPUバウンドかI/Oバウンドで使い分けるのが良い FastAPIにおけるPath Operation関数のasync defはasync/await、 defはマルチスレッドとして処理される Fast APIのasync def内で同期処理として実装すると、パフォーマンス問題につながるので、同期処理の場合はdefを使う async defはコンテキストスイッチがない分、マルチスレッドよりも高速なので、実装さえできれば大量のリクエストをさばきたい場合は有効１ 2 3 4