ASGIアプリケーション入門 - こわくないasyncio基礎と非同期IO

ASGI アプリケーション⼊⾨
Junya Fukuda
PyConJP 2021
こわくないasyncio基礎と⾮同期IO
FastAPIを例に

View Slide

•෱ా ൏໵ʢJunya Fukudaʣʢ@JunyaFffʣ

•גࣜձࣾ೔ຊγεςϜٕݚʢJSLʣॴଐ ௕໺ݝͷձࣾ

•WebΤϯδχΞ

•GEEKLAB.NAGANO - ίϛϡχςΟεϖʔεӡӦ

•Effective Python ͷಡॻձ΍ͬͯ·͢ 📚

•ʢ͓͠͝ͱͰʣόϦϡʔϒοΫε

•ຊ޷͖ʹѪ͞ΕΔαʔϏεΛ໨ࢦͯ͠ʢݹຊങऔɾൢചʣ
ΪʔΫϥϘ௕໺ಡॻձ

View Slide

ΪʔΫϥϘ௕໺OPUF
•εϙϯαʔάοζ

•γϧΫεΫϦʔϯͰख࡮ΓʂΦϯε૿͠ΊͷϏοΫγϧΤοτ

•IT΋ͦΕҎ֎ͷ΋ͷͮ͘Γ΋΍ͬͯΔίϫʔΩϯάεϖʔε

•ϒʔεʹ͖ͯ߹ݴ༿Λฉ͍ͯܠ඼Λਃ͠ࠐΜͰͶʂ

•എ໘͸Zen of Pythonʂେࣄͳ͜ͱΛϢʔϞΞަ͑ͯഎෛͬͯΈͯ͸ʁ

View Slide

Python実践
•2022೥1݄ൃച༧ఆ

•ϖʔδ਺: ະఆ

•ֹۚ: ະఆ

•PythonΤϯδχΞҭ੒ਪਐڠձ؂म

•ʮPythonϥΠϒϥϦݫબϨγϐʯΛେ෯ʹՃචɺվగ!!!

View Slide

みなさんPythonで
Webやっていますか？✋

View Slide

JetBrains 2020年の調査
https://www.jetbrains.com/ja-jp/lp/devecosystem-2020/python/

View Slide

2019 Django 3 Ͱ ASGIରԠ
2021 Flask 2 Ͱ asyncioରԠ
ASGIରԠ

View Slide


View Slide

って

View Slide

って
•PythonͷWeb ϑϨʔϜϫʔΫ

View Slide

って
•tiangolo ࢯʹΑΔOSS

View Slide

って
•ߴύϑΥʔϚϯεɾߴ଎ͳίʔσΟϯάɾগͳ͍όάɾ௚ײతɾ؆୯ɾ୹͍ɾݎ࿚ੑ ✨

View Slide

って
2018-12-12 2019-04-19 2019-08-26 2020-01-01 2020-05-08 2020-09-13 2021-01-20 2021-05-28 2021-10-03
Time
0
4700
9300
13900
18500
23200
27800
32400
37000
Stargazers
•ελʔ਺ͷભҠ
https://starchart.cc/tiangolo/fastapi

View Slide

って
•σʔλ෦ɿPydantic Web෦෼ɿStarlette

View Slide

って
•ܕώϯτɾOpenAPIʢSwaggerʣ
https://fastapi.tiangolo.com/

View Slide

•ߴύϑΥʔϚϯε
って
•ܕώϯτɾOpenAPIʢSwaggerʣ

View Slide

って
•ߴύϑΥʔϚϯε

View Slide

って
•Fast: Very high performance, on par with NodeJS and Go

ʢߴ଎: NodeJS ΍ Go ฒΈͷͱͯ΋ߴ͍ύϑΥʔϚϯεʣ
•ߴύϑΥʔϚϯε

View Slide

って

•ߴύϑΥʔϚϯε
•͍Ζ͍Ζͳ֯౓͕͋Δ

View Slide

って

•ߴύϑΥʔϚϯε
•͍Ζ͍Ζͳ֯౓͕͋Δ - ڞ௨͢Δͷ͸ඇಉظϓϩάϥϛϯά

View Slide

って

•ߴύϑΥʔϚϯε
•FastAPIͬͯඇಉظʁ

View Slide

って

•ߴύϑΥʔϚϯε
•FastAPIͬͯඇಉظʁ •Webͷ෦෼͸ɺStarlette

View Slide

って

•ߴύϑΥʔϚϯε
•FastAPIͬͯඇಉظʁ •Webͷ෦෼͸ɺStarlette = ASGIରԠͷWeb FW
ASGIରԠ

View Slide

•WebαʔόͱϑϨʔϜϫʔΫΛͭͳ͙ɺ࢓༷
って？
ASGIରԠ

View Slide

•WSGIͷਫ਼ਆతޙܧ
って？
ASGIରԠ

View Slide

って？
ASGIରԠ
•WSGI
•αʔόɿGunicorn uWSGI ϑϨʔϜϫʔΫɿDjango, Flask, Pyramid

View Slide

って？
ASGIରԠ
•WSGI
•αʔόɿGunicorn uWSGI ⁶ ϑϨʔϜϫʔΫɿDjango, Flask, Pyramid

View Slide

•WSGI
って？
ASGIରԠ

View Slide

•WSGI
って？
ASGIରԠ
•ASGI
•αʔόɿUvicorn, Hypercorn ϑϨʔϜϫʔΫɿDjango, FastAPI, Starlette

View Slide

•WSGI
って？
ASGIରԠ
•ASGI
•αʔόɿUvicorn, Hypercorn ⁶ ϑϨʔϜϫʔΫɿDjango, FastAPI, Starlette

View Slide

•WSGI
って？
ASGIରԠ
•ASGI
•αʔόɿUvicorn, Hypercorn ⁶ ϑϨʔϜϫʔΫɿDjango, FastAPI, Starlette
•WSGIͱASGIɺͳʹ͕ҧ͏ͷ͔

View Slide

WSGI

View Slide

WSGI Web Server Gateway Interface

View Slide

ASGI

View Slide

ASGI Asynchronous Server Gateway Interface

View Slide

⾮同期

View Slide

⾮同期
ASGI= asyncio

View Slide

ASGI対応
•Gunicorn ΍ uWSGI ⁶ Django ΍ Flask, Pyramid
•Uvicorn ΍ Hypercorn ⁶ Django ΍ FastAPI, Starlette
って？
asyncioに対応したインターフェース仕様

View Slide

本⽇のおしながき
•ASGI Λར༻͢Δ্Ͱඞཁͳ asyncio جૅ

View Slide

•ASGIΞϓϦέʔγϣϯΛ࢖ͬͨasyncioͷ࢖͍ॴ

View Slide

•ʢFastAPIˍasyncpgΛྫʹʣ

View Slide

•asyncio͜Θ͍ͳ͋…
•ASGIϑϨʔϜϫʔΫͬͯ݁ہͳʹ͕͓͍͍͠ͷ…

View Slide

•asyncio ͪΐͬͱා͘ͳ͘ͳ͔ͬͨ΋ 👋

View Slide

•asyncio ͪΐͬͱා͘ͳ͘ͳ͔ͬͨ΋ 👋
•ASGIΞϓϦͷಋೖΛݕ౼ͯ͠ΈΑʂ

View Slide

すべてはasync/awaitから始まった

View Slide

>
IUUQT
fl
PSJNPOEEFWCMPHBSUJDMFTJOUSPEVDUJPOUPBTHJBTZODQZUIPOXFC
すべてはasync/awaitから始まった

View Slide

asyncioはこわくない

View Slide

•Python 3.4 Ͱ ௥Ճ͞Εͨඪ४ϥΠϒϥϦ

View Slide

•Python 3.5 Ͱ async/await ߏจ

View Slide

•Python 3.6 Ͱ ඇಉظδΣωϨʔλʔ / ඇಉظ಺แදه

View Slide

•ฒߦॲཧͷ ίʔυΛॻͨ͘ΊͷϥΠϒϥϦ

View Slide

•γϯάϧεϨουͰΠϕϯτϧʔϓͰඇಉظ IO

View Slide

•ࠓ೥RFCͰඪ४Խ͞ΕͨWebن֨ QUIC ͷॳظͷϦϑΝϨϯεత࣮૷ aioquic

View Slide

asyncio めっちゃこわい

View Slide

•͜Θ͔ͬͨ

View Slide

•͜Θ͔ͬͨ
•Using Asyncio in Python - ΦϥΠϦʔ ʢ🐸ຊʣ
•2ͭͷग़ձ͍
https://www.oreilly.com/library/view/using-asyncio-in/9781492075325/

View Slide

•͜Θ͔ͬͨ
•2ͭͷग़ձ͍
https://www.oreilly.com/library/view/using-asyncio-in/9781492075325/
https://blog.jrfk.dev/posts/using-asyncio-in-python/

View Slide

•͜Θ͔ͬͨ
•ίϧʔνϯ͸ා͘ͳ͍ - Minimum Viable Programmer ʢϒϩάʣ
•2ͭͷग़ձ͍

View Slide

•͜Θ͔ͬͨ
•ίϧʔνϯ͸ා͘ͳ͍ - Minimum Viable Programmer ʢϒϩάʣ
•2ͭͷग़ձ͍
•࣮૷Ͱ஌Δasyncio -Πϕϯτϧʔϓͷਖ਼ମͱ͸ - REI SUYAMA ͞Μ

•DAY2 - 10.16(SAT) 16:20 - #pyconjp_2

View Slide

•asyncio ͸௒ڊେ
対象はアプリーケーション開発者向けのasyncio

View Slide

•ެࣜυΩϡϝϯτ΋ߴϨϕϧ APIͱ௿ϨϕϧAPIʹ෼͔ΕͯΔ

View Slide

•Θͨͨͪ͠͸ΞϓϦέʔγϣϯ։ൃऀ

View Slide

•ϑϨʔϜϫʔΫ΍ϥΠϒϥϦ։ൃऀ޲͚ͷػೳ͸ͪΐͬͱ͓͍͓͖ͯ·͠ΐ͏

View Slide

•ΞϓϦέʔγϣϯ։ൃऀ޲͚Λର৅ʹͨ͠asyncio

View Slide

•ΞϓϦέʔγϣϯ։ൃऀ޲͚Λର৅ʹͨ͠asyncio
•લఏ஌ࣝͱͯ͠ݴ༿ͷઆ໌ͱɺasyncioͰΘͨͨͪ͠ʹͱͬͯඞཁͳ͜ͱ

View Slide

asyncioはこわくないこわい
•ઌ೔RFCͰඪ४Խ͞ΕͨWebن֨ QUIC ͷϦϑΝϨϯεత࣮૷ aioquic

View Slide

⾔葉を完全に理解する

View Slide

IUUQTEPDTQZUIPOPSHKBMJCSBSZBTZODJPIUNM

View Slide

前提知識
並⾏処理

View Slide

前提知識
並⾏処理
並列処理

View Slide

前提知識
並⾏処理
並列処理
逐次処理

View Slide

前提知識
並⾏処理
並列処理
逐次処理
タスクの処理

View Slide

前提知識
並⾏処理
concurrent processing

View Slide

前提知識
並⾏処理
複数の処理を同時に実⾏するという意味

View Slide

前提知識
並⾏処理
複数の処理を同時に実⾏するという意味
イメージ重視

View Slide

前提知識
並⾏処理
ฒߦॲཧͱͦͷ۩ମతͳॲཧํࣜͷͭͰ͋Δฒྻॲཧ͸ɺ
ιϑτ΢ΣΞ޻ֶͷ෼໺ʹ͓͍ͯ΋ͬͱ΋෯޿͍τϐοΫͷͭͰ͢ɻ
਺े࡭ͷຊΛ΋ͬͯͯ͠΋ɺฒߦॲཧʹ͓͍ͯॏཁͳϙΠϯτ΍
ฒߦॲཧϞσϧʹؔͯ͠े෼ͳٞ࿦͸Ͱ͖ͳ͍Ͱ͠ΐ͏ɻ
https://www.kadokawa.co.jp/product/302105001236/
ΤΩεύʔτ1ZUIPOϓϩάϥϛϯάվగ൛
ൃച

View Slide

前提知識
並⾏処理
https://www.oreilly.co.jp/books/9784873119595/
並⾏コンピューティング技法
――実践マルチコア/マルチスレッドプログラミング
並⾏プログラミング⼊⾨
――Rust、C、アセンブリによる実装からのアプローチ
https://www.oreilly.co.jp/books/9784873114354/

View Slide

イメージ重視

View Slide

並⾏処理
並列処理
逐次処理

View Slide

並⾏処理
並列処理
通常の関数を呼び出していく処理
逐次処理

View Slide

並⾏処理
並列処理
multiprocessingモジュール
逐次処理

View Slide

並⾏処理
並列処理
multiprocessingモジュール
threadingモジュール asyncioモジュール
逐次処理

View Slide

ちょっとわかりにくいので
レストラン🍽に例えます

View Slide

レストラン

View Slide

レストラン
どんなタスクが
あるでしょうか

View Slide

注⽂をとる

View Slide

料理を作る
注⽂をとる

View Slide

料理を作る
注⽂をとる料理を運ぶ

View Slide

逐次処理

View Slide

注⽂を取る - 料理を作る - 料理を運ぶ
逐次処理

View Slide

注⽂を取る - 料理を作る - 料理を運ぶ
完了してから次のタスク
逐次処理

View Slide

並列処理

View Slide

並列処理
注⽂を取る
料理を作る
料理を運ぶ

View Slide

並列処理
注⽂を取る
料理を作る
料理を運ぶ
複数のタスクを同時に着⼿する

View Slide

並⾏処理

View Slide

並⾏処理
注⽂を取る - 料理を作る - 料理を運ぶ注⽂を取る - 料理を作る - 料理を運ぶ注⽂を取る - 料理を作る - 料理を運ぶ

View Slide

並⾏処理
asyncio
シングルスレッド

View Slide

並⾏処理
asyncio
シングルスレッド = ワンオペ

View Slide

並⾏処理
asyncio
同じ⼈

View Slide

並⾏処理
asyncio
どのタイミングでタスクの切り替えをするのでしょうか 🤔

View Slide

asyncio
あなた

View Slide

asyncio
あなたお客様

View Slide

asyncio
あなたお客様
←注⽂

View Slide

asyncio
あなた考え中のお客様
←注⽂待ち

View Slide

asyncio
←注⽂待ち
あなたから⾒て、
外部のお客様、から
注⽂という
⼊⼒を待つ状態

View Slide

asyncio
←注⽂待ち
注⽂という

View Slide

a
←注⽂待ち
注⽂という
⾮同期IO
syncio

View Slide

a sync io

View Slide

a sync io
⼊⼒

View Slide

a sync io
同期⼊⼒

View Slide

a sync io
しない同期⼊⼒

View Slide

asyncio
⾮同期IO

View Slide

asyncioはこわくないこわい
•ઌ೔RFCͰඪ४Խ͞ΕͨWebن֨ QUIC ͷϦϑΝϨϯεత࣮૷ aioquic
γϯάϧεϨου
ฒߦॲཧ
ඇಉظ IO

View Slide

ฒߦॲཧ
asyncioの周辺はちょっとこわくない
γϯάϧεϨου
ඇಉظ IO

View Slide

ฒߦॲཧ
γϯάϧεϨου
ඇಉظ IO
ϫϯΦϖ

View Slide

ฒߦॲཧ
γϯάϧεϨου
ඇಉظ IO
ϫϯΦϖ
注⽂という
⼊⼒を待たないで他のことする

View Slide

asyncio

View Slide

asyncio🌷

View Slide

asyncio で
覚えておくことは3つ
asyncio

View Slide

イベントループ

View Slide

コルーチン

View Slide

コルーチン
タスク

View Slide

コルーチン
タスク
→ やること

View Slide

コルーチン
タスク
→ やること
→ やること+実⾏状態をもつ

View Slide

コルーチン
タスク
→ やること
→ やることを管理するもの
→ やること+実⾏状態をもつ

View Slide

レストラン

View Slide

asyncio

View Slide

asyncio
コルーチンやタスク

View Slide

asyncio
注⽂を取注⽂を取注⽂を取
コ

View Slide

asyncio
コ

View Slide

asyncio
（あくまでイメージ）
コ

View Slide

コルーチン
タスク

View Slide

•ίϧʔνϯͱ͸ɺϧʔνϯʢ޿͍ҙຯͰͷؔ਺ʣͷҰछ
コルーチン

View Slide

コルーチン
•Co-routine ͱॻ͘

View Slide

コルーチン
•ॲཧΛ్தͰதஅͯ͠࠶։Ͱ͖Δϧʔνϯ

View Slide

コルーチン
•ؔ਺ͷఆٛʹ async Λ͚ͭΔ ɺதஅͯ͠࠶։͢Δͱ͜Ζʹ await

View Slide

コルーチン
•ؔ਺ͷఆٛʹ async Λ͚ͭΔ ɺதஅͯ͠࠶։͢Δͱ͜Ζʹ await
• asyncio Λ࢖͏্Ͱͷجຊͷ͖

View Slide

考え中のお客様

View Slide

関数を定義
def customers_thinking_order():

... # ॲཧ

View Slide

def customers_long_thinking_order():

... # ࣌ؒͷ͔͔Δॲཧ
コルーチンを定義
async
•async Λ͚ͭΔ͚ͩ
•͍ͭ͜͸ίϧʔνϯؔ਺ʹͳΔ
•def Ͱఆٛͨؔ͠਺ͱ΄΅มΘΒͳ͍

View Slide

async def customers_long_thinking_order():

asyncio.sleep(10000)

return “͟Δͦ͹”
時間のかかる処理にawait
await
•࣌ؒͷ͔͔ΔॲཧʹawaitΛ͚ͭΔ
•͔ͦ͜Βதஅͱ࠶։͢Δ
•await Λ͚ͭΔ͜ͱ͕Ͱ͖Δͷ͸ɺίϧʔνϯ΍λεΫʢͳͲʣ

View Slide

関数を実⾏

time.sleep(10000)

>>> print(customers_long_thinking_order())
͟Δͦ͹
# ௕ߟͷͷͪ

View Slide


await asyncio.sleep(10000)

コルーチンを実⾏
async

View Slide


at 0x10d949ec0>


async

View Slide


at 0x10d949ec0>
݁ՌΛड͚औΕͳ͍


async

View Slide

コルーチン
タスク

View Slide

asyncio
コ

View Slide

•C10K໰୊΁ͷճ౴
•libuv(nodejs)ͷத֩Λͳ͢࢓૊Έ

View Slide

•C10K໰୊΁ͷճ౴
•ίϧʔνϯ΍λεΫΛεέδϡʔϦϯά

View Slide

•C10K໰୊΁ͷճ౴
•ڠௐͯ͠ฒߦʹ࣮ߦ͢ΔͨΊͷ࢓૊Έ

View Slide

•C10K໰୊΁ͷճ౴
•ͦ͜·Ͱҙࣝ͠ͳͯ͘΋ྑ͍ʢͦ͜ʹ͍Δ͜ͱ͸஌ͬͯͯʣ

View Slide

•C10K໰୊΁ͷճ౴
•ͦ͜·Ͱҙࣝ͠ͳͯ͘΋ྑ͍ʢͦ͜ʹ͍Δ͜ͱ͸஌ͬͯͯʣ
•asyncio ͷத֩Λͳ͢࢓૊Έ

View Slide

•Python 3.7 Ͱ௥Ճ͞Εͨ asyncio.run()
•ΠϕϯτϧʔϓΛ࡞Δ
•λεΫ͕ऴΘͬͨΒ࡟আͯ͘͠ΕΔ
•asyncio.run(corutine) Λड͚औΔ͜ͱ͕Ͱ͖Δ

View Slide

async def long_thinking():

print(“ͪΐͬͱ଴ͬͯͶ”)


イベントループを作る

View Slide

async def order():

print(“͝஫จ͸ʁ”)

menu = await long_thinking()

print(menu)




View Slide

async def order():



print(menu)



asyncio.run(order()) # ΠϕϯτϧʔϓΛ࡞Δ

View Slide

async def order():



print(menu)



͝஫จ͸ʁ

ͪΐͬͱ଴ͬͯͶ

View Slide

async def order():



print(menu)



͝஫จ͸ʁ

ͪΐͬͱ଴ͬͯͶ
# …௕ߟͷͷͪ 😴

View Slide

async def order():



print(menu)



͝஫จ͸ʁ

ͪΐͬͱ଴ͬͯͶ
͟Δͦ͹ # ίϧʔνϯͷ໭ΓΛ

ड͚औͬͯprint
# …௕ߟͷͷͪ 😴

View Slide

async def order():



print(menu)




View Slide

def order():


menu = long_thinking()

print(menu)
def long_thinking():


sleep(10000)

order() # ࣮ߦ͢Δ

View Slide

async def order():



print(menu)




View Slide

考え中のお客様 3⼈とも

View Slide

考え中のお客様 3⼈とも
どうせ待つなら同時に
聞いてしまいたい…

View Slide



await asyncio.sleep()

await の動作を確認する
async def order():



print([menu])

View Slide

async def long_thinking(num: int):


await asyncio.sleep(num)

return num, “͟Δͦ͹”
async def order():



print([menu])

View Slide

async def order():



print([menu])




View Slide




async def order():


menu1 = await long_thinking(1)



print([menu1, memu2, menu3])

View Slide




async def order():





並⾏実⾏すると3秒で終わるはず
asyncio.run(order())

View Slide




async def order():






l͝஫จ͸ʁz
ͪΐͬͱ଴ͬͯͶ
ͪΐͬͱ଴ͬͯͶ
ͪΐͬͱ଴ͬͯͶ
< ͟Δͦ͹
͟Δͦ͹
͟Δͦ͹
>
UJNF

View Slide




async def order():



print(menu1)


print(menu2)


print(menu3)

View Slide


l͝஫จ͸ʁz
ͪΐͬͱ଴ͬͯͶ
͟Δͦ͹

ͪΐͬͱ଴ͬͯͶ
͟Δͦ͹

ͪΐͬͱ଴ͬͯͶ
b͟Δͦ͹

UJNF



async def order():



print(menu1)


print(menu2)


print(menu3)

View Slide


コルーチンをawaitするだけでは
並⾏にならない
1つのコルーチンが終わってから
次のコルーチン普通の関数実⾏
と同じ
l͝஫จ͸ʁz
ͪΐͬͱ଴ͬͯͶ
͟Δͦ͹

ͪΐͬͱ଴ͬͯͶ
͟Δͦ͹

ͪΐͬͱ଴ͬͯͶ
b͟Δͦ͹

UJNF



async def order():



print(menu1)


print(menu2)


print(menu3)

View Slide

コルーチン
タスク

View Slide

•TaskΦϒδΣΫτ
•ίϧʔνϯΛϥοϓ͠ɺ࣮ߦঢ়ଶΛ΋ͭ
•࡞Δํ๏͸େ͖͘2ͭ
•Python3.7 Ͱ௥Ճ͞Εͨ asyncio.create_task()
•Πϕϯτϧʔϓʹొ࿥͢Δ
•ฒྻ࣮ߦΛॿ͚Δ asyncio.gather()
タスク

View Slide

初めてのタスク



async def order():






View Slide


async def order():









View Slide




async def order():


task1 = asyncio.create_task(long_thinking(1))



menu1 = await task1

menu2 = await task2

menu3 = await task3


View Slide

async def order():





menu1 = await task1

menu2 = await task2

menu3 = await task3


実⾏してみましょう




View Slide

async def customers_long_thinking_order(num: int):



async def order():





menu1 = await task1

menu2 = await task2

menu3 = await task3


ͪΐͬͱ଴ͬͯͶ
ͪΐͬͱ଴ͬͯͶ
ͪΐͬͱ଴ͬͯͶ
< ͟Δͦ͹
͟Δͦ͹
͟Δͦ͹
>
UJNF

View Slide




async def order():





menu1 = await task1

print(menu1)

menu2 = await task2

print(menu2)

menu3 = await task3

print(menu2)


View Slide

async def order():





menu1 = await task1

print(menu1)

menu2 = await task2

print(menu2)

menu3 = await task3

print(menu2)

l͝஫จ͸ʁz
ͪΐͬͱ଴ͬͯͶ
ͪΐͬͱ଴ͬͯͶ
ͪΐͬͱ଴ͬͯͶ
͟Δͦ͹

͟Δͦ͹

͟Δͦ͹

UJNF




View Slide

gatherを利⽤して結果をまとめて受け取る



async def order():


tasks = [

long_thinking(3000),

long_thinking(200),

long_thinking(10),

]

result = await asyncio.gather(*tasks)

print(result)


View Slide

async def order():


tasks = [

long_thinking(3000),

long_thinking(200),

long_thinking(10),

]


print(result)

gatherを利⽤して結果をまとめて受け取る




l͝஫จ͸ʁz
ͪΐͬͱ଴ͬͯͶ
ͪΐͬͱ଴ͬͯͶ
ͪΐͬͱ଴ͬͯͶ
< ͟Δͦ͹
͟Δͦ͹
͟Δͦ͹
>
UJNF

View Slide

ίϧʔνϯ
λεΫ
ίϧʔνϯΛΠϕϯτϧʔϓʹొ࿥ɻ

ྑ͖ʹܭΒͬͯ੾Γସ͑ͯ͘ΕΔɻฒߦॲཧͯ͘͠ΕΔɻ
ؔ਺ʹ async Λ͚ͭΔ͚ͩ ؊͸await
async def

await λεΫ ·ͨ͸ ίϧʔνϯ
create_task(ίϧʔνϯ) - Πϕϯτϧʔϓʹొ࿥

gather(λεΫ ·ͨ͸ ίϧʔνϯ) - ·ͱΊͯ݁ՌΛड͚औΕΔ

View Slide

asyncio
⾮同期IO

View Slide

シンプルな asyncio のサンプル




View Slide

⾮同期IO - asyncio

View Slide

外部⼊⼒を待つ状態

View Slide

外部⼊⼒を待つ状態
•I/Oό΢ϯυ

View Slide

•I/Oό΢ϯυ
•σʔλϕʔε΁ͷ઀ଓ
•WebAPIͷར༻ʹΑΔHTTP௨৴

View Slide


View Slide

検索しないと決められない

View Slide

asyncio.sleep(10000) 3⼈とも

View Slide

HTTP通信 I/Oバウンド
3⼈とも

View Slide

HTTP通信 I/Oバウンド
3⼈とも
requests

View Slide

考え中のお客様がgoogle検索
async def long_think(num: int):

print("ͪΐͬͱ଴ͬͯͶ")

response = requests.get("https://www.google.com/search?q=͓͍͍͓͠ڶഴ͸ʁ")

return num, response, "͟Δͦ͹"

async def order():

print("“͝஫จ͸ʁ”")

tasks = [long_think(3), long_think(2), long_think(1)]


print(result)

start = time()


print("time: ", time() - start)

View Slide





async def order():




print(result)

start = time()



l͝஫จ͸ʁz
ͪΐͬͱ଴ͬͯͶ
ͪΐͬͱ଴ͬͯͶ
ͪΐͬͱ଴ͬͯͶ
< 3FTQPOTF> b͟Δͦ͹`
>
UJNF

View Slide




print(“ܾ·ͬͨʂ")


async def order():




print(result)

start = time()



View Slide




print(“ܾ·ͬͨʂ")


async def order():




print(result)

start = time()



l͝஫จ͸ʁz
ͪΐͬͱ଴ͬͯͶ
ܾ·ͬͨʂ
ͪΐͬͱ଴ͬͯͶ
ܾ·ͬͨʂ
ͪΐͬͱ଴ͬͯͶ
ܾ·ͬͨʂ
< 3FTQPOTF> b͟Δͦ͹`
>
UJNF

View Slide





async def order():




print(result)

start = time()

asyncio.run(order(), debug=True)


View Slide





async def order():




print(result)

start = time()



l͝஫จ͸ʁz
ͪΐͬͱ଴ͬͯͶ
UPPLTFDPOET
ͪΐͬͱ଴ͬͯͶ
UPPLTFDPOET
ͪΐͬͱ଴ͬͯͶ
UPPLTFDPOET
3FTQPOTF> ͟Δͦ͹
>
UJNF

View Slide

asyncio
コ

View Slide

async def long_think(client, num: int):


response = await client.get("https://www.google.com/search?q=͓͍͍͓͠ڶഴ͸ʁ")


async def order():


async with httpx.AsyncClient() as client:

tasks = [long_think(client, 1), long_think(client, 2), long_think(client, 3)]


print(result)

start = time()



View Slide

async def long_think(client, num: int):


response = await client.get("https://www.google.com/search?q=͓͍͍͓͠ڶഴ͸ʁ")


async def order():


async with httpx.AsyncClient() as client:

tasks = [long_think(client, 1), long_think(client, 2), long_think(client, 3)]


print(result)

start = time()


l͝஫จ͸ʁz
ͪΐͬͱ଴ͬͯͶ
ͪΐͬͱ଴ͬͯͶ
ͪΐͬͱ଴ͬͯͶ
< 3FTQPOTF0,> b͟Δͦ͹`

UJNF

View Slide

ίϧʔνϯ
λεΫ
Πϕϯτϧʔϓ
੾ΓସΘΔઌͷίϧʔνϯɻΠϕϯτϧʔϓʹొ࿥͓ͯ͘͠ͱ

ྑ͖ʹܭΒͬͯ੾Γସ͑ͯ͘ΕΔɻ

View Slide

ίϧʔνϯ
λεΫ
Πϕϯτϧʔϓ
੾ΓସΘΔઌͷίϧʔνϯɻΠϕϯτϧʔϓʹొ࿥͓ͯ͘͠ͱ

ྑ͖ʹܭΒͬͯ੾Γସ͑ͯ͘ΕΔɻ
登録してあるタスクをawait
のタイミングで切り替える。
ただしasyncio対応が必要。

View Slide

ίϧʔνϯ
λεΫ
Πϕϯτϧʔϓ

async def

asynio.run(ίϧʔνϯ)

View Slide

ίϧʔνϯ
λεΫ
Πϕϯτϧʔϓ

async def

まずはこれを抑えましょう

View Slide

Πϕϯτϧʔϓ loopΦϒδΣΫτ
触れてないもの

View Slide

Πϕϯτϧʔϓ
futureΦϒδΣΫτ
loopΦϒδΣΫτ

View Slide

Πϕϯτϧʔϓ
futureΦϒδΣΫτ
loopΦϒδΣΫτ
ެࣜυΩϡϝϯτɿ௿ϨϕϧAPIʹ෼ྨ

View Slide

asyncioはこわくない緩やかな根拠
Python 3.7 ͷΞοϓσʔτ

View Slide

asyncio.create_task(), asyncio.gather(), asyncio.run() ͷ௥Ճ

View Slide

python core developer Yury Selivanov ʢϢʔϦʔηϦόϊϑʣࢯ ͷొஃ

PEP 492 -- Coroutines with async and await syntax ஶऀ

europython 2018 - Asyncio in Python 3 7 and 3 8

View Slide

Yury Selivanov ʢϢʔϦʔηϦόϊϑʣࢯ


View Slide


normal
ϋʔυίΞ

View Slide



View Slide



Python 3.10

ߴϨϕϧAPI(gather/wait/sleep … ) ͷҾ਺ʹloopΦϒδΣΫτͷࢦఆ͕ෆՄ

View Slide



Python 3.10

loopΦϒδΣΫτ΍futureΦϒδΣΫτΛҙࣝͤͣʹasyncioར༻Մೳʹ

View Slide



Python 3.10

loopΦϒδΣΫτ΍futureΦϒδΣΫτΛҙࣝͤͣʹasyncioར༻Մೳʹ Ξοϓσʔτ͕଎͍

View Slide



Python 3.10

loopΦϒδΣΫτ΍futureΦϒδΣΫτΛҙࣝͤͣʹasyncioར༻Մೳʹ Ξοϓσʔτ͕଎͍
༗༻ͳαϯϓϧίʔυ΋աڈͷόʔδϣϯΛϕʔεʹ͍ͯ͠Δ΋ͷ΋ଟ͍

View Slide

ίϧʔνϯ
λεΫ
Πϕϯτϧʔϓ

async def

まずはこれを抑えましょう

View Slide

asyncioの話まとめ

View Slide

注⽂を取る - 料理を注⽂を取る - 料理を注⽂を取る - 料理を
並⾏処理

View Slide

注⽂を取る注⽂を取る注⽂を取る
並⾏処理⾮同期IO

View Slide

並⾏処理
⾮同期IO
コ
asyncio

View Slide

並⾏処理
⾮同期IO
コ
asyncio
ちょっとわがまま
asyncio対応モジュールである必要がありました。

View Slide

コ
asyncio
外部IOの発⽣する処理

View Slide

コ
asyncio
HTTPアクセス（APIとか）

View Slide

コ
asyncio
データベースアクセス

View Slide

コ
asyncio
urllib.requests
requests

View Slide

コ
asyncio
urllib.requests
requests
psycopg2
mysqlclient

View Slide

コ
asyncio
urllib.requests
requests
psycopg2
mysqlclient
（3でasyncio/型ヒント対応）

View Slide

コ
asyncio
urllib.requests
requests
psycopg2
mysqlclient
aiohttpやhttpx
asyncpg
aiomysql

View Slide

コ
asyncio
urllib.requests
requests
psycopg2
mysqlclient
aiohttpやhttpx
asyncpg
"XFTPNF IUUQTHJUIVCDPNUJNPGVSSFSBXFTPNFBTZODJP
BJPMJCT IUUQTHJUIVCDPNBJPMJCT
FODPEF IUUQTXXXFODPEFJPQSPKFDUT
aiomysql

View Slide

コ
asyncio
urllib.requests
requests
psycopg2
mysqlclient
aiohttpやhttpx
asyncpg
aiomysql
"XFTPNF IUUQTHJUIVCDPNUJNPGVSSFSBXFTPNFBTZODJP
BJPMJCT IUUQTHJUIVCDPNBJPMJCT
FODPEF IUUQTXXXFODPEFJPQSPKFDUT

View Slide

asyncpg

View Slide

asyncpg
ASGIΞϓϦέʔγϣϯ

View Slide

•ASGI = asyncioରԠ WebϑϨʔϜϫʔΫͰasyncio͕࢖͑Δ
ASGIΞϓϦέʔγϣϯ
•asyncioͷಘҙͳ͜ͱ = ඇಉظIO ֎෦ґଘͷσʔλऔಘ
•࣮ͯ͞ࡍͷίʔυΛݟͯΈ·͠ΐ͏
asyncpg

View Slide

•PostgreSQLͷσʔλϕʔεΠϯλʔϑΣʔεϥΠϒϥϦ
asyncpg
•asyncioରԠ͍ͯ͠Δ
•MagicStack ࣾͷϦϙδτϦ uvloop΋ಉ͡ϦϙδτϦ
•ઌ΄Ͳ঺հͨ͠ async/await ͷPEPஶऀ Yury Selivanov ʢϢʔϦʔηϦόϊϑʣࢯ
•ORMͰ΋ར༻ՄೳʢSQLAlchemy ΍ databases ʣ
って

View Slide

asyncpg の簡単な使いかた
# ίωΫγϣϯϓʔϧΛऔಘ

async def main():

async with asyncpg.create_pool(dns) as pool:

await pool.execute(...)

dns = "postgresql://user:[email protected]:5432/database"
import asyncpg

View Slide

# ίωΫγϣϯϓʔϧΛऔಘ

async def main():



import asyncpg

https://magicstack.github.io/asyncpg/

View Slide

# ෳ਺ͷΫΤϦΛ࣮ߦ͢Δ৔߹ acquireϝιουͰίωΫγϣϯΛऔಘ


async with pool.acquire() as conn:

result1 = await conn.execute("INSERT …")

result2 = await conn.fetch("SELECT 1")

import asyncpg

async def main():




View Slide

async def main():


tasks = [

pool.fetchrow("SELECT * FROM users WHERE id = $1", 1),



]


print(result)

View Slide

import asyncpg

dns = "postgresql:// user:[email protected]:5432/database"

class Database:

async def create_pool(self):

self.pool = await asyncpg.create_pool(dsn=dns)

asyncpg と FastAPI

View Slide

asyncpg と FastAPI
app = FastAPI()

db = Database()

from fastapi import FastAPI, Request

View Slide

asyncpg と FastAPI
app = FastAPI()

db = Database()

@app.on_event("startup")

async def startup():

await db.create_pool()

@app.on_event("shutdown")

async def shutdown():

# cleanup

pass

from fastapi import FastAPI, Request

View Slide

asyncpg と FastAPI
@app.middleware("http")

async def db_session_middleware(request: Request, call_next):

request.state.pgpool = db.pool

response = await call_next(request)

return response

View Slide

asyncpg と FastAPI
@app.middleware("http")

async def db_session_middleware(request: Request, call_next):

request.state.pgpool = db.pool

response = await call_next(request)

return response

@app.get("/")

async def sample(request: Request):

print(request.state.pgpool)

View Slide

asyncpg と FastAPI
async def get_rows(conn, num: int):

"""औಘ"""

print(“ͪΐͬͱ଴ͬͯͶ {num=}")

result = await conn.fetchrow("SELECT * FROM users WHERE id = $1", num)

print(“ܾ·ͬͨʂ”)

return result

View Slide

asyncpg と FastAPI
@app.get("/fetch")

async def fetch_many(request: Request):

tasks = [get_rows(request.state.pgpool, number) for number in range(0, 100)]

return await asyncio.gather(*tasks, return_exceptions=False)

"""औಘ"""




return result

View Slide

asyncpg と FastAPI
http://127.0.0.1:8000/docs

View Slide

asyncpg と FastAPI

View Slide

asyncpg と FastAPI

"""औಘ"""




return result

View Slide

asyncpg と FastAPI
INFO: Application startup complete.

ͪΐͬͱ଴ͬͯͶ num=0





...

"""औಘ"""




return result

View Slide

asyncpg と FastAPI
INFO: Application startup complete.






...

"""औಘ"""




return result

...

ܾ·ͬͨʂ

ܾ·ͬͨʂ

ܾ·ͬͨʂ

ܾ·ͬͨʂ

INFO: 127.0.0.1:50033 - "GET /fetch

INFO: 127.0.0.1:50038 - "GET /docs

INFO: 127.0.0.1:50038 - "GET /opena

View Slide

ASGIアプリケーションのユースケース
•ྫ͑͹μογϡϘʔυͷΑ͏ͳΞϓϦέʔγϣϯ

View Slide

•ύʔπ͝ͱʹajaxͰऔಘ 👍
•1APIͰ·ͱΊͯऔಘ 👍
ઃܭʹΑΔ

View Slide

•ύʔπ͝ͱʹajaxͰऔಘ 👍
•1APIͰ·ͱΊͯऔಘ 👍
ઃܭʹΑΔ
WSGI/ASGI
WSGI/ASGI

View Slide

•ྫ͑͹ECαΠτͷΑ͏ͳΞϓϦέʔγϣϯ

View Slide

•ಛఆͷॲཧ͚ͩ֎෦APIΛ࣮ߦ͢ΔΞϓϦ

View Slide

WebΞϓϦέʔγϣϯ͸ɺ

ଟ͘ͷσʔλ΍ػೳͷ૊Έ߹ΘͤͰ͖͍ͯΔ

View Slide

WebΞϓϦέʔγϣϯ͸ɺ

ଟ͘ͷσʔλ΍ػೳͷ૊Έ߹ΘͤͰ͖͍ͯΔ
ઃܭ࣍ୈ WSGI/ASGI

View Slide

まとめ
•asyncio ଟগ͜Θ͘ͳ͘ͳͬͨͰ͠ΐ͏͔
コ

View Slide

まとめ
コ
•3.7Ҏ߱ߴϨϕϧAPI͕ॆ࣮ ௚ײతͰΘ͔Γ΍͘͢

View Slide

まとめ
コ
•FastAPI I/Oό΢ϯυͳॲཧʹ΋ؾܰʹࢼͤΔ

View Slide

まとめ
コ
•ϢʔεέʔεΛݟۃΊΔઃܭ

View Slide

まとめ
コ
•asyncio͕ར༻ՄೳͳASGIΞϓϦέʔγϣϯΛબ୒͓ͯ͘͠

View Slide

まとめ
コ
•asyncio͕ར༻ՄೳͳASGIΞϓϦέʔγϣϯΛબ୒͓ͯ͘͠
•EAFPʢڐՄΑΓँࡑ ϚʔϑΟͷ๏ଇʣ👍

View Slide

•ίϧʔνϯ͸ා͘ͳ͍ - Minimum Viable Programmer

https://www.rhoboro.com/2019/02/09/coroutine-abstract.html
•Using Asyncio in Python - Oreilly & Associates Inc
謝辞
•Yury Selivanov - Asyncio in Python 3 7 and 3 8

https://www.youtube.com/watch?v=ReXxO_azV-w
•asyncioͷTaskʹؔ͢Δجૅ஌ࣝ

https://aish.dev/python/20200711_asyncio_task.html
•To many many internet articles, great books and member. 🙏

View Slide

ご静聴ありがとうございました 👋

View Slide

ASGIアプリケーション入門 - こわくないasyncio基礎と非同期IO

ASGIアプリケーション入門 - こわくないasyncio基礎と非同期IO

Junya Fukuda

More Decks by Junya Fukuda

Other Decks in Programming

Featured

Transcript