こわくないasyncio基礎と非同期IO - 動くコードを添えて

by Junya Fukuda

Slide 1

Slide 1 text

こわくないasyncio基礎と⾮同期IO Junya Fukuda ΈΜͳͷPythonษڧձ #84 動くコードを添えて

Slide 2

Slide 2 text

•෱ా ൏໵ʢJunya Fukudaʣʢ@JunyaFffʣ •גࣜձࣾ೔ຊγεςϜٕݚʢJSLʣॴଐ ௕໺ݝͷձࣾ •WebΤϯδχΞ •GEEKLAB.NAGANO - ίϛϡχςΟεϖʔεӡӦ •ʢ͓͠͝ͱͰʣόϦϡʔϒοΫε •ຊ޷͖ʹѪ͞ΕΔαʔϏεΛ໨ࢦͯ͠ʢݹຊങऔɾൢചʣ ΪʔΫϥϘ௕໺ಡॻձ •GEEKLAB.NAGANO - ίϛϡχςΟεϖʔεӡӦ

Slide 3

Slide 3 text

Python実践 •2022೥1݄ൃച ٕज़ධ࿦ࣾ •Python 3 ΤϯδχΞೝఆ࣮ફࢼݧ ओڭࡐ •2࡭໨ʹ͓͢͢Ίʂࣙॻతʹ࢖͍ͬͯ͋͛ͯͩ͘͞ʂ • ҎԼͷষΛ୲౰͍ͯ͠·͢ • Chapter2 ίʔσΟϯάن໿ • Chapter5 ܕώϯτ • Chapter19 ฒߦॲཧɼฒྻॲཧ

Slide 4

Slide 4 text

Python実践 •2022೥1݄ൃച •Python 3 ΤϯδχΞೝఆ࣮ફࢼݧ ओڭࡐ •2࡭໨ʹ͓͢͢Ίʂࣙॻతʹ࢖͍ͬͯ͋͛ͯͩ͘͞ʂ • ҎԼͷষΛ୲౰͍ͯ͠·͢ • Chapter2 ίʔσΟϯάن໿ • Chapter5 ܕώϯτ • Chapter19 ฒߦॲཧɼฒྻॲཧ ຊ೔ϓϨθϯτ΋͋Γ·͢ʂʂʂ

Slide 5

Slide 5 text

Python Monthly Topics Web連載 •ٕज़ධ࿦ࣾ - gihyo.jp •ஶऀͷ༗ࢤͰ •ຖ݄Pythonʹؔ͢ΔτϐοΫΛ࿈ࡌ

Slide 6

Slide 6 text

みなさんPythonで Webやっていますか？✋

Slide 7

Slide 7 text

JetBrains 2021年の調査 https://www.jetbrains.com/ja-jp/lp/devecosystem-2021/python/

Slide 8

Slide 8 text

JetBrains 2021年の調査 https://www.jetbrains.com/ja-jp/lp/devecosystem-2021/python/

Slide 9

Slide 9 text

JetBrains 2021年の調査 https://www.jetbrains.com/ja-jp/lp/devecosystem-2021/python/ ิ଍ɿ2020೥ͷ݁Ռ FastAPI͸ͳ͔ͬͨ

Slide 10

Slide 10 text

JetBrains 2021年の調査 https://www.jetbrains.com/ja-jp/lp/devecosystem-2021/python/

Slide 11

Slide 11 text

Pythonで⾮同期IOといえば？

Slide 12

Slide 12 text

asyncio

Slide 13

Slide 13 text

すべてはasync/awaitから始まった

Slide 14

Slide 14 text

> IUUQT fl PSJNPOEEFWCMPHBSUJDMFTJOUSPEVDUJPOUPBTHJBTZODQZUIPOXFC すべてはasync/awaitから始まった

Slide 15

Slide 15 text

asyncioはこわくない

Slide 16

Slide 16 text

•Python 3.4 Ͱ ௥Ճ͞Εͨඪ४ϥΠϒϥϦ asyncioはこわくない

Slide 17

Slide 17 text

•Python 3.4 Ͱ ௥Ճ͞Εͨඪ४ϥΠϒϥϦ •Python 3.5 Ͱ async/await ߏจ asyncioはこわくない

Slide 18

Slide 18 text

•Python 3.4 Ͱ ௥Ճ͞Εͨඪ४ϥΠϒϥϦ •Python 3.6 Ͱ ඇಉظδΣωϨʔλʔ / ඇಉظ಺แදه •Python 3.5 Ͱ async/await ߏจ asyncioはこわくない

Slide 19

Slide 19 text

•Python 3.4 Ͱ ௥Ճ͞Εͨඪ४ϥΠϒϥϦ •Python 3.6 Ͱ ඇಉظδΣωϨʔλʔ / ඇಉظ಺แදه •Python 3.5 Ͱ async/await ߏจ asyncioはこわくない •ฒߦॲཧͷ ίʔυΛॻͨ͘ΊͷϥΠϒϥϦ

Slide 20

Slide 20 text

•Python 3.4 Ͱ ௥Ճ͞Εͨඪ४ϥΠϒϥϦ •Python 3.6 Ͱ ඇಉظδΣωϨʔλʔ / ඇಉظ಺แදه •Python 3.5 Ͱ async/await ߏจ asyncioはこわくない •ฒߦॲཧͷ ίʔυΛॻͨ͘ΊͷϥΠϒϥϦ •γϯάϧεϨουͰΠϕϯτϧʔϓͰඇಉظ IO

Slide 21

Slide 21 text

•Python 3.4 Ͱ ௥Ճ͞Εͨඪ४ϥΠϒϥϦ •Python 3.6 Ͱ ඇಉظδΣωϨʔλʔ / ඇಉظ಺แදه •Python 3.5 Ͱ async/await ߏจ asyncioはこわくない •ฒߦॲཧͷ ίʔυΛॻͨ͘ΊͷϥΠϒϥϦ •γϯάϧεϨουͰΠϕϯτϧʔϓͰඇಉظ IO •RFCͰඪ४Խ͞ΕͨWebن֨ QUIC ͷॳظͷϦϑΝϨϯεత࣮૷ aioquic

Slide 22

Slide 22 text

asyncio めっちゃこわい

Slide 23

Slide 23 text

•͜Θ͔ͬͨ asyncio めっちゃこわい

Slide 24

Slide 24 text

•͜Θ͔ͬͨ •Using Asyncio in Python - ΦϥΠϦʔ ʢ🐸ຊʣ asyncio めっちゃこわい •2ͭͷग़ձ͍ https://www.oreilly.com/library/view/using-asyncio-in/9781492075325/

Slide 25

Slide 25 text

•͜Θ͔ͬͨ •ίϧʔνϯ͸ා͘ͳ͍ - Minimum Viable Programmer ʢϒϩάʣ •Using Asyncio in Python - ΦϥΠϦʔ ʢ🐸ຊʣ asyncio めっちゃこわい •2ͭͷग़ձ͍

Slide 26

Slide 26 text

•͜Θ͔ͬͨ •ίϧʔνϯ͸ා͘ͳ͍ - Minimum Viable Programmer ʢϒϩάʣ •Using Asyncio in Python - ΦϥΠϦʔ ʢ🐸ຊʣ asyncio めっちゃこわい •2ͭͷग़ձ͍ •τʔΫ3 ʰFastAPIͬͯԿऀͩΖ͏ʁʱ - ಃࢁ ྮ ͞Μ

Slide 27

Slide 27 text

No content

Slide 28

Slide 28 text

•asyncio͜Θ͍ͳ͋…

Slide 29

Slide 29 text

•asyncio͜Θ͍ͳ͋… •asyncio ͪΐͬͱා͘ͳ͘ͳ͔ͬͨ΋ 👋

Slide 30

Slide 30 text

•asyncio͜Θ͍ͳ͋… •asyncio ͪΐͬͱා͘ͳ͘ͳ͔ͬͨ΋ 👋 •τʔΫ̎ Django /τʔΫ̏FastAPI ϫΫϫΫʂ

Slide 31

Slide 31 text

•asyncio͜Θ͍ͳ͋… •asyncio ͪΐͬͱා͘ͳ͘ͳ͔ͬͨ΋ 👋 •τʔΫ̎ Django /τʔΫ̏FastAPI ϫΫϫΫʂ

Slide 32

Slide 32 text

本⽇のおしながき（話すこと） •PythonͰඇಉظIOΛར༻͢Δ্Ͱͷ asyncio جૅ

Slide 33

Slide 33 text

本⽇のおしながき（話すこと） •࣮ࡍʹಈ͘ίʔυΛݟͳ͕Βʂʢ؆୯ͳϥΠϒίʔσΟϯά͠·͢ʣ •PythonͰඇಉظIOΛར༻͢Δ্Ͱͷ asyncio جૅ

Slide 34

Slide 34 text

本⽇のおしながき（話すこと） •࣮ࡍʹಈ͘ίʔυΛݟͳ͕Βʂʢ؆୯ͳϥΠϒίʔσΟϯά͠·͢ʣ •PythonͰඇಉظIOΛར༻͢Δ্Ͱͷ asyncio جૅ •GitHubʹίʔυ΋͋Γ·͢ʂ

Slide 35

Slide 35 text

本⽇のおしながき（話すこと） •࣮ࡍʹಈ͘ίʔυΛݟͳ͕Βʂʢ؆୯ͳϥΠϒίʔσΟϯά͠·͢ʣ •PythonͰඇಉظIOΛར༻͢Δ্Ͱͷ asyncio جૅ •GitHubʹίʔυ΋͋Γ·͢ʂ •Έͳ͞Μ΋ͥͻ͓खݩͰಈ͔͠ͳ͕Βʂ •https://github.com/jrfk/talk/tree/main/stpy

Slide 36

Slide 36 text

•asyncio ͸௒ڊେ 対象はアプリーケーション開発者向けのasyncio

Slide 37

Slide 37 text

•asyncio ͸௒ڊେ •ެࣜυΩϡϝϯτ΋ߴϨϕϧ APIͱ௿ϨϕϧAPIʹ෼͔ΕͯΔ 対象はアプリーケーション開発者向けのasyncio

Slide 38

Slide 38 text

•asyncio ͸௒ڊେ •Θͨͨͪ͠͸ΞϓϦέʔγϣϯ։ൃऀ •ެࣜυΩϡϝϯτ΋ߴϨϕϧ APIͱ௿ϨϕϧAPIʹ෼͔ΕͯΔ 対象はアプリーケーション開発者向けのasyncio

Slide 39

Slide 39 text

•asyncio ͸௒ڊେ •ϑϨʔϜϫʔΫ΍ϥΠϒϥϦ։ൃऀ޲͚ͷػೳ͸ͪΐͬͱ͓͍͓͖ͯ·͠ΐ͏ •Θͨͨͪ͠͸ΞϓϦέʔγϣϯ։ൃऀ •ެࣜυΩϡϝϯτ΋ߴϨϕϧ APIͱ௿ϨϕϧAPIʹ෼͔ΕͯΔ 対象はアプリーケーション開発者向けのasyncio

Slide 40

Slide 40 text

•asyncio ͸௒ڊେ •ϑϨʔϜϫʔΫ΍ϥΠϒϥϦ։ൃऀ޲͚ͷػೳ͸ͪΐͬͱ͓͍͓͖ͯ·͠ΐ͏ •Θͨͨͪ͠͸ΞϓϦέʔγϣϯ։ൃऀ •ެࣜυΩϡϝϯτ΋ߴϨϕϧ APIͱ௿ϨϕϧAPIʹ෼͔ΕͯΔ 対象はアプリーケーション開発者向けのasyncio •ΞϓϦέʔγϣϯ։ൃऀ޲͚Λର৅ʹͨ͠asyncio

Slide 41

Slide 41 text

•asyncio ͸௒ڊେ •ϑϨʔϜϫʔΫ΍ϥΠϒϥϦ։ൃऀ޲͚ͷػೳ͸ͪΐͬͱ͓͍͓͖ͯ·͠ΐ͏ •Θͨͨͪ͠͸ΞϓϦέʔγϣϯ։ൃऀ •ެࣜυΩϡϝϯτ΋ߴϨϕϧ APIͱ௿ϨϕϧAPIʹ෼͔ΕͯΔ •ΞϓϦέʔγϣϯ։ൃऀ޲͚Λର৅ʹͨ͠asyncio •લఏ஌ࣝͱͯ͠ݴ༿ͷઆ໌ͱɺasyncioͰΘͨͨͪ͠ʹͱͬͯඞཁͳ͜ͱ 対象はアプリーケーション開発者向けのasyncio

Slide 42

Slide 42 text

Slide 43

Slide 43 text

•Python 3.4 Ͱ ௥Ճ͞Εͨඪ४ϥΠϒϥϦ •Python 3.6 Ͱ ඇಉظδΣωϨʔλʔ / ඇಉظ಺แදه •Python 3.5 Ͱ async/await ߏจ asyncioはこわくないこわい •ฒߦॲཧͷ ίʔυΛॻͨ͘ΊͷϥΠϒϥϦ •γϯάϧεϨουͰΠϕϯτϧʔϓͰඇಉظ IO •RFCͰඪ४Խ͞ΕͨWebن֨ QUIC ͷϦϑΝϨϯεత࣮૷ aioquic

Slide 44

Slide 44 text

Slide 45

Slide 45 text

•Python 3.4 Ͱ ௥Ճ͞Εͨඪ४ϥΠϒϥϦ •Python 3.6 Ͱ ඇಉظδΣωϨʔλʔ / ඇಉظ಺แදه •Python 3.5 Ͱ async/await ߏจ asyncioはこわくないこわい •ฒߦॲཧͷ ίʔυΛॻͨ͘ΊͷϥΠϒϥϦ •γϯάϧεϨουͰΠϕϯτϧʔϓͰඇಉظ IO •ઌ೔RFCͰඪ४Խ͞ΕͨWebن֨ QUIC ͷϦϑΝϨϯεత࣮૷ aioquic

Slide 46

Slide 46 text

⾔葉を完全に理解する

Slide 47

Slide 47 text

IUUQTEPDTQZUIPOPSHKBMJCSBSZBTZODJPIUNM

Slide 48

Slide 48 text

前提知識並⾏処理

Slide 49

Slide 49 text

前提知識並⾏処理並列処理

Slide 50

Slide 50 text

前提知識並⾏処理並列処理逐次処理

Slide 51

Slide 51 text

前提知識並⾏処理並列処理逐次処理タスクの処理

Slide 52

Slide 52 text

前提知識並⾏処理 concurrent processing

Slide 53

Slide 53 text

前提知識並⾏処理 concurrent processing 複数の処理を同時に実⾏するという意味

Slide 54

Slide 54 text

前提知識並⾏処理 concurrent processing 複数の処理を同時に実⾏するという意味イメージ重視

Slide 55

Slide 55 text

前提知識並⾏処理 ฒߦॲཧͱͦͷ۩ମతͳॲཧํࣜͷͭͰ͋Δฒྻॲཧ͸ɺ ιϑτ΢ΣΞ޻ֶͷ෼໺ʹ͓͍ͯ΋ͬͱ΋෯޿͍τϐοΫͷͭͰ͢ɻ ਺े࡭ͷຊΛ΋ͬͯͯ͠΋ɺฒߦॲཧʹ͓͍ͯॏཁͳϙΠϯτ΍ ฒߦॲཧϞσϧʹؔͯ͠े෼ͳٞ࿦͸Ͱ͖ͳ͍Ͱ͠ΐ͏ɻ https://www.kadokawa.co.jp/product/302105001236/ ΤΩεύʔτ1ZUIPOϓϩάϥϛϯάվగ൛ ൃച

Slide 56

Slide 56 text

前提知識並⾏処理 https://www.oreilly.co.jp/books/9784873119595/ 並⾏コンピューティング技法 ――実践マルチコア/マルチスレッドプログラミング並⾏プログラミング⼊⾨ ――Rust、C、アセンブリによる実装からのアプローチ https://www.oreilly.co.jp/books/9784873114354/

Slide 57

Slide 57 text

イメージ重視

Slide 58

Slide 58 text

並⾏処理並列処理逐次処理

Slide 59

Slide 59 text

並⾏処理並列処理逐次処理

Slide 60

Slide 60 text

並⾏処理並列処理逐次処理

Slide 61

Slide 61 text

並⾏処理並列処理通常の関数を呼び出していく処理逐次処理

Slide 62

Slide 62 text

並⾏処理並列処理通常の関数を呼び出していく処理 multiprocessingモジュール逐次処理

Slide 63

Slide 63 text

並⾏処理並列処理通常の関数を呼び出していく処理 multiprocessingモジュール threadingモジュール asyncioモジュール逐次処理

Slide 64

Slide 64 text

ちょっとわかりにくいのでレストラン🍽に例えます

Slide 65

Slide 65 text

レストラン

Slide 66

Slide 66 text

レストランどんなタスクがあるでしょうか

Slide 67

Slide 67 text

注⽂をとる

Slide 68

Slide 68 text

料理を作る注⽂をとる

Slide 69

Slide 69 text

料理を作る注⽂をとる料理を運ぶ

Slide 70

Slide 70 text

逐次処理

Slide 71

Slide 71 text

注⽂を取る - 料理を作る - 料理を運ぶ逐次処理

Slide 72

Slide 72 text

注⽂を取る - 料理を作る - 料理を運ぶ完了してから次のタスク逐次処理

Slide 73

Slide 73 text

並列処理

Slide 74

Slide 74 text

並列処理注⽂を取る料理を作る料理を運ぶ

Slide 75

Slide 75 text

並列処理注⽂を取る料理を作る料理を運ぶ複数のタスクを同時に着⼿する

Slide 76

Slide 76 text

並⾏処理

Slide 77

Slide 77 text

並⾏処理注⽂を取る - 料理を作る - 料理を運ぶ注⽂を取る - 料理を作る - 料理を運ぶ注⽂を取る - 料理を作る - 料理を運ぶ

Slide 78

Slide 78 text

並⾏処理注⽂を取る - 料理を作る - 料理を運ぶ注⽂を取る - 料理を作る - 料理を運ぶ注⽂を取る - 料理を作る - 料理を運ぶ

Slide 79

Slide 79 text

並⾏処理注⽂を取る - 料理を作る - 料理を運ぶ注⽂を取る - 料理を作る - 料理を運ぶ注⽂を取る - 料理を作る - 料理を運ぶ asyncio シングルスレッド

Slide 80

Slide 80 text

並⾏処理注⽂を取る - 料理を作る - 料理を運ぶ注⽂を取る - 料理を作る - 料理を運ぶ注⽂を取る - 料理を作る - 料理を運ぶ asyncio シングルスレッド = ワンオペ

Slide 81

Slide 81 text

並⾏処理注⽂を取る - 料理を作る - 料理を運ぶ注⽂を取る - 料理を作る - 料理を運ぶ注⽂を取る - 料理を作る - 料理を運ぶ asyncio シングルスレッド = ワンオペ同じ⼈

Slide 82

Slide 82 text

並⾏処理注⽂を取る - 料理を作る - 料理を運ぶ注⽂を取る - 料理を作る - 料理を運ぶ注⽂を取る - 料理を作る - 料理を運ぶ asyncio シングルスレッド = ワンオペどのタイミングでタスクの切り替えをするのでしょうか 🤔

Slide 83

Slide 83 text

asyncio シングルスレッド = ワンオペどのタイミングでタスクの切り替えをするのでしょうか 🤔 あなた

Slide 84

Slide 84 text

asyncio シングルスレッド = ワンオペどのタイミングでタスクの切り替えをするのでしょうか 🤔 あなたお客様

Slide 85

Slide 85 text

asyncio シングルスレッド = ワンオペどのタイミングでタスクの切り替えをするのでしょうか 🤔 あなたお客様 ←注⽂

Slide 86

Slide 86 text

asyncio シングルスレッド = ワンオペどのタイミングでタスクの切り替えをするのでしょうか 🤔 あなた考え中のお客様 ←注⽂待ち

Slide 87

Slide 87 text

asyncio シングルスレッド = ワンオペどのタイミングでタスクの切り替えをするのでしょうか 🤔 あなた考え中のお客様 ←注⽂待ちあなたから⾒て、外部のお客様、から注⽂という⼊⼒を待つ状態

Slide 88

Slide 88 text

asyncio どのタイミングでタスクの切り替えをするのでしょうか 🤔 あなた考え中のお客様 ←注⽂待ちあなたから⾒て、外部のお客様、から注⽂という⼊⼒を待つ状態

Slide 89

Slide 89 text

a どのタイミングでタスクの切り替えをするのでしょうか 🤔 あなた考え中のお客様 ←注⽂待ちあなたから⾒て、外部のお客様、から注⽂という⼊⼒を待つ状態⾮同期IO syncio

Slide 90

Slide 90 text

a sync io

Slide 91

Slide 91 text

a sync io ⼊⼒

Slide 92

Slide 92 text

a sync io 同期⼊⼒

Slide 93

Slide 93 text

a sync io しない同期⼊⼒

Slide 94

Slide 94 text

asyncio ⾮同期IO

Slide 95

Slide 95 text

asyncio ⾮同期IO

Slide 96

Slide 96 text

asyncio ⾮同期IO プログラムでいう外部の⼊⼒

Slide 97

Slide 97 text

asyncio ⾮同期IO プログラムでいう外部の⼊⼒ “ネットワークやデータベースへの⼊出⼒”

Slide 98

Slide 98 text

asyncio ⾮同期IO プログラムでいう外部の⼊⼒ “ネットワークやデータベースへの⼊出⼒” I/Oバウンドな処理

Slide 99

Slide 99 text

asyncio ⾮同期IO プログラムでいう外部の⼊⼒ “ネットワークやデータベースへの⼊出⼒” I/Oバウンドな処理 asyncioの得意なこと

Slide 100

Slide 100 text

Slide 101

Slide 101 text

ฒߦॲཧ asyncioの周辺はちょっとこわくない γϯάϧεϨου ඇಉظ IO

Slide 102

Slide 102 text

ฒߦॲཧ asyncioの周辺はちょっとこわくない γϯάϧεϨου ඇಉظ IO

Slide 103

Slide 103 text

ฒߦॲཧ asyncioの周辺はちょっとこわくない γϯάϧεϨου ඇಉظ IO ϫϯΦϖ

Slide 104

Slide 104 text

ฒߦॲཧ asyncioの周辺はちょっとこわくない γϯάϧεϨου ඇಉظ IO ϫϯΦϖ 外部のお客様、から注⽂という⼊⼒待ちの間に他のことをする

Slide 105

Slide 105 text

ฒߦॲཧ asyncioの周辺はちょっとこわくない γϯάϧεϨου ඇಉظ IO ϫϯΦϖ 外部のお客様、から注⽂という⼊⼒待ちの間に他のことをする得意なのはI/Oバウンド（ネットワークやDBの⼊出⼒）

Slide 106

Slide 106 text

asyncio

Slide 107

Slide 107 text

asyncio🌷

Slide 108

Slide 108 text

asyncio で覚えておくことは3つ asyncio

Slide 109

Slide 109 text

イベントループ

Slide 110

Slide 110 text

コルーチンイベントループ

Slide 111

Slide 111 text

コルーチンイベントループタスク

Slide 112

Slide 112 text

コルーチンイベントループタスク → やること

Slide 113

Slide 113 text

コルーチンイベントループタスク → やること → やること+実⾏状態をもつ

Slide 114

Slide 114 text

コルーチンイベントループタスク → やること → やることを管理するもの → やること+実⾏状態をもつ

Slide 115

Slide 115 text

コルーチンイベントループタスク → やること → やることを管理するもの → やること+実⾏状態をもつ

Slide 116

Slide 116 text

レストラン

Slide 117

Slide 117 text

注⽂を取る - 料理を作る - 料理を運ぶ注⽂を取る - 料理を作る - 料理を運ぶ注⽂を取る - 料理を作る - 料理を運ぶ asyncio

Slide 118

Slide 118 text

注⽂を取る - 料理を作る - 料理を運ぶ注⽂を取る - 料理を作る - 料理を運ぶ注⽂を取る - 料理を作る - 料理を運ぶ asyncio コルーチンやタスク

Slide 119

Slide 119 text

asyncio 注⽂を取注⽂を取注⽂を取コ

Slide 120

Slide 120 text

asyncio イベントループ注⽂を取注⽂を取注⽂を取コ

Slide 121

Slide 121 text

asyncio イベントループ（あくまでイメージ）注⽂を取注⽂を取注⽂を取コ

Slide 122

Slide 122 text

コルーチンイベントループタスク

Slide 123

Slide 123 text

コルーチンイベントループタスク

Slide 124

Slide 124 text

考え中のお客様

Slide 125

Slide 125 text

考え中のお客様 •஫จΛฉ͖ʹ͍͘ •͓٬༷͕೰ΜͰɺɺ஫จΛ͢Δ

Slide 126

Slide 126 text

asyncioは怖くない

Slide 127

Slide 127 text

•ා͘ͳ͍ϙΠϯτͦͷ̍ asyncioは怖くない

Slide 128

Slide 128 text

•ා͘ͳ͍ϙΠϯτͦͷ̍ asyncioは怖くない •async/await ͕͍͍ͭͯͯ΋ɺ௨ৗͷؔ਺ͷॲཧͱ͍͍ͩͨಉ͡

Slide 129

Slide 129 text

•ා͘ͳ͍ϙΠϯτͦͷ̍ asyncioは怖くない •async/await ͕͍͍ͭͯͯ΋ɺ௨ৗͷؔ਺ͷॲཧͱ͍͍ͩͨಉ͡

Slide 130

Slide 130 text

•ා͘ͳ͍ϙΠϯτͦͷ̍ asyncioは怖くない •async/await ͕͍͍ͭͯͯ΋ɺ௨ৗͷؔ਺ͷॲཧͱ͍͍ͩͨಉ͡ •·ͣ͸ஞ࣍ॲཧͰίʔυΛॻ͍ͯɺͦΕΛίϧʔνϯʹͯ͠Έ·͠ΐ͏

Slide 131

Slide 131 text

•ා͘ͳ͍ϙΠϯτͦͷ̍ asyncioは怖くない •async/await ͕͍͍ͭͯͯ΋ɺ௨ৗͷؔ਺ͷॲཧͱ͍͍ͩͨಉ͡ •·ͣ͸ஞ࣍ॲཧͰίʔυΛॻ͍ͯɺͦΕΛίϧʔνϯʹͯ͠Έ·͠ΐ͏ •ίϧʔνϯͷϧʔϧ͸2ͭ

Slide 132

Slide 132 text

•ා͘ͳ͍ϙΠϯτͦͷ̍ asyncioは怖くない •async/await ͕͍͍ͭͯͯ΋ɺ௨ৗͷؔ਺ͷॲཧͱ͍͍ͩͨಉ͡ •·ͣ͸ஞ࣍ॲཧͰίʔυΛॻ͍ͯɺͦΕΛίϧʔνϯʹͯ͠Έ·͠ΐ͏ •ؔ਺ͷఆٛʢdefʣͷલʹ async Λ͚ͭΔ •ίϧʔνϯͷϧʔϧ͸2ͭ

Slide 133

Slide 133 text

•ා͘ͳ͍ϙΠϯτͦͷ̍ asyncioは怖くない •async/await ͕͍͍ͭͯͯ΋ɺ௨ৗͷؔ਺ͷॲཧͱ͍͍ͩͨಉ͡ •·ͣ͸ஞ࣍ॲཧͰίʔυΛॻ͍ͯɺͦΕΛίϧʔνϯʹͯ͠Έ·͠ΐ͏ •ؔ਺ͷఆٛʢdefʣͷલʹ async Λ͚ͭΔ •ίϧʔνϯΛݺͼग़͢৔߹ʹ͸ await Λ͚ͭΔ •ίϧʔνϯͷϧʔϧ͸2ͭ

Slide 134

Slide 134 text

•ා͘ͳ͍ϙΠϯτͦͷ̍ asyncioは怖くない •async/await ͕͍͍ͭͯͯ΋ɺ௨ৗͷؔ਺ͷॲཧͱ͍͍ͩͨಉ͡ •·ͣ͸ஞ࣍ॲཧͰίʔυΛॻ͍ͯɺͦΕΛίϧʔνϯʹͯ͠Έ·͠ΐ͏ •͓٬༷͕೰ΜͰɺɺ஫จΛ͢Δ •஫จΛฉ͖ʹ͍͘ •ཁ݅͸̎ͭ

Slide 135

Slide 135 text

Slide 136

Slide 136 text

では定義してみましょう

Slide 137

Slide 137 text

コルーチンわかったこと ίϧʔνϯͷఆٛ͸asyncΛ͚ͭΔ͚ͩ ͨͩݺͼग़͚ͩ͢Ͱ͸݁ՌΛड͚औΕͳ͍

Slide 138

Slide 138 text

コルーチンイベントループタスク

Slide 139

Slide 139 text

asyncio イベントループ注⽂を取注⽂を取注⽂を取コ（あくまでイメージ）

Slide 140

Slide 140 text

•C10K໰୊΁ͷճ౴ •libuv(nodejs)ͷத֩Λͳ͢࢓૊Έ イベントループ

Slide 141

Slide 141 text

•C10K໰୊΁ͷճ౴ •libuv(nodejs)ͷத֩Λͳ͢࢓૊Έ •ίϧʔνϯ΍λεΫΛεέδϡʔϦϯά イベントループ

Slide 142

Slide 142 text

•C10K໰୊΁ͷճ౴ •libuv(nodejs)ͷத֩Λͳ͢࢓૊Έ •ڠௐͯ͠ฒߦʹ࣮ߦ͢ΔͨΊͷ࢓૊Έ •ίϧʔνϯ΍λεΫΛεέδϡʔϦϯά イベントループ

Slide 143

Slide 143 text

•C10K໰୊΁ͷճ౴ •libuv(nodejs)ͷத֩Λͳ͢࢓૊Έ •ڠௐͯ͠ฒߦʹ࣮ߦ͢ΔͨΊͷ࢓૊Έ •ͦ͜·Ͱҙࣝ͠ͳͯ͘΋ྑ͍ʢͦ͜ʹ͍Δ͜ͱ͸஌ͬͯͯʣ •ίϧʔνϯ΍λεΫΛεέδϡʔϦϯά イベントループ

Slide 144

Slide 144 text

•C10K໰୊΁ͷճ౴ •libuv(nodejs)ͷத֩Λͳ͢࢓૊Έ •ڠௐͯ͠ฒߦʹ࣮ߦ͢ΔͨΊͷ࢓૊Έ •ͦ͜·Ͱҙࣝ͠ͳͯ͘΋ྑ͍ʢͦ͜ʹ͍Δ͜ͱ͸஌ͬͯͯʣ •ίϧʔνϯ΍λεΫΛεέδϡʔϦϯά イベントループ •asyncio ͷத֩Λͳ͢࢓૊Έ

Slide 145

Slide 145 text

asyncio.run()を使ってみましょう •͓٬༷͕೰ΜͰɺɺ஫จΛ͢Δ •஫จΛฉ͖ʹ͍͘ •ཁ݅͸̎ͭ

Slide 146

Slide 146 text

コードを⾒⽐べてみましょう

Slide 147

Slide 147 text

コードのおさらい - 関数 def order(): print(“͝஫จ͸ʁ”) menu = long_thinking() print(menu) def long_thinking(): print(“ͪΐͬͱ଴ͬͯͶ”) sleep(10000) return “͟Δͦ͹” order() # ࣮ߦ͢Δ

Slide 148

Slide 148 text

コードのおさらい - コルーチン async def order(): print(“͝஫จ͸ʁ”) menu = await long_thinking() print(menu) async def long_thinking(): print(“ͪΐͬͱ଴ͬͯͶ”) await asyncio.sleep(10000) return “͟Δͦ͹” asyncio.run(order()) # ΠϕϯτϧʔϓΛ࡞Δ

Slide 149

Slide 149 text

Slide 150

Slide 150 text

イベントループ asyncio.run(order()) # ΠϕϯτϧʔϓΛ࡞Δ •࣮͸͜ΕɺWebͰར༻͢Δ৔߹ʹॻ͘͜ͱ͕ͳ͍৔߹΋͋Δ

Slide 151

Slide 151 text

イベントループ asyncio.run(order()) # ΠϕϯτϧʔϓΛ࡞Δ •࣮͸͜ΕɺWebͰར༻͢Δ৔߹ʹॻ͘͜ͱ͕ͳ͍৔߹΋͋Δ •ࠓ೔ग़ͯ͘ΔϑϨʔϜϫʔΫͰʢDjango΍FastAPIʣ͸ASGIରԠ

Slide 152

Slide 152 text

イベントループ asyncio.run(order()) # ΠϕϯτϧʔϓΛ࡞Δ •࣮͸͜ΕɺWebͰར༻͢Δ৔߹ʹॻ͘͜ͱ͕ͳ͍৔߹΋͋Δ •ࠓ೔ग़ͯ͘ΔϑϨʔϜϫʔΫͰʢDjango΍FastAPIʣ͸ASGIରԠ •σϓϩΠ͸UvicornͳͲͷαʔό࢖͍·͢ΑͶ

Slide 153

Slide 153 text

イベントループ asyncio.run(order()) # ΠϕϯτϧʔϓΛ࡞Δ •࣮͸͜ΕɺWebͰར༻͢Δ৔߹ʹॻ͘͜ͱ͕ͳ͍৔߹΋͋Δ •ࠓ೔ग़ͯ͘ΔϑϨʔϜϫʔΫͰʢDjango΍FastAPIʣ͸ASGIରԠ $ uvicorn example:app •σϓϩΠ͸UvicornͳͲͷαʔό࢖͍·͢ΑͶ

Slide 154

Slide 154 text

イベントループ asyncio.run(order()) # ΠϕϯτϧʔϓΛ࡞Δ •UvicornͳͲͷWebαʔό͕಺෦Ͱ࣮ߦͯ͘͠Ε͍ͯ·͢ •ͨͩɺͦ͜ʹΠϕϯτϧʔϓ͕͍Δ͜ͱ͸ೝ͓͍ࣝͯͯ͠΄͍͠ workers.py L82 server.py L58

Slide 155

Slide 155 text

ここまでのまとめ ίϧʔνϯͷఆٛ͸asyncΛ͚ͭΔ͚ͩ

Slide 156

Slide 156 text

ここまでのまとめ ίϧʔνϯͷఆٛ͸asyncΛ͚ͭΔ͚ͩ ΠϕϯτϧʔϓͰ࣮ߦ͢Δඞཁ͕͋Δ

Slide 157

Slide 157 text

ここまでのまとめ ίϧʔνϯͷఆٛ͸asyncΛ͚ͭΔ͚ͩ ΠϕϯτϧʔϓͰ࣮ߦ͢Δඞཁ͕͋Δ async/await͕͍͍ͭͯͯ΋ɺஞ࣍ॲཧͱجຊͷྲྀΕ͸มΘ Βͳ͍ ݁ՌΛ଴ͬͯɺ࣍ͷߦͷίʔυ͕࣮ߦ͞ΕΔ

Slide 158

Slide 158 text

次に並⾏処理にしてみましょう

Slide 159

Slide 159 text

考え中のお客様 3⼈とも

Slide 160

Slide 160 text

考え中のお客様 3⼈ともどうせ待つなら同時に聞いてしまいたい…

Slide 161

Slide 161 text

考え中のお客様 3⼈ともどうせ待つなら同時に聞いてしまいたい… •஫จΛฉ͖ʹ͍͘ •͓٬༷͕೰ΜͰɺɺ஫จΛ͢Δ

Slide 162

Slide 162 text

考え中のお客様 3⼈ともどうせ待つなら同時に聞いてしまいたい… •஫จΛฉ͖ʹ͍͘ •͓٬༷͕೰ΜͰɺɺ஫จΛ͢Δ •ಉ࣌ʹฉ͘

Slide 163

Slide 163 text

先ほどのコードをもとにお客様に3回聞いてみましょう

Slide 164

Slide 164 text

ここまでのまとめ ͨͩɺawait͢Δ͚ͩͰ͸ฒߦʹͳΒͳ͍

Slide 165

Slide 165 text

ここまでのまとめ ͨͩɺawait͢Δ͚ͩͰ͸ฒߦʹͳΒͳ͍ 1つのコルーチンが終わってから次のコルーチン普通の関数実⾏と同じ

Slide 166

Slide 166 text

コルーチンイベントループタスク

Slide 167

Slide 167 text

•TaskΦϒδΣΫτ タスク

Slide 168

Slide 168 text

•TaskΦϒδΣΫτ •ίϧʔνϯΛϥοϓ͠ɺ࣮ߦঢ়ଶΛ΋ͭ タスク

Slide 169

Slide 169 text

•TaskΦϒδΣΫτ •ίϧʔνϯΛϥοϓ͠ɺ࣮ߦঢ়ଶΛ΋ͭ •Πϕϯτϧʔϓʹొ࿥͢Δ タスク

Slide 170

Slide 170 text

•TaskΦϒδΣΫτ •ίϧʔνϯΛϥοϓ͠ɺ࣮ߦঢ়ଶΛ΋ͭ •࡞Δํ๏Ͱɺ·֮ͣ͑Δͷ͸2ͭ •Πϕϯτϧʔϓʹొ࿥͢Δ タスク

Slide 171

Slide 171 text

•TaskΦϒδΣΫτ •ίϧʔνϯΛϥοϓ͠ɺ࣮ߦঢ়ଶΛ΋ͭ •࡞Δํ๏Ͱɺ·֮ͣ͑Δͷ͸2ͭ •Python3.7 Ͱ௥Ճ͞Εͨ asyncio.create_task() •Πϕϯτϧʔϓʹొ࿥͢Δ •ฒྻ࣮ߦΛॿ͚Δ asyncio.gather() タスク

Slide 172

Slide 172 text

タスクを作ってみましょう

Slide 173

Slide 173 text

ここまでのまとめタスクはただ作っただけでは実⾏されない

Slide 174

Slide 174 text

ここまでのまとめ await ͢Δඞཁ͕͋Δ タスクはただ作っただけでは実⾏されない

Slide 175

Slide 175 text

ここまでのまとめ await ͢Δඞཁ͕͋Δ タスクはただ作っただけでは実⾏されない awaitは中断と再開のキーとなる

Slide 176

Slide 176 text

ここまでのまとめ await ͢Δඞཁ͕͋Δ タスクはただ作っただけでは実⾏されない awaitは中断と再開のキーとなる awaitΛΩʔʹΠϕϯτϧʔϓ͕λεΫΛ੾Γସ͑ɺ ॲཧΛฒߦʹ͢Δʂ gatherは便利

Slide 177

Slide 177 text

asyncio ⾮同期IO

Slide 178

Slide 178 text

シンプルな asyncio のサンプル async def long_thinking(): print(“ͪΐͬͱ଴ͬͯͶ”) await asyncio.sleep(10000) return “͟Δͦ͹”

Slide 179

Slide 179 text

シンプルな asyncio のサンプル async def long_thinking(): print(“ͪΐͬͱ଴ͬͯͶ”) await asyncio.sleep(10000) return “͟Δͦ͹” asyncio.sleep(10000)

Slide 180

Slide 180 text

⾮同期IO - asyncio asyncio.sleep(10000)

Slide 181

Slide 181 text

⾮同期IO - asyncio asyncio.sleep(10000) 外部⼊⼒を待つ状態

Slide 182

Slide 182 text

⾮同期IO - asyncio asyncio.sleep(10000) 外部⼊⼒を待つ状態 •I/Oό΢ϯυ

Slide 183

Slide 183 text

⾮同期IO - asyncio •I/Oό΢ϯυ •σʔλϕʔε΁ͷ઀ଓ •WebAPIͷར༻ʹΑΔHTTPϦΫΤετ

Slide 184

Slide 184 text

考え中のお客様 asyncio.sleep(10000)

Slide 185

Slide 185 text

考え中のお客様検索しないと決められない asyncio.sleep(10000)

Slide 186

Slide 186 text

考え中のお客様検索しないと決められない asyncio.sleep(10000) 3⼈とも

Slide 187

Slide 187 text

考え中のお客様検索しないと決められない asyncio.sleep(10000) HTTP通信 I/Oバウンド 3⼈とも

Slide 188

Slide 188 text

考え中のお客様検索しないと決められない asyncio.sleep(10000) HTTP通信 I/Oバウンド 3⼈とも requests

Slide 189

Slide 189 text

外部I/Oのある処理を書いてみましょう

Slide 190

Slide 190 text

ここまでのまとめ asyncioでHTTP通信をするにはrequestsではだめ

Slide 191

Slide 191 text

asyncio イベントループ注⽂を取注⽂を取注⽂を取コ（あくまでイメージ）

Slide 192

Slide 192 text

外部I/Oのある処理を書いてみましょう

Slide 193

Slide 193 text

外部I/Oのある処理を書いてみましょう asyncio対応のライブラリで

Slide 194

Slide 194 text

ここまでのまとめ asyncioでHTTP通信をするにはrequestsではだめ asyncioରԠͷϥΠϒϥϦͰɺI/O͢Δඞཁ͕͋Δ

Slide 195

Slide 195 text

ίϧʔνϯ asyncioはこわくない λεΫ Πϕϯτϧʔϓ

Slide 196

Slide 196 text

ίϧʔνϯ asyncioはこわくない λεΫ Πϕϯτϧʔϓ ؔ਺ʹ async Λ͚ͭΔ͚ͩ ؊͸await

Slide 197

Slide 197 text

ίϧʔνϯ asyncioはこわくない λεΫ Πϕϯτϧʔϓ ੾ΓସΘΔઌͷίϧʔνϯɻΠϕϯτϧʔϓʹొ࿥͓ͯ͘͠ͱ ྑ͖ʹܭΒͬͯ੾Γସ͑ͯ͘ΕΔɻ ؔ਺ʹ async Λ͚ͭΔ͚ͩ ؊͸await

Slide 198

Slide 198 text

ίϧʔνϯ asyncioはこわくない λεΫ Πϕϯτϧʔϓ ੾ΓସΘΔઌͷίϧʔνϯɻΠϕϯτϧʔϓʹొ࿥͓ͯ͘͠ͱ ྑ͖ʹܭΒͬͯ੾Γସ͑ͯ͘ΕΔɻ 登録してあるタスクをawait のタイミングで切り替える。ただしasyncio対応が必要。 ؔ਺ʹ async Λ͚ͭΔ͚ͩ ؊͸await

Slide 199

Slide 199 text

ίϧʔνϯ asyncioはこわくない λεΫ Πϕϯτϧʔϓ create_task(ίϧʔνϯ) - Πϕϯτϧʔϓʹొ࿥ gather(λεΫ ·ͨ͸ ίϧʔνϯ) - ·ͱΊͯ݁ՌΛड͚औΕΔ async def await λεΫ ·ͨ͸ ίϧʔνϯ asynio.run(ίϧʔνϯ)

Slide 200

Slide 200 text

ίϧʔνϯ asyncioはこわくない λεΫ Πϕϯτϧʔϓ create_task(ίϧʔνϯ) - Πϕϯτϧʔϓʹొ࿥ gather(λεΫ ·ͨ͸ ίϧʔνϯ) - ·ͱΊͯ݁ՌΛड͚औΕΔ async def await λεΫ ·ͨ͸ ίϧʔνϯ asynio.run(ίϧʔνϯ) まずはこれを抑えましょう

Slide 201

Slide 201 text

asyncioはこわくない Πϕϯτϧʔϓ loopΦϒδΣΫτ 触れてないもの

Slide 202

Slide 202 text

asyncioはこわくない Πϕϯτϧʔϓ 触れてないもの futureΦϒδΣΫτ loopΦϒδΣΫτ

Slide 203

Slide 203 text

asyncioはこわくない Πϕϯτϧʔϓ 触れてないもの futureΦϒδΣΫτ loopΦϒδΣΫτ ެࣜυΩϡϝϯτɿ௿ϨϕϧAPIʹ෼ྨ

Slide 204

Slide 204 text

asyncioはこわくない緩やかな根拠 Python 3.7 ͷΞοϓσʔτ

Slide 205

Slide 205 text

asyncioはこわくない緩やかな根拠 Python 3.7 ͷΞοϓσʔτ asyncio.create_task(), asyncio.gather(), asyncio.run() ͷ௥Ճ

Slide 206

Slide 206 text

Slide 207

Slide 207 text

asyncioはこわくない緩やかな根拠 Python 3.7 ͷΞοϓσʔτ asyncio.create_task(), asyncio.gather(), asyncio.run() ͷ௥Ճ Yury Selivanov ʢϢʔϦʔηϦόϊϑʣࢯ PEP 492 -- Coroutines with async and await syntax ஶऀ

Slide 208

Slide 208 text

Slide 209

Slide 209 text

Slide 210

Slide 210 text

Slide 211

Slide 211 text

asyncioはこわくない緩やかな根拠 Python 3.7 ͷΞοϓσʔτ asyncio.create_task(), asyncio.gather(), asyncio.run() ͷ௥Ճ python core developer Yury Selivanov ʢϢʔϦʔηϦόϊϑʣࢯ ͷొஃ PEP 492 -- Coroutines with async and await syntax ஶऀ europython 2018 - Asyncio in Python 3 7 and 3 8 Python 3.10 ߴϨϕϧAPI(gather/wait/sleep … ) ͷҾ਺ʹloopΦϒδΣΫτͷࢦఆ͕ෆՄ

Slide 212

Slide 212 text

Slide 213

Slide 213 text

Slide 214

Slide 214 text

Slide 215

Slide 215 text

asyncioの話まとめ

Slide 216

Slide 216 text

まとめ •asyncio ଟগ͜Θ͘ͳ͘ͳͬͨͰ͠ΐ͏͔ コ

Slide 217

Slide 217 text

まとめ •asyncio ଟগ͜Θ͘ͳ͘ͳͬͨͰ͠ΐ͏͔ コ •3.7Ҏ߱ߴϨϕϧAPI͕ॆ࣮ ௚ײతͰΘ͔Γ΍͘͢

Slide 218

Slide 218 text

まとめ •asyncio ଟগ͜Θ͘ͳ͘ͳͬͨͰ͠ΐ͏͔ コ •ਐԽͷૣ͍asyncio •3.7Ҏ߱ߴϨϕϧAPI͕ॆ࣮ ௚ײతͰΘ͔Γ΍͘͢

Slide 219

Slide 219 text

まとめ •asyncio ଟগ͜Θ͘ͳ͘ͳͬͨͰ͠ΐ͏͔ コ •ਐԽͷૣ͍asyncio •3.7Ҏ߱ߴϨϕϧAPI͕ॆ࣮ ௚ײతͰΘ͔Γ΍͘͢ •࣮͸3.11Ͱࠓ೔͝঺հͨ͠಺༰͕Ұ෦௠෗Խͯ͠͠·͏͔΋ʁ

Slide 220

Slide 220 text

まとめ •asyncio ଟগ͜Θ͘ͳ͘ͳͬͨͰ͠ΐ͏͔ コ •ਐԽͷૣ͍asyncio •3.7Ҏ߱ߴϨϕϧAPI͕ॆ࣮ ௚ײతͰΘ͔Γ΍͘͢ •࣮͸3.11Ͱࠓ೔͝঺հͨ͠಺༰͕Ұ෦௠෗Խͯ͠͠·͏͔΋ʁ •PyConJP 2022 2022.10.14(Fri)-15(Sat) Ͱ͝঺հͰ͖Ε͹ʂͱࢥ͍·͢

Slide 221

Slide 221 text

まとめ •asyncio ଟগ͜Θ͘ͳ͘ͳͬͨͰ͠ΐ͏͔ コ •ਐԽͷૣ͍asyncio •3.7Ҏ߱ߴϨϕϧAPI͕ॆ࣮ ௚ײతͰΘ͔Γ΍͘͢ •࣮͸3.11Ͱࠓ೔͝঺հͨ͠಺༰͕Ұ෦௠෗Խͯ͠͠·͏͔΋ʁ •PyConJP 2022 2022.10.14(Fri)-15(Sat) Ͱ͝঺հͰ͖Ε͹ʂͱࢥ͍·͢ •΋ͬͱasyncio΍ଞͷʹ͍ͭͯ஌Γ͍ͨʂ

Slide 222

Slide 222 text

Slide 223

Slide 223 text

•ίϧʔνϯ͸ා͘ͳ͍ - Minimum Viable Programmer https://www.rhoboro.com/2019/02/09/coroutine-abstract.html •Using Asyncio in Python - Oreilly & Associates Inc 謝辞 •Yury Selivanov - Asyncio in Python 3 7 and 3 8 https://www.youtube.com/watch?v=ReXxO_azV-w •asyncioͷTaskʹؔ͢Δجૅ஌ࣝ https://aish.dev/python/20200711_asyncio_task.html •To many many internet articles, great books and member. 🙏

Slide 224

Slide 224 text

•࣮૷Ͱ஌Δasyncio -Πϕϯτϧʔϓͷਖ਼ମͱ͸ Rei Suyama - PyCon JP 2021 https://www.youtube.com/watch?v=O0Uwz2l_A_Q 謝辞 •Artisanal Async Adventures Jonas Obrist - PyCon APAC 2018 https://www.youtube.com/watch?v=IbwirUn9ubA •To many many internet articles, great books and member. 🙏 •async await ͷ޲͜͏ଆ Atsushi Odagiri - PyConKyushu 2022 https://www.youtube.com/watch?v=ClSeOPoUH7c

Slide 225

Slide 225 text

ご静聴ありがとうございました 👋