Understanding distributed processing in Python

#pyconth2019
https://th.pycon.org/talks/#row-47
Slides of my talk at PyConTh2019

Transcript

1. Understanding distributed
   processing in Python
   Chie Hayashida
   

   View Slide

2. $IJF)BZBTIJEB !DIJF)
   • 4PGUXBSF&OHJOFFSBU$PPLQBE GSPN+BQBO!
   • EFWFMPQBOEDPOUSJCVUFUPTPNF044 XSJUFBSUJDMFT BOENBLF
   QSFTFOUBUJPOT
   • 8POGJSTUQSJ[FBUSF*OWFOU (BNF%BZ
   

   View Slide

3. $PPLQBE ‒ worldʼs largest recipe sharing platform
   Try it
   

   View Slide

4. $PPLQBE JTHMPCBMTFSWJDF
   

   View Slide

5. "HFOEB
   •CBTJDLOPXMFEHFPG
   DPODVSSFOUQBSBMMFMEJTUSJCVUFEQSPDFTTJOH
   •QBSBMMFMQSPDFTTJOHJO1ZUIPO
   •EJTUSJCVUFEQSPDFTTJOHJO1ZUIPO
   

   View Slide

6. %JTDMBJNFS
   • 8IBUEP*UBML
   • CBTJDBSDIJUFDUVSFPGQBSBMMFMEJTUSJCVUFE
   QSPDFTTJOH DPNQVUJOH
   MJCSBSJFTJO1ZUIPO
   • 8IBUEP*OPU UBML
   • IPXUPJOTUBMMBOETFUVQFBDIMJCSBSJFT
   • VTBHFTPGEFUBJMFE"1*TPGXIBUXFJOUSPEVDF
   

   View Slide

7. 8IFOXFVTFQBSBMMFMEJTUSJCVUFE
   QSPDFTTJOH
   FH
   •%PXOMPBEMBSHFEBUBJOTIPSUUJNF
   •6TFMBSHFEBUBGPS%BUBBOBMZTJTPS
   .BDIJOF-FBSOJOH
   •)BOEMFBMPUPGSFRVFTUTTJNVMUBOFPVTMZ
   BU8FC4JUF
   

   View Slide

8. 28IBUJT UIFEJGGFSFODFPGCFMPX
   •$PODVSSFOUQSPDFTTJOH
   •1BSBMMFMQSPDFTTJOH
   

   View Slide

9. l$PODVSSFOUQSPDFTTJOHzBOE l1BSBMMFM1SPDFTTJOHz
   $PODVSSFODZJTBCPVU EFBMJOHXJUI MPUTPG
   UIJOHTBUPODF
   1BSBMMFMJTNJTBCPVU EPJOH MPUTPGUIJOHTBUPODF
   3PC1JLFIUUQTUBMLTHPMBOHPSHXB[BTMJEF
   

   View Slide

10. l$PODVSSFOUQSPDFTTJOHzBOE l1BSBMMFM1SPDFTTJOHz
    )FSFJT$PODVSSFOU
    )FSFJTQBSBMMFMBOEBMTPDPODVSSFOU
    

    View Slide

11. $PODVSSFOUBOEQBSBMMFMQSPHSBNTDIFNF
    •$PODVSSFOUQSPHSBNTDIFNF
    $PODVSSFOU
    1SPHSBN
    1SPDFTT
    1SPDFTT
    TDIFEVMFS $16
    1SPDFTT
    2VFVF
    1BSBMMFM
    1SPHSBN
    1SPDFTT
    1SPDFTT
    $16
    $16
    •1BSBMMFMQSPHSBNTDIFNF
    

    View Slide

12. 28IBUJT UIFEJGGFSFODFPGCFMPX
    •1BSBMMFMQSPDFTTJOH
    •%JTUSJCVUFEQSPDFTTJOH
    

    View Slide

13. l1BSBMMFMQSPDFTTJOHzBOEl%JTUSJCVUFEQSPDFTTJOHz
    • 1BSBMMFMQSPDFTTJOH
    1SPDFTTPS T
    
    .FNPSZ
    1SPDFTTPS T
    
    .FNPSZ
    1SPDFTTPS T
    
    .FNPSZ
    1SPDFTTPS 1SPDFTTPS 1SPDFTTPS
    .FNPSZ
    • %JTUSJCVUFEQSPDFTTJOH
    /8
    /8
    /8
    QSPDFTTPSTIBSFTNFNPSZ*OQBSBMMFMQSPDFTTJOH
    POUIFPUIFSIBOEQSPDFTTPSTIBTPXONFNPSJFTJOEJTUSJCVUFEQSPDFTTJOH
    

    View Slide

14. 8IFOBOEIPXTIPVMEXF
    VTFQBSBMMFMEJTUSJCVUFE
    BSDIJUFDUVSFJO1ZUIPO
    

    View Slide

15. UISFBEJOHBOENVMUJQSPDFTTJOH
    •1ZUIPOIBTPGGJDJBMNPEVMFTGPSQBSBMMFMQSPDFTTJOH
    • l#BUUFSZJODMVEFEz
    •8FDBOQBSBMMFMJ[FPVSQSPHSBNXJUIPVUBOZUIJSE
    QBSUZMJCSBSJFT
    

    View Slide

16. UISFBEJOH
    • UISFBEJOHNPEVMFEJWJEFTPOFQSPDFTTJOUPNVMUJQMF
    UISFBET
    .BJO5ISFBE
    5ISFBE
    5ISFBE
    1SPDFTT
    

    View Slide

17. UISFBEJOH
    • (*- (MPCBM *OUFSQSFUFS-PDL
    MJNJUTPOMZPOFUISFBEDBOCF
    JOBTUBUFPGFYFDVUJPOBUBOZQPJOUJOUJNFJO$1ZUIPO
    1SPDFTT
    5ISFBE
    5ISFBE
    5ISFBE
    SVO BXBJU
    BXBJU SVO
    BXBJU SVO
    SVO
    SVO
    BXBJU
    BXBJU SVO
    "DRVJSF-PDL
    

    View Slide

18. 8IZ(*-
    • 5ISFBETJOQSPDFTTVTFTTBNFNFNPSZTQBDF
    • (*-XBTDIPTFOUPQSPUFDUUIFJOUFSOBMNFNPSZVTFECZ
    UIFJOUFSQSFUFS
    QSPDFTT
    UISFBE UISFBE
    .FNPSZ4QBDF
    

    View Slide

19. *OXIBUTJUVBUJPOTJTUISFBEJOH
    FGGFDUJWF
    • 5BTLTXIJDIJT*0 CPVOETVDIBT
    • SFBEXSJUFGJMFT
    • %#DPOOFDUJPO
    • %PXOMPBEEBUBGSPN/8
    1SPDFTT
    5ISFBE
    5ISFBE
    5ISFBE
    SVO BXBJU
    BXBJU SVO
    BXBJU SVO
    SVO
    SVO
    BXBJU
    BXBJU SVO
    "DRVJSF-PDL
    

    View Slide

20. *OXIBUTJUVBUJPOTJTUISFBEJOH
    FGGFDUJWF
    • 5BTLTXIJDIJT*0 CPVOETVDIBT
    • SFBEXSJUFGJMFT
    • %#DPOOFDUJPO
    • %PXOMPBEEBUBGSPN/8
    1SPDFTT
    5ISFBE
    5ISFBE
    5ISFBE
    SVO BXBJU
    BXBJU SVO
    BXBJU SVO
    SVO
    SVO
    *0
    BXBJU SVO
    "DRVJSF
    -PDL
    *0
    *0
    *0
    VTF$16 EPOPUVTF$16
    

    View Slide

21. NVMUJQSPDFTTJOH
    •NVMUJQSPDFTTJOHTQBXOTQSPDFTTFTGPS
    QBSBMMFMJ[BUJPO
    •QBSBMMFMJ[FJOCPUIMPDBMBOESFNPUF
    .BJO1SPDFTT
    $IJME1SPDFTT
    $IJME1SPDFTT
    

    View Slide

22. NVMUJQSPDFTTJOH
    • FBDIQSPDFTTFTIBTJUTPXONFNPSZTQBDF
    • /PUBGGFDUFECZ(*-
    • -FTTMJLFMZUPDBVTFFSSPSTEVFUPEBUBDPSSVQUJPOPS
    EFBEMPDL .BJO1SPDFTT
    $IJME1SPDFTT
    $IJME1SPDFTT
    PTGPSL
    
    .FNPSZ4QBDF
    .FNPSZ4QBDF $PQZ
    
    .FNPSZ4QBDF $PQZ
    
    

    View Slide

23. *OXIBUTJUVBUJPOTJTNVMUJUISFBEJOH
    FGGFDUJWF
    • 5BTLTXIJDIJT$16CPVOETVDIBT
    • /VNFSJDBMDBMDVSBUJPO
    • 3FHVMBSFYQSFTTJPOQSPDFTTJOH
    • #VUUIFQFSGPSNBODFJO1ZUIPO`TNVMUJQSPDFTTJOHEPFTO`U
    JODSFBTFMJOFBSMZ
    

    View Slide

24. NVMUJQSPDFTTJOH
    • 5IFSFJTPWFSIFBEEVFUPDPNNVOJDBUJPO
    CFUXFFOQBSFOUQSPDFTTBOEDIJMEQSPDFTT
    .BJO1SPDFTT
    $IJME1SPDFTT
    $IJME1SPDFTT
    PTGPSL
    
    .FNPSZ4QBDF
    .FNPSZ4QBDF $PQZ
    
    .FNPSZ4QBDF $PQZ
    
    

    View Slide

25. NVMUJQSPDFTTJOH
    •UIFNBYOVNCFSPGUBTLTXIJDIDBOCFSVO
    TJNVMUBOFPVTMZJTSFTUSJDUFEUP$16OVNCFS
    5BTL
    5BTL
    5BTL
    5BTL
    5BTL
    5BTL
    $16
    $16
    

    View Slide

26. +PCMJC
    • UIJSEQBSUZMJCSBSZGPSQBSBMMFMQSPDFTTJOHJO1ZUIPO
    • +PCMJC DBOVTF UISFBEJOHPSNVMUJQSPDFTTJOHGPSCBDLFOE
    • MB[ZFWBMVBUJPOVTJOHUSBOTQBSFOUEJTLDBDIJOHPGUIF
    PVUQVU
    • FBTZBOETJNQMFDPEJOH
    • MPHHJOHBOEUSBDJOHPGUIFFYFDVUJPO
    https://joblib.readthedocs.io/
    

    View Slide

27. 4VNNBSZVQUPIFSF
    • 1ZUIPOIBTPGGJDJBMNPEVMFTGPSQBSBMMFMQSPDFTTJOH
    • UISFBEJOHJTFGGFDUJWFUP*0CPVOEQSPDFTTJOH
    • NVMUJQSPDFTTJOHJTFGGFDUJWFUP$16CPVOEQSPDFTTJOH
    • CPUIPGUXPBSFNBJOMZGPSPOMZGPSQSPDFTTFTSVOBUPOMZ
    POFNBDIJOF
    • TPNFPGEBUBMJCSBSJFTUSBOTQBSFOUMZVTFUIFTFQBSBMMFM
    QSPDFTTJOHMJCSBSJFT
    

    View Slide

28. %JTUSJCVUFEQSPDFTTJOHJO1ZUIPO
    • 8IFOXFVTFMBSHFEBUBXIJDIDPVMEO`UQSPDFTTJOPOF
    NBDIJOF XFIBWFUPDPOTJEFSBCPVUEJTUSJCVUFE
    QSPDFTTJOH
    • QSPQFSUJFTXIJDITIPVMECFJODMVEFEJOEJTUSJCVUFE
    GSBNFXPSL
    • "VUPNBUJDSFDPWFSZ GSPNFSSPS
    • 5BTLEJWJTJPO KPCTDIFEVMJOH
    • 5PPMTGPS.POJUPSJOH %FCVHHBCJMJUZ
    

    View Slide

29. %JTUSJCVUFEQSPDFTTJOHJO1ZUIPO
    *JOUSPEVDFUISFFGBNPVTMJCSBSJFTGPS
    EJTUSJCVUFEQSPDFTTJOHJO1ZUIPO
    •$FMFSZ
    •%BTL
    •1Z4QBSL
    

    View Slide

30. $FMFSZ
    •EJTUSJCVUFEUBTLRVFVFCVJMUJO1ZUIPO
    •TJNQMFBOEGMFYJCMFBSDIJUFDUVSF
    • &WFSZQBSUTDBOCFFYUFOE
    • IFBWJMZVTFEGPSUBTLCBTFEXPSLMPBETJO
    1ZUIPO
    • XJUI%KBOHP
    • "JSGMPXCBDLFOE
    

    View Slide

31. $FMFSZ"SDIJUFDUVSF
    $MJFOU
    CSPLFS
    3BCCJU.2 3FEJT
    424 FUD
    
    2VFVF
    2VFVF
    2VFVF
    8PSLFS $POTVNFS
    
    8PSLFS $POTVNFS
    
    #BDLFOE
    3FTVMUT
    3FEJT FUD
    
    8PSLFS $POTVNFS
    
    8PSLFS $POTVNFS
    
    

    View Slide

32. *OXIBUTJUVBUJPOTJTDFMFSZFGGFDUJWF
    • 8IFOUIFUBTLJTTJNQMFCVUUIFBNPVOUPGEBUBJTUPP
    NVDIGPSPOFNBDIJOF
    • 8IFOZPVXBOUUPVTFJUXJUIBOPUIFSGSBNFXPSLTVDIBT
    %KBOHP
    

    View Slide

33. %BTL
    • EJTUSJCVUFEQSPDFTTJOHGSBNFXPSLCVJMUJO1ZUIPO
    • CFBCMFUPVTF/VN1Z1BOEBT-JTUTMJLFQBSBMMFM
    PCKFDUT EBTLBSSBZ EBTLEBUBGSBNF EBTLCBH BOE"1*T
    • 4DIFEVMFSJTDVTUPNJ[BCMFUPHFUHPPEQFSGPSNBODFGPS
    CPUIGPSQBSBMMFMQSPDFTTJOHPOMPDBMNBDIJOFBOEGPS
    EJTUSJCVUFEQSPDFTTJOHPODMVTUFS
    • )BTHPPE8FC*OUFSGBDFGPSSFBMUJNFKPCNPOJUPSJOH
    

    View Slide

34. %BTL TDIFEVMFS
    http://docs.dask.org/en/latest/scheduling.html
    

    View Slide

35. %BTL 8FC*OUFSGBDF
    

    View Slide

36. *OXIBUTJUVBUJPOTJT%BTL FGGFDUJWF
    • 8IFOXFXBOUUPQBSBMMFMJ[F/VN1ZPSQBOEBTQSPDFTTJOH
    • 8IFOUIFEBUBTJ[FGJUTPOFUP NBDIJOFT
    

    View Slide

37. 1Z4QBSL
    • CVJMEJO+BWBBOEIBT1ZUIPO*OUFSGBDF
    • DBOCFNPSFTDBMFPVUUIBODFMFSZBOEEBTL
    • 0SJHJOBMMZCVJMUUPSVOPOB)BEPPQDMVTUFS
    • GBTUBOEDPTUFGGJDJFOUQSPDFTTJOH
    • )BTHPPE8FC*OUFSGBDFGPSSFBMUJNFKPCNPOJUPSJOH
    • NVMUJGVODUJPOBM
    • TUSFBN "1*
    • NBDIJOFMFBSOJOH"1*
    • DBOCFVTFJONBOBHFNFOUTFSWJDFJODMPVETFSWJDF
    

    View Slide

38. 1Z4QBSL
    • CVJMEJO+BWBBOEIBT1ZUIPO*OUFSGBDF
    only with partial API
    

    View Slide

39. 1Z4QBSL
    • DBOCFNPSFTDBMFPVUUIBODFMFSZBOE%BTL
    node
    number
    1 4-5 thousands
    

    View Slide

40. *OXIBUTJUVBUJPOTJT1Z4QBSL FGGFDUJWF
    • 8IFOXFXBOUUPSVODPNQMFYUBTLTXJUIBMBSHFBNPVOU
    PGEBUB
    • 8IFOXFIBWF)BEPPQDMVTUFS
    

    View Slide

41. 4VNNBSZ
    • &YQMBJOFEBCPVUUIFEJGGFSFODFPG
    DPODVSSFOUQBSBMMFMEJTUSJCVUFEQSPDFTTJOH
    •*OUSPEVDFEUIFBSDIJUFDUVSFPG QBSBMMFMEJTUSJCVUFE
    QSPDFTTJOHMJCSBSJFT
    

    View Slide

42. DPVMEO`UJOUSPEVDF
    • BTZODJP
    • DPODVSSFOUGVUVSF
    • "OPUIFSUIJSEQBSUZMJCSBSJFT
    

    View Slide

43. %PObUCFBGSBJEUPVTFQBSBMMFM
    QSPDFTTJOHNPSF
    

    View Slide

44. 2VFTUJPO
    

    View Slide