GoogleColabとVSCodeを用いた分析環境運用Tips

GoogleColabとVSCodeを用いたデータ分析環境運用Tipsについてお話ししました。
後半では、kaggleのコンペティションに参加する際のTipsなども記載しています。
補足ブログ：https://www.takapy.work/entry/2021/08/17/185047

LTイベント：第３回分析コンペLT会 、オンライン開催
https://kaggle-friends.connpass.com/event/220927/

Transcript

1. Google ColabͱVSCodeΛ༻͍ͨ
   σʔλ෼ੳ؀ڥӡ༻Tips
   Takanobu Nozawa
   2021.08.17
   ෼ੳίϯϖLTձ
   

   View Slide

2. ຊ೔͝঺հ͢Δํ๏͸ɺ
   (PPHMFଆ͕ਪ঑͍ͯ͠Δ࢖༻ํ๏Ͱ͸͋Γ·ͤΜɻ
   ͋Β͔͡Ίྃ͝ঝ͍ͩ͘͞🙇
   ʢٸʹ࢖͑ͳ͘ͳͬͨΓ͢ΔՄೳੑ΋͋Δͱࢥ͍ͬͯ·͢ʣ
   ໔੹
   

   View Slide

3. ࣗݾ঺հ
   (PPHMF$PMBCPSBUPSZ 7JTVBM4UVEJP$PEFͱ͸
   ࠷ऴతʹͲΜͳ؀ڥʹͳΔ͔
   ؀ڥߏஙखॱɾӡ༻࣌ͷϙΠϯτ
   LBHHMFͰ࢖͏৔߹ͷ5JQTʢίʔυίϯϖΛྫʹʣ
   ΠϚΠνͳ఺
   ࠷ޙʹ
   ΞδΣϯμ
   

   View Slide

4. ࣗݾ঺հ
   

   View Slide

5. ໊લɿ໺ᖒ఩রʢ/P[BXB5BLBOPCVʣ
   ॴଐɿίωώτגࣜձࣾ
   ɹɹɿ͔ͨͺ͍!UBLBQZ
   ࣗݾ঺հ
   w /-1ɺਪનγεςϜΛϝΠϯʹ΍Γͭͭ"84ͱٔΕ͍ͯ·͢
   w ػցֶशΛ࢖ͬͯͲͷΑ͏ʹϏδωεߩݙ͢Δ͔ʹڵຯ͕͋Γ·͢
   w िͰϙουΩϟετ഑৴ͯ͠·͢!XJQGN
   

   View Slide

6. Έͳ͞Μ͸ͲͷΑ͏ͳ؀ڥͰ
   ػցֶशͷษڧ͍ͯ͠·͔͢ʁ
   ίϯϖςΟγϣϯʹࢀՃ͍ͯ͠·͔͢ʁ
   

   View Slide

7. ྫ͑͹ʜ
   w ࣗ୐ͷϚγϯ
   w "84 ($1
   w LBHHMFOPUFCPPL
   w (PPHMF$PMBCPSBUPSZFUD
   

   View Slide

8. ྫ͑͹ʜ
   w ࣗ୐ͷϚγϯ
   w "84 ($1
   w LBHHMFOPUFCPPL
   w (PPHMF$PMBCPSBUPSZʜFUD
   ࠓ೔࿩͢ͷ͸͜͜
   

   View Slide

9. ຊൃදͰ͸ࣗ෼ͷӡ༻ํ๏Λࡽ͠·͕͢ɺ
   ଞͷํ͕ͲͷΑ͏ʹ࢖͍ͬͯΔ͔΋ؾʹͳΔͷͰɺ
   5XJUUFSʢ෼ੳίϯϖ-5ʣ΍ίϝϯτͳͲͰ
   Έͳ͞Μͷ׆༻ํ๏Λڭ͑ͯ΋Β͑Δͱخ͍͠Ͱ͢ʂ🙏
   

   View Slide

10. (PPHMF$PMBCPSBUPSZ
    7JTVBM4UVEJP$PEFͱ͸
    ؆୯ʹ͝঺հ
    

    View Slide

11. (PPHMF$PMBCPSBUPSZʢུশɿ$PMBCʣ
    w ϒϥ΢β͔Β1ZUIPO౳Λهड़ɺ࣮ߦͰ͖ΔαʔϏε
    w ҎԼͷΑ͏ͳಛ௃͕͋Δ
    w ؀ڥߏங͕ෆཁ
    w (16΁ͷΞΫηεՄ
    w OPUFCPPLΛ؆୯ʹڞ༗
    w ೥݄ʹ1SPϓϥϯ͕ొ৔
    

    View Slide

12. 7JTVBM4UVEJP$PEFʢུশɿ74$PEFʣ
    w .4͕։ൃ͍ͯ͠ΔίʔυΤσΟλ
    w ֦ுػೳ͕๛෋
    w ࠓճ͸ʮ3FNPUFr44)ʯͱ͍͏֦ுػೳΛར༻͢Δ
    

    View Slide

13. ࠷ऴతʹͲΜͳ؀ڥʹͳΔ͔
    ·ͣ͸ΠϝʔδΛڞ༗͠·͢
    

    View Slide

14. ࠷ऴతʹͲΜͳ؀ڥʹͳΔ͔
    (PPHMF%SJWFͷத਎͕74$PEF͔Β௚઀ݟΕΔ
    ˠ74$PEF্ͰϑΝΠϧΛ։͍ͨΓɺฤूͨ͠ΓɺΞοϓϩʔυͨ͠ΓՄ
    ֦େ
    74$PEFͷը໘
    

    View Slide

15. ࠷ऴతʹͲΜͳ؀ڥʹͳΔ͔
    ΋ͪΖΜJQZOCϑΝΠϧ΋͍͡ΕΔ
    

    View Slide

16. ࠷ऴతʹͲΜͳ؀ڥʹͳΔ͔
    w 74$PEFͷ֦ுػೳ΋޷͖ͳ΋ͷΠϯετʔϧͯ͠࢖͑Δ
    w JOEFOUSBJOCPX
    w 5BCOJOF
    w %PDTUSJOH(FOFSBUPSͳͲͳͲ
    w -JOUFSͰͷίʔυνΣοΫ΋Ͱ͖Δ
    

    View Slide

17. ࠷ऴతʹͲΜͳ؀ڥʹͳΔ͔
    w λʔϛφϧ΋͋Δఔ౓ࣗ෼޷ΈʹͰ͖ΔʢԼهը૾͸[TIʣ
    w (JUIVCͰίʔυ؅ཧ΋Ͱ͖ΔʢDPNNJU QVTI FUDʣ
    

    View Slide

18. ࠷ऴతʹͲΜͳ؀ڥʹͳΔ͔
    ͜ͷΑ͏ʹɺϩʔΧϧͰ։ൃ͍ͯ͠Δͷͱ͋Δఔ౓ಉ͡ମݧΛ
    $PMBCͷίϯϐϡʔλϦιʔεʢ(16ʣΛ༻͍࣮ͯݱͰ͖Δ☺
    

    View Slide

19. ؀ڥߏஙखॱ
    ࣌ؒͷؔ܎΋͋ΔͷͰɺ͜͜Ͱ͸ͬ͘͟Γͱ͝঺հ
    Ҏ߱ͷεϥΠυͷαϯϓϧίʔυ౳͸Լهϒϩάʹ·ͱΊ͍ͯ·͢
    IUUQTXXXUBLBQZXPSLFOUSZ
    

    View Slide

20. ߏஙखॱ
    OHSPLΞΧ΢ϯτ࡞੒ͱೝূΩʔͷऔಘʢॳճͷΈʣ
    $PMBCʹ(PPHMFυϥΠϒΛ઀ଓɺTTIαʔόىಈ
    74$PEFʹʮSFNPUFTTIʯΠϯετʔϧʢॳճͷΈʣɺ઀ଓ
    

    View Slide

21. OHSPLΞΧ΢ϯτ࡞੒ͱೝূΩʔͷऔಘʢॳճͷΈʣ
    OHSPLʢIUUQTOHSPLDPNʣʹΞΧ΢ϯτ࡞੒͠ɺೝূΩʔΛऔಘ͢Δ
    ʢແྉΞΧ΢ϯτͰ0,ʣ
    ˠ͜ͷαʔϏεΛ࢖༻͢Δ͜ͱͰɺϩʔΧϧ*1ΞυϨε͔࣋ͨ͠ͳ͍ϗετ
    ʹɺ֎෦ͷωοτϫʔΫ͔ΒΞΫηε͢Δ͜ͱ͕Ͱ͖ΔΑ͏ʹͳΔ
    

    View Slide

22. $PMBCʹ(PPHMFυϥΠϒΛ઀ଓɺTTIαʔόىಈ
    $PMBC্Ͱ(16ɺ(PPHMFυϥΠϒ઀ଓͨ͠ޙɺTTIαʔόͷઃఆɾىಈ
    Λߦ͏OPUFCPPLΛ࣮ߦ͢Δ
    ˠαʔόىಈ༻OPUFCPPLΛͭ༻ҙͯ͠ʮ͢΂ͯͷηϧΛ࣮ߦʯΛߦ͏
    Πϝʔδ
    

    View Slide

23. 74$PEFʹʮSFNPUFTTIʯΠϯετʔϧɺ઀ଓ
    ϩʔΧϧͰ74$PEFΛىಈ͠ʮ3FNPUF44)ʯΛΠϯετʔϧʢॳճͷΈʣ
    

    View Slide

24. αʔόىಈ༻OPUFCPPLͰऔಘͨ͠OHSPLͷϗετͱ1PSU൪߸ΛTTIDPOGJHʹهड़
    74$PEFͷ$POOFDUUP)PTUϘλϯΛԡͯ͠ɺ$PMBCαʔόʹ઀ଓ
    ᶃ ᶄ
    ᶅ
    ᶆ
    ᶈ
    ᶇ
    74$PEFʹʮSFNPUFTTIʯΠϯετʔϧɺ઀ଓ
    

    View Slide

25. ӡ༻࣌ͷϙΠϯτ
    

    View Slide

26. ӡ༻࣌ͷϙΠϯτ
    w TTIαʔόىಈ࣌ɺγϯϘϦοΫϦϯΫΛ࡞੒͢Δ
    w [TIΛΠϯετʔϧ͢ΔCBTIؔ࿈ϑΝΠϧΛίϐʔ͢Δ
    w TFUVQTIεΫϦϓτΛ࡞Δ
    w DISPNF֦ுػೳͰϒϥ΢βΛࣗಈߋ৽͢Δ
    

    View Slide

27. γϯϘϦοΫϦϯΫΛ࡞੒͢Δ
    $PMBC্Ͱ༧ΊγϯϘϦοΫϦϯΫΛ࡞੒͓ͯ͘͠
    ˠ74$PEF͔Β઀ଓͨ͠ࡍʹ(PPHMF%SJWFͷத਎͕ݟ͑ΔΑ͏ʹ
    

    View Slide

28. [TIΛΠϯετʔϧ͢ΔCBTIؔ࿈ϑΝΠϧΛίϐʔ͢Δ
    w [TIͳͲɺ࢖༻͍ͨ͠΋ͷ͸DPMBC্Ͱ༧ΊΠϯετʔϧ͓ͯ͘͠
    w CBTIܥϑΝΠϧʹ΋ඞཁͳ؀ڥม਺Λઃఆ͓ͯ͘͠ͱྑ͍
    w ʢ[TIΛ࢖͍ͬͯΔਓ͸ʣϩʔΧϧͰ࢖༻͍ͯ͠Δ[TISDΛαʔόʹ
    ίϐʔ͓ͯ͘͠ͱɺϩʔΧϧͱಉ͡ઃఆ͕࢖͑ͯ޾ͤʹͳΕΔ
    

    View Slide

29. TFUVQTIεΫϦϓτΛ࡞Δ
    74$PEFͷ֦ுػೳ΍QJQͰΠϯετʔϧ͍ͨ͠ϥΠϒϥϦΛɹɹ
    εΫϦϓτʹ·ͱΊ͓ͯ͘
    ˠTTI઀ଓ௚ޙʹ
    CBTITFUVQTI
    Λ࣮ߦ͢Δ͚ͩͰຖճಉ͡؀ڥ
    ͕ߏஙͰ͖ΔΑ͏ʹͳΔ
    

    View Slide

30. DISPNF֦ுػೳͰϒϥ΢βΛࣗಈߋ৽͢Δ
    $PMBC͸์͓ͬͯ͘ͱηογϣϯ͕੾Εͯ͠·͏
    ˠDISPNFͷ֦ுػೳͰɺTTIαʔόΛىಈͨ͠OPUFCPPLΛఆظߋ৽
    ͓ͯ͘͜͠ͱͰηογϣϯ͕੾Εͣʹ࢖͑Δ
    IUUQTDISPNFHPPHMFDPNXFCTUPSFEFUBJMUBCBVUPSFGSFTIPPNPFBDPHKLPMIFBDHELLLICKJQBPNLO
    

    View Slide

31. LBHHMFͰ࢖͏৔߹ͷ5JQT
    Ϟσϧ͸खݩͰֶशͤͯ͞ɺ
    LBHHMF্Ͱ͸ਪ࿦ॲཧ͚ͩΛߦ͏૝ఆͷ
    ίʔυίϯϖΛྫʹ
    

    View Slide

32. LBHHMFͰ࢖͏৔߹ͷ5JQTʢίʔυίϯϖΛྫʹʣ
    ֶशਪ࿦εΫϦϓτͷதʹɺzεΫϦϓτຊମzͱzֶशࡁΈϞσϧzΛLBHHMF
    %BUBTFUʹΞοϓϩʔυ͢ΔॲཧΛ࢓ࠐΉ
    ˠTVCNJU࣌͸LBHHMFͷOPUFCPPL্͔ΒεΫϦϓτΛ࣮ߦ͢Δ͚ͩͰ0,ɻ
    ͜͏͢Δ͜ͱͰʮਪ࿦ઐ༻ͷOPUFCPPLΛ͔Β࡞Βͳ͖Όʜʯͱ͍͏ࣄ΋
    ແ͘ͳΔਪ࿦ίʔυ΋(JUIVCͰ؅ཧͰ͖Δ
    

    View Slide

33. LBHHMFͰ࢖͏৔߹ͷ5JQTʢίʔυίϯϖΛྫʹʣ
    ϑΝΠϧͷΞοϓϩʔυͷॲཧ͸ҎԼͷΑ͏ͳΠϝʔδ
    ˠ͜ͷαϯϓϧͰ͸ɺVQMPBE@UBSHFU@EJSʹ(PPHMF%SJWFͷύε
    Λࢦఆ࣮ͯ͠ߦ͢ΔΠϝʔδ
    ˞LBHHMFͷDSFEFOUJBM৘ใͷऔѻʹ͸͝஫ҙΛ
    

    View Slide

34. LBHHMFͰ࢖͏৔߹ͷ5JQTʢίʔυίϯϖΛྫʹʣ
    εΫϦϓτ಺ͰԼهͷΑ͏ʹ৚݅෼͚͢ΔͱɺखݩͷϚγϯʢ$PMBCʣ
    Ͱ͸ֶशɾਪ࿦ॲཧΛɺLBHHMFͰTVCNJU͢Δࡍʹ͸ਪ࿦ॲཧͷΈΛߦ͏
    εΫϦϓτ͕࣮૷Ͱ͖Δ
    

    View Slide

35. ΠϚΠνͳ఺
    

    View Slide

36. ΠϚΠνͳ఺
    ΋ͪΖΜྑ͍͜ͱ͹͔ΓͰ͸ͳ͘ɺͪΐͬͱΠϚΠνͳ఺΋͋Δ
    ྫ͑͹ʜ
    w Ұ౓ηογϣϯ͕੾ΕΔͱɺϗετͱ1PSU൪߸Λ࠶ൃߦ͠ɺ
    DPOGJHϑΝΠϧΛߋ৽ͯ͠74$PEF͔Β࠶઀ଓ͢Δඞཁ͕͋Δ
    w λʔϛφϧ͕গ͠ϞοαϦ͢Δ
    ͱ͸͍͑·͊ڐ༰Ͱ͖Δൣғ͔ͳ͊ͱ͍͏ײ֮👍
    

    View Slide

37. ࠷ޙʹ
    

    View Slide

38. ࠷ޙʹ
    w $PMBCͱ74$PEFΛίϥϘϨʔγϣϯ͢Δ͜ͱͰɺϩʔΧϧͰ։ൃ
    ͍ͯ͠Δͷͱଝ৭ͳ͍։ൃମݧ͕ɺ(16؀ڥͰՄೳʹʂ
    w Έͳ͞Μͷ$PMBC5JQT଴ͬͯ·͢ʂ
    w ؾʹͳͬͨ఺ͳͲ͋Ε͹ɺ5XJUUFS%.Ͱ΋ɺ෼ੳίϯϖ-5Ͱ
    ΋͓ؾܰʹίϝϯτԼ͍͞ʢ!UBLBQZʣ
    w ຊൃද͕ʮ$PMBC͏·͘࢖͍͜ͳͤͳ͍ͳ͊ʯͱࢥ͍ͬͯͨਓͷɹ
    ҰॿʹͳΕ͹خ͍͠Ͱ͢😆
    

    View Slide

39. ࢀߟࢿྉ
    w (PPHMF$PMBCΛ44)ͱ74$PEFͰ࢖͏
    w (PPHMF$PMBCQSPΛ74$PEFͰTTI઀ଓͯ͠7 (16
    Λૣ଎ճ
    ͯ͠Έͨɻ
    

    View Slide

40. ͓ΘΓ
    ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ
    

    View Slide