GoogleColabとVSCodeを用いた分析環境運用Tips

GoogleColabとVSCodeを用いたデータ分析環境運用Tipsについてお話ししました。
後半では、kaggleのコンペティションに参加する際のTipsなども記載しています。
補足ブログ：https://www.takapy.work/entry/2021/08/17/185047

LTイベント：第３回分析コンペLT会 、オンライン開催
https://kaggle-friends.connpass.com/event/220927/

Transcript

1. Google ColabͱVSCodeΛ༻͍ͨ σʔλ෼ੳ؀ڥӡ༻Tips Takanobu Nozawa 2021.08.17 ෼ੳίϯϖLTձ
2. ຊ೔͝঺հ͢Δํ๏͸ɺ
   (PPHMFଆ͕ਪ঑͍ͯ͠Δ࢖༻ํ๏Ͱ͸͋Γ·ͤΜɻ
   ͋Β͔͡Ίྃ͝ঝ͍ͩ͘͞🙇
   ʢٸʹ࢖͑ͳ͘ͳͬͨΓ͢ΔՄೳੑ΋͋Δͱࢥ͍ͬͯ·͢ʣ ໔੹
3.  ࣗݾ঺հ
    (PPHMF
   $PMBCPSBUPSZ
   7JTVBM
   4UVEJP
   $PEFͱ͸
    ࠷ऴతʹͲΜͳ؀ڥʹͳΔ͔
    ؀ڥߏஙखॱɾӡ༻࣌ͷϙΠϯτ
    LBHHMFͰ࢖͏৔߹ͷ5JQTʢίʔυίϯϖΛྫʹʣ
    ΠϚΠνͳ఺
    ࠷ޙʹ ΞδΣϯμ
4. ࣗݾ঺հ
5. ໊લɿ໺ᖒ
   ఩রʢ/P[BXB
   5BLBOPCVʣ
   ॴଐɿίωώτגࣜձࣾ
   ɹɹɿ͔ͨͺ͍!UBLBQZ ࣗݾ঺հ w /-1ɺਪનγεςϜΛϝΠϯʹ΍Γͭͭ"84ͱٔΕ͍ͯ·͢
   w ػցֶशΛ࢖ͬͯͲͷΑ͏ʹϏδωεߩݙ͢Δ͔ʹڵຯ͕͋Γ·͢
   w िͰϙουΩϟετ഑৴ͯ͠·͢
   !XJQGN
6. Έͳ͞Μ͸ͲͷΑ͏ͳ؀ڥͰ
   ػցֶशͷษڧ͍ͯ͠·͔͢ʁ
   ίϯϖςΟγϣϯʹࢀՃ͍ͯ͠·͔͢ʁ
7. ྫ͑͹ʜ
   w ࣗ୐ͷϚγϯ
   w "84
   ($1
   w LBHHMF
   OPUFCPPL
   w (PPHMF
   $PMBCPSBUPSZ
   
   
   FUD
8. ྫ͑͹ʜ
   w ࣗ୐ͷϚγϯ
   w "84
   ($1
   w LBHHMF
   OPUFCPPL
   w (PPHMF
   $PMBCPSBUPSZ
   
   ʜFUD ࠓ೔࿩͢ͷ͸͜͜
9. ຊൃදͰ͸ࣗ෼ͷӡ༻ํ๏Λࡽ͠·͕͢ɺ
   ଞͷํ͕ͲͷΑ͏ʹ࢖͍ͬͯΔ͔΋ؾʹͳΔͷͰɺ
   5XJUUFSʢ෼ੳίϯϖ-5ʣ΍ίϝϯτͳͲͰ
   Έͳ͞Μͷ׆༻ํ๏Λڭ͑ͯ΋Β͑Δͱخ͍͠Ͱ͢ʂ🙏
10. (PPHMF
    $PMBCPSBUPSZ
    
    7JTVBM
    4UVEJP
    $PEFͱ͸ ؆୯ʹ͝঺հ
11. (PPHMF
    $PMBCPSBUPSZʢུশɿ$PMBCʣ
    w ϒϥ΢β͔Β1ZUIPO౳Λهड़ɺ࣮ߦͰ͖ΔαʔϏε
    w ҎԼͷΑ͏ͳಛ௃͕͋Δ
    w ؀ڥߏங͕ෆཁ
    w (16΁ͷΞΫηεՄ
    w OPUFCPPLΛ؆୯ʹڞ༗
    w ೥݄ʹ1SP ϓϥϯ͕ొ৔
12. 7JTVBM
    4UVEJP
    $PEFʢུশɿ74$PEFʣ
    w .4͕։ൃ͍ͯ͠ΔίʔυΤσΟλ
    w ֦ுػೳ͕๛෋
    w ࠓճ͸ʮ3FNPUF
    r
    44)ʯͱ͍͏֦ுػೳΛར༻͢Δ
    
13. ࠷ऴతʹͲΜͳ؀ڥʹͳΔ͔ ·ͣ͸ΠϝʔδΛڞ༗͠·͢
14. ࠷ऴతʹͲΜͳ؀ڥʹͳΔ͔ (PPHMF
    %SJWFͷத਎͕74$PEF͔Β௚઀ݟΕΔ
    ˠ74$PEF্ͰϑΝΠϧΛ։͍ͨΓɺฤूͨ͠ΓɺΞοϓϩʔυͨ͠ΓՄ ֦େ 74$PEFͷը໘
15. ࠷ऴతʹͲΜͳ؀ڥʹͳΔ͔ ΋ͪΖΜJQZOCϑΝΠϧ΋͍͡ΕΔ
16. ࠷ऴతʹͲΜͳ؀ڥʹͳΔ͔ w 74$PEFͷ֦ுػೳ΋޷͖ͳ΋ͷΠϯετʔϧͯ͠࢖͑Δ
    w JOEFOUSBJOCPX
    w 5BCOJOF
    w %PDTUSJOH
    (FOFSBUPS
    ͳͲͳͲ
    w -JOUFSͰͷίʔυνΣοΫ΋Ͱ͖Δ
    
17. ࠷ऴతʹͲΜͳ؀ڥʹͳΔ͔ w λʔϛφϧ΋͋Δఔ౓ࣗ෼޷ΈʹͰ͖ΔʢԼهը૾͸[TIʣ
    w (JUIVCͰίʔυ؅ཧ΋Ͱ͖ΔʢDPNNJU
    QVTI
    FUDʣ
18. ࠷ऴతʹͲΜͳ؀ڥʹͳΔ͔ ͜ͷΑ͏ʹɺϩʔΧϧͰ։ൃ͍ͯ͠Δͷͱ͋Δఔ౓ಉ͡ମݧΛ
    $PMBCͷίϯϐϡʔλϦιʔεʢ(16ʣΛ༻͍࣮ͯݱͰ͖Δ☺
19. ؀ڥߏஙखॱ ࣌ؒͷؔ܎΋͋ΔͷͰɺ͜͜Ͱ͸ͬ͘͟Γͱ͝঺հ
    Ҏ߱ͷεϥΠυͷαϯϓϧίʔυ౳͸Լهϒϩάʹ·ͱΊ͍ͯ·͢
    IUUQTXXXUBLBQZXPSLFOUSZ
20. ߏஙखॱ OHSPLΞΧ΢ϯτ࡞੒ͱೝূΩʔͷऔಘʢॳճͷΈʣ
    $PMBCʹ(PPHMFυϥΠϒΛ઀ଓɺTTIαʔόىಈ
    74$PEFʹʮSFNPUFTTIʯΠϯετʔϧʢॳճͷΈʣɺ઀ଓ
21. 
    OHSPLΞΧ΢ϯτ࡞੒ͱೝূΩʔͷऔಘʢॳճͷΈʣ OHSPLʢIUUQTOHSPLDPNʣʹΞΧ΢ϯτ࡞੒͠ɺೝূΩʔΛऔಘ͢Δ ʢແྉΞΧ΢ϯτͰ0,ʣ
    ˠ͜ͷαʔϏεΛ࢖༻͢Δ͜ͱͰɺϩʔΧϧ*1ΞυϨε͔࣋ͨ͠ͳ͍ϗετ ʹɺ֎෦ͷωοτϫʔΫ͔ΒΞΫηε͢Δ͜ͱ͕Ͱ͖ΔΑ͏ʹͳΔ
22. 
    $PMBCʹ(PPHMFυϥΠϒΛ઀ଓɺTTIαʔόىಈ $PMBC্Ͱ(16ɺ(PPHMFυϥΠϒ઀ଓͨ͠ޙɺTTIαʔόͷઃఆɾىಈ Λߦ͏OPUFCPPLΛ࣮ߦ͢Δ
    ˠαʔόىಈ༻OPUFCPPLΛͭ༻ҙͯ͠ʮ͢΂ͯͷηϧΛ࣮ߦʯΛߦ͏ Πϝʔδ
23. 
    74$PEFʹʮSFNPUFTTIʯΠϯετʔϧɺ઀ଓ ϩʔΧϧͰ74$PEFΛىಈ͠ʮ3FNPUF
    44)ʯΛΠϯετʔϧʢॳճͷΈʣ
24. αʔόىಈ༻OPUFCPPLͰऔಘͨ͠OHSPLͷϗετͱ1PSU൪߸ΛTTIDPOGJHʹهड़ 74$PEFͷ$POOFDU
    UP
    )PTUϘλϯΛԡͯ͠ɺ$PMBCαʔόʹ઀ଓ ᶃ ᶄ ᶅ ᶆ ᶈ ᶇ 
    74$PEFʹʮSFNPUFTTIʯΠϯετʔϧɺ઀ଓ
25. ӡ༻࣌ͷϙΠϯτ
26. ӡ༻࣌ͷϙΠϯτ w TTIαʔόىಈ࣌ɺγϯϘϦοΫϦϯΫΛ࡞੒͢Δ
    w [TIΛΠϯετʔϧ͢Δ
    
    CBTIؔ࿈ϑΝΠϧΛίϐʔ͢Δ
    w TFUVQTIεΫϦϓτΛ࡞Δ
    w DISPNF֦ுػೳͰϒϥ΢βΛࣗಈߋ৽͢Δ
27. γϯϘϦοΫϦϯΫΛ࡞੒͢Δ $PMBC্Ͱ༧ΊγϯϘϦοΫϦϯΫΛ࡞੒͓ͯ͘͠
    ˠ
    74$PEF͔Β઀ଓͨ͠ࡍʹ(PPHMF
    %SJWFͷத਎͕ݟ͑ΔΑ͏ʹ
28. [TIΛΠϯετʔϧ͢Δ
    
    CBTIؔ࿈ϑΝΠϧΛίϐʔ͢Δ w [TIͳͲɺ࢖༻͍ͨ͠΋ͷ͸DPMBC্Ͱ༧ΊΠϯετʔϧ͓ͯ͘͠
    w CBTIܥϑΝΠϧʹ΋ඞཁͳ؀ڥม਺Λઃఆ͓ͯ͘͠ͱྑ͍
    w ʢ[TIΛ࢖͍ͬͯΔਓ͸ʣϩʔΧϧͰ࢖༻͍ͯ͠Δ
    [TISD
    Λαʔόʹ ίϐʔ͓ͯ͘͠ͱɺϩʔΧϧͱಉ͡ઃఆ͕࢖͑ͯ޾ͤʹͳΕΔ
29. TFUVQTIεΫϦϓτΛ࡞Δ 74$PEFͷ֦ுػೳ΍QJQͰΠϯετʔϧ͍ͨ͠ϥΠϒϥϦΛɹɹ
    εΫϦϓτʹ·ͱΊ͓ͯ͘
    ˠTTI઀ଓ௚ޙʹ
    
    CBTI
    TFUVQTI
    Λ࣮ߦ͢Δ͚ͩͰຖճಉ͡؀ڥ
    ͕ߏஙͰ͖ΔΑ͏ʹͳΔ
30. DISPNF֦ுػೳͰϒϥ΢βΛࣗಈߋ৽͢Δ $PMBC͸์͓ͬͯ͘ͱηογϣϯ͕੾Εͯ͠·͏
    ˠDISPNFͷ֦ுػೳͰɺTTIαʔόΛىಈͨ͠OPUFCPPLΛఆظߋ৽ ͓ͯ͘͜͠ͱͰηογϣϯ͕੾Εͣʹ࢖͑Δ IUUQTDISPNFHPPHMFDPNXFCTUPSFEFUBJMUBCBVUPSFGSFTIPPNPFBDPHKLPMIFBDHELLLICKJQBPNLO
31. LBHHMFͰ࢖͏৔߹ͷ5JQT Ϟσϧ͸खݩͰֶशͤͯ͞ɺ
    LBHHMF্Ͱ͸ਪ࿦ॲཧ͚ͩΛߦ͏૝ఆͷ
    ίʔυίϯϖΛྫʹ
32. LBHHMFͰ࢖͏৔߹ͷ5JQTʢίʔυίϯϖΛྫʹʣ ֶशਪ࿦εΫϦϓτͷதʹɺzεΫϦϓτຊମzͱzֶशࡁΈϞσϧzΛLBHHMF
    %BUBTFUʹΞοϓϩʔυ͢ΔॲཧΛ࢓ࠐΉ
    ˠ
    TVCNJU࣌͸LBHHMFͷOPUFCPPL্͔ΒεΫϦϓτΛ࣮ߦ͢Δ͚ͩͰ0,ɻ ͜͏͢Δ͜ͱͰʮਪ࿦ઐ༻ͷOPUFCPPLΛ͔Β࡞Βͳ͖Όʜʯͱ͍͏ࣄ΋ ແ͘ͳΔ
    
    ਪ࿦ίʔυ΋(JUIVCͰ؅ཧͰ͖Δ
33. LBHHMFͰ࢖͏৔߹ͷ5JQTʢίʔυίϯϖΛྫʹʣ ϑΝΠϧͷΞοϓϩʔυͷॲཧ͸ҎԼͷΑ͏ͳΠϝʔδ
    ˠ͜ͷαϯϓϧͰ͸ɺVQMPBE@UBSHFU@EJSʹ(PPHMF
    %SJWFͷύε Λࢦఆ࣮ͯ͠ߦ͢ΔΠϝʔδ
    ˞LBHHMFͷDSFEFOUJBM৘ใͷऔѻʹ͸͝஫ҙΛ
34. LBHHMFͰ࢖͏৔߹ͷ5JQTʢίʔυίϯϖΛྫʹʣ εΫϦϓτ಺ͰԼهͷΑ͏ʹ৚݅෼͚͢ΔͱɺखݩͷϚγϯʢ$PMBCʣ Ͱ͸ֶशɾਪ࿦ॲཧΛɺLBHHMFͰTVCNJU͢Δࡍʹ͸ਪ࿦ॲཧͷΈΛߦ͏ εΫϦϓτ͕࣮૷Ͱ͖Δ
35. ΠϚΠνͳ఺
36. ΠϚΠνͳ఺ ΋ͪΖΜྑ͍͜ͱ͹͔ΓͰ͸ͳ͘ɺͪΐͬͱΠϚΠνͳ఺΋͋Δ
    ྫ͑͹ʜ
    w Ұ౓ηογϣϯ͕੾ΕΔͱɺϗετͱ1PSU൪߸Λ࠶ൃߦ͠ɺ DPOGJHϑΝΠϧΛߋ৽ͯ͠74$PEF͔Β࠶઀ଓ͢Δඞཁ͕͋Δ
    w λʔϛφϧ͕গ͠ϞοαϦ͢Δ
    ͱ͸͍͑·͊ڐ༰Ͱ͖Δൣғ͔ͳ͊ͱ͍͏ײ֮👍
37. ࠷ޙʹ
38. ࠷ޙʹ w $PMBCͱ74$PEFΛίϥϘϨʔγϣϯ͢Δ͜ͱͰɺϩʔΧϧͰ։ൃ ͍ͯ͠Δͷͱଝ৭ͳ͍։ൃମݧ͕ɺ(16؀ڥͰՄೳʹʂ
    w Έͳ͞Μͷ$PMBC
    5JQT଴ͬͯ·͢ʂ
    w ؾʹͳͬͨ఺ͳͲ͋Ε͹ɺ5XJUUFS%.Ͱ΋ɺ෼ੳίϯϖ-5
    Ͱ ΋͓ؾܰʹίϝϯτԼ͍͞ʢ!UBLBQZʣ
    w ຊൃද͕ʮ$PMBC͏·͘࢖͍͜ͳͤͳ͍ͳ͊ʯͱࢥ͍ͬͯͨਓͷɹ ҰॿʹͳΕ͹خ͍͠Ͱ͢😆
39. ࢀߟࢿྉ w (PPHMF
    $PMBC
    Λ44)
    ͱ
    74
    $PEF
    Ͱ࢖͏
    w (PPHMF
    $PMBC
    QSPΛ74$PEFͰTTI઀ଓͯ͠7 (16 Λૣ଎ճ ͯ͠Έͨɻ
40. ͓ΘΓ ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ