Upgrade to Pro — share decks privately, control downloads, hide ads and more …

GoogleColabとVSCodeを用いた分析環境運用Tips

 GoogleColabとVSCodeを用いた分析環境運用Tips

GoogleColabとVSCodeを用いたデータ分析環境運用Tipsについてお話ししました。
後半では、kaggleのコンペティションに参加する際のTipsなども記載しています。
補足ブログ:https://www.takapy.work/entry/2021/08/17/185047

LTイベント:第3回分析コンペLT会 、オンライン開催
https://kaggle-friends.connpass.com/event/220927/

C5c09bfd9ee31f5aef8ce257643d50ea?s=128

Takanobu Nozawa

August 17, 2021
Tweet

Transcript

  1. Google ColabͱVSCodeΛ༻͍ͨ σʔλ෼ੳ؀ڥӡ༻Tips Takanobu Nozawa 2021.08.17 ෼ੳίϯϖLTձ

  2. ຊ೔͝঺հ͢Δํ๏͸ɺ (PPHMFଆ͕ਪ঑͍ͯ͠Δ࢖༻ํ๏Ͱ͸͋Γ·ͤΜɻ ͋Β͔͡Ίྃ͝ঝ͍ͩ͘͞🙇 ʢٸʹ࢖͑ͳ͘ͳͬͨΓ͢ΔՄೳੑ΋͋Δͱࢥ͍ͬͯ·͢ʣ ໔੹

  3.  ࣗݾ঺հ  (PPHMF$PMBCPSBUPSZ 7JTVBM4UVEJP$PEFͱ͸  ࠷ऴతʹͲΜͳ؀ڥʹͳΔ͔  ؀ڥߏஙखॱɾӡ༻࣌ͷϙΠϯτ 

    LBHHMFͰ࢖͏৔߹ͷ5JQTʢίʔυίϯϖΛྫʹʣ  ΠϚΠνͳ఺  ࠷ޙʹ ΞδΣϯμ
  4. ࣗݾ঺հ

  5. ໊લɿ໺ᖒ఩রʢ/P[BXB5BLBOPCVʣ ॴଐɿίωώτגࣜձࣾ ɹɹɿ͔ͨͺ͍!UBLBQZ ࣗݾ঺հ w /-1ɺਪનγεςϜΛϝΠϯʹ΍Γͭͭ"84ͱٔΕ͍ͯ·͢ w ػցֶशΛ࢖ͬͯͲͷΑ͏ʹϏδωεߩݙ͢Δ͔ʹڵຯ͕͋Γ·͢ w िͰϙουΩϟετ഑৴ͯ͠·͢!XJQGN

  6. Έͳ͞Μ͸ͲͷΑ͏ͳ؀ڥͰ ػցֶशͷษڧ͍ͯ͠·͔͢ʁ ίϯϖςΟγϣϯʹࢀՃ͍ͯ͠·͔͢ʁ

  7. ྫ͑͹ʜ w ࣗ୐ͷϚγϯ w "84 ($1 w LBHHMFOPUFCPPL w (PPHMF$PMBCPSBUPSZFUD

  8. ྫ͑͹ʜ w ࣗ୐ͷϚγϯ w "84 ($1 w LBHHMFOPUFCPPL w (PPHMF$PMBCPSBUPSZʜFUD

    ࠓ೔࿩͢ͷ͸͜͜
  9. ຊൃදͰ͸ࣗ෼ͷӡ༻ํ๏Λࡽ͠·͕͢ɺ ଞͷํ͕ͲͷΑ͏ʹ࢖͍ͬͯΔ͔΋ؾʹͳΔͷͰɺ 5XJUUFSʢ෼ੳίϯϖ-5ʣ΍ίϝϯτͳͲͰ Έͳ͞Μͷ׆༻ํ๏Λڭ͑ͯ΋Β͑Δͱخ͍͠Ͱ͢ʂ🙏

  10. (PPHMF$PMBCPSBUPSZ 7JTVBM4UVEJP$PEFͱ͸ ؆୯ʹ͝঺հ

  11. (PPHMF$PMBCPSBUPSZʢུশɿ$PMBCʣ w ϒϥ΢β͔Β1ZUIPO౳Λهड़ɺ࣮ߦͰ͖ΔαʔϏε w ҎԼͷΑ͏ͳಛ௃͕͋Δ w ؀ڥߏங͕ෆཁ w (16΁ͷΞΫηεՄ w

    OPUFCPPLΛ؆୯ʹڞ༗ w ೥݄ʹ1SP ϓϥϯ͕ొ৔
  12. 7JTVBM4UVEJP$PEFʢུশɿ74$PEFʣ w .4͕։ൃ͍ͯ͠ΔίʔυΤσΟλ w ֦ுػೳ͕๛෋ w ࠓճ͸ʮ3FNPUFr44)ʯͱ͍͏֦ுػೳΛར༻͢Δ

  13. ࠷ऴతʹͲΜͳ؀ڥʹͳΔ͔ ·ͣ͸ΠϝʔδΛڞ༗͠·͢

  14. ࠷ऴతʹͲΜͳ؀ڥʹͳΔ͔ (PPHMF%SJWFͷத਎͕74$PEF͔Β௚઀ݟΕΔ ˠ74$PEF্ͰϑΝΠϧΛ։͍ͨΓɺฤूͨ͠ΓɺΞοϓϩʔυͨ͠ΓՄ ֦େ 74$PEFͷը໘

  15. ࠷ऴతʹͲΜͳ؀ڥʹͳΔ͔ ΋ͪΖΜJQZOCϑΝΠϧ΋͍͡ΕΔ

  16. ࠷ऴతʹͲΜͳ؀ڥʹͳΔ͔ w 74$PEFͷ֦ுػೳ΋޷͖ͳ΋ͷΠϯετʔϧͯ͠࢖͑Δ w JOEFOUSBJOCPX w 5BCOJOF w %PDTUSJOH(FOFSBUPSͳͲͳͲ w

    -JOUFSͰͷίʔυνΣοΫ΋Ͱ͖Δ
  17. ࠷ऴతʹͲΜͳ؀ڥʹͳΔ͔ w λʔϛφϧ΋͋Δఔ౓ࣗ෼޷ΈʹͰ͖ΔʢԼهը૾͸[TIʣ w (JUIVCͰίʔυ؅ཧ΋Ͱ͖ΔʢDPNNJU QVTI FUDʣ

  18. ࠷ऴతʹͲΜͳ؀ڥʹͳΔ͔ ͜ͷΑ͏ʹɺϩʔΧϧͰ։ൃ͍ͯ͠Δͷͱ͋Δఔ౓ಉ͡ମݧΛ $PMBCͷίϯϐϡʔλϦιʔεʢ(16ʣΛ༻͍࣮ͯݱͰ͖Δ☺

  19. ؀ڥߏஙखॱ ࣌ؒͷؔ܎΋͋ΔͷͰɺ͜͜Ͱ͸ͬ͘͟Γͱ͝঺հ Ҏ߱ͷεϥΠυͷαϯϓϧίʔυ౳͸Լهϒϩάʹ·ͱΊ͍ͯ·͢ IUUQTXXXUBLBQZXPSLFOUSZ

  20. ߏஙखॱ OHSPLΞΧ΢ϯτ࡞੒ͱೝূΩʔͷऔಘʢॳճͷΈʣ $PMBCʹ(PPHMFυϥΠϒΛ઀ଓɺTTIαʔόىಈ 74$PEFʹʮSFNPUFTTIʯΠϯετʔϧʢॳճͷΈʣɺ઀ଓ

  21. OHSPLΞΧ΢ϯτ࡞੒ͱೝূΩʔͷऔಘʢॳճͷΈʣ OHSPLʢIUUQTOHSPLDPNʣʹΞΧ΢ϯτ࡞੒͠ɺೝূΩʔΛऔಘ͢Δ ʢແྉΞΧ΢ϯτͰ0,ʣ ˠ͜ͷαʔϏεΛ࢖༻͢Δ͜ͱͰɺϩʔΧϧ*1ΞυϨε͔࣋ͨ͠ͳ͍ϗετ ʹɺ֎෦ͷωοτϫʔΫ͔ΒΞΫηε͢Δ͜ͱ͕Ͱ͖ΔΑ͏ʹͳΔ

  22. $PMBCʹ(PPHMFυϥΠϒΛ઀ଓɺTTIαʔόىಈ $PMBC্Ͱ(16ɺ(PPHMFυϥΠϒ઀ଓͨ͠ޙɺTTIαʔόͷઃఆɾىಈ Λߦ͏OPUFCPPLΛ࣮ߦ͢Δ ˠαʔόىಈ༻OPUFCPPLΛͭ༻ҙͯ͠ʮ͢΂ͯͷηϧΛ࣮ߦʯΛߦ͏ Πϝʔδ

  23. 74$PEFʹʮSFNPUFTTIʯΠϯετʔϧɺ઀ଓ ϩʔΧϧͰ74$PEFΛىಈ͠ʮ3FNPUF44)ʯΛΠϯετʔϧʢॳճͷΈʣ

  24. αʔόىಈ༻OPUFCPPLͰऔಘͨ͠OHSPLͷϗετͱ1PSU൪߸ΛTTIDPOGJHʹهड़ 74$PEFͷ$POOFDUUP)PTUϘλϯΛԡͯ͠ɺ$PMBCαʔόʹ઀ଓ ᶃ ᶄ ᶅ ᶆ ᶈ ᶇ 74$PEFʹʮSFNPUFTTIʯΠϯετʔϧɺ઀ଓ

  25. ӡ༻࣌ͷϙΠϯτ

  26. ӡ༻࣌ͷϙΠϯτ w TTIαʔόىಈ࣌ɺγϯϘϦοΫϦϯΫΛ࡞੒͢Δ w [TIΛΠϯετʔϧ͢Δ CBTIؔ࿈ϑΝΠϧΛίϐʔ͢Δ w TFUVQTIεΫϦϓτΛ࡞Δ w DISPNF֦ுػೳͰϒϥ΢βΛࣗಈߋ৽͢Δ

  27. γϯϘϦοΫϦϯΫΛ࡞੒͢Δ $PMBC্Ͱ༧ΊγϯϘϦοΫϦϯΫΛ࡞੒͓ͯ͘͠ ˠ74$PEF͔Β઀ଓͨ͠ࡍʹ(PPHMF%SJWFͷத਎͕ݟ͑ΔΑ͏ʹ

  28. [TIΛΠϯετʔϧ͢Δ CBTIؔ࿈ϑΝΠϧΛίϐʔ͢Δ w [TIͳͲɺ࢖༻͍ͨ͠΋ͷ͸DPMBC্Ͱ༧ΊΠϯετʔϧ͓ͯ͘͠ w CBTIܥϑΝΠϧʹ΋ඞཁͳ؀ڥม਺Λઃఆ͓ͯ͘͠ͱྑ͍ w ʢ[TIΛ࢖͍ͬͯΔਓ͸ʣϩʔΧϧͰ࢖༻͍ͯ͠Δ[TISDΛαʔόʹ ίϐʔ͓ͯ͘͠ͱɺϩʔΧϧͱಉ͡ઃఆ͕࢖͑ͯ޾ͤʹͳΕΔ

  29. TFUVQTIεΫϦϓτΛ࡞Δ 74$PEFͷ֦ுػೳ΍QJQͰΠϯετʔϧ͍ͨ͠ϥΠϒϥϦΛɹɹ εΫϦϓτʹ·ͱΊ͓ͯ͘ ˠTTI઀ଓ௚ޙʹ CBTITFUVQTI Λ࣮ߦ͢Δ͚ͩͰຖճಉ͡؀ڥ ͕ߏஙͰ͖ΔΑ͏ʹͳΔ

  30. DISPNF֦ுػೳͰϒϥ΢βΛࣗಈߋ৽͢Δ $PMBC͸์͓ͬͯ͘ͱηογϣϯ͕੾Εͯ͠·͏ ˠDISPNFͷ֦ுػೳͰɺTTIαʔόΛىಈͨ͠OPUFCPPLΛఆظߋ৽ ͓ͯ͘͜͠ͱͰηογϣϯ͕੾Εͣʹ࢖͑Δ IUUQTDISPNFHPPHMFDPNXFCTUPSFEFUBJMUBCBVUPSFGSFTIPPNPFBDPHKLPMIFBDHELLLICKJQBPNLO

  31. LBHHMFͰ࢖͏৔߹ͷ5JQT Ϟσϧ͸खݩͰֶशͤͯ͞ɺ LBHHMF্Ͱ͸ਪ࿦ॲཧ͚ͩΛߦ͏૝ఆͷ ίʔυίϯϖΛྫʹ

  32. LBHHMFͰ࢖͏৔߹ͷ5JQTʢίʔυίϯϖΛྫʹʣ ֶशਪ࿦εΫϦϓτͷதʹɺzεΫϦϓτຊମzͱzֶशࡁΈϞσϧzΛLBHHMF %BUBTFUʹΞοϓϩʔυ͢ΔॲཧΛ࢓ࠐΉ ˠTVCNJU࣌͸LBHHMFͷOPUFCPPL্͔ΒεΫϦϓτΛ࣮ߦ͢Δ͚ͩͰ0,ɻ ͜͏͢Δ͜ͱͰʮਪ࿦ઐ༻ͷOPUFCPPLΛ͔Β࡞Βͳ͖Όʜʯͱ͍͏ࣄ΋ ແ͘ͳΔ ਪ࿦ίʔυ΋(JUIVCͰ؅ཧͰ͖Δ

  33. LBHHMFͰ࢖͏৔߹ͷ5JQTʢίʔυίϯϖΛྫʹʣ ϑΝΠϧͷΞοϓϩʔυͷॲཧ͸ҎԼͷΑ͏ͳΠϝʔδ ˠ͜ͷαϯϓϧͰ͸ɺVQMPBE@UBSHFU@EJSʹ(PPHMF%SJWFͷύε Λࢦఆ࣮ͯ͠ߦ͢ΔΠϝʔδ ˞LBHHMFͷDSFEFOUJBM৘ใͷऔѻʹ͸͝஫ҙΛ

  34. LBHHMFͰ࢖͏৔߹ͷ5JQTʢίʔυίϯϖΛྫʹʣ εΫϦϓτ಺ͰԼهͷΑ͏ʹ৚݅෼͚͢ΔͱɺखݩͷϚγϯʢ$PMBCʣ Ͱ͸ֶशɾਪ࿦ॲཧΛɺLBHHMFͰTVCNJU͢Δࡍʹ͸ਪ࿦ॲཧͷΈΛߦ͏ εΫϦϓτ͕࣮૷Ͱ͖Δ

  35. ΠϚΠνͳ఺

  36. ΠϚΠνͳ఺ ΋ͪΖΜྑ͍͜ͱ͹͔ΓͰ͸ͳ͘ɺͪΐͬͱΠϚΠνͳ఺΋͋Δ ྫ͑͹ʜ w Ұ౓ηογϣϯ͕੾ΕΔͱɺϗετͱ1PSU൪߸Λ࠶ൃߦ͠ɺ DPOGJHϑΝΠϧΛߋ৽ͯ͠74$PEF͔Β࠶઀ଓ͢Δඞཁ͕͋Δ w λʔϛφϧ͕গ͠ϞοαϦ͢Δ ͱ͸͍͑·͊ڐ༰Ͱ͖Δൣғ͔ͳ͊ͱ͍͏ײ֮👍

  37. ࠷ޙʹ

  38. ࠷ޙʹ w $PMBCͱ74$PEFΛίϥϘϨʔγϣϯ͢Δ͜ͱͰɺϩʔΧϧͰ։ൃ ͍ͯ͠Δͷͱଝ৭ͳ͍։ൃମݧ͕ɺ(16؀ڥͰՄೳʹʂ w Έͳ͞Μͷ$PMBC5JQT଴ͬͯ·͢ʂ w ؾʹͳͬͨ఺ͳͲ͋Ε͹ɺ5XJUUFS%.Ͱ΋ɺ෼ੳίϯϖ-5Ͱ ΋͓ؾܰʹίϝϯτԼ͍͞ʢ!UBLBQZʣ w

    ຊൃද͕ʮ$PMBC͏·͘࢖͍͜ͳͤͳ͍ͳ͊ʯͱࢥ͍ͬͯͨਓͷɹ ҰॿʹͳΕ͹خ͍͠Ͱ͢😆
  39. ࢀߟࢿྉ w (PPHMF$PMBCΛ44)ͱ74$PEFͰ࢖͏ w (PPHMF$PMBCQSPΛ74$PEFͰTTI઀ଓͯ͠7 (16 Λૣ଎ճ ͯ͠Έͨɻ

  40. ͓ΘΓ ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ