Upgrade to Pro — share decks privately, control downloads, hide ads and more …

GoogleColabとVSCodeを用いた分析環境運用Tips

 GoogleColabとVSCodeを用いた分析環境運用Tips

GoogleColabとVSCodeを用いたデータ分析環境運用Tipsについてお話ししました。
後半では、kaggleのコンペティションに参加する際のTipsなども記載しています。
補足ブログ:https://www.takapy.work/entry/2021/08/17/185047

LTイベント:第3回分析コンペLT会 、オンライン開催
https://kaggle-friends.connpass.com/event/220927/

Takanobu Nozawa

August 17, 2021
Tweet

More Decks by Takanobu Nozawa

Other Decks in Programming

Transcript

  1. Google ColabͱVSCodeΛ༻͍ͨ
    σʔλ෼ੳ؀ڥӡ༻Tips
    Takanobu Nozawa
    2021.08.17
    ෼ੳίϯϖLTձ

    View Slide

  2. ຊ೔͝঺հ͢Δํ๏͸ɺ
    (PPHMFଆ͕ਪ঑͍ͯ͠Δ࢖༻ํ๏Ͱ͸͋Γ·ͤΜɻ
    ͋Β͔͡Ίྃ͝ঝ͍ͩ͘͞🙇
    ʢٸʹ࢖͑ͳ͘ͳͬͨΓ͢ΔՄೳੑ΋͋Δͱࢥ͍ͬͯ·͢ʣ
    ໔੹

    View Slide

  3. ࣗݾ঺հ
    (PPHMF$PMBCPSBUPSZ 7JTVBM4UVEJP$PEFͱ͸
    ࠷ऴతʹͲΜͳ؀ڥʹͳΔ͔
    ؀ڥߏஙखॱɾӡ༻࣌ͷϙΠϯτ
    LBHHMFͰ࢖͏৔߹ͷ5JQTʢίʔυίϯϖΛྫʹʣ
    ΠϚΠνͳ఺
    ࠷ޙʹ
    ΞδΣϯμ

    View Slide

  4. ࣗݾ঺հ

    View Slide

  5. ໊લɿ໺ᖒ఩রʢ/P[BXB5BLBOPCVʣ
    ॴଐɿίωώτגࣜձࣾ
    ɹɹɿ͔ͨͺ͍!UBLBQZ
    ࣗݾ঺հ
    w /-1ɺਪનγεςϜΛϝΠϯʹ΍Γͭͭ"84ͱٔΕ͍ͯ·͢
    w ػցֶशΛ࢖ͬͯͲͷΑ͏ʹϏδωεߩݙ͢Δ͔ʹڵຯ͕͋Γ·͢
    w िͰϙουΩϟετ഑৴ͯ͠·͢!XJQGN

    View Slide

  6. Έͳ͞Μ͸ͲͷΑ͏ͳ؀ڥͰ
    ػցֶशͷษڧ͍ͯ͠·͔͢ʁ
    ίϯϖςΟγϣϯʹࢀՃ͍ͯ͠·͔͢ʁ

    View Slide

  7. ྫ͑͹ʜ
    w ࣗ୐ͷϚγϯ
    w "84 ($1
    w LBHHMFOPUFCPPL
    w (PPHMF$PMBCPSBUPSZFUD

    View Slide

  8. ྫ͑͹ʜ
    w ࣗ୐ͷϚγϯ
    w "84 ($1
    w LBHHMFOPUFCPPL
    w (PPHMF$PMBCPSBUPSZʜFUD
    ࠓ೔࿩͢ͷ͸͜͜

    View Slide

  9. ຊൃදͰ͸ࣗ෼ͷӡ༻ํ๏Λࡽ͠·͕͢ɺ
    ଞͷํ͕ͲͷΑ͏ʹ࢖͍ͬͯΔ͔΋ؾʹͳΔͷͰɺ
    5XJUUFSʢ෼ੳίϯϖ-5ʣ΍ίϝϯτͳͲͰ
    Έͳ͞Μͷ׆༻ํ๏Λڭ͑ͯ΋Β͑Δͱخ͍͠Ͱ͢ʂ🙏

    View Slide

  10. (PPHMF$PMBCPSBUPSZ
    7JTVBM4UVEJP$PEFͱ͸
    ؆୯ʹ͝঺հ

    View Slide

  11. (PPHMF$PMBCPSBUPSZʢུশɿ$PMBCʣ
    w ϒϥ΢β͔Β1ZUIPO౳Λهड़ɺ࣮ߦͰ͖ΔαʔϏε
    w ҎԼͷΑ͏ͳಛ௃͕͋Δ
    w ؀ڥߏங͕ෆཁ
    w (16΁ͷΞΫηεՄ
    w OPUFCPPLΛ؆୯ʹڞ༗
    w ೥݄ʹ1SPϓϥϯ͕ొ৔

    View Slide

  12. 7JTVBM4UVEJP$PEFʢུশɿ74$PEFʣ
    w .4͕։ൃ͍ͯ͠ΔίʔυΤσΟλ
    w ֦ுػೳ͕๛෋
    w ࠓճ͸ʮ3FNPUFr44)ʯͱ͍͏֦ுػೳΛར༻͢Δ

    View Slide

  13. ࠷ऴతʹͲΜͳ؀ڥʹͳΔ͔
    ·ͣ͸ΠϝʔδΛڞ༗͠·͢

    View Slide

  14. ࠷ऴతʹͲΜͳ؀ڥʹͳΔ͔
    (PPHMF%SJWFͷத਎͕74$PEF͔Β௚઀ݟΕΔ
    ˠ74$PEF্ͰϑΝΠϧΛ։͍ͨΓɺฤूͨ͠ΓɺΞοϓϩʔυͨ͠ΓՄ
    ֦େ
    74$PEFͷը໘

    View Slide

  15. ࠷ऴతʹͲΜͳ؀ڥʹͳΔ͔
    ΋ͪΖΜJQZOCϑΝΠϧ΋͍͡ΕΔ

    View Slide

  16. ࠷ऴతʹͲΜͳ؀ڥʹͳΔ͔
    w 74$PEFͷ֦ுػೳ΋޷͖ͳ΋ͷΠϯετʔϧͯ͠࢖͑Δ
    w JOEFOUSBJOCPX
    w 5BCOJOF
    w %PDTUSJOH(FOFSBUPSͳͲͳͲ
    w -JOUFSͰͷίʔυνΣοΫ΋Ͱ͖Δ

    View Slide

  17. ࠷ऴతʹͲΜͳ؀ڥʹͳΔ͔
    w λʔϛφϧ΋͋Δఔ౓ࣗ෼޷ΈʹͰ͖ΔʢԼهը૾͸[TIʣ
    w (JUIVCͰίʔυ؅ཧ΋Ͱ͖ΔʢDPNNJU QVTI FUDʣ

    View Slide

  18. ࠷ऴతʹͲΜͳ؀ڥʹͳΔ͔
    ͜ͷΑ͏ʹɺϩʔΧϧͰ։ൃ͍ͯ͠Δͷͱ͋Δఔ౓ಉ͡ମݧΛ
    $PMBCͷίϯϐϡʔλϦιʔεʢ(16ʣΛ༻͍࣮ͯݱͰ͖Δ☺

    View Slide

  19. ؀ڥߏஙखॱ
    ࣌ؒͷؔ܎΋͋ΔͷͰɺ͜͜Ͱ͸ͬ͘͟Γͱ͝঺հ
    Ҏ߱ͷεϥΠυͷαϯϓϧίʔυ౳͸Լهϒϩάʹ·ͱΊ͍ͯ·͢
    IUUQTXXXUBLBQZXPSLFOUSZ

    View Slide

  20. ߏஙखॱ
    OHSPLΞΧ΢ϯτ࡞੒ͱೝূΩʔͷऔಘʢॳճͷΈʣ
    $PMBCʹ(PPHMFυϥΠϒΛ઀ଓɺTTIαʔόىಈ
    74$PEFʹʮSFNPUFTTIʯΠϯετʔϧʢॳճͷΈʣɺ઀ଓ

    View Slide

  21. OHSPLΞΧ΢ϯτ࡞੒ͱೝূΩʔͷऔಘʢॳճͷΈʣ
    OHSPLʢIUUQTOHSPLDPNʣʹΞΧ΢ϯτ࡞੒͠ɺೝূΩʔΛऔಘ͢Δ
    ʢແྉΞΧ΢ϯτͰ0,ʣ
    ˠ͜ͷαʔϏεΛ࢖༻͢Δ͜ͱͰɺϩʔΧϧ*1ΞυϨε͔࣋ͨ͠ͳ͍ϗετ
    ʹɺ֎෦ͷωοτϫʔΫ͔ΒΞΫηε͢Δ͜ͱ͕Ͱ͖ΔΑ͏ʹͳΔ

    View Slide

  22. $PMBCʹ(PPHMFυϥΠϒΛ઀ଓɺTTIαʔόىಈ
    $PMBC্Ͱ(16ɺ(PPHMFυϥΠϒ઀ଓͨ͠ޙɺTTIαʔόͷઃఆɾىಈ
    Λߦ͏OPUFCPPLΛ࣮ߦ͢Δ
    ˠαʔόىಈ༻OPUFCPPLΛͭ༻ҙͯ͠ʮ͢΂ͯͷηϧΛ࣮ߦʯΛߦ͏
    Πϝʔδ

    View Slide

  23. 74$PEFʹʮSFNPUFTTIʯΠϯετʔϧɺ઀ଓ
    ϩʔΧϧͰ74$PEFΛىಈ͠ʮ3FNPUF44)ʯΛΠϯετʔϧʢॳճͷΈʣ

    View Slide

  24. αʔόىಈ༻OPUFCPPLͰऔಘͨ͠OHSPLͷϗετͱ1PSU൪߸ΛTTIDPOGJHʹهड़
    74$PEFͷ$POOFDUUP)PTUϘλϯΛԡͯ͠ɺ$PMBCαʔόʹ઀ଓ
    ᶃ ᶄ




    74$PEFʹʮSFNPUFTTIʯΠϯετʔϧɺ઀ଓ

    View Slide

  25. ӡ༻࣌ͷϙΠϯτ

    View Slide

  26. ӡ༻࣌ͷϙΠϯτ
    w TTIαʔόىಈ࣌ɺγϯϘϦοΫϦϯΫΛ࡞੒͢Δ
    w [TIΛΠϯετʔϧ͢ΔCBTIؔ࿈ϑΝΠϧΛίϐʔ͢Δ
    w TFUVQTIεΫϦϓτΛ࡞Δ
    w DISPNF֦ுػೳͰϒϥ΢βΛࣗಈߋ৽͢Δ

    View Slide

  27. γϯϘϦοΫϦϯΫΛ࡞੒͢Δ
    $PMBC্Ͱ༧ΊγϯϘϦοΫϦϯΫΛ࡞੒͓ͯ͘͠
    ˠ74$PEF͔Β઀ଓͨ͠ࡍʹ(PPHMF%SJWFͷத਎͕ݟ͑ΔΑ͏ʹ

    View Slide

  28. [TIΛΠϯετʔϧ͢ΔCBTIؔ࿈ϑΝΠϧΛίϐʔ͢Δ
    w [TIͳͲɺ࢖༻͍ͨ͠΋ͷ͸DPMBC্Ͱ༧ΊΠϯετʔϧ͓ͯ͘͠
    w CBTIܥϑΝΠϧʹ΋ඞཁͳ؀ڥม਺Λઃఆ͓ͯ͘͠ͱྑ͍
    w ʢ[TIΛ࢖͍ͬͯΔਓ͸ʣϩʔΧϧͰ࢖༻͍ͯ͠Δ[TISDΛαʔόʹ
    ίϐʔ͓ͯ͘͠ͱɺϩʔΧϧͱಉ͡ઃఆ͕࢖͑ͯ޾ͤʹͳΕΔ

    View Slide

  29. TFUVQTIεΫϦϓτΛ࡞Δ
    74$PEFͷ֦ுػೳ΍QJQͰΠϯετʔϧ͍ͨ͠ϥΠϒϥϦΛɹɹ
    εΫϦϓτʹ·ͱΊ͓ͯ͘
    ˠTTI઀ଓ௚ޙʹ
    CBTITFUVQTI
    Λ࣮ߦ͢Δ͚ͩͰຖճಉ͡؀ڥ
    ͕ߏஙͰ͖ΔΑ͏ʹͳΔ

    View Slide

  30. DISPNF֦ுػೳͰϒϥ΢βΛࣗಈߋ৽͢Δ
    $PMBC͸์͓ͬͯ͘ͱηογϣϯ͕੾Εͯ͠·͏
    ˠDISPNFͷ֦ுػೳͰɺTTIαʔόΛىಈͨ͠OPUFCPPLΛఆظߋ৽
    ͓ͯ͘͜͠ͱͰηογϣϯ͕੾Εͣʹ࢖͑Δ
    IUUQTDISPNFHPPHMFDPNXFCTUPSFEFUBJMUBCBVUPSFGSFTIPPNPFBDPHKLPMIFBDHELLLICKJQBPNLO

    View Slide

  31. LBHHMFͰ࢖͏৔߹ͷ5JQT
    Ϟσϧ͸खݩͰֶशͤͯ͞ɺ
    LBHHMF্Ͱ͸ਪ࿦ॲཧ͚ͩΛߦ͏૝ఆͷ
    ίʔυίϯϖΛྫʹ

    View Slide

  32. LBHHMFͰ࢖͏৔߹ͷ5JQTʢίʔυίϯϖΛྫʹʣ
    ֶशਪ࿦εΫϦϓτͷதʹɺzεΫϦϓτຊମzͱzֶशࡁΈϞσϧzΛLBHHMF
    %BUBTFUʹΞοϓϩʔυ͢ΔॲཧΛ࢓ࠐΉ
    ˠTVCNJU࣌͸LBHHMFͷOPUFCPPL্͔ΒεΫϦϓτΛ࣮ߦ͢Δ͚ͩͰ0,ɻ
    ͜͏͢Δ͜ͱͰʮਪ࿦ઐ༻ͷOPUFCPPLΛ͔Β࡞Βͳ͖Όʜʯͱ͍͏ࣄ΋
    ແ͘ͳΔਪ࿦ίʔυ΋(JUIVCͰ؅ཧͰ͖Δ

    View Slide

  33. LBHHMFͰ࢖͏৔߹ͷ5JQTʢίʔυίϯϖΛྫʹʣ
    ϑΝΠϧͷΞοϓϩʔυͷॲཧ͸ҎԼͷΑ͏ͳΠϝʔδ
    ˠ͜ͷαϯϓϧͰ͸ɺ[email protected]@EJSʹ(PPHMF%SJWFͷύε
    Λࢦఆ࣮ͯ͠ߦ͢ΔΠϝʔδ
    ˞LBHHMFͷDSFEFOUJBM৘ใͷऔѻʹ͸͝஫ҙΛ

    View Slide

  34. LBHHMFͰ࢖͏৔߹ͷ5JQTʢίʔυίϯϖΛྫʹʣ
    εΫϦϓτ಺ͰԼهͷΑ͏ʹ৚݅෼͚͢ΔͱɺखݩͷϚγϯʢ$PMBCʣ
    Ͱ͸ֶशɾਪ࿦ॲཧΛɺLBHHMFͰTVCNJU͢Δࡍʹ͸ਪ࿦ॲཧͷΈΛߦ͏
    εΫϦϓτ͕࣮૷Ͱ͖Δ

    View Slide

  35. ΠϚΠνͳ఺

    View Slide

  36. ΠϚΠνͳ఺
    ΋ͪΖΜྑ͍͜ͱ͹͔ΓͰ͸ͳ͘ɺͪΐͬͱΠϚΠνͳ఺΋͋Δ
    ྫ͑͹ʜ
    w Ұ౓ηογϣϯ͕੾ΕΔͱɺϗετͱ1PSU൪߸Λ࠶ൃߦ͠ɺ
    DPOGJHϑΝΠϧΛߋ৽ͯ͠74$PEF͔Β࠶઀ଓ͢Δඞཁ͕͋Δ
    w λʔϛφϧ͕গ͠ϞοαϦ͢Δ
    ͱ͸͍͑·͊ڐ༰Ͱ͖Δൣғ͔ͳ͊ͱ͍͏ײ֮👍

    View Slide

  37. ࠷ޙʹ

    View Slide

  38. ࠷ޙʹ
    w $PMBCͱ74$PEFΛίϥϘϨʔγϣϯ͢Δ͜ͱͰɺϩʔΧϧͰ։ൃ
    ͍ͯ͠Δͷͱଝ৭ͳ͍։ൃମݧ͕ɺ(16؀ڥͰՄೳʹʂ
    w Έͳ͞Μͷ$PMBC5JQT଴ͬͯ·͢ʂ
    w ؾʹͳͬͨ఺ͳͲ͋Ε͹ɺ5XJUUFS%.Ͱ΋ɺ෼ੳίϯϖ-5Ͱ
    ΋͓ؾܰʹίϝϯτԼ͍͞ʢ!UBLBQZʣ
    w ຊൃද͕ʮ$PMBC͏·͘࢖͍͜ͳͤͳ͍ͳ͊ʯͱࢥ͍ͬͯͨਓͷɹ
    ҰॿʹͳΕ͹خ͍͠Ͱ͢😆

    View Slide

  39. ࢀߟࢿྉ
    w (PPHMF$PMBCΛ44)ͱ74$PEFͰ࢖͏
    w (PPHMF$PMBCQSPΛ74$PEFͰTTI઀ଓͯ͠7 (16
    Λૣ଎ճ
    ͯ͠Έͨɻ

    View Slide

  40. ͓ΘΓ
    ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ

    View Slide