Save 37% off PRO during our Black Friday Sale! »

データラングリングを効率化するためのTips

 データラングリングを効率化するためのTips

2021/06/11(金) に開催したExploratory データサイエンス勉強会#19のヒッドワークス合同会社のご登壇資料です。

26a31e16aab1fc9c4522dfa3a2c8ce6c?s=128

Ikuya Murasato

June 11, 2021
Tweet

Transcript

  1. ώουϫʔΫε߹ಉձࣾ ୅දࣾһɹ࢛ํɹल࿨ σʔλϥϯάϦϯάΛޮ཰Խ͢Δ ͨΊͷ5JQT

  2. ࢛ํɹल࿨ʢγΧλɹώσΧζʣ ؆୯ͳࣗݾ঺հ w ژ౎ࢢੜژ౎ࢢҭͪ w ೥ੜͷࡀ w ݩ੫ཧ࢜ࣄ຿ॴۈ຿Ͱݱࡏಠཱͯ͠೥໨ w ژ౎ࢢதژ۠Ͱܦࡁ࢈ۀল͔ΒೝఆΛड͚ͨೝఆࢧԉػؔͱͯ͠ܦӦίϯαϧςΟϯάۀΛӦΜͰ͍·͢ɻ

    w ओͳ࢓ࣄ಺༰ͱͯ͠͸ࣄۀܭըࡦఆࢧԉΛج࣠ͱͨ͠ɺ֤छίϯαϧςΟϯά΍༥ࢿࢧԉɾิॿۚࢧԉ౳ Λߦͳ͍ͬͯ·͢ɻ
  3. ࣄۀܭը ίϯαϧ ิॿۚ ༥ࢿ ͦͷଞ σʔλͱͷؔΘΓ σʔλ πʔϧ ໨త ߹ཧੑ

  4. ΞδΣϯμ  ۈଵͷμογϡϘʔυͷࣗಈԽ  େྔσʔλͷWMPPLVQ͕ޮ཰Խ  ෳ਺ϑΝΠϧͷҰׅΠϯϙʔτˍϚʔδ  ؾܰʹσʔλ෼ੳ Ԛ͍σʔλ͔ΒՄࢹԽʣ

  5. ۈଵͷμογϡϘʔυͷࣗಈԽ

  6. #FGPSFΤΫηϧͰۈଵ؅ཧ ΤΫηϧʢຢ͸εϓϨουγʔτʣͰ ελοϑ͕ೖྗ ˣ ݄ॳʹճऩ͠σʔλͷ੔ཧͱ֬ೝ ˣ 'SFFF࿑຿؅ཧʹೖྗ͠څྉܭࢉ ˣ څྉ໌ࡉ͸εϚϗͰڞ༗

  7. "GUFSۈଵͷࣗಈԽ

  8. "GUFSۈଵͷࣗಈԽ ελοϑ PWJDF 4MBDL εϓϨου γʔτ μογϡ Ϙʔυ ೖୀࣨ ڞ༗

    [BQJFSΛܦ༝ͯ͠௨஌ ه࿥ &YQMPSBUPSZ ग़ྗ ॲཧ εέδϡʔϦϯάʹΑΔࣗಈԽ
  9. "GUFSۈଵͷࣗಈԽ 0WJDF εϓϨουγʔτ 4MBDL

  10. "GUFSۈଵͷࣗಈԽ w ݄ʑͷूܭ w ՄࢹԽ w ڞ༗ w εέδϡʔϦϯά

  11. "GUFSۈଵͷࣗಈԽ w μογϡϘʔυͰڞ༗ w ຖ೔ޕલ࣌ʹߋ৽

  12. ͷ·ͱΊ ղܾͰ͖ͨࣄͱࠓޙͷ՝୊ w ΈΜͳ͕ݟ͍ͨ͜ͱΛՄࢹԽ͢Δ w ࣗࣾͰ༷ʑͳ͜ͱΛࣗಈԽͯ͠Έ͍ͨʢྫ͑͹ɺݱۚͷೖग़ۚ ΍උ඼ফ໣඼ͷ؅ཧͳͲʣ

  13. େྔσʔλͷWMPPLVQ͕ޮ཰Խ

  14. Ϛʔδ WMPPLVQ

  15. Ϛʔδ WMPPLVQ

  16. #FGPSFWMPPLVQ͕ෆ҆ఆ  ൒֯ͱશ֯ͷ۠ผ w ൒֯ͱશ֯ͷҧ͍ʹΑͬͯผʑͷ஋ͱͯ͠ೝࣝ͞ΕΔɻ  Ұҙͳ஋ w ໊শ͸ಉ͕ͩ͡ɺ݄࣍ʹ͸ίʔυ͕มΘ͍ͬͯΔͳͲɻ 

    ࢀরݩͷฒͼॱ w WMPPLVQ͸ฒͼॱ΋Өڹ͢Δ͕ͱؔ࿈ͯ݁͠Ռ͕ڰ͏͜ͱ͕Α͋͘Δɻ֬ೝͮ͠Β͍ɻ  ঎඼͕ଟ͍ͱϛεΛ୳͢ͷ΋େม w ͲΕ͚ͩܽଛ஋ʹͳ͍ͬͯΔͷ͔ɺͲͷ݁߹͕ؒҧ͍ͬͯΔ͔͕͙͢ʹΘ͔Βͳ͍ɻ
  17. #FGPSFWMPPLVQ͕ෆ҆ఆ  ൒֯ͱશ֯ͷ۠ผ w ൒֯ͱશ֯ͷҧ͍ʹΑͬͯผʑͷ஋ͱͯ͠ೝࣝ͞ΕΔɻ  Ұҙͳ஋ w ໊শ͸ಉ͕ͩ͡ɺ݄࣍ʹ͸ίʔυ͕มΘ͍ͬͯΔͳͲ ͷྫ

    ͷྫ
  18. #FGPSFWMPPLVQ͕ෆ҆ఆ  ࢀরݩͷฒͼॱ w 7MPPLVQ͸ฒͼॱ΋Өڹ͢Δ͕ͱؔ࿈ͯ݁͠Ռ͕ڰ͏͜ͱ͕Α͋͘Δɻ  ঎඼͕ଟ͍ͱϛεΛ୳͢ͷ΋େม w ͲΕ͚ͩܽଛ஋ʹͳ͍ͬͯΔͷ͔ɺͲͷ݁߹͕ؒҧ͍ͬͯΔ͔͕͙͢ʹΘ͔Βͳ͍ɻ

  19. #FGPSF&YDFMͰͷ໰୊఺  ਓҝతϛε w ࣾ಺ࣾ֎ͷෳ਺ͷਓ͕ؒख࡞ۀͰߦͳ͍ͬͯͨ͘Ίɺͪΐͬͱͨ͠਺ࣜͷϛ εͳͲ͕ى͖ͯ΋ؾ෇͖ͮΒ͍ɻ·ͨɺఆܕۀ຿͕গͳ͍ͨΊϧʔϧԽͮ͠Β ͍ɻ  ਺͕ࣜ൥ࡶ wηϧͷࢦఆ͕ζϨͨɺ৚݅෼ذ͕͓͔͍͠ͳͲɺΤΫηϧͰ͸਺ࣜͷνΣοΫ

    ͳͲݕࢉ͕ߦ͍ʹ͍͘ɻ  ࠶ݱੑ͕௿͍ wຖ݄࡞੒͢ΔϨϙʔτ͕͋ͬͯ΋ɺຖճಉ͡ॲཧΛख࡞ۀͰߦ͏ඞཁ͕͋Δɻ ϚΫϩΛ૊Ή͜ͱ΋Ͱ͖Δ͕ϋʔυϧ͕ߴ͍ɻ
  20. "GUFSFYQMPSBUPSZಋೖʹΑΔղܾ  ൒֯ͱશ֯ͷ۠ผʻʮςΩετσʔλͷՃ޻ਖ਼نԽʯͰରԠ  Ұҙͳ஋ʻʮ͜Ε͚ͩΛ࢒͢ʯͰରԠ  ࢀরݩͷฒͼॱʻʮྻ݁߹ʯͰରԠ  ঎඼͕ଟ͍ͱϛεΛ୳͢ͷ΋େมʻՄࢹԽͯ͠ൃݟ͠΍͍͢ 

    ਓҝతϛεʻγεςϜ͕ਖ਼֬  ਺͕ࣜ൥ࡶʻ6*͕Θ͔Γ΍͍͢  ࠶ݱੑ͕௿͍ʻεςοϓͰඪ४Խ
  21. #FGPSF൒֯ͱશ֯Λ౷Ұ͢Δ ྻ݁߹Ͱ௥Ճ͢Δʢͱʣ WMPPLVQݩ WMPPLVQઌ ݁߹

  22. "GUFS൒֯ͱશ֯Λ౷Ұ͢Δ ྻ݁߹Ͱ௥Ճ͢Δʢͱʣ

  23. "GUFSεςοϓ͕ඪ४Խ͞Ε࠶ݱੑ͕ߴ͍ʢʣ ॲཧͷ޻ఔ͸εςοϓͱͯ͠ ՄࢹԽ͞ΕΔ σʔλ͕ߋ৽͞Εͯ΋ ಉ༷ͷεςοϓ͕ద༻

  24. ෳ਺ϑΝΠϧͷҰׅΠϯϙʔτ ˍϚʔδ

  25. Ϛʔδ WMPPLVQ

  26. Ϛʔδ WMPPLVQ

  27. ೔෇ ച্     ɾɾɾ ɾɾɾ  

      ೔෇ ച্     ɾɾɾ ɾɾɾ     ೔෇ ച্     ɾɾɾ ɾɾɾ     ೔෇ ച্     ɾɾɾ ɾɾɾ         ɾɾɾ ɾɾɾ         ɾɾɾ ɾɾɾ     ೥ͷച্σʔλ ೥ͷച্σʔλ ೥ͷച্σʔλ d೥ͷച্σʔλ Ϛʔδ
  28. "GUFSྻͷฒͼ͕ҧͬͯ΋ϚʔδՄೳ

  29. "GUFSϑΥϧμͷத਎ΛҰׅͰϚʔδՄೳ

  30. "GUFS࣮ࡍͷσʔλʢࢀߟʣ

  31. "GUFS࣮ࡍͷμογϡϘʔυʢࢀߟʣ

  32. ̎ͱͷ·ͱΊ ղܾͰ͖ͨࣄͱࠓޙͷ՝୊ w ҰׅΠϯϙʔτˍϚʔδͰޮ཰Խ w (PPHMFεϓϨου͔ΒࣗಈऔಘʹΑΓࣗಈԽͰ͖ͨ w ෳࡶͳॲཧ΋εςοϓͰ࢓૊ΈΛ࡞Γඪ४ԽͰ͖ͨ w ਓҝతͳϛε͕େ෯ʹݮগ͠ɺ࡞ۀ࣌ؒ΋࡟ݮͰ͖ͨ

    w ࠓޙ͸μογϡϘʔυ΍ϨϙʔτͰސ٬ʹର͠ԿΛՄࢹԽ͢΂ ͖͔ϊ΢ϋ΢ͷ஝ੵΛߦͳ͍͖͍ͬͯͨ
  33. ؾܰʹσʔλ෼ੳ Ԛ͍σʔλ ͔ΒՄࢹԽʣ

  34. ΰʔϧ ࠜڌ͚ͮ Ծઆ σʔλ ࣄۀʢ༥ࢿʣܭըɺิॿۚ ٯࢉ

  35. ࣄۀʢ༥ࢿʣܭըɺิॿۚ 2࣎լݝͰΩϟϯϓࣄۀΛߦ͏ͷͰิॿ͕ۚ΄͍͠ ࣎լݝͷ؍ޫ٬͸ଟ͍͔গͳ͍͔ʁ ຊ౰ʹͦͷΑ͏ͳधཁ͕͋Δ͔ʁ

  36. ࣄۀʢ༥ࢿʣܭըɺิॿۚ w ΦʔϓϯσʔλΛऔಘ͢Δ͕Ԛ͘ѻ͍ͮΒ͍ 
 ʹ͕͔͔࣌ؒΔ w ̍ͭͷσʔλ͔Β͍͍ͤͥಘΒΕΔάϥϑ͕গͳ͍ 
 ʹੜ࢈ੑ௿͍ σʔλ͕Ԛ͍ͱ΍Δؾ͕࡟͕ΕΔ

  37. ࣄۀʢ༥ࢿʣܭըɺิॿۚ w ࿨ྐྵ͔Β੢ྐྵ΁ʻ;JQBOHͰରԠ w εςοϓΛ੾Γସ͑ͯάϥϑ࡞੒

  38. ࣄۀʢ༥ࢿʣܭըɺิॿۚ w ܽଛ͕ଟ͍ʻϑΟϧλʔ౳ͰରԠ w ͦͷଞ৭ʑϥϯάϦϯά

  39. ࣄۀʢ༥ࢿʣܭըɺิॿۚ

  40. ̐ͷ·ͱΊ ղܾͰ͖ͨࣄͱࠓޙͷ՝୊ w ༷ʑͳϥϯάϦϯάʹΑΓԚ͍σʔλ΋୹࣌ؒͰՃ޻Ͱ͖ͨ w εςοϓʹΑΓඪ४Խ͞Ε͍ͯΔͨΊɺ৽೥౓ͷσʔλ͕Ξο ϓσʔλ͞Εͯ΋खॱ͸มΘΒͣͳͷͰॲཧ͕؆୯ w ̍ͭͷσʔλ͔ΒʙͭҎ্ͷՄࢹԽ΋༰қʹߦ͑ͨ w

    Α͘࢖༻͢Δߦ੓σʔλ͸ࣗಈऔಘͯ͠஝ੵ͢Δ࢓૊ΈΛ࡞Γ ͍ͨ
  41. ·ͱΊ

  42. w Πϯϙʔτ w ϥϯάϦϯά w μογϡϘʔυ w εέδϡʔϦϯά w ਓҝϛεͷ࡟ݮ

    w Ճ޻࣌ؒͷ࡟ݮ w ۀ຿ͷඪ४Խ w ࣗಈԽ &YQMPSBUPSZ