データラングリングを効率化するためのTips

2021/06/11(金) に開催したExploratory データサイエンス勉強会#19のヒッドワークス合同会社のご登壇資料です。

Transcript

1. ώουϫʔΫε߹ಉձࣾ
   ୅දࣾһɹ࢛ํɹल࿨ σʔλϥϯάϦϯάΛޮ཰Խ͢Δ ͨΊͷ5JQT
2. ࢛ํɹल࿨ʢγΧλɹώσΧζʣ ؆୯ͳࣗݾ঺հ w ژ౎ࢢੜژ౎ࢢҭͪ
   w ೥ੜͷࡀ
   w ݩ੫ཧ࢜ࣄ຿ॴۈ຿Ͱݱࡏಠཱͯ͠೥໨
   w ژ౎ࢢதژ۠Ͱܦࡁ࢈ۀল͔ΒೝఆΛड͚ͨೝఆࢧԉػؔͱͯ͠ܦӦίϯαϧςΟϯάۀΛӦΜͰ͍·͢ɻ
   w ओͳ࢓ࣄ಺༰ͱͯ͠͸ࣄۀܭըࡦఆࢧԉΛج࣠ͱͨ͠ɺ֤छίϯαϧςΟϯά΍༥ࢿࢧԉɾิॿۚࢧԉ౳ Λߦͳ͍ͬͯ·͢ɻ
3. ࣄۀܭը ίϯαϧ ิॿۚ ༥ࢿ ͦͷଞ σʔλͱͷؔΘΓ σʔλ πʔϧ ໨త ߹ཧੑ
4. ΞδΣϯμ  ۈଵͷμογϡϘʔυͷࣗಈԽ
    େྔσʔλͷWMPPLVQ͕ޮ཰Խ
    ෳ਺ϑΝΠϧͷҰׅΠϯϙʔτˍϚʔδ
    ؾܰʹσʔλ෼ੳ Ԛ͍σʔλ͔ΒՄࢹԽʣ
5. ۈଵͷμογϡϘʔυͷࣗಈԽ
6. #FGPSF
   
   ΤΫηϧͰۈଵ؅ཧ ΤΫηϧʢຢ͸εϓϨουγʔτʣͰ
   ελοϑ͕ೖྗ
   ˣ
   ݄ॳʹճऩ͠σʔλͷ੔ཧͱ֬ೝ
   ˣ
   'SFFF࿑຿؅ཧʹೖྗ͠څྉܭࢉ
   ˣ
   څྉ໌ࡉ͸εϚϗͰڞ༗
7. "GUFSۈଵͷࣗಈԽ
8. "GUFSۈଵͷࣗಈԽ ελοϑ PWJDF 4MBDL εϓϨου γʔτ μογϡ
   Ϙʔυ ೖୀࣨ ڞ༗ [BQJFSΛܦ༝ͯ͠௨஌ ه࿥ &YQMPSBUPSZ ग़ྗ ॲཧ εέδϡʔϦϯάʹΑΔࣗಈԽ
9. "GUFSۈଵͷࣗಈԽ 0WJDF εϓϨουγʔτ 4MBDL
10. "GUFSۈଵͷࣗಈԽ w ݄ʑͷूܭ
    w ՄࢹԽ
    w ڞ༗
    w εέδϡʔϦϯά
11. "GUFSۈଵͷࣗಈԽ w μογϡϘʔυͰڞ༗
    w ຖ೔ޕલ࣌ʹߋ৽
12. ͷ·ͱΊ ղܾͰ͖ͨࣄͱࠓޙͷ՝୊ w ΈΜͳ͕ݟ͍ͨ͜ͱΛՄࢹԽ͢Δ
    w ࣗࣾͰ༷ʑͳ͜ͱΛࣗಈԽͯ͠Έ͍ͨʢྫ͑͹ɺݱۚͷೖग़ۚ ΍උ඼ফ໣඼ͷ؅ཧͳͲʣ
13. େྔσʔλͷWMPPLVQ͕ޮ཰Խ
14. Ϛʔδ WMPPLVQ
15. Ϛʔδ WMPPLVQ
16. #FGPSF
    
    WMPPLVQ͕ෆ҆ఆ  ൒֯ͱશ֯ͷ۠ผ
    w ൒֯ͱશ֯ͷҧ͍ʹΑͬͯผʑͷ஋ͱͯ͠ೝࣝ͞ΕΔɻ
     Ұҙͳ஋
    w ໊শ͸ಉ͕ͩ͡ɺ݄࣍ʹ͸ίʔυ͕มΘ͍ͬͯΔͳͲɻ
     ࢀরݩͷฒͼॱ
    w WMPPLVQ͸ฒͼॱ΋Өڹ͢Δ͕ͱؔ࿈ͯ݁͠Ռ͕ڰ͏͜ͱ͕Α͋͘Δɻ֬ೝͮ͠Β͍ɻ
     ঎඼͕ଟ͍ͱϛεΛ୳͢ͷ΋େม
    w ͲΕ͚ͩܽଛ஋ʹͳ͍ͬͯΔͷ͔ɺͲͷ݁߹͕ؒҧ͍ͬͯΔ͔͕͙͢ʹΘ͔Βͳ͍ɻ
17. #FGPSF
    
    WMPPLVQ͕ෆ҆ఆ  ൒֯ͱશ֯ͷ۠ผ
    w ൒֯ͱશ֯ͷҧ͍ʹΑͬͯผʑͷ஋ͱͯ͠ೝࣝ͞ΕΔɻ
     Ұҙͳ஋
    w ໊শ͸ಉ͕ͩ͡ɺ݄࣍ʹ͸ίʔυ͕มΘ͍ͬͯΔͳͲ ͷྫ ͷྫ
18. #FGPSF
    
    WMPPLVQ͕ෆ҆ఆ  ࢀরݩͷฒͼॱ
    w 7MPPLVQ͸ฒͼॱ΋Өڹ͢Δ͕ͱؔ࿈ͯ݁͠Ռ͕ڰ͏͜ͱ͕Α͋͘Δɻ
     ঎඼͕ଟ͍ͱϛεΛ୳͢ͷ΋େม
    w ͲΕ͚ͩܽଛ஋ʹͳ͍ͬͯΔͷ͔ɺͲͷ݁߹͕ؒҧ͍ͬͯΔ͔͕͙͢ʹΘ͔Βͳ͍ɻ
19. #FGPSF
    
    &YDFMͰͷ໰୊఺  ਓҝతϛε
    w ࣾ಺ࣾ֎ͷෳ਺ͷਓ͕ؒख࡞ۀͰߦͳ͍ͬͯͨ͘Ίɺͪΐͬͱͨ͠਺ࣜͷϛ εͳͲ͕ى͖ͯ΋ؾ෇͖ͮΒ͍ɻ·ͨɺఆܕۀ຿͕গͳ͍ͨΊϧʔϧԽͮ͠Β ͍ɻ
     ਺͕ࣜ൥ࡶ
    wηϧͷࢦఆ͕ζϨͨɺ৚݅෼ذ͕͓͔͍͠ͳͲɺΤΫηϧͰ͸਺ࣜͷνΣοΫ ͳͲݕࢉ͕ߦ͍ʹ͍͘ɻ
     ࠶ݱੑ͕௿͍
    wຖ݄࡞੒͢ΔϨϙʔτ͕͋ͬͯ΋ɺຖճಉ͡ॲཧΛख࡞ۀͰߦ͏ඞཁ͕͋Δɻ ϚΫϩΛ૊Ή͜ͱ΋Ͱ͖Δ͕ϋʔυϧ͕ߴ͍ɻ
20. "GUFS
    
    FYQMPSBUPSZಋೖʹΑΔղܾ  ൒֯ͱશ֯ͷ۠ผʻʮςΩετσʔλͷՃ޻ਖ਼نԽʯͰରԠ
     Ұҙͳ஋ʻʮ͜Ε͚ͩΛ࢒͢ʯͰରԠ
     ࢀরݩͷฒͼॱʻʮྻ݁߹ʯͰରԠ
     ঎඼͕ଟ͍ͱϛεΛ୳͢ͷ΋େมʻՄࢹԽͯ͠ൃݟ͠΍͍͢
     ਓҝతϛεʻγεςϜ͕ਖ਼֬
     ਺͕ࣜ൥ࡶʻ6*͕Θ͔Γ΍͍͢
     ࠶ݱੑ͕௿͍ʻεςοϓͰඪ४Խ
21. #FGPSF
    
    ൒֯ͱશ֯Λ౷Ұ͢Δ
    
    ྻ݁߹Ͱ௥Ճ͢Δʢͱʣ WMPPLVQݩ WMPPLVQઌ ݁߹
22. "GUFS
    
    ൒֯ͱશ֯Λ౷Ұ͢Δ
    
    ྻ݁߹Ͱ௥Ճ͢Δʢͱʣ
23. "GUFS
    
    εςοϓ͕ඪ४Խ͞Ε࠶ݱੑ͕ߴ͍ʢʣ ॲཧͷ޻ఔ͸εςοϓͱͯ͠
    ՄࢹԽ͞ΕΔ σʔλ͕ߋ৽͞Εͯ΋
    ಉ༷ͷεςοϓ͕ద༻
24. ෳ਺ϑΝΠϧͷҰׅΠϯϙʔτ ˍϚʔδ
25. Ϛʔδ WMPPLVQ
26. Ϛʔδ WMPPLVQ
27. ೔෇ ച্     ɾɾɾ ɾɾɾ     ೔෇ ച্     ɾɾɾ ɾɾɾ     ೔෇ ച্     ɾɾɾ ɾɾɾ     ೔෇ ച্     ɾɾɾ ɾɾɾ         ɾɾɾ ɾɾɾ         ɾɾɾ ɾɾɾ     ೥ͷച্σʔλ ೥ͷച্σʔλ ೥ͷച্σʔλ d೥ͷച্σʔλ Ϛʔδ
28. "GUFSྻͷฒͼ͕ҧͬͯ΋ϚʔδՄೳ
29. "GUFSϑΥϧμͷத਎ΛҰׅͰϚʔδՄೳ
30. "GUFS࣮ࡍͷσʔλʢࢀߟʣ
31. "GUFS࣮ࡍͷμογϡϘʔυʢࢀߟʣ
32. ̎ͱͷ·ͱΊ ղܾͰ͖ͨࣄͱࠓޙͷ՝୊ w ҰׅΠϯϙʔτˍϚʔδͰޮ཰Խ
    w (PPHMFεϓϨου͔ΒࣗಈऔಘʹΑΓࣗಈԽͰ͖ͨ
    w ෳࡶͳॲཧ΋εςοϓͰ࢓૊ΈΛ࡞Γඪ४ԽͰ͖ͨ
    w ਓҝతͳϛε͕େ෯ʹݮগ͠ɺ࡞ۀ࣌ؒ΋࡟ݮͰ͖ͨ
    w ࠓޙ͸μογϡϘʔυ΍ϨϙʔτͰސ٬ʹର͠ԿΛՄࢹԽ͢΂ ͖͔ϊ΢ϋ΢ͷ஝ੵΛߦͳ͍͖͍ͬͯͨ
33. ؾܰʹσʔλ෼ੳ Ԛ͍σʔλ ͔ΒՄࢹԽʣ
34. ΰʔϧ ࠜڌ͚ͮ Ծઆ σʔλ ࣄۀʢ༥ࢿʣܭըɺิॿۚ ٯࢉ
35. ࣄۀʢ༥ࢿʣܭըɺิॿۚ 2࣎լݝͰΩϟϯϓࣄۀΛߦ͏ͷͰิॿ͕ۚ΄͍͠ ࣎լݝͷ؍ޫ٬͸ଟ͍͔গͳ͍͔ʁ
    ຊ౰ʹͦͷΑ͏ͳधཁ͕͋Δ͔ʁ
36. ࣄۀʢ༥ࢿʣܭըɺิॿۚ w ΦʔϓϯσʔλΛऔಘ͢Δ͕Ԛ͘ѻ͍ͮΒ͍ 
 ʹ͕͔͔࣌ؒΔ
    w ̍ͭͷσʔλ͔Β͍͍ͤͥಘΒΕΔάϥϑ͕গͳ͍ 
 ʹੜ࢈ੑ௿͍ σʔλ͕Ԛ͍ͱ΍Δؾ͕࡟͕ΕΔ
37. ࣄۀʢ༥ࢿʣܭըɺิॿۚ w ࿨ྐྵ͔Β੢ྐྵ΁ʻ;JQBOHͰରԠ
    w εςοϓΛ੾Γସ͑ͯάϥϑ࡞੒
38. ࣄۀʢ༥ࢿʣܭըɺิॿۚ w ܽଛ͕ଟ͍ʻϑΟϧλʔ౳ͰରԠ
    w ͦͷଞ৭ʑϥϯάϦϯά
39. ࣄۀʢ༥ࢿʣܭըɺิॿۚ
40. ̐ͷ·ͱΊ ղܾͰ͖ͨࣄͱࠓޙͷ՝୊ w ༷ʑͳϥϯάϦϯάʹΑΓԚ͍σʔλ΋୹࣌ؒͰՃ޻Ͱ͖ͨ
    w εςοϓʹΑΓඪ४Խ͞Ε͍ͯΔͨΊɺ৽೥౓ͷσʔλ͕Ξο ϓσʔλ͞Εͯ΋खॱ͸มΘΒͣͳͷͰॲཧ͕؆୯
    w ̍ͭͷσʔλ͔ΒʙͭҎ্ͷՄࢹԽ΋༰қʹߦ͑ͨ
    w Α͘࢖༻͢Δߦ੓σʔλ͸ࣗಈऔಘͯ͠஝ੵ͢Δ࢓૊ΈΛ࡞Γ ͍ͨ
41. ·ͱΊ
42. w Πϯϙʔτ
    w ϥϯάϦϯά
    w μογϡϘʔυ
    w εέδϡʔϦϯά w ਓҝϛεͷ࡟ݮ
    w Ճ޻࣌ؒͷ࡟ݮ
    w ۀ຿ͷඪ४Խ
    w ࣗಈԽ &YQMPSBUPSZ