データ基盤を支える民主化とサービスレベル #shinjukugl / 20180402

新宿Geek Lounge#4 分析基盤Meetup ver2 のLT発表資料です。
refs. http://yuzutas0.hatenablog.com/entry/2018/04/23/083000

Transcript

1. σʔλج൫Λࢧ͑Δ
   ຽओԽͱαʔϏεϨϕϧ
   
   ৽॓(FFL-PVOHF෼ੳج൫.FFUVQWFS
   QSFTFOUFECZ!ZV[VUBT
   
   
   IUUQTXXXQFYFMTDPNQIPUPQFSTPOIPMEJOHDIBSUBOECBSHSBQI
   

   View Slide

2. ͸͡Ίʹ
   
   
   

   View Slide

3. !ZV[VUBT
   ɾ3FDSVJU5FDIOPMPHJFT$P -UE
   ɾ%BUB&OHJOFFSJOH5FBN
   ɾˏ*5Ͱʮσʔλج൫ʯدߘ࿈ࡌ͠·͢
   
   
   

   View Slide

4. σʔλج൫
   #JH2VFSZϕʔεͷج൫

   ˞ݱঢ়͸͍ͩͿมΘ͍ͬͯΔͷͰ·ͨͷػձʹͲ͔͜Ͱൃද͠·͢
   
   
   APP
   

   View Slide

5. σʔλ׆༻
   
   
   

   View Slide

6. ৄࡉ͸ͪ͜Β
   IUUQTTQFBLFSEFDLDPNZV[VUBT
   
   
   

   View Slide

7. 
   
   -5Ͱ࿩͢͜ͱ

   σʔλج൫ͷӡ༻ʹ͍ͭͯ
   σʔλج൫͸ʮ࢖ΘΕΔ͜ͱʯ͕େࣄͩ

   ࣮ફฤɿσʔλͷຽओԽΛଅͦ͏

   ࣮ફฤɿγεςϜ৴པੑΛߴΊΑ͏
   

   View Slide

8. ੈͷྲྀΕ
   
   
   

   View Slide

9. IUUQEBUBPQTNBOJGFTUPPSHɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹIUUQTNFEJVNDPNEBUBPQT
   %BUB0QT
   
   
   

   View Slide

10. IUUQTNMYTFDPOOQBTTDPNFWFOUɹIUUQLTLCZUIBUFOBCMPHKQFOUSZ
    ΍ͬͯΈ͔ͨΒ
    Ձ஋૑ग़ɾӡ༻ࢤ޲ʹ
    
    
    

    View Slide

11. ࢖ΘΕͯͦ͜ͷσʔλج൫
    
    
    

    View Slide

12. 
    
    Զͷߟ͑ͨ࠷ڧͷ
    μογϡϘʔυ
    ɹ1೥લ
    

    View Slide

13. 
    
    1िؒͰ୭΋ݟͳ͘ͳͬͨ
    ɹݱ࣮͸ඇ৘Ͱ͋Δ
    

    View Slide

14. ݱࡏ
    ΞγελϯτελοϑͰ͑͞΋#JH2VFSZΛୟ͘ੈք
    
    
    

    View Slide

15. σʔλͷຽओԽ
    
    
    

    View Slide

16. νʔϜ͝ͱͷຽओԽঢ়گ
    ֤νʔϜ͕σʔλ׆༻Ͱ͖͍ͯΔ͔ϞχλϦϯάˠϒϩοΧʔͷݕ஌ˠվળΞΫγϣϯ
    
    
    νʔϜ" νʔϜ# νʔϜ$ νʔϜ% νʔϜ& νʔϜ' νʔϜ( νʔϜ) νʔϜ* νʔϜ+ νʔϜ,
    ੜϩά

    ಠࣗར༻
    σʔλ5ࢧԉ

    ۀ຿ґཔ
    σʔλ5ࢧԉ

    σʔλग़ྗ
    ࣗओత

    σʔλग़ྗ
    ୲౰ऀґଘ ୲౰ऀґଘ ୲౰ऀґଘ
    ࣗओత

    σʔλੜ੒
    ଞνʔϜґཔ
    ج൫ߩݙʂ ୲౰ऀґଘ ୲౰ऀґଘ
    ہॴԽͷน
    ࣗ૸ͷน
    վળͷน
    

    View Slide

17. ϓϩμΫτ։ൃͱԾઆݕূ
    
    
    Build
    Measure
    Learn
    Ͱ͖͍ͯΔ
    ͔͜͜Β
    

    View Slide

18. ࣮ࢪͨ͠ࢪࡦͷ݁ՌΛ෼ੳ
    ɹɹͲΜͳϢʔβʔ͕৽ػೳΛ࢖ͬͨͷ͔

    ɹɹϓϩμΫτʹͲΜͳظ଴Λ΋͍ͬͯΔͷ͔
    ɹɹϏδωεKPI͸Ͳͷఔ౓޲্ͨ͠ͷ͔

    ɹɹ෭࡞༻͸͔͋ͬͨʢ͋ΔػೳΛԡ͠ग़͢ → ผͷػೳ͕࢖ΘΕͳ͘ͳΔՄೳੑʣ
    
    
    IUUQHBUBHOFUGSFFJMMVTUSBJUJPO
    

    View Slide

19. ͜Μͳײ͡Ͱ΍Γ·ͨ͠
    1. ϗϫΠτϘʔυʹ෼ੳཁ݅

    ɹɹΧελϚʔߦಈભҠΛϕʔεͱͨ͠ࢦඪπϦʔ

    ɹɹϩάΠϯ཰͕޲্ → ΞΫγϣϯ͕… → ച্׵ࢉ
    

    ɹɹɹɹ2. JupyterͰ෼ੳ

    ɹɹɹɹɹίʔυ͸શͯίϛοτཤྺͰ؅ཧ

    

    ɹɹɹɹɹɹɹɹ3. ෼ੳ݁ՌΛؔ܎ऀʹڞ༗

    ɹɹɹɹɹɹɹɹɹGithubͷϓϨϏϡʔը໘Λ׆༻
    
    
    

    View Slide

20. Ϟϒϓϩάϥϛϯάσʔλ෼ੳ
    1ͭͷϞχλʔΛғΜͰશһͰ࡞ۀ͢Δ
    ɹɹ ● पғ͕ௐ΂ͨΓΞυόΠε͠ͳ͕ΒਐΊΔ

    ɹɹɹ → ϋϚΒͳ͍ / ࠳ંΛ๷͙ɺTips΍ίπΛڞ༗͋͠͏

    ɹɹ ● օ͕΍ΔͳΒࣗ෼΋΍Δ͔ʂͷޙԡ͠

    ɹɹɹ → ʮ΍ͬͯΈͨΒࢥͬͨҎ্ʹྑ͔ͬͨʯͷମݧ
    
    
    

    View Slide

21. ϓϩηε૷ண։ൃ޻ఔʹ૊ΈࠐΉ
    

    σʔλ࢓༷ʹৄ͍͠ʢগͳ͘ͱ΋ௐࠪ͢ΔεΩϧ͸΋͍ͬͯΔʣΤϯδχΞ͕

    ୲౰ྖҬΛ޿͛Δ͜ͱͰલޙ޻ఔͷϦʔυλΠϜΛ୹ॖ

    
    
    ੡଄
    ઃܭ ࢼݧ ϦϦʔε
    ޮՌ

    ଌఆ
    ཁ݅

    ఆٛ
    ཁٻ

    ੔ཧ
    ੡଄
    ઃܭ ࢼݧ ϦϦʔε
    ޮՌ

    ଌఆ
    ཁ݅

    ఆٛ
    ཁٻ

    ੔ཧ
    طʹ΍͍ͬͯΔ
    ෼ੳཁٻ ϩάཁ݅ ܭଌ
    ΞΠσΞ
    

    View Slide

22. ˞·ͩͦ͜·Ͱ៉ྷʹճ͍ͬͯͳ͍ʢಛʹσʔλࣙॻͷ6*؍఺ʣˠΞυόΠεٻΉ
    σʔλࣙॻͷվળΛ࢓૊ΈԽ
    
    
    42-Ϩγϐ σʔλ࢓༷
    ΞΠςϜ
    ෼ੳ૬ஊ ϨϏϡʔґཔ
    Πϕϯτ
    طʹ͋ΔͳΒͦΕΛ౉͢
    ·ͩͳ͚Ε͹Ұॹʹ࡞Δ
    

    View Slide

23. αʔϏεϨϕϧ
    
    
    

    View Slide

24. ج൫ӡ༻ͷجૅ
    αʔϏεϨϕϧʹ΋ͱ͍ͮͯશͯͷҙࢥܾఆ͕ͳ͞ΕΔ
    
    
    IUUQTXXXPSFJMMZDPKQCPPLT IUUQTXXXPSFJMMZDPKQCPPLT IUUQHJIZPKQCPPL
    

    View Slide

25. ৄࡉ͸ͪ͜Β
    αʔϏεϨϕϧͱ͍͏֓೦ʹ͍ͭͯ

    ೔ຊޠͰҰ൪෼͔Γ΍͘͢આ໌ͨࣗ͠৴͕͋Γ·͢
    IUUQZV[VUBTIBUFOBCMPHDPNFOUSZ
    
    
    

    View Slide

26. αʔϏεϨϕϧ
    σʔλͷ༻్ɾར༻ऀ͝ͱʹظ଴͞Ε͍ͯΔαʔϏεϨϕϧΛՄࢹԽ
    ɾ৴པੑ͸ʮ࣮ࡍʹγεςϜΛ࢖͏ਓɾ໨తɾ࣌ؒʯΛલఏʹ͢Δ

    ɾͳͷͰαʔϏεϨϕϧ͸ϢʔεέʔεۦಈͰઃܭ͢Δ͜ͱʹͳΔ

    ɾ୭΋࢖Θͳ͍ػೳ΍࣌ؒଳͰγεςϜՔಇ཰͕Ͱ͋ͬͯ΋࢓ํͳ͍
    
    
    ྫ ༻్ ໿ଋ૬ख ࿈བྷઌɾप஌ઌ ར༻σʔλ ໿ଋࣄ߲ʢ4-"ʣ ҧ൓࣌ͷӨڹൣғ
    ೔࣍Ϩϙʔτ σΟϨΫλʔ
    4MBDL

    NPOJUPSJOH
    #JH2VFSZͷ

    ച্ςʔϒϧ
    ຖӦۀ೔ͷޕલY࣌·Ͱʹ

    ܽଛͳ͘લ೔ͷച্͕

    Ϩϙʔτ͞ΕΔ͜ͱ
    ച্ঢ়گʹԠͨ͡

    ࢪࡦ͕ଧͯͳ͘ͳΔ

    ʢػձଛࣦʣ
    ʜ ʜ ʜ ʜ ʜ ʜ
    ʜ ʜ ʜ ʜ ʜ ʜ
    ʜ ʜ ʜ ʜ ʜ ʜ ʜ
    ࣮෺ˠ
    

    View Slide

27. ΦϖϨʔγϣϯϨϕϧ
    αʔϏεϨϕϧʹର͢ΔڴҖʢʹΠϯγσϯτʣൃੜ࣌ͷΦϖϨʔγϣϯ
    ରԠεϐʔυ
    ิঈɾ୅ସखஈɹɹɹɹɹɹϫʔΫΞϥ΢ϯυʢճආࡦʣɹɹɹɹɹɹɹϨϙʔςΟϯάˍه࿥
    
    
    

    View Slide

28. 4-"0-"Λվળ͢Δᶃ
    ຖεϓϦϯτऴྃ࣌ͷ;Γ͔͑ΓͰɺ࣮ଶʢ"T*Tʣͱظ଴஋ʢ5P#FʣΛൺֱ͢Δ
    
    
    What
    ԿΛ͢Δ͔
    εϓϦϯτ

    ϨϏϡʔ
    σΠϦʔ

    εΫϥϜ
    How
    Ͳ͏΍ͬͯ͢Δ͔
    εϓϦϯτ

    ϓϥϯχϯά
    Ϩτϩ

    εϖΫςΟϒ
    

    View Slide

29. 4-"0-"Λվળ͢Δᶄ
    վળΞΫγϣϯ
    

    ɾ໨ඪΛຬͨͤΔΑ͏ʹվળ͢Δɿج൫γεςϜͷվमҊ݅Λىථ

    ɾ໨ඪࣗମΛमਖ਼͢Δɿա৒ͳΒ໨ඪΛԼํमਖ਼ɺ࢖༻ఀࢭ#*πʔϧ͸ΫϦʔχϯάɺ؍఺࿙Ε͸௥Ճ
    
    
    ˣ࣮෺ʢϨτϩεϖΫςΟϒͷΞδΣϯμʣ
    

    View Slide

30. 
    
    -5Ͱ࿩ͨ͜͠ͱ

    σʔλج൫ͷӡ༻ʹ͍ͭͯ
    σʔλج൫͸ʮ࢖ΘΕΔ͜ͱʯ͕େࣄͩ

    ࣮ફฤɿσʔλͷຽओԽΛଅͦ͏

    ࣮ફฤɿγεςϜ৴པੑΛߴΊΑ͏
    

    View Slide

31. ΄͔ɿ࿩ͤͦ͏ͳ͜ͱ
    ͥͻ͓੠ֻ͚͍ͩ͘͞ʂ
    ɾσʔλج൫ͷγεςϜߏ੒

    ɾσʔλج൫ͷύϑΥʔϚϯενϡʔχϯάͷي੻

    ɾσʔλج൫ߏங࣌ʹ౿Μͩόά΍ٕज़తπϥϛ
    ɾσʔλ׆༻Ҋ݅ͷਐΊํˍ௨͠ํ

    ɾूܭۀ຿Λ؆୯ʹ͢Δ5JQT

    ɾ؆୯ʹσʔλΛϏδϡΞϧԽ͢Δ࿩

    ɾલॲཧˍΫϨϯδϯάͷ5JQT
    ɾσʔλνʔϜͷӡӦͱϓϩηε

    ɾσʔλνʔϜͷ࠾༻ɺҭ੒ɺධՁ
    
    
    

    View Slide

32. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠
    
    
    IUUQTXXXQFYFMTDPNQIPUPQFSTPOIPMEJOHDIBSUBOECBSHSBQI
    

    View Slide