データ基盤を支える民主化とサービスレベル #shinjukugl / 20180402

新宿Geek Lounge#4 分析基盤Meetup ver2 のLT発表資料です。
refs. http://yuzutas0.hatenablog.com/entry/2018/04/23/083000

Transcript

1. σʔλج൫Λࢧ͑Δ
   ຽओԽͱαʔϏεϨϕϧ 
   ৽॓(FFL
   -PVOHF
   ෼ੳج൫.FFUVQ
   WFS
   QSFTFOUFE
   CZ
   !ZV[VUBT
    IUUQTXXXQFYFMTDPNQIPUPQFSTPOIPMEJOHDIBSUBOECBSHSBQI
2. ͸͡Ίʹ
   
3. !ZV[VUBT ɾ3FDSVJU
   5FDIOPMPHJFT
   $P
   -UE
   ɾ%BUB
   &OHJOFFSJOH
   5FBN
   ɾˏ*5
   Ͱʮσʔλج൫ʯدߘ࿈ࡌ͠·͢
   
4. σʔλج൫ #JH2VFSZϕʔεͷج൫
 ˞ݱঢ়͸͍ͩͿมΘ͍ͬͯΔͷͰ·ͨͷػձʹͲ͔͜Ͱൃද͠·͢
    APP
5. σʔλ׆༻
   
6. ৄࡉ͸ͪ͜Β IUUQTTQFBLFSEFDLDPNZV[VUBT
   
7. 
    -5Ͱ࿩͢͜ͱ
 σʔλج൫ͷӡ༻ʹ͍ͭͯ
   
   σʔλج൫͸ʮ࢖ΘΕΔ͜ͱʯ͕େࣄͩ
 
   ࣮ફฤɿσʔλͷຽओԽΛଅͦ͏
 
   ࣮ફฤɿγεςϜ৴པੑΛߴΊΑ͏
8. ੈͷྲྀΕ
   
9. IUUQEBUBPQTNBOJGFTUPPSHɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹIUUQTNFEJVNDPNEBUBPQT %BUB0QT
   
10. IUUQTNMYTFDPOOQBTTDPNFWFOU
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    ɹIUUQLTLCZUIBUFOBCMPHKQFOUSZ ΍ͬͯΈͨ
    ͔Β
    Ձ஋૑ग़ɾӡ༻ࢤ޲
    ʹ
    
11. ࢖ΘΕͯͦ͜ͷσʔλج൫
    
12. 
     Զͷߟ͑ͨ࠷ڧͷ μογϡϘʔυ ɹ1೥લ
13. 
     1िؒͰ୭΋ݟͳ͘ͳͬͨ ɹݱ࣮͸ඇ৘Ͱ͋Δ
14. ݱࡏ ΞγελϯτελοϑͰ͑͞΋#JH2VFSZΛୟ͘ੈք
    
    
15. σʔλͷຽओԽ
    
16. νʔϜ͝ͱͷຽओԽঢ়گ ֤νʔϜ͕σʔλ׆༻Ͱ͖͍ͯΔ͔ϞχλϦϯά
    ˠ
    ϒϩοΧʔͷݕ஌
    ˠ
    վળΞΫγϣϯ
     νʔϜ" νʔϜ# νʔϜ$ νʔϜ% νʔϜ& νʔϜ' νʔϜ( νʔϜ) νʔϜ* νʔϜ+ νʔϜ, ੜϩά
 ಠࣗར༻ σʔλ5ࢧԉ
 ۀ຿ґཔ σʔλ5ࢧԉ
 σʔλग़ྗ ࣗओత
 σʔλग़ྗ ୲౰ऀґଘ ୲౰ऀґଘ ୲౰ऀґଘ ࣗओత
 σʔλੜ੒ ଞνʔϜґཔ ج൫ߩݙʂ ୲౰ऀґଘ ୲౰ऀґଘ ہॴԽͷน ࣗ૸ͷน վળͷน
17. ϓϩμΫτ։ൃͱԾઆݕূ
     Build Measure Learn Ͱ͖͍ͯΔ ͔͜͜Β
18. ࣮ࢪͨ͠ࢪࡦͷ݁ՌΛ෼ੳ ɹɹͲΜͳϢʔβʔ͕৽ػೳΛ࢖ͬͨͷ͔
 ɹɹϓϩμΫτʹͲΜͳظ଴Λ΋͍ͬͯΔͷ͔ ɹɹϏδωεKPI͸Ͳͷఔ౓޲্ͨ͠ͷ͔
 ɹɹ෭࡞༻͸͔͋ͬͨʢ͋ΔػೳΛԡ͠ग़͢ → ผͷػೳ͕࢖ΘΕͳ͘ͳΔՄೳੑʣ
     IUUQHBUBHOFUGSFFJMMVTUSBJUJPO
19. ͜Μͳײ͡Ͱ΍Γ·ͨ͠ 1. ϗϫΠτϘʔυʹ෼ੳཁ݅
 ɹɹΧελϚʔߦಈભҠΛϕʔεͱͨ͠ࢦඪπϦʔ
 ɹɹϩάΠϯ཰͕޲্ → ΞΫγϣϯ͕… → ച্׵ࢉ 
 ɹɹɹɹ2. JupyterͰ෼ੳ
 ɹɹɹɹɹίʔυ͸શͯίϛοτཤྺͰ؅ཧ
 
 ɹɹɹɹɹɹɹɹ3. ෼ੳ݁ՌΛؔ܎ऀʹڞ༗
 ɹɹɹɹɹɹɹɹɹGithubͷϓϨϏϡʔը໘Λ׆༻
    
20. Ϟϒ
    ϓϩάϥϛϯά
    σʔλ෼ੳ 1ͭͷϞχλʔΛғΜͰશһͰ࡞ۀ͢Δ ɹɹ • पғ͕ௐ΂ͨΓΞυόΠε͠ͳ͕ΒਐΊΔ
 ɹɹɹ → ϋϚΒͳ͍ / ࠳ંΛ๷͙ɺTips΍ίπΛڞ༗͋͠͏
 ɹɹ • օ͕΍ΔͳΒࣗ෼΋΍Δ͔ʂͷޙԡ͠
 ɹɹɹ → ʮ΍ͬͯΈͨΒࢥͬͨҎ্ʹྑ͔ͬͨʯͷମݧ
    
21. ϓϩηε૷ண
    
    ։ൃ޻ఔʹ૊ΈࠐΉ 
 σʔλ࢓༷ʹৄ͍͠ʢগͳ͘ͱ΋ௐࠪ͢ΔεΩϧ͸΋͍ͬͯΔʣΤϯδχΞ͕
 ୲౰ྖҬΛ޿͛Δ͜ͱͰલޙ޻ఔͷϦʔυλΠϜΛ୹ॖ

     ੡଄ ઃܭ ࢼݧ ϦϦʔε ޮՌ
 ଌఆ ཁ݅
 ఆٛ ཁٻ
 ੔ཧ ੡଄ ઃܭ ࢼݧ ϦϦʔε ޮՌ
 ଌఆ ཁ݅
 ఆٛ ཁٻ
 ੔ཧ طʹ΍͍ͬͯΔ ෼ੳཁٻ ϩάཁ݅ ܭଌ ΞΠσΞ
22. ˞·ͩͦ͜·Ͱ៉ྷʹճ͍ͬͯͳ͍ʢಛʹσʔλࣙॻͷ6*؍఺ʣˠΞυόΠεٻΉ σʔλࣙॻͷվળΛ࢓૊ΈԽ
     42-Ϩγϐ σʔλ࢓༷ ΞΠςϜ ෼ੳ૬ஊ ϨϏϡʔґཔ Πϕϯτ طʹ͋ΔͳΒͦΕΛ౉͢
    ·ͩͳ͚Ε͹Ұॹʹ࡞Δ
23. αʔϏεϨϕϧ
    
24. ج൫ӡ༻ͷجૅ αʔϏεϨϕϧʹ΋ͱ͍ͮͯશͯͷҙࢥܾఆ͕ͳ͞ΕΔ
     IUUQTXXXPSFJMMZDPKQCPPLT IUUQTXXXPSFJMMZDPKQCPPLT IUUQHJIZPKQCPPL
25. ৄࡉ͸ͪ͜Β αʔϏεϨϕϧͱ͍͏֓೦ʹ͍ͭͯ
 ೔ຊޠͰҰ൪෼͔Γ΍͘͢આ໌ͨࣗ͠৴͕͋Γ·͢
    IUUQZV[VUBTIBUFOBCMPHDPNFOUSZ
    
26. αʔϏεϨϕϧ σʔλͷ༻్ɾར༻ऀ͝ͱʹظ଴͞Ε͍ͯΔαʔϏεϨϕϧΛՄࢹԽ
    ɾ৴པੑ͸ʮ࣮ࡍʹγεςϜΛ࢖͏ਓɾ໨తɾ࣌ؒʯΛલఏʹ͢Δ
 ɾͳͷͰαʔϏεϨϕϧ͸ϢʔεέʔεۦಈͰઃܭ͢Δ͜ͱʹͳΔ
 ɾ୭΋࢖Θͳ͍ػೳ΍࣌ؒଳͰγεςϜՔಇ཰͕Ͱ͋ͬͯ΋࢓ํͳ͍
     ྫ ༻్ ໿ଋ૬ख ࿈བྷઌɾप஌ઌ ར༻σʔλ ໿ଋࣄ߲ʢ4-"ʣ ҧ൓࣌ͷӨڹൣғ  ೔࣍Ϩϙʔτ σΟϨΫλʔ 4MBDL
 NPOJUPSJOH #JH2VFSZͷ
 ച্ςʔϒϧ ຖӦۀ೔ͷޕલY࣌·Ͱʹ
 ܽଛͳ͘લ೔ͷച্͕
 Ϩϙʔτ͞ΕΔ͜ͱ ച্ঢ়گʹԠͨ͡
 ࢪࡦ͕ଧͯͳ͘ͳΔ
 ʢػձଛࣦʣ  ʜ ʜ ʜ ʜ ʜ ʜ  ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ࣮෺ˠ
27. ΦϖϨʔγϣϯϨϕϧ αʔϏεϨϕϧʹର͢ΔڴҖʢʹΠϯγσϯτʣൃੜ࣌ͷΦϖϨʔγϣϯ
    ରԠεϐʔυ
    ิঈɾ୅ସखஈɹɹɹɹɹɹϫʔΫΞϥ΢ϯυʢճආࡦʣɹɹɹɹɹɹɹϨϙʔςΟϯάˍه࿥
    
    
28. 4-"
    
    0-"
    Λվળ͢Δᶃ ຖεϓϦϯτऴྃ࣌ͷ;Γ͔͑ΓͰɺ࣮ଶʢ"T*Tʣͱظ଴஋ʢ5P#FʣΛൺֱ͢Δ
    
     What ԿΛ͢Δ͔ εϓϦϯτ
 ϨϏϡʔ σΠϦʔ
 εΫϥϜ How Ͳ͏΍ͬͯ͢Δ͔ εϓϦϯτ
 ϓϥϯχϯά Ϩτϩ
 εϖΫςΟϒ
29. 4-"
    
    0-"
    Λվળ͢Δᶄ վળΞΫγϣϯ
    
 ɾ໨ඪΛຬͨͤΔΑ͏ʹվળ͢Δɿج൫γεςϜͷվमҊ݅Λىථ
 ɾ໨ඪࣗମΛमਖ਼͢Δɿա৒ͳΒ໨ඪΛԼํमਖ਼ɺ࢖༻ఀࢭ#*πʔϧ͸ΫϦʔχϯάɺ؍఺࿙Ε͸௥Ճ
     ˣ࣮෺ʢϨτϩεϖΫςΟϒͷΞδΣϯμʣ
30. 
     -5Ͱ࿩ͨ͜͠ͱ
 σʔλج൫ͷӡ༻ʹ͍ͭͯ
    
    σʔλج൫͸ʮ࢖ΘΕΔ͜ͱʯ͕େࣄͩ
 
    ࣮ફฤɿσʔλͷຽओԽΛଅͦ͏
 
    ࣮ફฤɿγεςϜ৴པੑΛߴΊΑ͏
31. ΄͔ɿ࿩ͤͦ͏ͳ͜ͱ ͥͻ͓੠ֻ͚͍ͩ͘͞ʂ
    ɾσʔλج൫ͷγεςϜߏ੒
 ɾσʔλج൫ͷύϑΥʔϚϯενϡʔχϯάͷي੻
 ɾσʔλج൫ߏங࣌ʹ౿Μͩόά΍ٕज़తπϥϛ
    ɾσʔλ׆༻Ҋ݅ͷਐΊํˍ௨͠ํ
 ɾूܭۀ຿Λ؆୯ʹ͢Δ5JQT
 ɾ؆୯ʹσʔλΛϏδϡΞϧԽ͢Δ࿩
 ɾલॲཧˍΫϨϯδϯάͷ5JQT
    ɾσʔλνʔϜͷӡӦͱϓϩηε
 ɾσʔλνʔϜͷ࠾༻ɺҭ੒ɺධՁ
    
32. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠
     IUUQTXXXQFYFMTDPNQIPUPQFSTPOIPMEJOHDIBSUBOECBSHSBQI