Pro Yearly is on sale from $80 to $50! »

データ基盤を支える民主化とサービスレベル #shinjukugl / 20180402

56ae61a2631362f985e4c1fa4548a7ac?s=47 yuzutas0
April 02, 2018

データ基盤を支える民主化とサービスレベル #shinjukugl / 20180402

新宿Geek Lounge#4 分析基盤Meetup ver2 のLT発表資料です。
refs. http://yuzutas0.hatenablog.com/entry/2018/04/23/083000

56ae61a2631362f985e4c1fa4548a7ac?s=128

yuzutas0

April 02, 2018
Tweet

Transcript

  1. σʔλج൫Λࢧ͑Δ ຽओԽͱαʔϏεϨϕϧ  ৽॓(FFL-PVOHF෼ੳج൫.FFUVQWFS QSFTFOUFECZ!ZV[VUBT   IUUQTXXXQFYFMTDPNQIPUPQFSTPOIPMEJOHDIBSUBOECBSHSBQI

  2. ͸͡Ίʹ  

  3. !ZV[VUBT ɾ3FDSVJU5FDIOPMPHJFT$P -UE ɾ%BUB&OHJOFFSJOH5FBN ɾˏ*5Ͱʮσʔλج൫ʯدߘ࿈ࡌ͠·͢  

  4. σʔλج൫ #JH2VFSZϕʔεͷج൫
 ˞ݱঢ়͸͍ͩͿมΘ͍ͬͯΔͷͰ·ͨͷػձʹͲ͔͜Ͱൃද͠·͢   APP

  5. σʔλ׆༻  

  6. ৄࡉ͸ͪ͜Β IUUQTTQFBLFSEFDLDPNZV[VUBT  

  7.   -5Ͱ࿩͢͜ͱ
 σʔλج൫ͷӡ༻ʹ͍ͭͯ σʔλج൫͸ʮ࢖ΘΕΔ͜ͱʯ͕େࣄͩ
 ࣮ફฤɿσʔλͷຽओԽΛଅͦ͏
 ࣮ફฤɿγεςϜ৴པੑΛߴΊΑ͏

  8. ੈͷྲྀΕ  

  9. IUUQEBUBPQTNBOJGFTUPPSHɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹIUUQTNFEJVNDPNEBUBPQT %BUB0QT  

  10. IUUQTNMYTFDPOOQBTTDPNFWFOUɹIUUQLTLCZUIBUFOBCMPHKQFOUSZ ΍ͬͯΈ͔ͨΒ Ձ஋૑ग़ɾӡ༻ࢤ޲ʹ  

  11. ࢖ΘΕͯͦ͜ͷσʔλج൫  

  12.   Զͷߟ͑ͨ࠷ڧͷ μογϡϘʔυ ɹ1೥લ

  13.   1िؒͰ୭΋ݟͳ͘ͳͬͨ ɹݱ࣮͸ඇ৘Ͱ͋Δ

  14. ݱࡏ ΞγελϯτελοϑͰ͑͞΋#JH2VFSZΛୟ͘ੈք  

  15. σʔλͷຽओԽ  

  16. νʔϜ͝ͱͷຽओԽঢ়گ ֤νʔϜ͕σʔλ׆༻Ͱ͖͍ͯΔ͔ϞχλϦϯάˠϒϩοΧʔͷݕ஌ˠվળΞΫγϣϯ   νʔϜ" νʔϜ# νʔϜ$ νʔϜ% νʔϜ& νʔϜ'

    νʔϜ( νʔϜ) νʔϜ* νʔϜ+ νʔϜ, ੜϩά
 ಠࣗར༻ σʔλ5ࢧԉ
 ۀ຿ґཔ σʔλ5ࢧԉ
 σʔλग़ྗ ࣗओత
 σʔλग़ྗ ୲౰ऀґଘ ୲౰ऀґଘ ୲౰ऀґଘ ࣗओత
 σʔλੜ੒ ଞνʔϜґཔ ج൫ߩݙʂ ୲౰ऀґଘ ୲౰ऀґଘ ہॴԽͷน ࣗ૸ͷน վળͷน
  17. ϓϩμΫτ։ൃͱԾઆݕূ   Build Measure Learn Ͱ͖͍ͯΔ ͔͜͜Β

  18. ࣮ࢪͨ͠ࢪࡦͷ݁ՌΛ෼ੳ ɹɹͲΜͳϢʔβʔ͕৽ػೳΛ࢖ͬͨͷ͔
 ɹɹϓϩμΫτʹͲΜͳظ଴Λ΋͍ͬͯΔͷ͔ ɹɹϏδωεKPI͸Ͳͷఔ౓޲্ͨ͠ͷ͔
 ɹɹ෭࡞༻͸͔͋ͬͨʢ͋ΔػೳΛԡ͠ग़͢ → ผͷػೳ͕࢖ΘΕͳ͘ͳΔՄೳੑʣ   IUUQHBUBHOFUGSFFJMMVTUSBJUJPO

  19. ͜Μͳײ͡Ͱ΍Γ·ͨ͠ 1. ϗϫΠτϘʔυʹ෼ੳཁ݅
 ɹɹΧελϚʔߦಈભҠΛϕʔεͱͨ͠ࢦඪπϦʔ
 ɹɹϩάΠϯ཰͕޲্ → ΞΫγϣϯ͕… → ച্׵ࢉ 


    ɹɹɹɹ2. JupyterͰ෼ੳ
 ɹɹɹɹɹίʔυ͸શͯίϛοτཤྺͰ؅ཧ
 
 ɹɹɹɹɹɹɹɹ3. ෼ੳ݁ՌΛؔ܎ऀʹڞ༗
 ɹɹɹɹɹɹɹɹɹGithubͷϓϨϏϡʔը໘Λ׆༻  
  20. Ϟϒϓϩάϥϛϯάσʔλ෼ੳ 1ͭͷϞχλʔΛғΜͰશһͰ࡞ۀ͢Δ ɹɹ • पғ͕ௐ΂ͨΓΞυόΠε͠ͳ͕ΒਐΊΔ
 ɹɹɹ → ϋϚΒͳ͍ / ࠳ંΛ๷͙ɺTips΍ίπΛڞ༗͋͠͏


    ɹɹ • օ͕΍ΔͳΒࣗ෼΋΍Δ͔ʂͷޙԡ͠
 ɹɹɹ → ʮ΍ͬͯΈͨΒࢥͬͨҎ্ʹྑ͔ͬͨʯͷମݧ  
  21. ϓϩηε૷ண։ൃ޻ఔʹ૊ΈࠐΉ 
 σʔλ࢓༷ʹৄ͍͠ʢগͳ͘ͱ΋ௐࠪ͢ΔεΩϧ͸΋͍ͬͯΔʣΤϯδχΞ͕
 ୲౰ྖҬΛ޿͛Δ͜ͱͰલޙ޻ఔͷϦʔυλΠϜΛ୹ॖ
   ੡଄ ઃܭ ࢼݧ ϦϦʔε

    ޮՌ
 ଌఆ ཁ݅
 ఆٛ ཁٻ
 ੔ཧ ੡଄ ઃܭ ࢼݧ ϦϦʔε ޮՌ
 ଌఆ ཁ݅
 ఆٛ ཁٻ
 ੔ཧ طʹ΍͍ͬͯΔ ෼ੳཁٻ ϩάཁ݅ ܭଌ ΞΠσΞ
  22. ˞·ͩͦ͜·Ͱ៉ྷʹճ͍ͬͯͳ͍ʢಛʹσʔλࣙॻͷ6*؍఺ʣˠΞυόΠεٻΉ σʔλࣙॻͷվળΛ࢓૊ΈԽ   42-Ϩγϐ σʔλ࢓༷ ΞΠςϜ ෼ੳ૬ஊ ϨϏϡʔґཔ Πϕϯτ

    طʹ͋ΔͳΒͦΕΛ౉͢ ·ͩͳ͚Ε͹Ұॹʹ࡞Δ
  23. αʔϏεϨϕϧ  

  24. ج൫ӡ༻ͷجૅ αʔϏεϨϕϧʹ΋ͱ͍ͮͯશͯͷҙࢥܾఆ͕ͳ͞ΕΔ   IUUQTXXXPSFJMMZDPKQCPPLT IUUQTXXXPSFJMMZDPKQCPPLT IUUQHJIZPKQCPPL

  25. ৄࡉ͸ͪ͜Β αʔϏεϨϕϧͱ͍͏֓೦ʹ͍ͭͯ
 ೔ຊޠͰҰ൪෼͔Γ΍͘͢આ໌ͨࣗ͠৴͕͋Γ·͢ IUUQZV[VUBTIBUFOBCMPHDPNFOUSZ  

  26. αʔϏεϨϕϧ σʔλͷ༻్ɾར༻ऀ͝ͱʹظ଴͞Ε͍ͯΔαʔϏεϨϕϧΛՄࢹԽ ɾ৴པੑ͸ʮ࣮ࡍʹγεςϜΛ࢖͏ਓɾ໨తɾ࣌ؒʯΛલఏʹ͢Δ
 ɾͳͷͰαʔϏεϨϕϧ͸ϢʔεέʔεۦಈͰઃܭ͢Δ͜ͱʹͳΔ
 ɾ୭΋࢖Θͳ͍ػೳ΍࣌ؒଳͰγεςϜՔಇ཰͕Ͱ͋ͬͯ΋࢓ํͳ͍   ྫ ༻్ ໿ଋ૬ख

    ࿈བྷઌɾप஌ઌ ར༻σʔλ ໿ଋࣄ߲ʢ4-"ʣ ҧ൓࣌ͷӨڹൣғ  ೔࣍Ϩϙʔτ σΟϨΫλʔ 4MBDL
 NPOJUPSJOH #JH2VFSZͷ
 ച্ςʔϒϧ ຖӦۀ೔ͷޕલY࣌·Ͱʹ
 ܽଛͳ͘લ೔ͷച্͕
 Ϩϙʔτ͞ΕΔ͜ͱ ച্ঢ়گʹԠͨ͡
 ࢪࡦ͕ଧͯͳ͘ͳΔ
 ʢػձଛࣦʣ  ʜ ʜ ʜ ʜ ʜ ʜ  ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ࣮෺ˠ
  27. ΦϖϨʔγϣϯϨϕϧ αʔϏεϨϕϧʹର͢ΔڴҖʢʹΠϯγσϯτʣൃੜ࣌ͷΦϖϨʔγϣϯ ରԠεϐʔυ ิঈɾ୅ସखஈɹɹɹɹɹɹϫʔΫΞϥ΢ϯυʢճආࡦʣɹɹɹɹɹɹɹϨϙʔςΟϯάˍه࿥  

  28. 4-"0-"Λվળ͢Δᶃ ຖεϓϦϯτऴྃ࣌ͷ;Γ͔͑ΓͰɺ࣮ଶʢ"T*Tʣͱظ଴஋ʢ5P#FʣΛൺֱ͢Δ   What ԿΛ͢Δ͔ εϓϦϯτ
 ϨϏϡʔ σΠϦʔ
 εΫϥϜ

    How Ͳ͏΍ͬͯ͢Δ͔ εϓϦϯτ
 ϓϥϯχϯά Ϩτϩ
 εϖΫςΟϒ
  29. 4-"0-"Λվળ͢Δᶄ վળΞΫγϣϯ 
 ɾ໨ඪΛຬͨͤΔΑ͏ʹվળ͢Δɿج൫γεςϜͷվमҊ݅Λىථ
 ɾ໨ඪࣗମΛमਖ਼͢Δɿա৒ͳΒ໨ඪΛԼํमਖ਼ɺ࢖༻ఀࢭ#*πʔϧ͸ΫϦʔχϯάɺ؍఺࿙Ε͸௥Ճ   ˣ࣮෺ʢϨτϩεϖΫςΟϒͷΞδΣϯμʣ

  30.   -5Ͱ࿩ͨ͜͠ͱ
 σʔλج൫ͷӡ༻ʹ͍ͭͯ σʔλج൫͸ʮ࢖ΘΕΔ͜ͱʯ͕େࣄͩ
 ࣮ફฤɿσʔλͷຽओԽΛଅͦ͏
 ࣮ફฤɿγεςϜ৴པੑΛߴΊΑ͏

  31. ΄͔ɿ࿩ͤͦ͏ͳ͜ͱ ͥͻ͓੠ֻ͚͍ͩ͘͞ʂ ɾσʔλج൫ͷγεςϜߏ੒
 ɾσʔλج൫ͷύϑΥʔϚϯενϡʔχϯάͷي੻
 ɾσʔλج൫ߏங࣌ʹ౿Μͩόά΍ٕज़తπϥϛ ɾσʔλ׆༻Ҋ݅ͷਐΊํˍ௨͠ํ
 ɾूܭۀ຿Λ؆୯ʹ͢Δ5JQT
 ɾ؆୯ʹσʔλΛϏδϡΞϧԽ͢Δ࿩
 ɾલॲཧˍΫϨϯδϯάͷ5JQT ɾσʔλνʔϜͷӡӦͱϓϩηε


    ɾσʔλνʔϜͷ࠾༻ɺҭ੒ɺධՁ  
  32. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠   IUUQTXXXQFYFMTDPNQIPUPQFSTPOIPMEJOHDIBSUBOECBSHSBQI