事業成長をBoostさせるデータ基盤 #devsumi #devboost / 20181215

56ae61a2631362f985e4c1fa4548a7ac?s=47 yuzutas0
December 15, 2018

事業成長をBoostさせるデータ基盤 #devsumi #devboost / 20181215

Developers Boost(デブスト)【B-4】の発表資料です。
https://event.shoeisha.jp/devboost/20181215/session/1896/

ブログに補足を掲載しました。
https://yuzutas0.hatenablog.com/entry/2018/12/16/230000

56ae61a2631362f985e4c1fa4548a7ac?s=128

yuzutas0

December 15, 2018
Tweet

Transcript

  1. 4.

    ɹSho Yokoyamaɹ@yuzutas0 ɹɹ 
 
   ϦΫϧʔτςΫϊϩδʔζ 
 ITΤϯδχΞϦϯάຊ෦

    ϓϩμΫτΤϯδχΞϦϯά෦ ϕϯνϟʔΩϟϐλϧ͔Β౤ࢿΛड͚︎︎ͯͷىۀɾձࣾܦӦɺ 
 ϦΫϧʔτάϧʔϓձࣾ︎͓͚Δෳ਺︎৽نࣄۀ︎্ཱͪ͛Λܦ︎ͯݱ৬ɻ ओ︎ʹٸ੒௕ϓϩμΫτΛର৅︎ʹɺγεςϜΞʔΩςΫνϟ︎࠶ߏங΍
 ΤϯδχΞνʔϜͷ︎্ཱͪ͛ɾཱ︎௚͠ʹ︎ैࣄɻ ࠷ۙ︎͸ʮݱ৔︎Ͱ࢖ΘΕΔσʔλج൫ʯΛ࣠ʹ︎ɺ
 ૊৫શମ︎ʹ͓͚Δσʔλ׆༻Λਪਐ͠︎͍ͯ·͢ɻ
  2. 19.

      ɹࣄۀ੒௕ → εςʔΫϗϧμʔͷଟ༷Խ σβΠϯ ηΩϡϦςΟ ๏຿ Πϯϑϥ SRE

    ΞϓϦج൫ ू٬ ΧελϚʔ
 αϙʔτ σʔλ
 αΠΤϯε ػցֶश
 ΤϯδχΞ ։ൃӡ༻
 νʔϜA ։ൃӡ༻
 νʔϜB ։ൃӡ༻
 νʔϜC PO PO PO σΟϨΫγϣϯ ޿ใ
  3. 50.

      ɹ஫ҙɿ෦ॺ͝ͱʹ࠷దͳView͸ҟͳΔ Excel ؾܰʹ਺ࣈΛม͑ͯ
 γϛϡϨʔγϣϯ Ϗδωε෦໳ Tableau ߴՁ֨ɾߴػೳ
 ෼ੳཁٻʹରԠ

    Re:dash SQL͕ॻ͚Δͻͱ
 ͓खܰར༻ σΟϨΫλʔ Jupyter
 GitͰίʔυ؅ཧ
 ϓϩάϥϜͷԸܙ ΤϯδχΞ ෼ੳ෦໳
  4. 55.

      ɹσʔλऩू ݸਓ৘ใ
 ϚεΫࡁΈView Recruit Ads Console Recruit Crash


    Report όον ετϦʔϛϯά WebAPI εΫϨΠϐϯά requests + beautiful soup
  5. 56.

    Python (requests + beautiful soup) on Jupiter ʹΑΔ
 WebAPIίʔϧɾը໘εΫϨΠϐϯά 

     ɹখ͘͞ࢼ͠ͳ͕ΒγεςϜΛҭͯΔ ·ͣ͸ϩʔΧϧ؀ڥͰࡁ·ͤΔ ܁Γฦ͠࢖͏ͳΒεΫϦϓτԽ IUUQTXXXTIBSFJDPOOFUEPDVNFOUpMFQZ
  6. 58.

    3૚ߏ଄
 ࢀߟʰ10೥ઓ͑Δσʔλ෼ੳೖ໳ - SQLΛ෢ثʹσʔλ׆༻࣌୅Λੜ͖ൈ͘ʱ   ɹσʔλ஝ੵ ɹɹɹɹɹɹBigQuery - Google

    Cloud Platform Source
 ݩσʔλͷίϐʔ Warehouse
 ओཁࢦඪɾසग़σʔλ
 தؒςʔϒϧ App
 ֤πʔϧ͔Β௚઀ࢀর
 ඇٕज़ऀ޲͚IF ஝ੵ
  7. 60.

    ૚ߏ଄ʹ͓͚ΔͭͷྲྀΕ   "QQ ར༻ऀ޲͚*' 㲈σʔλϚʔτ 8BSFIPVTF υϝΠϯ஌ࣝΛද͢σʔλ 㲈σʔλ΢ΣΞϋ΢ε 4PVSDF

    ݩσʔλͷίϐʔ 㲈σʔλϨΠΫ σʔλύΠϓϥΠϯʹ͓͍ͯػց͕ॲཧ͢ΔྲྀΕ ࣄۀ΍γεςϜͷ
 શσʔλΛίϐʔ͢Δ μογϡϘʔυ΍
 ϨϙʔτͱରʹͳΔ ։ൃϓϩηεʹ͓͍ͯਓ͕ؒઃܭ͢ΔྲྀΕ ूܭɾ෼ੳύλʔϯΛ੔ཧ
 㲈8*5)۟ͷසग़σʔλ ᶃ ᶄ ᶅ ᶃ ᶃ ᶄ
  8. 62.

    3૚ߏ଄
 ࢀߟʰ10೥ઓ͑Δσʔλ෼ੳೖ໳ - SQLΛ෢ثʹσʔλ׆༻࣌୅Λੜ͖ൈ͘ʱ   ɹσʔλՃ޻ ɹɹɹɹɹɹBigQuery - Google

    Cloud Platform Source
 ݩσʔλͷίϐʔ Warehouse
 ओཁࢦඪɾසग़σʔλ
 தؒςʔϒϧ App
 ֤πʔϧ͔Β௚઀ࢀর
 ඇٕज़ऀ޲͚IF Ճ޻ Ճ޻
  9. 69.

    ؅ཧπʔϧʹظ଴͢Δཁ݅ʢཧ૝ʣ 
 
   ɹσʔλύΠϓϥΠϯͷ؅ཧ 1. ίʔυͰόʔδϣϯ؅ཧ
 2. εέδϡʔϧࣗಈىಈ


    3. ηοτΞοϓ΍ϝϯςφϯεͷָ͞(DB಺แͳͲ)
 4. GUI/CUI྆ํͰϩάɾύϑΥʔϚϯεͷ؅ཧ
 5. GUI/CUI྆ํͰม਺ࢦఆͷ࠶࣮ߦ 6. ࣗಈϦτϥΠॲཧɾεΩοϓػೳ
 7. εΫϦϓτͷฒྻ࣮ߦ
 8. αʔόͷΦʔτεέʔϧ
 9. ༗޲ඇ८ճάϥϑͷࣗಈ࡞੒
 10. Python3.6~ରԠʢςΩετॲཧ͕֨ஈʹָʣ
  10. 70.

    ࠷ॳ͸Jenkinsͷ͓खܰߏங͔Β͸͡Ίͨ 
 ɹɹɹɹɹɹ• 2ܥ + BlueOcean + Pipeline of jenkinsfiles


    ɹɹɹɹɹɹ• ϦτϥΠػߏɾॲཧ࠷దԽ͸ଞʹྼΔ
 ɹɹɹɹɹɹ• jenkinsδϣϒ͔ΒγΣϧܦ༝Ͱ֤छॲཧΛίʔϧ   ɹখ࢝͘͞ΊΔ ※ݱࡏ͸Cloud ComposerʹҠ؅ࡁΈ
  11. 78.
  12. 86.

      ɹλεΫͷ༏ઌॱҐ 1 σʔλ͕·͕͍ͪͬͯΔ
 ٙ࿭ͷௐࠪ ɹ1ͭؒҧ͍ͬͯΔͱશ෦৴༻Ͱ͖ͳ͘ͳΔͷͰ࠷༏ઌରԠɻ
 ɹ͙͢ௐࠪ͢Ε͹ؔ܎ऀͷ৴༻࢒ߴΛ૿΍ͤΔɻ 2 Modelվम

    ɹσʔλ߲໨௥ՃͳͲɻ
 ɹଟগݟʹͯ͘͘΋࢖͑Δঢ়ଶʹ͢Δ͜ͱ͕༏ઌɻ
 ɹ࠷ѱͷ৔߹Ͱ΋Ͳ͏ʹ͔࢖͏ଆͰ޻෉Ͱ͖ΔͷͰɻ 3 Viewվम ɹάϥϑͷݟӫ͑ͳͲɻ
 ɹҰ൪ʮมԽ͍ͯ͠ΔʯΠϯύΫτ → ؔ܎ߏஙʹ͸د༩ɻ
 ɹ࢖͍खʹͱͬͯ͸ॏཁͳͷͰՄೳͳൣғͰαϙʔτɻ 4 γεςϜͷอकੑͱ
 ύϑΥʔϚϯε ɹϘτϧωοΫʹͳͬͨΒରॲ͢Δɻ
 ɹ࠷ॳ͔ΒڽΔͱʮૣ͗͢Δ࠷దԽʯʹؕΓ͕ͪɻ
 ɹ࡞ۀνέοτʹ͢Δ·Ͱ΋ͳ͍ͭ͘Ͱʹ௚͢श׳Λ͚ͭΔɻ
  13. 87.
  14. 89.

    ɹɹ1. Jupyter Notebook Ͱௐࠪ಺༰ͱ
 ɹɹɹσʔλΛ࠶ݱՄೳͳܗͰอଘ͢Δ 
 
 ɹɹ2. Github Preview

    Λͦͷ··
 ɹɹɹઆ໌ࢿྉͱͯ͠ར༻͢Δ   ɹطଘͷܭࢉϛε΍σʔλෆ੔߹Λൃݟ
  15. 91.

    ͱʹ͔͘਺ࣈ͕߹Θͳ͍   ɹ޷॥؀Λࢧ͑Δ೜଱ γεςϜ࿈ܞͷ్தͰ࢛ࣺޒೖ͕ੵΈॏͳΔ Excel͕طʹ 4 x 1990 =

    7959 ͱͳ͍ͬͯΔ ࣮ߦλΠϛϯάͰूܭ݁Ռ͕มΘΔ
 → طଘͷ਺஋͸୭΋࠶ݱͰ͖ͳ͍
  16. 97.

      ɹ͜Μͳײ͡Ͱ΍Γ·ͨ͠ 1. ϗϫΠτϘʔυʹ෼ੳཁ݅
 ɹɹΧελϚʔߦಈભҠΛϕʔεͱͨ͠ࢦඪπϦʔ
 ɹɹϩάΠϯ཰͕޲্ → ΞΫγϣϯ͕… →

    ച্׵ࢉ 
 ɹɹɹɹ2. JupyterͰ෼ੳ
 ɹɹɹɹɹίʔυ͸શͯίϛοτཤྺͰ؅ཧ
 
 ɹɹɹɹɹɹɹɹ3. ෼ੳ݁ՌΛؔ܎ऀʹڞ༗
 ɹɹɹɹɹɹɹɹɹGithubͷϓϨϏϡʔը໘Λ׆༻
  17. 100.

    1ͭͷϞχλʔΛғΜͰશһͰ࡞ۀ͢Δ ɹɹ • पғ͕ௐ΂ͨΓΞυόΠε͠ͳ͕ΒਐΊΔ
 ɹɹɹ → ϋϚΒͳ͍ / ࠳ંΛ๷͙ɺTips΍ίπΛڞ༗͋͠͏
 ɹɹ

    • օ͕΍ΔͳΒࣗ෼΋΍Δ͔ʂͷޙԡ͠
 ɹɹɹ → ʮ΍ͬͯΈͨΒࢥͬͨҎ্ʹྑ͔ͬͨʯͷମݧ   ɹମݧɿϞϒ ϓϩάϥϛϯά σʔλ෼ੳ
  18. 101.

    
 σʔλ࢓༷ʹৄ͍͠ʢগͳ͘ͱ΋ௐࠪ͢ΔεΩϧ͸΋͍ͬͯΔʣΤϯδχΞ͕
 ୲౰ྖҬΛ޿͛Δ͜ͱͰલޙ޻ఔͷϦʔυλΠϜΛ୹ॖ
   ɹϓϩηε૷ணɿ։ൃ޻ఔʹ૊ΈࠐΉ ੡଄ ઃܭ ࢼݧ ϦϦʔε

    ޮՌ
 ଌఆ ཁ݅
 ఆٛ ཁٻ
 ੔ཧ ੡଄ ઃܭ ࢼݧ ϦϦʔε ޮՌ
 ଌఆ ཁ݅
 ఆٛ ཁٻ
 ੔ཧ طʹ΍͍ͬͯΔ ෼ੳཁٻ ϩάཁ݅ ܭଌ ΞΠσΞ
  19. 103.

    νʔϜ͝ͱͷຽओԽঢ়گ ֤νʔϜ͕σʔλ׆༻Ͱ͖͍ͯΔ͔ϞχλϦϯάˠϒϩοΧʔͷݕ஌ɾ෼ੳˠվળΞΫγϣϯ   νʔϜ" νʔϜ# νʔϜ$ νʔϜ% νʔϜ& νʔϜ'

    νʔϜ( νʔϜ) νʔϜ* νʔϜ+ νʔϜ, ੜϩά
 ಠࣗར༻ σʔλ5ࢧԉ
 ۀ຿ґཔ σʔλ5ࢧԉ
 σʔλग़ྗ ࣗओత
 σʔλग़ྗ ୲౰ऀґଘ ୲౰ऀґଘ ୲౰ऀґଘ ࣗओత
 σʔλੜ੒ ଞνʔϜґཔ ج൫ߩݙʂ ୲౰ऀґଘ ୲౰ऀґଘ ہॴԽͷน ࣗ૸ͷน վળͷน