AWSとGCPのいいとこどりでつくる分析基盤のきほん

DevfestTokyo2017の登壇資料です。 #DevfestTokyo #DevfestTokyo2017 #GDG #DevFest17

Transcript

1. "84ͱ($1ͷ͍͍ͱ͜ͲΓͰͭ͘Δ
   ෼ੳج൫ͷ͖΄Μ
   !DIJF
   DIJF
   IBZBTIJEB
   1
2. ࣗݾ঺հ
   $IJF
   )BZBTIJEB
   
   5XJUUFS
   !DIJF
   (JU)VC
   DIJF
   
   3FUUZ*OD
   4PGUXBSF
   &OHJOFFS
   
   
   
   ($1
   "84
   ػցֶश
   1ZUIPO
   4DBMB
   $MPKVSF
   %#
   WJN
   ম೑
   ϐΞϊ
   ςχε
   εϊϘ
   
   2
3. Ϋϥ΢υϑϧ׆༻Ͱ
   େن໛෼ੳج൫Λ௒୹ظؒͰ
   ߏஙͨ͠ࣄྫΛڞ༗͠·͢ɻ
   3
4. ࠓ೔࿩͢ൣғ
   ج൫ϨΠϠͷ࿩
   ΞϓϦϨΠϠͷ࿩
   ਐΊํ
   ͦͷ΋ͷͷ ࿩
   ͜͜ͷ࿩Λ͠·͢ɻ
   4
5. ෼ੳج൫ߏஙͷഎܠ
   •  3FUUZೖࣾॳ೔
   マネージャ わたし（⼊社初⽇、 肩書き：データ サイエンティスト） ͱΓ͋͑ͣɺ෼ੳج൫ͭͬͯ͘ɻ
   ϲ݄Ͱʂ
   ͑ɺ෼ੳج൫ʁ
   5
6. ͦ΋ͦ΋෼ੳج൫ͱ͸ʁ
   •  σʔλΛ஝ੵɾ׆༻͢ΔͨΊͷج൫
   ෼ੳج൫
   ！ ࢪࡦͷධՁ
   ΞυςΫ
   Ϩίϝϯυ
   6
7. ΋ͱ΋ͱ͋ͬͨ෼ੳج൫ͷ՝୊ᶃ
   ˙
   %8)ͷςʔϒϧઃܭͷ໰୊
   
   ྫ
   ΫΤϦ࣮ߦ࣌ʹաେͳαʔό
   Ϧιʔε͕ඞཁ
   ετϨʔδ༰ྔඡഭ
   ෼ੳͮ͠Β͍
   ʢΞυϗοΫ෼ੳͷ౓ʹ
   ෳࡶͳਖ਼نදݱநग़ʣ
   •  ෆཁͳϩά͕ϩάશମͷׂ
   •  ద੾ͳσʔλܕ͕࢖ΘΕ͍ͯͳ͍
   •  KTPOΦϒδΣΫτ͕ςΩετܗࣜͰೖ͍ͬͯΔ
   7
8. ΋ͱ΋ͱ͋ͬͨ෼ੳج൫ͷ՝୊ᶄ
   ˙Ϛελσʔλ͸ผͷ%#ʹ͋Δ
   
   •  Ϛελσʔλͱಥ߹ͯ͠෼ੳ͍ͨ͠৔߹͸
   ผͷ؀ڥʹσʔλΛҠ͢ඞཁ͕͋Δ
   •  KPJO͍ͨ͠ΧϥϜಉ࢜Ͱσʔλܕ͕ҟͳΔ
   ෼ੳऀ͝ͱʹ؀ڥߏங
   σʔλసૹίετ
   8
9. ΋ͱ΋ͱ͋ͬͨ෼ੳج൫ͷ՝୊ᶅ
   ˙ϩά૿େʹ൐͏ύϑΥʔϚϯεϘτϧωοΫ
   
   
   •  ೔࣍όον͕ऴΘΒͳ͍
   •  ؾܰʹΞυϗοΫ෼ੳͰ͖ͳ͍
   ˠΫΤϦΛ౤͛Δࡍ͸4MBDLʹใࠂ͢Δӡ༻
   9
10. ݱঢ়੔ཧ
    •  ϩάαΠζɿ೔ʹ਺े(#ʢH[KTPOঢ়ଶʣ
    ˠ͚ͬ͜͏Ͱ͔͍ɻ͜Ε͔Β΋૿͑Δ
    •  ਖ਼نԽ͞Ε͍ͯͳ͍ϩά
    –  ୯७ͳσʔλసૹ΍ਖ਼نදݱநग़Ͱ͢·ͳ͍
    –  4FTTJPOJ[F΋&5-Ͱ΍Δ
    •  αʔϏεଆͷػೳ௥Ճʹ൐͏ཁ݅มߋ͕༧૝͞ΕΔ
    10
11. ৽͍͠෼ੳج൫ʹٻΊΒΕΔ΋ͷ
    •  ෼ੳऀʹͱͬͯ࢖͍΍͍͢
    –  42-΍ͦΕʹ४ͣΔΫΤϦݴޠ͕ར༻Ͱ͖Δ
    –  Ϩεϙϯε΍εϧʔϓοτ
    •  ௥Ճ։ൃɾӡ༻͕͠΍͍͢
    –  ྻมߋ౳͕ॊೈʹͰ͖Δ
    –  ෳࡶͳ&5-ॲཧʹॊೈʹରԠͰ͖Δ
    •  ίετʢΠχγϟϧϥϯχϯάʣ͕ݱ࣮తͰ͋Δ
    •  εέʔϥϒϧͰ͋Δ
    –  ෼ੳର৅σʔλͷछྨ΍αΠζ͕૿͑ͯ΋ରԠͰ͖Δ
    "84ͱ($1ͷ͍͍ͱ͜ͲΓͨ͠෼ੳج൫
    11
12. ͭͬͨ͘෼ੳج൫
    3FUUZαʔϏεج൫
    3FUUZ෼ੳج൫ʢ"84ʣ
    3FUUZ෼ੳج൫ʢ($1ʣ
    Kinesis S3 EMR (Spark) S3 EC2 EC2 RDS(MySQL) 分析者 プランナ 12
13. ͭͬͨ͘෼ੳج൫
    3FUUZαʔϏεج൫
    3FUUZ෼ੳج൫ʢ"84ʣ
    3FUUZ෼ੳج൫ʢ($1ʣ
    Kinesis S3 EMR (Spark) S3 EC2 EC2 RDS(MySQL) 分析者 プランナ σʔλϨΠΫ
    σʔλՃ޻
    πʔϧ
    %8)ɾ%.
    13
14. σʔλϨΠΫɿ4
    •  ඇߏ଄Խσʔλͷอଘ
    •  αʔϏεͷಈ͍͍ͯΔ؀ڥʢ"84ʣʹ͍ۙ৔ॴʹσʔλ Λอ࣋͢Δ΄͏͕౎߹͕Α͍
    –  ωοτϫʔΫసૹίετ
    –  ؅ཧ͠΍͢͞
    •  ಉ͡όέοτ಺Ͱ΋ϓϨϑΟοΫε΍λάΛར༻ͨ͠ॊ ೈͳϥΠϑαΠΫϧͷӡ༻
    •  ,JOFTJT
    'JSFIPTFΛར༻͢Δ͜ͱͰ͔ΜͨΜʹ೔࣌͝ͱʹ σΟϨΫτϦΛ෼͚ͯอଘͰ͖Δ
    14
15. %8)ɾ%.ɿ#JH2VFSZ
    •  ෼ੳऀʹͱͬͯ࢖͍΍͍͢
    –  4UBOEBSE42-͕ར༻Ͱ͖Δ
    –  6%'΍8JOEPXؔ਺΋࢖͑Δ
    –  εϓϨουγʔτ΍QBOEBT
    EBUBGSBNFͱͷ࿈ܞ
    •  ޙͷςʔϒϧઃܭมߋ͕͠΍͍͢
    –  ςʔϒϧ΁ͷྻ௥Ճ͕Ͱ͖Δ
    •  ҆ఆͨ͠ϨΠςϯγͱεϧʔϓοτ
    •  ϝϯςφϯεϑϦʔ
    •  ࣌ؒ՝ۚͰͳ͘ΫΤϦ՝ۚ
    •  3FE4IJGU΍"UIFOBΛ࢖͏৔߹ͱൺ΂ͯɺ"84͔Β
    ($1΁ͷσʔλసૹ͕ൃੜ͢Δ͕ɺ
    ӡ༻ίετͷ࡟ݮͰ૬ࡴͰ͖Δൣғͩͬͨ
    15
16. %8)੡඼ൺֱ
    3FE4IJGU
    "UIFOB
    #JH2VFSZ
    /8సૹίετ
    Ϧʔδϣϯ಺
    Ϧʔδϣϯؒసૹ ౦ژˠόʔδχ Ξ
    Πϯλʔωοτ ӽ͠ͷసૹ
    ՝ۚํࣜ
    Քಇ࣌ؒ՝ۚ
    ΫΤϦ՝ۚ
    ΫΤϦ՝ۚ
    6%'
    ˓
    ✗
    ˓
    ΧϥϜมߋ
    ˓
    ✗
    ˚
    ج൫ӡ༻
    ඞཁ
    ඞཁ
    ΄ͱΜͲͳ͠
    ΫΤϦ
    νϡʔχϯά
    ඞཁ
    ඞཁ
    ΄ͱΜͲͳ͠
    ΫΤϦݴޠ
    TUBOEBSE42-
    QSFTUP
    TUBOEBSE42-
    ࣌఺
    ੨จࣈ͸ࠓճͷཁ݅ʹద͍ͯ͠Δ͜ͱΛࣔ͢
    16
17. &.3 4QBSL 
    σʔλՃ޻
    •  αʔϏεଆͷϩάઃܭͷؔ܎ͰɺҎԼ͕ඞཁͩͬͨɻ
    –  ෆཁͳϩάग़ྗ͕શମͷׂΛ઎ΊΔͨΊɺ#JH2VFSZ΁సૹ͢ ΔલʹϑΟϧλॲཧ
    –  42-ͰදݱͰ͖ͳ͍ඇߏ଄Խσʔλʹର͢Δෳࡶͳ&5-ॲཧ
    •  ϩά͕૿େͯ͠΋Ϋϥελ୆਺Λ૿΍͢͜ͱͰεέʔϧ Ͱ͖Δ
    •  42-Ͱࡁ·ͤΒΕΔ΋ͷ͸#JH2VFSZ্ͰՃ޻
    σʔλՃ޻ᶃʢ4QBSLʣ
    σʔλՃ޻ ᶄʢ42-ʣ
    17
18. ࢖ΘΕΔ෼ੳج൫ߏஙͷίπ
    •  ૣ͘࡞ͬͯ΋௕͘࢖͑ͳ͍΋ͷΛ࡞ͬͯ΋ҙຯ͕ͳ͍
    •  %8)ͷ৔߹ɺج൫෦෼͸ʮ࡞ͬͯյͯ͠ʯ͕؆୯ʹ͸ ͢·ͳ͍ɻ
    •  ج൫෦෼͸৻ॏʹܾΊͨ
    5⽉ 6⽉ ཁ݅ώΞϦϯάɺ੡඼ɾٕज़બఆɺ1P$
    &5-εΫϦϓτ࡞੒ɾ
    ؀ڥߏங
    ͬͪ͜ʹ͔͚࣌ؒͨɻ
    ͪΌΜͱ࢖ΘΕΔ෼ੳج൫͕Ͱ͖ͨʂ
    18
19. ͍͞͝ʹ
    •  Ϋϥ΢υϑϧ׆༻Ͱ෼ੳج൫Λ௒୹ظؒͰ࡞ΕΔʂ
    –  Ͱ΋̍ਓͰ΍Δͷ͸ͭΒ͔ͬͨɻ৭ΜͳҙຯͰɻ
    •  Ϋϥ΢υ΋ଞͷٕज़΋ɺҰͭʹͩ͜ΘΒͣॊೈʹ׆༻͢Δ ͷେࣄʂ
    •  ࠓճ৮Εͳ͔ٕͬͨज़બఆͷৄ͍͠෦෼΍ΞϓϦέʔγϣ ϯϨΠϠʔͷ࿩ͱ͔Λͷ95FDI
    +"84Ͱൃද͢Δ
    ༧ఆͳͷͰɺڵຯ͋Δํ͸ੋඇɻ
    19
20. ༻ޠ
    •  σʔλϨΠΫ
    –  Ճ޻લͷੜϩάΛอଘ͢Δ৔ॴ
    •  %8)
    –  ෼ੳ͠΍͍͢Α͏ʹՃ޻͞ΕͨσʔλΛ֨ೲ͢Δσʔλϕʔε
    •  %.
    –  ෼ੳ༻్ʹԠͯ͡ूܭޙͷσʔλͳͲΛ֨ೲ͢ΔͳͲɺαϯυ ϘοΫεతʹ͔ͭ͏ͨΊͷσʔλϕʔε
    •  σʔλՃ޻πʔϧ
    –  ϩάΛ෼ੳ͠΍͍͢ܗʹ੔ܗ͢Δπʔϧ
    •  ϫʔΫϑϩʔΤϯδϯ
    –  Ұ࿈ͷσʔλॲཧͷϑϩʔΛ؅ཧ͢Δπʔϧ
    20