AWSとGCPのいいとこどりでつくる分析基盤のきほん

by chie8842

Slide 1

Slide 1 text

"84ͱ($1ͷ͍͍ͱ͜ͲΓͰͭ͘Δ ෼ੳج൫ͷ͖΄Μ !DIJF DIJFIBZBTIJEB 1

Slide 2

Slide 2 text

ࣗݾ঺հ $IJF)BZBTIJEB 5XJUUFS!DIJF (JU)VCDIJF 3FUUZ*OD 4PGUXBSF&OHJOFFS ($1"84ػցֶश1ZUIPO4DBMB$MPKVSF%#WJN ম೑ϐΞϊςχεεϊϘ 2

Slide 3

Slide 3 text

Ϋϥ΢υϑϧ׆༻Ͱ େن໛෼ੳج൫Λ௒୹ظؒͰ ߏஙͨ͠ࣄྫΛڞ༗͠·͢ɻ 3

Slide 4

Slide 4 text

ࠓ೔࿩͢ൣғ ج൫ϨΠϠͷ࿩ ΞϓϦϨΠϠͷ࿩ ਐΊํ ͦͷ΋ͷͷ ࿩ ͜͜ͷ࿩Λ͠·͢ɻ 4

Slide 5

Slide 5 text

෼ੳج൫ߏஙͷഎܠ •  3FUUZೖࣾॳ೔ マネージャわたし（⼊社初⽇、肩書き：データサイエンティスト） ͱΓ͋͑ͣɺ෼ੳج൫ͭͬͯ͘ɻ ϲ݄Ͱʂ ͑ɺ෼ੳج൫ʁ 5

Slide 6

Slide 6 text

ͦ΋ͦ΋෼ੳج൫ͱ͸ʁ •  σʔλΛ஝ੵɾ׆༻͢ΔͨΊͷج൫ ෼ੳج൫ ！ ࢪࡦͷධՁ ΞυςΫ Ϩίϝϯυ 6

Slide 7

Slide 7 text

΋ͱ΋ͱ͋ͬͨ෼ੳج൫ͷ՝୊ᶃ ˙%8)ͷςʔϒϧઃܭͷ໰୊ ྫ ΫΤϦ࣮ߦ࣌ʹաେͳαʔό Ϧιʔε͕ඞཁ ετϨʔδ༰ྔඡഭ ෼ੳͮ͠Β͍ ʢΞυϗοΫ෼ੳͷ౓ʹ ෳࡶͳਖ਼نදݱநग़ʣ •  ෆཁͳϩά͕ϩάશମͷׂ •  ద੾ͳσʔλܕ͕࢖ΘΕ͍ͯͳ͍ •  KTPOΦϒδΣΫτ͕ςΩετܗࣜͰೖ͍ͬͯΔ 7

Slide 8

Slide 8 text

΋ͱ΋ͱ͋ͬͨ෼ੳج൫ͷ՝୊ᶄ ˙Ϛελσʔλ͸ผͷ%#ʹ͋Δ •  Ϛελσʔλͱಥ߹ͯ͠෼ੳ͍ͨ͠৔߹͸ ผͷ؀ڥʹσʔλΛҠ͢ඞཁ͕͋Δ •  KPJO͍ͨ͠ΧϥϜಉ࢜Ͱσʔλܕ͕ҟͳΔ ෼ੳऀ͝ͱʹ؀ڥߏங σʔλసૹίετ 8

Slide 9

Slide 9 text

΋ͱ΋ͱ͋ͬͨ෼ੳج൫ͷ՝୊ᶅ ˙ϩά૿େʹ൐͏ύϑΥʔϚϯεϘτϧωοΫ •  ೔࣍όον͕ऴΘΒͳ͍ •  ؾܰʹΞυϗοΫ෼ੳͰ͖ͳ͍ ˠΫΤϦΛ౤͛Δࡍ͸4MBDLʹใࠂ͢Δӡ༻ 9

Slide 10

Slide 10 text

ݱঢ়੔ཧ •  ϩάαΠζɿ೔ʹ਺े(#ʢH[KTPOঢ়ଶʣ ˠ͚ͬ͜͏Ͱ͔͍ɻ͜Ε͔Β΋૿͑Δ •  ਖ਼نԽ͞Ε͍ͯͳ͍ϩά –  ୯७ͳσʔλసૹ΍ਖ਼نදݱநग़Ͱ͢·ͳ͍ –  4FTTJPOJ[F΋&5-Ͱ΍Δ •  αʔϏεଆͷػೳ௥Ճʹ൐͏ཁ݅มߋ͕༧૝͞ΕΔ 10

Slide 11

Slide 11 text

৽͍͠෼ੳج൫ʹٻΊΒΕΔ΋ͷ •  ෼ੳऀʹͱͬͯ࢖͍΍͍͢ –  42-΍ͦΕʹ४ͣΔΫΤϦݴޠ͕ར༻Ͱ͖Δ –  Ϩεϙϯε΍εϧʔϓοτ •  ௥Ճ։ൃɾӡ༻͕͠΍͍͢ –  ྻมߋ౳͕ॊೈʹͰ͖Δ –  ෳࡶͳ&5-ॲཧʹॊೈʹରԠͰ͖Δ •  ίετʢΠχγϟϧϥϯχϯάʣ͕ݱ࣮తͰ͋Δ •  εέʔϥϒϧͰ͋Δ –  ෼ੳର৅σʔλͷछྨ΍αΠζ͕૿͑ͯ΋ରԠͰ͖Δ "84ͱ($1ͷ͍͍ͱ͜ͲΓͨ͠෼ੳج൫ 11

Slide 12

Slide 12 text

ͭͬͨ͘෼ੳج൫ 3FUUZαʔϏεج൫ 3FUUZ෼ੳج൫ʢ"84ʣ 3FUUZ෼ੳج൫ʢ($1ʣ Kinesis S3 EMR (Spark) S3 EC2 EC2 RDS(MySQL) 分析者プランナ 12

Slide 13

Slide 13 text

ͭͬͨ͘෼ੳج൫ 3FUUZαʔϏεج൫ 3FUUZ෼ੳج൫ʢ"84ʣ 3FUUZ෼ੳج൫ʢ($1ʣ Kinesis S3 EMR (Spark) S3 EC2 EC2 RDS(MySQL) 分析者プランナ σʔλϨΠΫ σʔλՃ޻ πʔϧ %8)ɾ%. 13

Slide 14

Slide 14 text

σʔλϨΠΫɿ4 •  ඇߏ଄Խσʔλͷอଘ •  αʔϏεͷಈ͍͍ͯΔ؀ڥʢ"84ʣʹ͍ۙ৔ॴʹσʔλ Λอ࣋͢Δ΄͏͕౎߹͕Α͍ –  ωοτϫʔΫసૹίετ –  ؅ཧ͠΍͢͞ •  ಉ͡όέοτ಺Ͱ΋ϓϨϑΟοΫε΍λάΛར༻ͨ͠ॊ ೈͳϥΠϑαΠΫϧͷӡ༻ •  ,JOFTJT'JSFIPTFΛར༻͢Δ͜ͱͰ͔ΜͨΜʹ೔࣌͝ͱʹ σΟϨΫτϦΛ෼͚ͯอଘͰ͖Δ 14

Slide 15

Slide 15 text

%8)ɾ%.ɿ#JH2VFSZ •  ෼ੳऀʹͱͬͯ࢖͍΍͍͢ –  4UBOEBSE42-͕ར༻Ͱ͖Δ –  6%'΍8JOEPXؔ਺΋࢖͑Δ –  εϓϨουγʔτ΍QBOEBTEBUBGSBNFͱͷ࿈ܞ •  ޙͷςʔϒϧઃܭมߋ͕͠΍͍͢ –  ςʔϒϧ΁ͷྻ௥Ճ͕Ͱ͖Δ •  ҆ఆͨ͠ϨΠςϯγͱεϧʔϓοτ •  ϝϯςφϯεϑϦʔ •  ࣌ؒ՝ۚͰͳ͘ΫΤϦ՝ۚ •  3FE4IJGU΍"UIFOBΛ࢖͏৔߹ͱൺ΂ͯɺ"84͔Β ($1΁ͷσʔλసૹ͕ൃੜ͢Δ͕ɺ ӡ༻ίετͷ࡟ݮͰ૬ࡴͰ͖Δൣғͩͬͨ 15

Slide 16

Slide 16 text

%8)੡඼ൺֱ 3FE4IJGU "UIFOB #JH2VFSZ /8సૹίετ Ϧʔδϣϯ಺ Ϧʔδϣϯؒసૹ ౦ژˠόʔδχ Ξ Πϯλʔωοτ ӽ͠ͷసૹ ՝ۚํࣜ Քಇ࣌ؒ՝ۚ ΫΤϦ՝ۚ ΫΤϦ՝ۚ 6%' ˓ ✗ ˓ ΧϥϜมߋ ˓ ✗ ˚ ج൫ӡ༻ ඞཁ ඞཁ ΄ͱΜͲͳ͠ ΫΤϦ νϡʔχϯά ඞཁ ඞཁ ΄ͱΜͲͳ͠ ΫΤϦݴޠ TUBOEBSE42- QSFTUP TUBOEBSE42- ࣌఺ ੨จࣈ͸ࠓճͷཁ݅ʹద͍ͯ͠Δ͜ͱΛࣔ͢ 16

Slide 17

Slide 17 text

&.3 4QBSL σʔλՃ޻ •  αʔϏεଆͷϩάઃܭͷؔ܎ͰɺҎԼ͕ඞཁͩͬͨɻ –  ෆཁͳϩάग़ྗ͕શମͷׂΛ઎ΊΔͨΊɺ#JH2VFSZ΁సૹ͢ ΔલʹϑΟϧλॲཧ –  42-ͰදݱͰ͖ͳ͍ඇߏ଄Խσʔλʹର͢Δෳࡶͳ&5-ॲཧ •  ϩά͕૿େͯ͠΋Ϋϥελ୆਺Λ૿΍͢͜ͱͰεέʔϧ Ͱ͖Δ •  42-Ͱࡁ·ͤΒΕΔ΋ͷ͸#JH2VFSZ্ͰՃ޻ σʔλՃ޻ᶃʢ4QBSLʣ σʔλՃ޻ ᶄʢ42-ʣ 17

Slide 18

Slide 18 text

࢖ΘΕΔ෼ੳج൫ߏஙͷίπ •  ૣ͘࡞ͬͯ΋௕͘࢖͑ͳ͍΋ͷΛ࡞ͬͯ΋ҙຯ͕ͳ͍ •  %8)ͷ৔߹ɺج൫෦෼͸ʮ࡞ͬͯյͯ͠ʯ͕؆୯ʹ͸ ͢·ͳ͍ɻ •  ج൫෦෼͸৻ॏʹܾΊͨ 5⽉ 6⽉ ཁ݅ώΞϦϯάɺ੡඼ɾٕज़બఆɺ1P$ &5-εΫϦϓτ࡞੒ɾ ؀ڥߏங ͬͪ͜ʹ͔͚࣌ؒͨɻ ͪΌΜͱ࢖ΘΕΔ෼ੳج൫͕Ͱ͖ͨʂ 18

Slide 19

Slide 19 text

͍͞͝ʹ •  Ϋϥ΢υϑϧ׆༻Ͱ෼ੳج൫Λ௒୹ظؒͰ࡞ΕΔʂ –  Ͱ΋̍ਓͰ΍Δͷ͸ͭΒ͔ͬͨɻ৭ΜͳҙຯͰɻ •  Ϋϥ΢υ΋ଞͷٕज़΋ɺҰͭʹͩ͜ΘΒͣॊೈʹ׆༻͢Δ ͷେࣄʂ •  ࠓճ৮Εͳ͔ٕͬͨज़બఆͷৄ͍͠෦෼΍ΞϓϦέʔγϣ ϯϨΠϠʔͷ࿩ͱ͔Λͷ95FDI+"84Ͱൃද͢Δ ༧ఆͳͷͰɺڵຯ͋Δํ͸ੋඇɻ 19

Slide 20

Slide 20 text

༻ޠ •  σʔλϨΠΫ –  Ճ޻લͷੜϩάΛอଘ͢Δ৔ॴ •  %8) –  ෼ੳ͠΍͍͢Α͏ʹՃ޻͞ΕͨσʔλΛ֨ೲ͢Δσʔλϕʔε •  %. –  ෼ੳ༻్ʹԠͯ͡ूܭޙͷσʔλͳͲΛ֨ೲ͢ΔͳͲɺαϯυ ϘοΫεతʹ͔ͭ͏ͨΊͷσʔλϕʔε •  σʔλՃ޻πʔϧ –  ϩάΛ෼ੳ͠΍͍͢ܗʹ੔ܗ͢Δπʔϧ •  ϫʔΫϑϩʔΤϯδϯ –  Ұ࿈ͷσʔλॲཧͷϑϩʔΛ؅ཧ͢Δπʔϧ 20