mobilemethod-2-about-analytic-data.pdf

モバイルメソッド大阪 第2回
モバイルアプリの裏側 どうやって分析用のデータを集めているか のスライドです

Transcript

1. ϞόΠϧΞϓϦͷཪଆͰ Ͳ͏΍ͬͯ෼ੳ༻ͷσʔλΛूΊ͍ͯΔ͔ ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹΫϥεϝιουגࣜձࣾ ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ ɹɹฏ઒ 1
2. About me • ෱ԬΦϑΟεॴଐ • ϞόΠϧΞϓϦαʔϏε෦ • αʔόʔαΠυΤϯδχΞ • ೖࣾͯ͠1೥ͪΐͬͱ • ΍ͬͯΔ͜ͱ • AWSͷΠϯϑϥߏங • ϞόΠϧΞϓϦؔ࿈ͷαʔό։ൃ • ෼ੳ༻σʔλͷऩू/Ճ޻ (ETL) 2
3. ࿩͢͜ͱ • όοΫΤϯυΑΓͷ࿩ • ϞόΠϧγεςϜͰѻ͏σʔλͷछྨ • ूΊͨσʔλͷྲྀΕ • ࢖ͬͯΔٕज़֓ཁ • ࣮ࡍʹ։ൃɾӡ༻ͯ͠ײͨ͜͡ͱ 3
4. ࿩͞ͳ͍͜ͱ • όοΫΤϯυͷΞʔΩςΫνϟͷৄࡉ • ΞϓϦͷτϥοΩϯάख๏ • σʔλ෼ੳͷख๏ 4
5. σʔλͷछྨ ϞόΠϧΞϓϦͷߏ੒ཁૉ • ΞϓϦ • αʔό • ϓϥοτϑΥʔϜ ͦΕͧΕ৭ΜͳσʔλΛ࣋ͬͯΔ 5
6. ϞόΠϧγεςϜͷΞʔΩςΫνϟྫ 6
7. αʔόͷσʔλ • Ϣʔβݻ༗ͷσʔλ • ӡ༻ίϯςϯπ • ϩά • ΠϯϑϥͷϝτϦΫε 7
8. ΞϓϦͷσʔλ • ΞϓϦ಺Ͱͷߦಈཤྺ • ΞϓϦΛىಈͨ͠ • ϘλϯΛԡͨ͠ • λϒΛ੾Γସ͑ͨ • ىಈ࣌ؒ΍଺ཹ࣌ؒͳͲͷ౷ܭ৘ใ • ΫϥογϡϨϙʔτ 8
9. ूΊͨσʔλͷྲྀΕ 9
18. ࢖ͬͯΔٕज़ཁૉ • luigi: όονδϣϒͷϫʔΫϑϩʔ؅ཧ • Apache Hadoop: Ϗοάσʔλͷ෼ࢄॲཧج൫ • EMR: AWSͷϏοάσʔλ༻ΫϥελϓϥοτϑΥʔϜ 18
19. luigi • h#ps:/ /github.com/spo1fy/luigi • Python੡ͷϫʔΫϑϩʔ؅ཧγεςϜ • ґଘؔ܎ʹैͬͯλεΫΛ࣮ߦ͢Δ • λεΫͷঢ়ଶΛ؅ཧͯ͠͏·͍͜ͱ࣮ߦ੍ޚ͢Δ • ະ׬ྃͷ΋ͷ͚࣮ͩߦ • ׬ྃͯ͠Δ΋ͷ͸εΩοϓ 19
28. Apache Hadoop େن໛σʔλΛฒྻ෼ࢄॲཧ͢ΔͨΊͷϑϨʔϜϫʔΫ େن໛σʔλͷՃ޻ɾ෼ੳγεςϜΛࣗ࡞͢Δͷ͸େม • Ͳ͏΍ͬͯେྔͷσʔλΛޮ཰Α͘ࡹ͔͘ • 1୆Ͱฒྻॲཧͯ͠΋Ϛγϯੑೳͷ্ݶͰ಄ଧͪ͢Δ • CPU • σΟεΫIO • ωοτϫʔΫ௨৴ • ෼ࢄॲཧ͸෼ࢄঢ়گͷ؅ཧ΍Ϋϥελͷߏ੒؅ཧ͕ඞཁ 28
29. Apache Hadoop ฒྻॲཧɾ෼ࢄॲཧͷ໘౗ͳͱ͜Ζͷ໘౗ΛΈͯ͘ΕΔ • ຊདྷ࡞Γ͍ͨॲཧʹ஫ྗͰ͖Δ • ΤίγεςϜ͕༏ल • ؆୯ͳՃ޻ɾ෼ੳͷ৔߹͸ΞϓϦΛ࡞Βͳ͍Ͱ΋ରԠͰ͖Δ • HiveɾPrestoΛ׆༻ͯ͠ΫΤϦΛॻ͚ͩ͘ • ෳࡶԽ͢Δ৔߹͸ΞϓϦʹ੾Γସ͑Δ͜ͱ΋Ͱ͖Δ 29
37. EMR (Amazon Elas.c MapReduce) AWS͕༻ҙ͢ΔϏοάσʔλ༻ΫϥελϓϥοτϑΥʔϜ • Hadoop΍SparkΛ࢖͏ͨΊͷ؀ڥΛखܰʹߏஙͰ͖Δ • όʔδϣϯͷ੾Γସ͕͑؆୯ • AMIͷࢦఆΛม͑Δ͚ͩ • ઃఆΛม͑Δ͚ͩͰΫϥελߏ੒ΛมߋͰ͖Δ • - ༻్ʹԠͨ͡Πϯελϯε਺ɾΠϯελϯεछผ • AWSͷαʔϏεͱ؆୯ʹ࿈ܞͰ͖Δ • S3΍DynamoDBͷσʔλΛಡΈॻ͖Ͱ͖Δ 37
43. ଞʹ΋Ϗοάσʔλؔ࿈ͷαʔϏε͕༻ҙ͞ Ε͍ͯΔ • Redshi(: σʔλ΢ΣΞϋ΢ε • Athena: S3ͷσʔλΛΞυϗοΫʹ෼ੳͰ͖Δ • Glue: ϚωʔδυͳETLαʔϏε 43
44. ࣮ࡍʹ։ൃɾӡ༻ͯ͠ײͨ͜͡ͱ • σʔλ෼ੳΛ҆ఆՔಇͤ͞Δͷ͸೉͍͠ • ΠϨΪϡϥʔͳσʔλ͕ૹΒΕ͖ͯͨ • ֎෦αʔϏεͷো֐Ͱ࣮ߦͰ͖ͳ͔ͬͨ • ঢ়گ͕มԽ͢Δͱσʔλ෼ੳͷཁ݅΋มΘͬͯ͘Δ • Կ͔໰୊͕ىͬͨ͜৔߹ʹ΍Γ௚͠΍͍͢Α͏ʹ͓ͯ͘͠ͱ҆৺ • HiveɾPrestoศར͗͢ 44
45. ͓͠·͍ 45
46. ࢀߟจݙ • Apache Hadoop - Wikipedia • h0ps:/ /ja.wikipedia.org/wiki/Apache_Hadoop • Amazon EMR • h0ps:/ /aws.amazon.com/jp/emr/ 46