メルカリにおける分析環境整備の取り組み

以下のイベントの発表資料です。

https://forkwell.connpass.com/event/182769/

Transcript

1. 1 ϝϧΧϦʹ͓͚Δ෼ੳ؀ڥ੔උͷऔΓ૊Έ גࣜձࣾϝϧΧϦ / JP Data Analyst ӬҪ৳໻
2. 2 Introduction
3. 3 ! ӬҪ ৳໻ ! גࣜձࣾϝϧΧϦ / JP ! Data Analyst ◦ ෼ੳ؀ڥͷ੔උͳͲΛ୲౰ ࣗݾ঺հ
4. 4 ! ݱঢ় ◦ ͳͥվળʹऔΓ૊Ήͷ͔?
 ! ͋Γ͍ͨ࢟ ◦ վળͷαΠΫϧΛճ͍ͨ͠ɻ ! औΓ૊Έ ◦ ϨΨγʔͳσʔληοτΛഇࢭ͢Δɻ ◦ ͦͷͨΊʹɺۀ຿ͱKPIͱج൫ΛηοτͰߟ͑Δɻ ΞδΣϯμ : ϝϧΧϦʹ͓͚Δ෼ੳ؀ڥͷ੔උͷࣄྫ
5. 5 ݱঢ় | ͳͥվળʹऔΓ૊Ήͷ͔?
6. 6 ! ج൫ ◦ BigQuery + Looker ! ن໛ ◦ ΫΤϦ࣮ߦϢʔβʔ਺ 700ਓҎ্/݄ ◦ ࢀর͞Ε͍ͯΔςʔϒϧ਺ 100Ҏ্/݄ ◦ Analyst, PdM, ML, CS, ͳͲ ϝϧΧϦʹ͓͚Δσʔλͷར༻ঢ়گ
7. 7 ! ଟ͘ͷਓ͕σʔλΛۀ຿ʹ࢖͍ͬͯΔɻ ! ෼ੳ؀ڥͷ੔උ → ·ͩ·ͩෆे෼ɻ ! σʔλج൫Λվળ͢Δࣄ͕ɺੜ࢈ੑͷվળʹܨ͕Δɻ ϑΣʔζతʹ͸ɺ্ཱͪ͛ɺීٴɺͱ͍͏ΑΓӡ༻ͷ՝୊͕େ͖͍ɻ ͳͥվળʹऔΓ૊Ήͷ͔?
8. 8 ͋Γ͍ͨ࢟ | վળͷαΠΫϧΛճ͍ͨ͠
9. 9 ͚͍ͨ͜͞ͱ → ෛͷαΠΫϧ ᶃ վળʹऔΓ૊ͳ͍ ᶅ վળʹ࢖͑Δ ͕࣌ؒݮΔ ᶄ ݱঢ়ҡ͕࣋ ͡Θ͡ΘେมʹͳΔ
10. 10 ΍Γ͍ͨ͜ͱ → վળͷαΠΫϧΛճ͢ ᶃ վળʹऔΓ૊Ή ᶄ ݱঢ়ҡ͕࣋ ͪΐͬͱָʹͳΔ ᶅ վળʹ࢖͑Δ ͕࣌ؒ૿͑Δ
11. 11 ΍Γ͍ͨ͜ͱ → վળͷαΠΫϧΛճ͢ ᶃ վળʹऔΓ૊Ή ᶄ ݱঢ়ҡ͕࣋ ͪΐͬͱָʹͳΔ ᶅ վળʹ࢖͑Δ ͕࣌ؒ૿͑Δ ᶆ े෼ͳ༨༟͕Ͱ͖Ε͹ ɹ ɹ ߈Ίͷվળ΋Ͱ͖Δ
12. 12 ΍Γ͍ͨ͜ͱ → վળͷαΠΫϧΛճ͢ ᶃ վળʹऔΓ૊Ή ᶄ ݱঢ়ҡ͕࣋ ͪΐͬͱָʹͳΔ ᶅ վળʹ࢖͑Δ ͕࣌ؒ૿͑Δ ᶆ े෼ͳ༨༟͕Ͱ͖Ε͹ ɹ ɹ ߈Ίͷվળ΋Ͱ͖Δ ࠓɺऔΓ૊ΜͰ͍Δͷ͸͜͜
13. 13 औΓ૊Έ | ϨΨγʔͳσʔληοτΛഇࢭ͢Δ
14. 14 2ͭͷpipeline໰୊ ݩςʔϒϧ ෼ੳςʔϒϧ(৽) ෼ੳςʔϒϧ(ϨΨγʔ) BigQuery Production Production͔ΒBigQueryʹσʔ λΛίϐʔ Production͔Βͷpipeline͕
 2ܥ౷͋Δ ϝϯςφϯείετ͕͔͞Ήɻ
 ਺ࣈ͕߹Θͳ͘ͳΔɻ
15. 15 ৽pipeline΁ͷยد ݩςʔϒϧ ෼ੳςʔϒϧ(৽) ෼ੳςʔϒϧ(ϨΨγʔ) BigQuery Production ňϨΨγʔpipelineΛഇࢭ
 ৽pipelineʹยد͍ͤͨ͠ʼn
 
 ͔͠͠ɺϨΨγʔ͔Βܭࢉ͍ͯ͠ ΔKPIΛ࢖͍ͬͯΔνʔϜ͕͋Δɻ
 
 ϨΨγʔͳpipelineͷॲཧΛ৽ pipelineͰ࠶ݱ͠Α͏ͱ͍͕ͯͨ͠ ׬੒ग़དྷͳ͔ͬͨɻ
16. 16 ͳͥϨΨγʔͳpipeline΁ͷґଘ͕΍ΊΒΕͳ͍ͷ͔? → ϨΨγʔͳpipeline͔Βܭࢉ͍ͯ͠ΔKPIΛۀ຿ʹ࢖ͬͯ ͍Δ͔Β ৽pipeline΁ͷยد
17. 17 ࣮૷ / ۀ຿ཁ݅྆໘͔Βཁ݅Λ੔ཧ
 → ຊ࣭తʹ͸৽pipelineͷσʔλͰ୅ସͰ͖ͦ͏ͩͱ൑໌ ͳͥͦͷKPI͕ඞཁͳͷ͔? ۀ຿ཁ݅ͷ੔ཧ
18. 18 ! ۀ຿ཁ݅ΛݩʹKPIͷఆٛΛݟ௚͠ → ఆ্ٛ͸ϨΨγʔ΁ͷґଘΛͳͤͨ͘ɻ KPIͷఆ͔ٛΒݟ௚͢
19. 19 औΓ૊ΈͷϙΠϯτ ج൫ ࢦඪ ۀ຿ ͚ͩ͜͜มߋ͢Δͷ͸೉͍͠ ηοτͰߟ͑Δ ج൫ͱۀ຿͸
 ηοτͰߟ͑Δ

20. 20 औΓ૊ΈͷൣғΛߜΓࠐΉ ᶃΛࢀরͨ͠Ϣʔβʔ਺ … 200ਓ/݄
 ᶄΛࢀরͨ͠Ϣʔβʔ਺ … 2ਓ/݄ ࢖ͬͯΔਓͷਓ਺ʹ100ഒҎ্ͷࠩ
 → ॏཁͳͱ͜Ζ͔Β΍ͬͨํ͕ྑ͍ table Tableผ ࢀরϢʔβʔ਺ (௚ۙ30೔) ᶄ ᶃ
21. 21 ·ͱΊ
22. 22 ! ݱঢ় ◦ ͳͥվળʹऔΓ૊Ήͷ͔? → ੜ࢈ੑͷվળʹܨ͕Δ ! ͋Γ͍ͨ࢟ ◦ վળͷαΠΫϧΛճ͍ͨ͠ → ࣌ؒͷ࠶౤ࢿΛଓ͚Δ ! औΓ૊Έ ◦ ϨΨγʔͳσʔληοτΛഇࢭ͢Δɻ ◦ ͦͷͨΊʹɺۀ຿ͱKPIͱج൫ΛηοτͰߟ͑Δɻ ·ͱΊ : ϝϧΧϦʹ͓͚Δ෼ੳ؀ڥͷ੔උͷࣄྫ