メルカリにおける分析環境整備の取り組み

06be5ae036d196a41dff44604bb1b6a7?s=47 nagai shinya
August 19, 2020
4.3k

 メルカリにおける分析環境整備の取り組み

以下のイベントの発表資料です。

https://forkwell.connpass.com/event/182769/

06be5ae036d196a41dff44604bb1b6a7?s=128

nagai shinya

August 19, 2020
Tweet

Transcript

  1. 1 ϝϧΧϦʹ͓͚Δ෼ੳ؀ڥ੔උͷऔΓ૊Έ גࣜձࣾϝϧΧϦ / JP Data Analyst ӬҪ৳໻

  2. 2 Introduction

  3. 3 ! ӬҪ ৳໻ ! גࣜձࣾϝϧΧϦ / JP ! Data

    Analyst ◦ ෼ੳ؀ڥͷ੔උͳͲΛ୲౰ ࣗݾ঺հ
  4. 4 ! ݱঢ় ◦ ͳͥվળʹऔΓ૊Ήͷ͔?
 ! ͋Γ͍ͨ࢟ ◦ վળͷαΠΫϧΛճ͍ͨ͠ɻ !

    औΓ૊Έ ◦ ϨΨγʔͳσʔληοτΛഇࢭ͢Δɻ ◦ ͦͷͨΊʹɺۀ຿ͱKPIͱج൫ΛηοτͰߟ͑Δɻ ΞδΣϯμ : ϝϧΧϦʹ͓͚Δ෼ੳ؀ڥͷ੔උͷࣄྫ
  5. 5 ݱঢ় | ͳͥվળʹऔΓ૊Ήͷ͔?

  6. 6 ! ج൫ ◦ BigQuery + Looker ! ن໛ ◦

    ΫΤϦ࣮ߦϢʔβʔ਺ 700ਓҎ্/݄ ◦ ࢀর͞Ε͍ͯΔςʔϒϧ਺ 100Ҏ্/݄ ◦ Analyst, PdM, ML, CS, ͳͲ ϝϧΧϦʹ͓͚Δσʔλͷར༻ঢ়گ
  7. 7 ! ଟ͘ͷਓ͕σʔλΛۀ຿ʹ࢖͍ͬͯΔɻ ! ෼ੳ؀ڥͷ੔උ → ·ͩ·ͩෆे෼ɻ ! σʔλج൫Λվળ͢Δࣄ͕ɺੜ࢈ੑͷվળʹܨ͕Δɻ ϑΣʔζతʹ͸ɺ্ཱͪ͛ɺීٴɺͱ͍͏ΑΓӡ༻ͷ՝୊͕େ͖͍ɻ

    ͳͥվળʹऔΓ૊Ήͷ͔?
  8. 8 ͋Γ͍ͨ࢟ | վળͷαΠΫϧΛճ͍ͨ͠

  9. 9 ͚͍ͨ͜͞ͱ → ෛͷαΠΫϧ ᶃ վળʹऔΓ૊ͳ͍ ᶅ վળʹ࢖͑Δ ͕࣌ؒݮΔ ᶄ

    ݱঢ়ҡ͕࣋ ͡Θ͡ΘେมʹͳΔ
  10. 10 ΍Γ͍ͨ͜ͱ → վળͷαΠΫϧΛճ͢ ᶃ վળʹऔΓ૊Ή ᶄ ݱঢ়ҡ͕࣋ ͪΐͬͱָʹͳΔ ᶅ

    վળʹ࢖͑Δ ͕࣌ؒ૿͑Δ
  11. 11 ΍Γ͍ͨ͜ͱ → վળͷαΠΫϧΛճ͢ ᶃ վળʹऔΓ૊Ή ᶄ ݱঢ়ҡ͕࣋ ͪΐͬͱָʹͳΔ ᶅ

    վળʹ࢖͑Δ ͕࣌ؒ૿͑Δ ᶆ े෼ͳ༨༟͕Ͱ͖Ε͹ ɹ ɹ ߈Ίͷվળ΋Ͱ͖Δ
  12. 12 ΍Γ͍ͨ͜ͱ → վળͷαΠΫϧΛճ͢ ᶃ վળʹऔΓ૊Ή ᶄ ݱঢ়ҡ͕࣋ ͪΐͬͱָʹͳΔ ᶅ

    վળʹ࢖͑Δ ͕࣌ؒ૿͑Δ ᶆ े෼ͳ༨༟͕Ͱ͖Ε͹ ɹ ɹ ߈Ίͷվળ΋Ͱ͖Δ ࠓɺऔΓ૊ΜͰ͍Δͷ͸͜͜
  13. 13 औΓ૊Έ | ϨΨγʔͳσʔληοτΛഇࢭ͢Δ

  14. 14 2ͭͷpipeline໰୊ ݩςʔϒϧ ෼ੳςʔϒϧ(৽) ෼ੳςʔϒϧ(ϨΨγʔ) BigQuery Production Production͔ΒBigQueryʹσʔ λΛίϐʔ Production͔Βͷpipeline͕


    2ܥ౷͋Δ ϝϯςφϯείετ͕͔͞Ήɻ
 ਺ࣈ͕߹Θͳ͘ͳΔɻ
  15. 15 ৽pipeline΁ͷยد ݩςʔϒϧ ෼ੳςʔϒϧ(৽) ෼ੳςʔϒϧ(ϨΨγʔ) BigQuery Production ňϨΨγʔpipelineΛഇࢭ
 ৽pipelineʹยد͍ͤͨ͠ʼn
 


    ͔͠͠ɺϨΨγʔ͔Βܭࢉ͍ͯ͠ ΔKPIΛ࢖͍ͬͯΔνʔϜ͕͋Δɻ
 
 ϨΨγʔͳpipelineͷॲཧΛ৽ pipelineͰ࠶ݱ͠Α͏ͱ͍͕ͯͨ͠ ׬੒ग़དྷͳ͔ͬͨɻ
  16. 16 ͳͥϨΨγʔͳpipeline΁ͷґଘ͕΍ΊΒΕͳ͍ͷ͔? → ϨΨγʔͳpipeline͔Βܭࢉ͍ͯ͠ΔKPIΛۀ຿ʹ࢖ͬͯ ͍Δ͔Β ৽pipeline΁ͷยد

  17. 17 ࣮૷ / ۀ຿ཁ݅྆໘͔Βཁ݅Λ੔ཧ
 → ຊ࣭తʹ͸৽pipelineͷσʔλͰ୅ସͰ͖ͦ͏ͩͱ൑໌ ͳͥͦͷKPI͕ඞཁͳͷ͔? ۀ຿ཁ݅ͷ੔ཧ

  18. 18 ! ۀ຿ཁ݅ΛݩʹKPIͷఆٛΛݟ௚͠ → ఆ্ٛ͸ϨΨγʔ΁ͷґଘΛͳͤͨ͘ɻ KPIͷఆ͔ٛΒݟ௚͢

  19. 19 औΓ૊ΈͷϙΠϯτ ج൫ ࢦඪ ۀ຿ ͚ͩ͜͜มߋ͢Δͷ͸೉͍͠ ηοτͰߟ͑Δ ج൫ͱۀ຿͸
 ηοτͰߟ͑Δ


  20. 20 औΓ૊ΈͷൣғΛߜΓࠐΉ ᶃΛࢀরͨ͠Ϣʔβʔ਺ … 200ਓ/݄
 ᶄΛࢀরͨ͠Ϣʔβʔ਺ … 2ਓ/݄ ࢖ͬͯΔਓͷਓ਺ʹ100ഒҎ্ͷࠩ
 →

    ॏཁͳͱ͜Ζ͔Β΍ͬͨํ͕ྑ͍ table Tableผ ࢀরϢʔβʔ਺ (௚ۙ30೔) ᶄ ᶃ
  21. 21 ·ͱΊ

  22. 22 ! ݱঢ় ◦ ͳͥվળʹऔΓ૊Ήͷ͔? → ੜ࢈ੑͷվળʹܨ͕Δ ! ͋Γ͍ͨ࢟ ◦

    վળͷαΠΫϧΛճ͍ͨ͠ → ࣌ؒͷ࠶౤ࢿΛଓ͚Δ ! औΓ૊Έ ◦ ϨΨγʔͳσʔληοτΛഇࢭ͢Δɻ ◦ ͦͷͨΊʹɺۀ຿ͱKPIͱج൫ΛηοτͰߟ͑Δɻ ·ͱΊ : ϝϧΧϦʹ͓͚Δ෼ੳ؀ڥͷ੔උͷࣄྫ