メルカリにおける分析環境整備の取り組み

by nagai shinya

Slide 1

Slide 1 text

1 ϝϧΧϦʹ͓͚Δ෼ੳ؀ڥ੔උͷऔΓ૊Έ גࣜձࣾϝϧΧϦ / JP Data Analyst ӬҪ৳໻

Slide 2

Slide 2 text

2 Introduction

Slide 3

Slide 3 text

3 ! ӬҪ ৳໻ ! גࣜձࣾϝϧΧϦ / JP ! Data Analyst ○ ෼ੳ؀ڥͷ੔උͳͲΛ୲౰ ࣗݾ঺հ

Slide 4

Slide 4 text

4 ! ݱঢ় ○ ͳͥվળʹऔΓ૊Ήͷ͔?  ! ͋Γ͍ͨ࢟ ○ վળͷαΠΫϧΛճ͍ͨ͠ɻ ! औΓ૊Έ ○ ϨΨγʔͳσʔληοτΛഇࢭ͢Δɻ ○ ͦͷͨΊʹɺۀ຿ͱKPIͱج൫ΛηοτͰߟ͑Δɻ ΞδΣϯμ : ϝϧΧϦʹ͓͚Δ෼ੳ؀ڥͷ੔උͷࣄྫ

Slide 5

Slide 5 text

5 ݱঢ় | ͳͥվળʹऔΓ૊Ήͷ͔?

Slide 6

Slide 6 text

6 ! ج൫ ○ BigQuery + Looker ! ن໛ ○ ΫΤϦ࣮ߦϢʔβʔ਺ 700ਓҎ্/݄ ○ ࢀর͞Ε͍ͯΔςʔϒϧ਺ 100Ҏ্/݄ ○ Analyst, PdM, ML, CS, ͳͲ ϝϧΧϦʹ͓͚Δσʔλͷར༻ঢ়گ

Slide 7

Slide 7 text

7 ! ଟ͘ͷਓ͕σʔλΛۀ຿ʹ࢖͍ͬͯΔɻ ! ෼ੳ؀ڥͷ੔උ → ·ͩ·ͩෆे෼ɻ ! σʔλج൫Λվળ͢Δࣄ͕ɺੜ࢈ੑͷվળʹܨ͕Δɻ ϑΣʔζతʹ͸ɺ্ཱͪ͛ɺීٴɺͱ͍͏ΑΓӡ༻ͷ՝୊͕େ͖͍ɻ ͳͥվળʹऔΓ૊Ήͷ͔?

Slide 8

Slide 8 text

8 ͋Γ͍ͨ࢟ | վળͷαΠΫϧΛճ͍ͨ͠

Slide 9

Slide 9 text

9 ͚͍ͨ͜͞ͱ → ෛͷαΠΫϧ ᶃ վળʹऔΓ૊ͳ͍ ᶅ վળʹ࢖͑Δ ͕࣌ؒݮΔ ᶄ ݱঢ়ҡ͕࣋ ͡Θ͡ΘେมʹͳΔ

Slide 10

Slide 10 text

10 ΍Γ͍ͨ͜ͱ → վળͷαΠΫϧΛճ͢ ᶃ վળʹऔΓ૊Ή ᶄ ݱঢ়ҡ͕࣋ ͪΐͬͱָʹͳΔ ᶅ վળʹ࢖͑Δ ͕࣌ؒ૿͑Δ

Slide 11

Slide 11 text

11 ΍Γ͍ͨ͜ͱ → վળͷαΠΫϧΛճ͢ ᶃ վળʹऔΓ૊Ή ᶄ ݱঢ়ҡ͕࣋ ͪΐͬͱָʹͳΔ ᶅ վળʹ࢖͑Δ ͕࣌ؒ૿͑Δ ᶆ े෼ͳ༨༟͕Ͱ͖Ε͹ ɹ ɹ ߈Ίͷվળ΋Ͱ͖Δ

Slide 12

Slide 12 text

12 ΍Γ͍ͨ͜ͱ → վળͷαΠΫϧΛճ͢ ᶃ վળʹऔΓ૊Ή ᶄ ݱঢ়ҡ͕࣋ ͪΐͬͱָʹͳΔ ᶅ վળʹ࢖͑Δ ͕࣌ؒ૿͑Δ ᶆ े෼ͳ༨༟͕Ͱ͖Ε͹ ɹ ɹ ߈Ίͷվળ΋Ͱ͖Δ ࠓɺऔΓ૊ΜͰ͍Δͷ͸͜͜

Slide 13

Slide 13 text

13 औΓ૊Έ | ϨΨγʔͳσʔληοτΛഇࢭ͢Δ

Slide 14

Slide 14 text

14 2ͭͷpipeline໰୊ ݩςʔϒϧ ෼ੳςʔϒϧ(৽) ෼ੳςʔϒϧ(ϨΨγʔ) BigQuery Production Production͔ΒBigQueryʹσʔ λΛίϐʔ Production͔Βͷpipeline͕  2ܥ౷͋Δ ϝϯςφϯείετ͕͔͞Ήɻ  ਺ࣈ͕߹Θͳ͘ͳΔɻ

Slide 15

Slide 15 text

15 ৽pipeline΁ͷยد ݩςʔϒϧ ෼ੳςʔϒϧ(৽) ෼ੳςʔϒϧ(ϨΨγʔ) BigQuery Production ňϨΨγʔpipelineΛഇࢭ  ৽pipelineʹยد͍ͤͨ͠ŉ    ͔͠͠ɺϨΨγʔ͔Βܭࢉ͍ͯ͠ ΔKPIΛ࢖͍ͬͯΔνʔϜ͕͋Δɻ    ϨΨγʔͳpipelineͷॲཧΛ৽ pipelineͰ࠶ݱ͠Α͏ͱ͍͕ͯͨ͠ ׬੒ग़དྷͳ͔ͬͨɻ

Slide 16

Slide 16 text

16 ͳͥϨΨγʔͳpipeline΁ͷґଘ͕΍ΊΒΕͳ͍ͷ͔? → ϨΨγʔͳpipeline͔Βܭࢉ͍ͯ͠ΔKPIΛۀ຿ʹ࢖ͬͯ ͍Δ͔Β ৽pipeline΁ͷยد

Slide 17

Slide 17 text

17 ࣮૷ / ۀ຿ཁ݅྆໘͔Βཁ݅Λ੔ཧ  → ຊ࣭తʹ͸৽pipelineͷσʔλͰ୅ସͰ͖ͦ͏ͩͱ൑໌ ͳͥͦͷKPI͕ඞཁͳͷ͔? ۀ຿ཁ݅ͷ੔ཧ

Slide 18

Slide 18 text

18 ! ۀ຿ཁ݅ΛݩʹKPIͷఆٛΛݟ௚͠ → ఆ্ٛ͸ϨΨγʔ΁ͷґଘΛͳͤͨ͘ɻ KPIͷఆ͔ٛΒݟ௚͢

Slide 19

Slide 19 text

19 औΓ૊ΈͷϙΠϯτ ج൫ ࢦඪ ۀ຿ ͚ͩ͜͜มߋ͢Δͷ͸೉͍͠ ηοτͰߟ͑Δ ج൫ͱۀ຿͸  ηοτͰߟ͑Δ 

Slide 20

Slide 20 text

20 औΓ૊ΈͷൣғΛߜΓࠐΉ ᶃΛࢀরͨ͠Ϣʔβʔ਺ … 200ਓ/݄  ᶄΛࢀরͨ͠Ϣʔβʔ਺ … 2ਓ/݄ ࢖ͬͯΔਓͷਓ਺ʹ100ഒҎ্ͷࠩ  → ॏཁͳͱ͜Ζ͔Β΍ͬͨํ͕ྑ͍ table Tableผ ࢀরϢʔβʔ਺ (௚ۙ30೔) ᶄ ᶃ

Slide 21

Slide 21 text

21 ·ͱΊ

Slide 22

Slide 22 text

22 ! ݱঢ় ○ ͳͥվળʹऔΓ૊Ήͷ͔? → ੜ࢈ੑͷվળʹܨ͕Δ ! ͋Γ͍ͨ࢟ ○ վળͷαΠΫϧΛճ͍ͨ͠ → ࣌ؒͷ࠶౤ࢿΛଓ͚Δ ! औΓ૊Έ ○ ϨΨγʔͳσʔληοτΛഇࢭ͢Δɻ ○ ͦͷͨΊʹɺۀ຿ͱKPIͱج൫ΛηοτͰߟ͑Δɻ ·ͱΊ : ϝϧΧϦʹ͓͚Δ෼ੳ؀ڥͷ੔උͷࣄྫ