Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Gunosy分析チームとA/Bテスト運用 #MLCT /ab-testing-in-gusnoy

ysekky
December 15, 2015
3.5k

Gunosy分析チームとA/Bテスト運用 #MLCT /ab-testing-in-gusnoy

ysekky

December 15, 2015
Tweet

More Decks by ysekky

Transcript

  1. about • Yoshifumi Seki • גࣜձࣾGunosy։ൃຊ෦σʔλ෼ੳ෦ • Ϣʔβߦಈ෼ੳ, هࣄ഑৴ϩδοΫߏங •

    ౦ژେֶେֶӃത࢜ޙظ՝ఔࡏֶத • Ϣʔβߦಈ෼ੳ, ίϯςϯπධՁ • ΞΠυϧϮλΫ/কع/೔ຊञ
  2. ࠓ೔ͷ࿩ • σʔλ෼ੳ෦νʔϜ͕ͲΜͳ͜ͱΛ΍͍ͬͯΔ͔ • σʔλ෼ੳνʔϜʹؔ͢Δϊ΢ϋ΢͕গͳ͍ • ͱ͜ΖͯΜ͞Μͷσϒαϛळͷൃද • ௒Θ͔Δ •

    ͜͏͍͏ͷ΋ͬͱΦʔϓϯʹͯ͠ڞ༗ͯٞ͠࿦͍ͨ͠ • ͔ͩΒ๻Β΋ެ։͠·͢ • ࣌ؒͳ͗͢͞ΔͷͰ֓ཁͱA/Bςετ؅ཧͷํ๏ʹ͍ͭͯ
  3. σʔλ෼ੳ෦ʹ͍ͭͯ • ߏ੒ • 5໊+ΞϧόΠτ2໊ • ओͳۀ຿ • هࣄ഑৴ϩδοΫͷ։ൃ •

    KPIͷઃܭɾ෼ੳ • KPIμογϡϘʔυͷ࡞੒ • ࢪࡦͷ෼ੳ४උͱ݁Ռ෼ੳ • Ϣʔβߦಈ෼ੳ
  4. ओʹ࢖ͬͯΔαʔϏε΍πʔϧ • Github • Django+HighChartsʹΑΔࣾ಺DashBoard • Մೳͳ͔͗Γࡉ෼ԽՄೳʹͯ͠༻ҙ • csvμ΢ϯϩʔυՄೳʹͯ͠෦ॺ֎ͷਓ͕෼ੳͰ͖ΔΑ͏ʹ͢Δ •

    ipython notebook • Trello • redash • ఆৗूܭ͸෦ॺ֎ͷਓʹSQL౉ͯ͠΍ͬͯ΋Β͏ • ͍͍ͪͪόον΍UI༻ҙ͢Δͷ΋ΊΜͲ͍͘͞
  5. ػೳͷϦϦʔεϑϩʔ 1. 5%ެ։ɺத2೔Ҏ্ (มߋͨ͠ϩδοΫʹΫϦςΟΧϧͳόά͕ͳ͍͔ͷνΣοΫ) 2. 10%ެ։ɺத2೔Ҏ্ (มߋͨ͠ϩδοΫʹΫϦςΟΧϧͳѱӨڹ͕ͳ͍͔ͷνΣοΫ) 3. 20%ެ։ɺத3೔Ҏ্ (มߋͨ͠ϩδοΫ͕໨తKPIΛվળ͍ͯ͠Δ͔ͷνΣοΫ)

    4. 40%ެ։ɺத5೔Ҏ্ (มߋͨ͠ϩδοΫ͕໨తKPIΛվળ͍ͯ͠Δ͔ɺܧଓ཰ʹѱӨ ڹΛٴ΅͍ͯ͠ͳ͍͔ͷνΣοΫ) 5. 80%ެ։ɺத3೔Ҏ্ (ର৅ൣғΛ֦େͯ͠΋ͷ໨తKPIͷվળΛҡ͍࣋ͯ͠Δ͔ɺܧ ଓ཰ʹѱӨڹΛٴ΅͍ͯ͠ͳ͍͔ͷνΣοΫ) 6. 100%ެ։
  6. ·ͱΊͱ͜Ε͔Βͷ՝୊ • ਓ͕૿͑ͯେ͖͘ͳͬͯ͘Δͱϧʔϧ͕ඞཁʹͳͬͯ͘Δ • ͳʹΛ΍͍ͬͯΔͷ͔Λͻͱ໨ʹΘ͔ΔΑ͏ʹ • ଎౓ΛԼ͛ͨ͘ͳ͍ͷͰ࢓૊ΈͰ҆શͳ΄͏ʹ΋͍ͬͯ͘ • ΠςϨʔγϣϯͷ଎౓Λ͍͋͛ͨ •

    ूܭͷࣗಈԽ • ࣮૷ͷ݈શԽ • ϊ΢ϋ΢ڞ༗ͯٞ͠࿦ͯ͠ΑΓΑ͍σʔλ෼ੳ෦࡞Γ͍ͨ • σʔλ෼ੳ෦తேձʹ͍ͭͯ • KPIπʔϧͷ࡞Γํ • ෼ੳґཔͱͷઓ͍ํ • ΫϥΠΞϯτΞϓϦͷϩάઃܭ