Gunosy分析チームとA/Bテスト運用 #MLCT /ab-testing-in-gusnoy

Transcript

1. About Gunosy Data Analysis Team? @ysekky_ 2015/12/15 Machine Learning Casual

   Talks #4

2. about • Yoshifumi Seki • גࣜձࣾGunosy։ൃຊ෦σʔλ෼ੳ෦ • Ϣʔβߦಈ෼ੳ, هࣄ഑৴ϩδοΫߏங •

   ౦ژେֶେֶӃത࢜ޙظ՝ఔࡏֶத • Ϣʔβߦಈ෼ੳ, ίϯςϯπධՁ • ΞΠυϧϮλΫ/কع/೔ຊञ

3. ࠓ೔ͷ࿩ • σʔλ෼ੳ෦νʔϜ͕ͲΜͳ͜ͱΛ΍͍ͬͯΔ͔ • σʔλ෼ੳνʔϜʹؔ͢Δϊ΢ϋ΢͕গͳ͍ • ͱ͜ΖͯΜ͞Μͷσϒαϛळͷൃද • ௒Θ͔Δ •

   ͜͏͍͏ͷ΋ͬͱΦʔϓϯʹͯ͠ڞ༗ͯٞ͠࿦͍ͨ͠ • ͔ͩΒ๻Β΋ެ։͠·͢ • ࣌ؒͳ͗͢͞ΔͷͰ֓ཁͱA/Bςετ؅ཧͷํ๏ʹ͍ͭͯ

4. σʔλ෼ੳ෦ʹ͍ͭͯ • ߏ੒ • 5໊+ΞϧόΠτ2໊ • ओͳۀ຿ • هࣄ഑৴ϩδοΫͷ։ൃ •

   KPIͷઃܭɾ෼ੳ • KPIμογϡϘʔυͷ࡞੒ • ࢪࡦͷ෼ੳ४උͱ݁Ռ෼ੳ • Ϣʔβߦಈ෼ੳ

5. ओʹ࢖ͬͯΔαʔϏε΍πʔϧ • Github • Django+HighChartsʹΑΔࣾ಺DashBoard • Մೳͳ͔͗Γࡉ෼ԽՄೳʹͯ͠༻ҙ • csvμ΢ϯϩʔυՄೳʹͯ͠෦ॺ֎ͷਓ͕෼ੳͰ͖ΔΑ͏ʹ͢Δ •

   ipython notebook • Trello • redash • ఆৗूܭ͸෦ॺ֎ͷਓʹSQL౉ͯ͠΍ͬͯ΋Β͏ • ͍͍ͪͪόον΍UI༻ҙ͢Δͷ΋ΊΜͲ͍͘͞

6. ҎલͷਐΊํ MLCT #2ΑΓ

7. ՝୊ • ૊৫ͷن໛͕େ͖͘ͳͬͨ • Ͳ͜ͰͳΜͷࢪࡦΛ΍͍ͬͯΔ͔ݟ͑ͮΒ͘ͳͬͨ • ͳʹ͕Ͳͷ਺஋ʹӨڹ͍ͯ͠Δ͔ෳࡶԽ͍ͯ͠Δ • αʔϏεن໛͕େ͖͘ͳͬͯͪΐͬͱͷϛε͕Өڹ͢ΔΑ͏ ʹͳͬͨ

   • վળεϐʔυ͸Լ͛ͨ͘ͳ͍

8. Github issueʹΑΔA/Bςετ؅ཧ issueͰA/BςετͷਐḿΛ؅ཧͯ͠Δ

9. Github issueʹΑΔA/Bςετ؅ཧ • ໨త • ͳʹΛ໨తͱͨ͠ͲΜͳςετͳͷ͔ • ܭը • ͲͷϢʔβʹఏڙͯ͠Ͳͷ਺஋Λ௥͏͔

   • ܦաϩά • ͍ͭͲͷΑ͏ͳ݁ՌʹΑͬͯͲͷΑ͏ͳҙࢥܾఆΛ͔ͨ͠

10. Github issueʹΑΔA/Bςετ؅ཧ

11. Github issueʹΑΔA/Bςετ؅ཧ

12. Github issueʹΑΔA/Bςετ؅ཧ

13. ػೳͷϦϦʔεϑϩʔ 1. 5%ެ։ɺத2೔Ҏ্ (มߋͨ͠ϩδοΫʹΫϦςΟΧϧͳόά͕ͳ͍͔ͷνΣοΫ) 2. 10%ެ։ɺத2೔Ҏ্ (มߋͨ͠ϩδοΫʹΫϦςΟΧϧͳѱӨڹ͕ͳ͍͔ͷνΣοΫ) 3. 20%ެ։ɺத3೔Ҏ্ (มߋͨ͠ϩδοΫ͕໨తKPIΛվળ͍ͯ͠Δ͔ͷνΣοΫ)

    4. 40%ެ։ɺத5೔Ҏ্ (มߋͨ͠ϩδοΫ͕໨తKPIΛվળ͍ͯ͠Δ͔ɺܧଓ཰ʹѱӨ ڹΛٴ΅͍ͯ͠ͳ͍͔ͷνΣοΫ) 5. 80%ެ։ɺத3೔Ҏ্ (ର৅ൣғΛ֦େͯ͠΋ͷ໨తKPIͷվળΛҡ͍࣋ͯ͠Δ͔ɺܧ ଓ཰ʹѱӨڹΛٴ΅͍ͯ͠ͳ͍͔ͷνΣοΫ) 6. 100%ެ։

14. ·ͱΊͱ͜Ε͔Βͷ՝୊ • ਓ͕૿͑ͯେ͖͘ͳͬͯ͘Δͱϧʔϧ͕ඞཁʹͳͬͯ͘Δ • ͳʹΛ΍͍ͬͯΔͷ͔Λͻͱ໨ʹΘ͔ΔΑ͏ʹ • ଎౓ΛԼ͛ͨ͘ͳ͍ͷͰ࢓૊ΈͰ҆શͳ΄͏ʹ΋͍ͬͯ͘ • ΠςϨʔγϣϯͷ଎౓Λ͍͋͛ͨ •

    ूܭͷࣗಈԽ • ࣮૷ͷ݈શԽ • ϊ΢ϋ΢ڞ༗ͯٞ͠࿦ͯ͠ΑΓΑ͍σʔλ෼ੳ෦࡞Γ͍ͨ • σʔλ෼ੳ෦తேձʹ͍ͭͯ • KPIπʔϧͷ࡞Γํ • ෼ੳґཔͱͷઓ͍ํ • ΫϥΠΞϯτΞϓϦͷϩάઃܭ