Gunosy分析チームとA/Bテスト運用 #MLCT /ab-testing-in-gusnoy

Transcript

1. About Gunosy Data Analysis Team? @ysekky_ 2015/12/15 Machine Learning Casual Talks #4
2. about • Yoshifumi Seki • גࣜձࣾGunosy։ൃຊ෦σʔλ෼ੳ෦ • Ϣʔβߦಈ෼ੳ, هࣄ഑৴ϩδοΫߏங • ౦ژେֶେֶӃത࢜ޙظ՝ఔࡏֶத • Ϣʔβߦಈ෼ੳ, ίϯςϯπධՁ • ΞΠυϧϮλΫ/কع/೔ຊञ
3. ࠓ೔ͷ࿩ • σʔλ෼ੳ෦νʔϜ͕ͲΜͳ͜ͱΛ΍͍ͬͯΔ͔ • σʔλ෼ੳνʔϜʹؔ͢Δϊ΢ϋ΢͕গͳ͍ • ͱ͜ΖͯΜ͞Μͷσϒαϛळͷൃද • ௒Θ͔Δ • ͜͏͍͏ͷ΋ͬͱΦʔϓϯʹͯ͠ڞ༗ͯٞ͠࿦͍ͨ͠ • ͔ͩΒ๻Β΋ެ։͠·͢ • ࣌ؒͳ͗͢͞ΔͷͰ֓ཁͱA/Bςετ؅ཧͷํ๏ʹ͍ͭͯ
4. σʔλ෼ੳ෦ʹ͍ͭͯ • ߏ੒ • 5໊+ΞϧόΠτ2໊ • ओͳۀ຿ • هࣄ഑৴ϩδοΫͷ։ൃ • KPIͷઃܭɾ෼ੳ • KPIμογϡϘʔυͷ࡞੒ • ࢪࡦͷ෼ੳ४උͱ݁Ռ෼ੳ • Ϣʔβߦಈ෼ੳ
5. ओʹ࢖ͬͯΔαʔϏε΍πʔϧ • Github • Django+HighChartsʹΑΔࣾ಺DashBoard • Մೳͳ͔͗Γࡉ෼ԽՄೳʹͯ͠༻ҙ • csvμ΢ϯϩʔυՄೳʹͯ͠෦ॺ֎ͷਓ͕෼ੳͰ͖ΔΑ͏ʹ͢Δ • ipython notebook • Trello • redash • ఆৗूܭ͸෦ॺ֎ͷਓʹSQL౉ͯ͠΍ͬͯ΋Β͏ • ͍͍ͪͪόον΍UI༻ҙ͢Δͷ΋ΊΜͲ͍͘͞
6. ҎલͷਐΊํ MLCT #2ΑΓ
7. ՝୊ • ૊৫ͷن໛͕େ͖͘ͳͬͨ • Ͳ͜ͰͳΜͷࢪࡦΛ΍͍ͬͯΔ͔ݟ͑ͮΒ͘ͳͬͨ • ͳʹ͕Ͳͷ਺஋ʹӨڹ͍ͯ͠Δ͔ෳࡶԽ͍ͯ͠Δ • αʔϏεن໛͕େ͖͘ͳͬͯͪΐͬͱͷϛε͕Өڹ͢ΔΑ͏ ʹͳͬͨ • վળεϐʔυ͸Լ͛ͨ͘ͳ͍
8. Github issueʹΑΔA/Bςετ؅ཧ issueͰA/BςετͷਐḿΛ؅ཧͯ͠Δ
9. Github issueʹΑΔA/Bςετ؅ཧ • ໨త • ͳʹΛ໨తͱͨ͠ͲΜͳςετͳͷ͔ • ܭը • ͲͷϢʔβʹఏڙͯ͠Ͳͷ਺஋Λ௥͏͔ • ܦաϩά • ͍ͭͲͷΑ͏ͳ݁ՌʹΑͬͯͲͷΑ͏ͳҙࢥܾఆΛ͔ͨ͠
10. Github issueʹΑΔA/Bςετ؅ཧ
11. Github issueʹΑΔA/Bςετ؅ཧ
12. Github issueʹΑΔA/Bςετ؅ཧ
13. ػೳͷϦϦʔεϑϩʔ 1. 5%ެ։ɺத2೔Ҏ্ (มߋͨ͠ϩδοΫʹΫϦςΟΧϧͳόά͕ͳ͍͔ͷνΣοΫ) 2. 10%ެ։ɺத2೔Ҏ্ (มߋͨ͠ϩδοΫʹΫϦςΟΧϧͳѱӨڹ͕ͳ͍͔ͷνΣοΫ) 3. 20%ެ։ɺத3೔Ҏ্ (มߋͨ͠ϩδοΫ͕໨తKPIΛվળ͍ͯ͠Δ͔ͷνΣοΫ) 4. 40%ެ։ɺத5೔Ҏ্ (มߋͨ͠ϩδοΫ͕໨తKPIΛվળ͍ͯ͠Δ͔ɺܧଓ཰ʹѱӨ ڹΛٴ΅͍ͯ͠ͳ͍͔ͷνΣοΫ) 5. 80%ެ։ɺத3೔Ҏ্ (ର৅ൣғΛ֦େͯ͠΋ͷ໨తKPIͷվળΛҡ͍࣋ͯ͠Δ͔ɺܧ ଓ཰ʹѱӨڹΛٴ΅͍ͯ͠ͳ͍͔ͷνΣοΫ) 6. 100%ެ։
14. ·ͱΊͱ͜Ε͔Βͷ՝୊ • ਓ͕૿͑ͯେ͖͘ͳͬͯ͘Δͱϧʔϧ͕ඞཁʹͳͬͯ͘Δ • ͳʹΛ΍͍ͬͯΔͷ͔Λͻͱ໨ʹΘ͔ΔΑ͏ʹ • ଎౓ΛԼ͛ͨ͘ͳ͍ͷͰ࢓૊ΈͰ҆શͳ΄͏ʹ΋͍ͬͯ͘ • ΠςϨʔγϣϯͷ଎౓Λ͍͋͛ͨ • ूܭͷࣗಈԽ • ࣮૷ͷ݈શԽ • ϊ΢ϋ΢ڞ༗ͯٞ͠࿦ͯ͠ΑΓΑ͍σʔλ෼ੳ෦࡞Γ͍ͨ • σʔλ෼ੳ෦తேձʹ͍ͭͯ • KPIπʔϧͷ࡞Γํ • ෼ੳґཔͱͷઓ͍ํ • ΫϥΠΞϯτΞϓϦͷϩάઃܭ