Gunosy分析チームとA/Bテスト運用 #MLCT /ab-testing-in-gusnoy

D490d541e3d1ab04d5203e8b210b2233?s=47 ysekky
December 15, 2015
3.1k

Gunosy分析チームとA/Bテスト運用 #MLCT /ab-testing-in-gusnoy

D490d541e3d1ab04d5203e8b210b2233?s=128

ysekky

December 15, 2015
Tweet

Transcript

  1. About Gunosy Data Analysis Team? @ysekky_ 2015/12/15 Machine Learning Casual

    Talks #4
  2. about • Yoshifumi Seki • גࣜձࣾGunosy։ൃຊ෦σʔλ෼ੳ෦ • Ϣʔβߦಈ෼ੳ, هࣄ഑৴ϩδοΫߏங •

    ౦ژେֶେֶӃത࢜ޙظ՝ఔࡏֶத • Ϣʔβߦಈ෼ੳ, ίϯςϯπධՁ • ΞΠυϧϮλΫ/কع/೔ຊञ
  3. ࠓ೔ͷ࿩ • σʔλ෼ੳ෦νʔϜ͕ͲΜͳ͜ͱΛ΍͍ͬͯΔ͔ • σʔλ෼ੳνʔϜʹؔ͢Δϊ΢ϋ΢͕গͳ͍ • ͱ͜ΖͯΜ͞Μͷσϒαϛळͷൃද • ௒Θ͔Δ •

    ͜͏͍͏ͷ΋ͬͱΦʔϓϯʹͯ͠ڞ༗ͯٞ͠࿦͍ͨ͠ • ͔ͩΒ๻Β΋ެ։͠·͢ • ࣌ؒͳ͗͢͞ΔͷͰ֓ཁͱA/Bςετ؅ཧͷํ๏ʹ͍ͭͯ
  4. σʔλ෼ੳ෦ʹ͍ͭͯ • ߏ੒ • 5໊+ΞϧόΠτ2໊ • ओͳۀ຿ • هࣄ഑৴ϩδοΫͷ։ൃ •

    KPIͷઃܭɾ෼ੳ • KPIμογϡϘʔυͷ࡞੒ • ࢪࡦͷ෼ੳ४උͱ݁Ռ෼ੳ • Ϣʔβߦಈ෼ੳ
  5. ओʹ࢖ͬͯΔαʔϏε΍πʔϧ • Github • Django+HighChartsʹΑΔࣾ಺DashBoard • Մೳͳ͔͗Γࡉ෼ԽՄೳʹͯ͠༻ҙ • csvμ΢ϯϩʔυՄೳʹͯ͠෦ॺ֎ͷਓ͕෼ੳͰ͖ΔΑ͏ʹ͢Δ •

    ipython notebook • Trello • redash • ఆৗूܭ͸෦ॺ֎ͷਓʹSQL౉ͯ͠΍ͬͯ΋Β͏ • ͍͍ͪͪόον΍UI༻ҙ͢Δͷ΋ΊΜͲ͍͘͞
  6. ҎલͷਐΊํ MLCT #2ΑΓ

  7. ՝୊ • ૊৫ͷن໛͕େ͖͘ͳͬͨ • Ͳ͜ͰͳΜͷࢪࡦΛ΍͍ͬͯΔ͔ݟ͑ͮΒ͘ͳͬͨ • ͳʹ͕Ͳͷ਺஋ʹӨڹ͍ͯ͠Δ͔ෳࡶԽ͍ͯ͠Δ • αʔϏεن໛͕େ͖͘ͳͬͯͪΐͬͱͷϛε͕Өڹ͢ΔΑ͏ ʹͳͬͨ

    • վળεϐʔυ͸Լ͛ͨ͘ͳ͍
  8. Github issueʹΑΔA/Bςετ؅ཧ issueͰA/BςετͷਐḿΛ؅ཧͯ͠Δ

  9. Github issueʹΑΔA/Bςετ؅ཧ • ໨త • ͳʹΛ໨తͱͨ͠ͲΜͳςετͳͷ͔ • ܭը • ͲͷϢʔβʹఏڙͯ͠Ͳͷ਺஋Λ௥͏͔

    • ܦաϩά • ͍ͭͲͷΑ͏ͳ݁ՌʹΑͬͯͲͷΑ͏ͳҙࢥܾఆΛ͔ͨ͠
  10. Github issueʹΑΔA/Bςετ؅ཧ

  11. Github issueʹΑΔA/Bςετ؅ཧ

  12. Github issueʹΑΔA/Bςετ؅ཧ

  13. ػೳͷϦϦʔεϑϩʔ 1. 5%ެ։ɺத2೔Ҏ্ (มߋͨ͠ϩδοΫʹΫϦςΟΧϧͳόά͕ͳ͍͔ͷνΣοΫ) 2. 10%ެ։ɺத2೔Ҏ্ (มߋͨ͠ϩδοΫʹΫϦςΟΧϧͳѱӨڹ͕ͳ͍͔ͷνΣοΫ) 3. 20%ެ։ɺத3೔Ҏ্ (มߋͨ͠ϩδοΫ͕໨తKPIΛվળ͍ͯ͠Δ͔ͷνΣοΫ)

    4. 40%ެ։ɺத5೔Ҏ্ (มߋͨ͠ϩδοΫ͕໨తKPIΛվળ͍ͯ͠Δ͔ɺܧଓ཰ʹѱӨ ڹΛٴ΅͍ͯ͠ͳ͍͔ͷνΣοΫ) 5. 80%ެ։ɺத3೔Ҏ্ (ର৅ൣғΛ֦େͯ͠΋ͷ໨తKPIͷվળΛҡ͍࣋ͯ͠Δ͔ɺܧ ଓ཰ʹѱӨڹΛٴ΅͍ͯ͠ͳ͍͔ͷνΣοΫ) 6. 100%ެ։
  14. ·ͱΊͱ͜Ε͔Βͷ՝୊ • ਓ͕૿͑ͯେ͖͘ͳͬͯ͘Δͱϧʔϧ͕ඞཁʹͳͬͯ͘Δ • ͳʹΛ΍͍ͬͯΔͷ͔Λͻͱ໨ʹΘ͔ΔΑ͏ʹ • ଎౓ΛԼ͛ͨ͘ͳ͍ͷͰ࢓૊ΈͰ҆શͳ΄͏ʹ΋͍ͬͯ͘ • ΠςϨʔγϣϯͷ଎౓Λ͍͋͛ͨ •

    ूܭͷࣗಈԽ • ࣮૷ͷ݈શԽ • ϊ΢ϋ΢ڞ༗ͯٞ͠࿦ͯ͠ΑΓΑ͍σʔλ෼ੳ෦࡞Γ͍ͨ • σʔλ෼ੳ෦తேձʹ͍ͭͯ • KPIπʔϧͷ࡞Γํ • ෼ੳґཔͱͷઓ͍ํ • ΫϥΠΞϯτΞϓϦͷϩάઃܭ