モバイルアプリのABテスト / CookpadTechConf2017

Cookpad TechConf 2017 ( https://techconf.cookpad.com/2017/ ) で発表したモバイルアプリのABテストのお話です

Transcript

1. ϞόΠϧΞϓϦͷ"#ςετ ͔ͱ͏
   ΓΎ͏
2. αʔϏε։ൃ෦
   Ϩγϐάϧʔϓ
   "OESPJEΤϯδχΞ
   $*ͳͲ͍ΖΜͳ΋ͷͷࣗಈԽ͕͖͢
   Ճ౻
   ཾ @k0matatsu
3. ͓͠ͳ͕͖ w 8FCͷ"#ςετ
   w ϞόΠϧΞϓϦͷ"#ςετ
   w ར༻ࣄྫ
4. 8FCͷ"#ςετ
5. $IBOLP
   
   &BTZ"CʹΑΔ"#ςετ $IBOLP
   w ϓϩτλΠϐϯάπʔϧ
   w औΓ֎͠΍͍͢Α͏ʹػೳ௥Ճ͢Δҝͷ࢓૊Έ
   &BTZ"C
   w "#ςετ༻ͷ$IBOLP
   FYUFOTJPO
   w $IBOLPͰ࡞ͬͨػೳΛಠࣗʹఆٛͨ͠Ϣʔβʔηάϝϯτ ʹैͬͯ؆୯ʹৼΓ෼͚Δࣄ͕Ͱ͖Δ
   ͜ΕΒΛ૊Έ߹ΘͤΔࣄͰ"#ςετΛ࣮ݱ͍ͯ͠·ͨ͠
6. w 8FC΄ͲසൟʹσϓϩΠͰ͖ͳ͍
   w ి೾ঢ়گʹΑͬͯ௨৴ʹࣦഊ͢Δ৔߹͕͋Δ
   w ΞοϓσʔτΛڧ੍Ͱ͖ͳ͍
   w ͢΂ͯͷϢʔβʔʹߦ͖౉Δ·Ͱ͕͔͔࣌ؒΔ
   ɹϞόΠϧΞϓϦ͸8FCͱൺ΂Δͱաࠅͳ؀ڥ 8FCͱϞόΠϧΞϓϦͷҧ͍
7. ϞόΠϧΞϓϦͷ
   "#ςετ
8. ϞόΠϧ޲͚"#ιϦϡʔγϣϯ w 044
   w $MVUDIJP
   w 4XJUDICPBSE
   w αʔϏε
   w 0QUJNJ[FMZ
   w "QQUJNJ[F
   w 'JSFCBTF
   3FNPUF
   $POpH
   ͳͲͳͲ
9. ࣾ಺ͷओͳཁ݅ w ؅ཧ͞Ε͍ͯΔػೳͱύλʔϯΛऔಘͰ͖Δ
   w ֤ػೳͰͲͷύλʔϯ͕ద༻͞Ε͍ͯΔ͔Θ͔Δ
   w ֤ػೳ͕ύλʔϯͱ͸ผʹ༗ޮແޮͷঢ়ଶΛ࣋ͭ
   w ಛఆͷϢʔβʔʹͲͷػೳŋύλʔϯΛద༻͢Δ͔ಈత ʹมߋՄೳ
   w ػೳͱύλʔϯͷׂ౰͸αʔόʔଆͰߦ͏
   w ࣾ಺ʹଘࡏ͢ΔطଘͷϢʔβʔηάϝϯτΛྲྀ༻͍ͨ͠
   w ,1*؅ཧ΍τϥοΩϯάʹ͸طଘπʔϧΛ࢖͏
10. VTFSGFBUVSFT w Ϣʔβʔ͝ͱʹద༻͞Ε͍ͯΔػೳͷ૊Έ߹ΘͤΛऔಘ
    w ΦϑϥΠϯ࣌ʹɺ࠷ޙʹ௨৴੒ޭͨ͠৔߹ͷ஋Λ࠶ར༻
    w ۙʑͰ੒ޭͯ͠ͳ͍࣌͸ػೳΛແޮԽ
    w ΞϓϦ͕όοΫάϥ΢ϯυ͔Β෮ؼͨ͠Β࠶औಘ
    ͳͲͳͲ
    
 ϞόΠϧͷաࠅͳ؀ڥʹ଱͑Δػೳ
11. w ZBNMͰઃఆΛॻ͍͓ͯ͘ͱϢʔβʔ͝ͱʹ౰ͯ͸·Δ ஋͕ฦ͞ΕΔ
12. w ͜ͷΑ͏ͳ+40/͕ؼͬͯ͘ΔͷͰΞϓϦଆͰ࣮૷Λ੾ Γସ͑Δ
    w σϑΥϧτͰ͸දࣔ͠ͳ͍ͳͲࣦഊ࣌΋ࢹ໺ʹೖΕΔ “features”: { “cooking_log_android”: { “name”: “ྉཧه࿥”, “patterns”: { “standard”: { “name”: “ඪ४࢓༷” }, “notice_card”: { “name”: “Χʔυ൛ͷ͓஌Βͤ” }, “notice_notification”: { “name”: “௨஌൛ͷ͓஌Βͤ” }, “disable_rollout”: { “name”: “ର৅֎” }, }, “enabled”: true, “selected”: “standard” ػೳ໊ ࣗ෼ʹׂΓ౰ͯΒΕͨύλʔϯ ػೳ͝ͱͷύλʔϯͷϦετ
    Ϧετ͸ࣗ෼ʹׂΓ౰ͯΒΕ͍ͯΔ
    ΋ͷҎ֎ͷύλʔϯ΋ฦͬͯ͘Δ
13. ͳͥ಺੡ͨ͠ͷ͔ʁ w ͢Ͱʹ͋Δ΋ͷΛར༻͍ͨ͠
    w Ϣʔβʔηάϝϯτ
    w ϩάج൫
    w ݱ࣌఺Ͱ͸Ϣʔεέʔε͕ݶΒΕ͍ͯΔ
    w ཁૉͷग़͠෼͚΍ػೳͷ੾Γସ͙͑Β͍
    w 8FC͔ΒΞϓϦΛॻ͖׵͑ΔΑ͏ͳ͜ͱ͸͠ͳ͍
14. ར༻ࣄྫ
15. ϨγϐΤσΟλ w ඪ४͔ΜͨΜͷछྨͷΤσΟλΛ࢖ͬͯ౤ߘ཰ʹӨڹ ͕͋Δ͔Λௐ΂Δ"#ςετΛߦͬͨ
    w ܭଌ͸%#ʹΫΤϦΛ౤͛ͯTQSFBETIFFUͰूܭ
    w ͔ΜͨΜΤσΟλͷํ͕एׯ਺஋͕ѱ͍ͱ͍͏݁Ռʹʜ
16. ϨγϐΤσΟλ
17. ྉཧ͖Ζ͘ w ୺຤಺ͷྉཧࣸਅΛࣗಈه࿥͠ ͍ͯ͘৽ػೳΛ௥Ճ
    w 04ͷWFSTJPOͳͲͰߜͬͨϢʔ βʔʹର͠ެ։཰Λঃʑʹ͋͛ ͳ͕ΒϩʔϧΞ΢τ
    w छҎ্ͷϩάΛऔ͓ͬͯΓɺ ར༻ऀͷ༷ࢠΛݟͳ͕Βެ։཰ ͷௐ੔ͳͲͷରԠΛߦ͍ͬͯͨ
18. ಋઢ௥Ճ w ৽ػೳ΁ͷಋઢΛ /PUJpDBUJPOͱ%JBMPHͱͷ ύλʔϯͰݕূ
    w ભҠ਺ɺڐ୚཰ɺ཭୤཰ͳ ͲΛݟͯ૯߹తʹ൑அͨ͠ ݁Ռɺ/PUJpDBUJPOͷํ͕ ʮݟ͔ͯΒڐ୚ը໘ʹભҠ ͢Δׂ߹͕ߴ͍ʯͱ͍͏͜ ͱ͕Θ͔ͬͨ
19. ·ͱΊ
20. ·ͱΊ 8FCͱಉ͡Α͏ʹ͸ग़དྷͳ͍
    ͳʹΛͲ͜·Ͱ΍Γ͍͔ͨɺ
    ཁٻʹ͋Θͤͯ࠷దͳํ๏Λ୳ͦ͏
21. ͋Γ͕ͱ͏͍͟͝·ͨ͠