Upgrade to Pro — share decks privately, control downloads, hide ads and more …

モバイルアプリのABテスト / CookpadTechConf2017

モバイルアプリのABテスト / CookpadTechConf2017

Cookpad TechConf 2017 ( https://techconf.cookpad.com/2017/ ) で発表したモバイルアプリのABテストのお話です

45cbca9fb6d1ba537f34364fd4b1b754?s=128

KATO Ryu (komatatsu)

January 21, 2017
Tweet

Transcript

  1. ϞόΠϧΞϓϦͷ"#ςετ ͔ͱ͏ΓΎ͏

  2. αʔϏε։ൃ෦Ϩγϐάϧʔϓ "OESPJEΤϯδχΞ $*ͳͲ͍ΖΜͳ΋ͷͷࣗಈԽ͕͖͢ Ճ౻ཾ @k0matatsu

  3. ͓͠ͳ͕͖ w 8FCͷ"#ςετ w ϞόΠϧΞϓϦͷ"#ςετ w ར༻ࣄྫ

  4. 8FCͷ"#ςετ

  5. $IBOLP &BTZ"CʹΑΔ"#ςετ $IBOLP w ϓϩτλΠϐϯάπʔϧ w औΓ֎͠΍͍͢Α͏ʹػೳ௥Ճ͢Δҝͷ࢓૊Έ &BTZ"C w "#ςετ༻ͷ$IBOLPFYUFOTJPO

    w $IBOLPͰ࡞ͬͨػೳΛಠࣗʹఆٛͨ͠Ϣʔβʔηάϝϯτ ʹैͬͯ؆୯ʹৼΓ෼͚Δࣄ͕Ͱ͖Δ ͜ΕΒΛ૊Έ߹ΘͤΔࣄͰ"#ςετΛ࣮ݱ͍ͯ͠·ͨ͠
  6. w 8FC΄ͲසൟʹσϓϩΠͰ͖ͳ͍ w ి೾ঢ়گʹΑͬͯ௨৴ʹࣦഊ͢Δ৔߹͕͋Δ w ΞοϓσʔτΛڧ੍Ͱ͖ͳ͍ w ͢΂ͯͷϢʔβʔʹߦ͖౉Δ·Ͱ͕͔͔࣌ؒΔ ɹϞόΠϧΞϓϦ͸8FCͱൺ΂Δͱաࠅͳ؀ڥ 8FCͱϞόΠϧΞϓϦͷҧ͍

  7. ϞόΠϧΞϓϦͷ "#ςετ

  8. ϞόΠϧ޲͚"#ιϦϡʔγϣϯ w 044 w $MVUDIJP w 4XJUDICPBSE w αʔϏε w

    0QUJNJ[FMZ w "QQUJNJ[F w 'JSFCBTF3FNPUF$POpH ͳͲͳͲ
  9. ࣾ಺ͷओͳཁ݅ w ؅ཧ͞Ε͍ͯΔػೳͱύλʔϯΛऔಘͰ͖Δ w ֤ػೳͰͲͷύλʔϯ͕ద༻͞Ε͍ͯΔ͔Θ͔Δ w ֤ػೳ͕ύλʔϯͱ͸ผʹ༗ޮແޮͷঢ়ଶΛ࣋ͭ w ಛఆͷϢʔβʔʹͲͷػೳŋύλʔϯΛద༻͢Δ͔ಈత ʹมߋՄೳ

    w ػೳͱύλʔϯͷׂ౰͸αʔόʔଆͰߦ͏ w ࣾ಺ʹଘࡏ͢ΔطଘͷϢʔβʔηάϝϯτΛྲྀ༻͍ͨ͠ w ,1*؅ཧ΍τϥοΩϯάʹ͸طଘπʔϧΛ࢖͏
  10. VTFSGFBUVSFT w Ϣʔβʔ͝ͱʹద༻͞Ε͍ͯΔػೳͷ૊Έ߹ΘͤΛऔಘ w ΦϑϥΠϯ࣌ʹɺ࠷ޙʹ௨৴੒ޭͨ͠৔߹ͷ஋Λ࠶ར༻ w ۙʑͰ੒ޭͯ͠ͳ͍࣌͸ػೳΛແޮԽ w ΞϓϦ͕όοΫάϥ΢ϯυ͔Β෮ؼͨ͠Β࠶औಘ ͳͲͳͲ

    
 ϞόΠϧͷաࠅͳ؀ڥʹ଱͑Δػೳ
  11. w ZBNMͰઃఆΛॻ͍͓ͯ͘ͱϢʔβʔ͝ͱʹ౰ͯ͸·Δ ஋͕ฦ͞ΕΔ

  12. w ͜ͷΑ͏ͳ+40/͕ؼͬͯ͘ΔͷͰΞϓϦଆͰ࣮૷Λ੾ Γସ͑Δ w σϑΥϧτͰ͸දࣔ͠ͳ͍ͳͲࣦഊ࣌΋ࢹ໺ʹೖΕΔ “features”: { “cooking_log_android”: { “name”:

    “ྉཧه࿥”, “patterns”: { “standard”: { “name”: “ඪ४࢓༷” }, “notice_card”: { “name”: “Χʔυ൛ͷ͓஌Βͤ” }, “notice_notification”: { “name”: “௨஌൛ͷ͓஌Βͤ” }, “disable_rollout”: { “name”: “ର৅֎” }, }, “enabled”: true, “selected”: “standard” ػೳ໊ ࣗ෼ʹׂΓ౰ͯΒΕͨύλʔϯ ػೳ͝ͱͷύλʔϯͷϦετ Ϧετ͸ࣗ෼ʹׂΓ౰ͯΒΕ͍ͯΔ ΋ͷҎ֎ͷύλʔϯ΋ฦͬͯ͘Δ
  13. ͳͥ಺੡ͨ͠ͷ͔ʁ w ͢Ͱʹ͋Δ΋ͷΛར༻͍ͨ͠ w Ϣʔβʔηάϝϯτ w ϩάج൫ w ݱ࣌఺Ͱ͸Ϣʔεέʔε͕ݶΒΕ͍ͯΔ w

    ཁૉͷग़͠෼͚΍ػೳͷ੾Γସ͙͑Β͍ w 8FC͔ΒΞϓϦΛॻ͖׵͑ΔΑ͏ͳ͜ͱ͸͠ͳ͍
  14. ར༻ࣄྫ

  15. ϨγϐΤσΟλ w ඪ४͔ΜͨΜͷछྨͷΤσΟλΛ࢖ͬͯ౤ߘ཰ʹӨڹ ͕͋Δ͔Λௐ΂Δ"#ςετΛߦͬͨ w ܭଌ͸%#ʹΫΤϦΛ౤͛ͯTQSFBETIFFUͰूܭ w ͔ΜͨΜΤσΟλͷํ͕एׯ਺஋͕ѱ͍ͱ͍͏݁Ռʹʜ

  16. ϨγϐΤσΟλ

  17. ྉཧ͖Ζ͘ w ୺຤಺ͷྉཧࣸਅΛࣗಈه࿥͠ ͍ͯ͘৽ػೳΛ௥Ճ w 04ͷWFSTJPOͳͲͰߜͬͨϢʔ βʔʹର͠ެ։཰Λঃʑʹ͋͛ ͳ͕ΒϩʔϧΞ΢τ w छҎ্ͷϩάΛऔ͓ͬͯΓɺ

    ར༻ऀͷ༷ࢠΛݟͳ͕Βެ։཰ ͷௐ੔ͳͲͷରԠΛߦ͍ͬͯͨ
  18. ಋઢ௥Ճ w ৽ػೳ΁ͷಋઢΛ /PUJpDBUJPOͱ%JBMPHͱͷ ύλʔϯͰݕূ w ભҠ਺ɺڐ୚཰ɺ཭୤཰ͳ ͲΛݟͯ૯߹తʹ൑அͨ͠ ݁Ռɺ/PUJpDBUJPOͷํ͕ ʮݟ͔ͯΒڐ୚ը໘ʹભҠ

    ͢Δׂ߹͕ߴ͍ʯͱ͍͏͜ ͱ͕Θ͔ͬͨ
  19. ·ͱΊ

  20. ·ͱΊ 8FCͱಉ͡Α͏ʹ͸ग़དྷͳ͍ ͳʹΛͲ͜·Ͱ΍Γ͍͔ͨɺ ཁٻʹ͋Θͤͯ࠷దͳํ๏Λ୳ͦ͏

  21. ͋Γ͕ͱ͏͍͟͝·ͨ͠