Save 37% off PRO during our Black Friday Sale! »

海外スタートアップにおけるA/Bテスト基盤の紹介

24a9590ddc0cd89f41a902f87c024eaf?s=47 ij_spitz
April 04, 2016

 海外スタートアップにおけるA/Bテスト基盤の紹介

2016/04/04
社内A/Bテスト勉強会

24a9590ddc0cd89f41a902f87c024eaf?s=128

ij_spitz

April 04, 2016
Tweet

Transcript

  1. ւ֎ελʔτΞοϓʹ ͓͚Δ"#ςετج൫ͷ঺հ (VOPTZσʔλ෼ੳ෦ !JK@TQJU[

  2. ঺հ͢ΔελʔτΞοϓ w 1JOUFSFTU w "JSCOC w -JOLFE*O w 5XJUUFS

  3. 1JOUFSFTU w OFXGFBUVSFT w $PQZUFTUJOH w จݴͷ࠷దԽ w 4&0DIBOHFT w

    *OGSBTUSVDUVSFVQEBUFT w όάνΣοΫ΍ಈ࡞֬ೝʹ΋ར༻͍ͯ͠Δ
  4. "#ςετͷจԽΛ࡞Δ·Ͱ w HFUTUBSUFE w QSPCMFNQFPQMFNBLJOHCBEEFDJTJPOT w HFUCJH w QSPCMFNVOEFSVUJMJ[BUJPO w

    HFUCFUUFS w QSPCMFNHVJEBODFOFFEFE w HFUPVU w QSPCMFNTDBMFZPVSTFMG w XSJUFEPXOUIFQSPDFTT w HFUUPPMT w QSPCMFNTJNQMFNJTUBLFT
  5. ςετ࡞੒

  6. μογϡϘʔυ

  7. 1JOUFSFTUͷ"#ςετج൫ w ίϗʔτ w ࣌ܥྻ w ಠཱUݕఆ w (SPVQ7BMJEBUJPO

  8. ίϗʔτ w DPVOUSZ HFOEFS VTFSTUBUF BQQUZQF EBUF

  9. ࣌ܥྻ w ςετ݁Ռ͸͕࣌ؒܦաͯ͠΋༗ޮ͔Ͳ͏͔Λݕূ

  10. ಠཱUݕఆ w ޓ͍ʹಠཱͰಉҰͷ෼෍ʹै͏ͱԾఆ͍ͯ͠Δ w ࣌ܥྻάϥϑͰQ஋͕ҎԼͷ΋ͷ͸৭෇͚ͯ͠ ද͍ࣔͯ͠Δ

  11. (SPVQ7BMJEBUJPO w ࣗಈͰάϧʔϓͷׂΓ౰্͕ͯख͍͍ͬͯ͘Δ͔Λ άϧʔϓͷαΠζͰςετ͍ͯ͠Δ w ϐΞιϯͷΧΠೋ৐ݕఆΛ࢖༻͍ͯ͠Δ w Q஋͕ҎԼͷ΋ͷ͸৭෇͚ͯ͠දࣔ

  12. (SPVQ7BMJEBUJPO

  13. ࢀߟจݙ w 4DBMBCMF"#FYQFSJNFOUTBU1JOUFSFTU w IUUQTFOHJOFFSJOHQJOUFSFTUDPNCMPHTDBMBCMFBCFYQFSJNFOUTQJOUFSFTU w 8IZZPVTIPVMECF"#UFTUJOHZPVSJOGSBTUSVDUVSF w IUUQTFOHJOFFSJOHQJOUFSFTUDPNCMPHXIZZPVTIPVMECFBCUFTUJOHZPVSJOGSBTUSVDUVSF w

    8IZFWFSZUIJOHJTBO"#5FTUBU1JOUFSFTU w IUUQXXXTMJEFTIBSFOFU,SJTIOB(BEFXIZFWFZSUIJOHJTBOBCUFTUBUQJOUFSFTU w "#5FTUJOHBU1JOUFSFTU#VJMEJOHB$VMUVSFPG &YQFSJNFOUBUJPO w IUUQXXXTMJEFTIBSFOFU8SBOHMF$POGBCUFTUJOHBUQJOUFSFTUCVJMEJOHBDVMUVSFPG FYQFSJNFOUBUJPO
  14. "JSCOC w #PPLJOHQSPDFTT!"JSCOC w "#ςετΛ͍ͭ·Ͱଓ͚Δͷ͔ w "#ूܭج൫ը໘ w ""ςετ w

    ςετର৅ͷܾΊํ
  15. #PPLJOHQSPDFTT!"JSCOC w ༧໿·Ͱͷϓϩηεͱͦͷ,1* w Ұ൪ॏཁͳࢦඪ͸4FBSDI͔Β#PPL΁ͷ$73

  16. "#ςετΛ͍ͭ·Ͱଓ͚Δͷ͔ w ͱ͋Δ"#ςετͷ݁Ռ

  17. ͳͥςετΛऴྃ͠ͳ͔ͬͨͷ͔ w Ϣʔβʔ͕༧໿·Ͱߦ͏ʹ͸௕͍೔਺͕͔͔Δ w ϢʔβʔਃࠐˠΦʔφʔঝ୚ˠϢʔβʔ༧໿ w ॳظϢʔβʔʹΑΔ͹Β͖͕ͭେ͖͍ w ຖ೔1஋Λࢉग़͍ͯ͠ΔͷͰ༗ҙʹग़΍͍͢ w

    ྦྷੵPS೔ຖ͔͸෼͔Βͳ͍͕ʜ w 1஋΍ࠩ෼͕ऩଋ͔ͯ͠Β൑அ͢ΔΑ͏ʹ͍ͯ͠Δ
  18. ͙͢ʹޮՌͷग़ͨςετΛͲ͏ѻ͏͔ w աڈͷςετͷ݁ՌͱγϛϡϨʔγϣϯΛ༻͍ͯɺ ൑அ͢ΔͨΊͷQ஋ͷڥքઢΛ࡞੒ͨ͠

  19. "#ूܭج൫ը໘

  20. "#ूܭج൫ը໘ w Q஋΍ࠩ෼ͷάϥϑ w ऩଋ͔ͨ͠Λݟ͍ͯΔ w ϐϘοτ΍ίϗʔτͰߜΓࠐΈ͕Ͱ͖Δ w ৽نϢʔβʔPSطଘϢʔβʔ

  21. ""ςετ w "#ςετͷର৅ͷׂΓৼΓ্͕ख͍͍ͬͯ͘Δ͔ ͷݕূͷͨΊʹ΋࢖༻͍ͯ͠Δ w 1JOUFSFTUͷ(SPVQ7BMJEBUJPOͷΑ͏ͳ΋ͷʁ w γεςϜͷಈ͖͕͓͔͔ͬͨ͠Γɺςετ݁Ռ্͕ ख͘ߦ͖͍͗ͯ͢Δͱ͖͸஫ҙ͢Δ w

    ϩάΠϯ͍ͯ͠ͳ͍ϢʔβʔͷׂΓৼΓͰόά͕ ݟ͔ͭͬͨͱ͔
  22. ςετର৅ͷܾΊํ

  23. ࢀߟจݙ w &YQFSJNFOUTBU"JSCOC w IUUQOFSETBJSCOCDPNFYQFSJNFOUTBUBJSCOC w &YQFSJNFOU3FQPSUJOH'SBNFXPSL w IUUQOFSETBJSCOCDPNFYQFSJNFOUSFQPSUJOHGSBNFXPSL w

    "JSCOC࠷΋ར༻͞Ε͍ͯΔػೳ͕ϕετͩͱ͸ݶΒͳ͍ w IUUQXB[BOPWBKQJUFNT w "#ςετͷਐԽ w IUUQXB[BOPWBKQJUFNT w BJSCOCUSFCVDIFU w IUUQTHJUIVCDPNBJSCOCUSFCVDIFU
  24. -JOLFEJO w FYQFSJNFOUTEBZʢ࣌఺ʣ w FYQFSJNFOUTEBZʢ೥લʣ w NFUSJDT NJMMJPOTVNNBSZSFDPSET w NFUSJDTʢ೥લʣ

    w l8FSFBMJ[FEFBSMZPOUIBUBEIPDUFTUJOH XPVMEPOMZUBLFVTTPGBSz
  25. "#UFTUT!-JOLFEJO w ϢʔβʔͷͨΊͷϓϩμΫτվળ͕໨త w ςετ͠ͳ͍ͱܾΊ͍ͯΔ΋ͷ w ϢʔβʔମݧΛଛͳ͏ w Ϣʔβʔͷؾ෼΍ײ৘Λม͑Δ w

    Ϣʔβʔͷઃఆ΍બ୒ͨ͠΋ͷΛ্ॻ͖͢Δ
  26. 9-/5 w "#UFTUJOHQMBUGPSN w "#ςετͷઃܭͱσϓϩΠ͕؆୯ʹͰ͖Δ w ίʔυϦϦʔεͱ"#ςετΛ੾Γ཭ͯ͘͠ΕΔ w ࣗಈूܭϨϙʔτػೳ

  27. ࣗಈूܭϨϙʔτ w ೔࣌Ͱूܭ w ˋࠩ෼ Q஋ w ίϗʔτػೳ

  28. $VTUPN&YQFSJNFOUBM6OJU w ήετϢʔβʔΛର৅ʹͨ͠"#ςετ౳Ͱ͖Δ

  29. .FUSJDT:PV'PMMPX w ࢦඪ΁ͷӨڹͷେ͖͍ςετΛฒ΂ͯ͘ΕΔ

  30. 1PTU&YQFSJNFOU1PXFS w F⒎FDUTJ[F͔Βݕग़ྗΛࢉग़͢Δ w ςετظؒʹ͍ͭͯͷΞυόΠε w աڈͷσʔλͱݱࡏͷσʔλ͔Βඞཁͳݕग़ྗ͕ ಘΒΕΔ·ͰͷظؒΛڭ͑ͯ͘ΕΔ

  31. 1PTU&YQFSJNFOU1PXFS

  32. ࢀߟจݙ w 9-/51MBUGPSN%SJWJOH"#5FTUJOHBU-JOLFE*O w IUUQOFSETBJSCOCDPNFYQFSJNFOUTBUBJSCOC w 5IF&WPMVUJPOPG"#5FTUJOH1MBUGPSNBU-JOLFE*O w IUUQTFOHJOFFSJOHMJOLFEJODPNBCUFTUJOHFWPMVUJPOBCUFTUJOHQMBUGPSN MJOLFEJO

    w 5PQ'JWF-FTTPOTGSPN3VOOJOH"#5FTUTPOUIF 8PSMET-BSHFTU1SPGFTTJPOBM/FUXPSL w IUUQTFOHJOFFSJOHMJOLFEJODPNCMPHUPQpWFMFTTPOTGSPNSVOOJOH BCUFTUTPOUIFXPSMETMBSHFTUQ w ܧଓతσϓϩΠ͕޿͕Δൣғ w IUUQXB[BOPWBKQJUFNT
  33. %%(!5XJUUFS w BTZTUFNUIBUJTDBQBCMFPGBHHSFHBUJOHNBOZ UFSBCZUFTPGEBUB w ࢝Ίʹ࡞ΒΕͨͷ͸೥ w )BEPPQ w )FSPOʢετϦʔϛϯάʣ

    w .BOIBUUBOʢ෼ࢄσʔλϕʔεʣ
  34. %BUBQSPDFTTJOHQJQFMJOF w ੜϩά͔ΒϢʔβʔ͝ͱ ೔࣌͝ͱͰ֤ࢦඪΛूܭ w ΞυϗοΫͳίϗʔτʹ΋༗ޮ

  35. %BUBQSPDFTTJOHQJQFMJOF w ςετσʔλͱ+0*/͢Δ w Ϣʔβʔ͸ෳ਺ͷςετର৅ͱͳͬͯ΋Α͍ w ͨͩ͠࠷ॳʹࢀՃͨ͠ςετ͸ه࿥͍ͯ͠Δ

  36. ςετ࡞੒ʢ8FC6*ʣ w ݴޠ΍ࠃ 04ͳͲ͔Βςετର৅Λ੍ݶ͢Δ w ςετର৅Λࢦఆ w Ծઆ΍มԽ͕ظ଴͞ΕΔࢦඪΛ໌֬ʹ͢Δ w ͜͜Ͱఆٛ͞Εͨࢦඪ

    ͋Β͔͡Ί༻ҙ͞Εͯ ͍Δࢦඪ͕ूܭ͞ΕΔ
  37. .FUSJD w ͋Β͔͡Ίఆٛ͞Ε͍ͯΔࢦඪ w 5XFFU਺ ϩάΠϯճ਺ w Πϕϯτ໊Ͱूܭ͞ΕΔΧ΢ϯτσʔλ w Πϯϙʔτσʔλ

    w ΤϯδχΞ͕ΞυϗοΫʹूܭͨ͠ࢦඪ
  38. *EFOUJGZJOHCVDLFUJNCBMBODF w શମͰͷϔϧενΣοΫ w NVMUJOPNJBMHPPEOFTTPGpUUFTU w ݸʑͷόέοτ΁ͷςετ w CJOPNJBMUFTUT w

    શମͷϔϧενΣοΫ͕ࣦഊ͍ͯ͠Ε͹ߦ͏
  39. 'MBHHJOHJOEJWJEVBMCVDLFUT w IFBMUIZUJNFTFSJFT w VOIFBMUIZUJNFTFSJFT

  40. "#ͷظؒ w ""ςετΛར༻͍ͯ͠Δ w ৄࡉ͸ॻ͔Ε͓ͯΒͣ

  41. ࢀߟจݙ w 5XJUUFSFYQFSJNFOUBUJPOUFDIOJDBMPWFSWJFX w IUUQTCMPHUXJUUFSDPNUXJUUFSFYQFSJNFOUBUJPOUFDIOJDBMPWFSWJFX w 5IFXIBUBOEXIZPGQSPEVDUFYQFSJNFOUBUJPOBU 5XJUUFS w IUUQTCMPHUXJUUFSDPNUIFXIBUBOEXIZPGQSPEVDUFYQFSJNFOUBUJPOBU

    UXJUUFS w %FUFDUJOHBOEBWPJEJOHCVDLFUJNCBMBODFJO"# UFTUT w IUUQTCMPHUXJUUFSDPNEFUFDUJOHBOEBWPJEJOHCVDLFUJNCBMBODFJOBCUFTUT w *NQMJDBUJPOTPGVTFPGNVMUJQMFDPOUSPMTJOBO"#UFTU w IUUQTCMPHUXJUUFSDPNJNQMJDBUJPOTPGVTFPGNVMUJQMFDPOUSPMTJOBOBCUFTU
  42. ·ͱΊ ද 1JOUFSFTU "JSCOC -JOLFEJO 5XJUUFS ࣗಈूܭ ˓ ˓ ˓

    ˓  ίϗʔτ ˓ ˓ ˓ ˓  (SPVQ 7BMJEBUJPO ˓ ʗ ʗ ˓  Uݕఆ ˓ ˓ ˓ ˓  ςετظؒ ʗ ˓ ˓ ˓  ""ςετ ʗ ˓ ʗ ʗ  .FUSJDT:PV 'PMMPX ʗ ʗ ˓ ʗ  $VTUPN .FUSJDT ʗ ʗ ˓ ʗ 
  43. ͓·͚

  44. 5PQ'JWF-FTTPOTGSPN 3VOOJOH"#5FTUTPO-JOLFEJO w .FBTVSFPOFDIBOHFBUBUJNF w %FDJEFPOUSJHHFSFEVTFST CVUSFQPSUPOBMMVTFST w 5IFFYQFSJNFOUBMHSPVQTIPVMEOPUCFJOqVFODFECZUIF FYQFSJNFOUPVUDPNFT

    w "WPJEDPVQMJOHBNBSLFUJOHDBNQBJHOXJUIBO"#UFTU w 6TFBTJNQMFSVMFPGUIVNCUPBEESFTTNVMUJQMFUFTUJOH QSPCMFNT