海外スタートアップにおけるA/Bテスト基盤の紹介

2016/04/04
社内A/Bテスト勉強会

Transcript

1. ւ֎ελʔτΞοϓʹ
   ͓͚Δ"#ςετج൫ͷ঺հ (VOPTZσʔλ෼ੳ෦
   !JK@TQJU[
2. ঺հ͢ΔελʔτΞοϓ w 1JOUFSFTU
   w "JSCOC
   w -JOLFE*O
   w 5XJUUFS
3. 1JOUFSFTU w OFX
   GFBUVSFT
   w $PQZ
   UFTUJOH
   w จݴͷ࠷దԽ
   w 4&0
   DIBOHFT
   w *OGSBTUSVDUVSF
   VQEBUFT
   w όάνΣοΫ΍ಈ࡞֬ೝʹ΋ར༻͍ͯ͠Δ
4. "#ςετͷจԽΛ࡞Δ·Ͱ w HFU
   TUBSUFE
   w QSPCMFN
   QFPQMF
   NBLJOH
   CBE
   EFDJTJPOT
   w HFU
   CJH
   w QSPCMFN
   VOEFSVUJMJ[BUJPO
   w HFU
   CFUUFS
   w QSPCMFN
   HVJEBODF
   OFFEFE
   w HFU
   PVU
   w QSPCMFN
   TDBMF
   ZPVSTFMG
   w XSJUF
   EPXO
   UIF
   QSPDFTT
   w HFU
   UPPMT
   w QSPCMFN
   TJNQMF
   NJTUBLFT
5. ςετ࡞੒
6. μογϡϘʔυ
7. 1JOUFSFTUͷ"#ςετج൫ w ίϗʔτ
   w ࣌ܥྻ
   w ಠཱUݕఆ
   w (SPVQ
   7BMJEBUJPO
8. ίϗʔτ w DPVOUSZ
   HFOEFS
   VTFS
   TUBUF
   BQQ
   UZQF
   EBUF
9. ࣌ܥྻ w ςετ݁Ռ͸͕࣌ؒܦաͯ͠΋༗ޮ͔Ͳ͏͔Λݕূ
10. ಠཱUݕఆ w ޓ͍ʹಠཱͰಉҰͷ෼෍ʹै͏ͱԾఆ͍ͯ͠Δ
    
    w ࣌ܥྻάϥϑͰQ஋͕ҎԼͷ΋ͷ͸৭෇͚ͯ͠ ද͍ࣔͯ͠Δ
11. (SPVQ
    7BMJEBUJPO w ࣗಈͰάϧʔϓͷׂΓ౰্͕ͯख͍͍ͬͯ͘Δ͔Λ άϧʔϓͷαΠζͰςετ͍ͯ͠Δ
    
    w ϐΞιϯͷΧΠೋ৐ݕఆΛ࢖༻͍ͯ͠Δ
    w
    Q஋͕ҎԼͷ΋ͷ͸৭෇͚ͯ͠දࣔ
12. (SPVQ
    7BMJEBUJPO
13. ࢀߟจݙ w 4DBMBCMF
    "#
    FYQFSJNFOUT
    BU
    1JOUFSFTU
    w IUUQTFOHJOFFSJOHQJOUFSFTUDPNCMPHTDBMBCMFBCFYQFSJNFOUTQJOUFSFTU
    w 8IZ
    ZPV
    TIPVME
    CF
    "#
    UFTUJOH
    ZPVS
    JOGSBTUSVDUVSF
    w IUUQTFOHJOFFSJOHQJOUFSFTUDPNCMPHXIZZPVTIPVMECFBCUFTUJOHZPVSJOGSBTUSVDUVSF
    w 8IZ
    FWFSZUIJOH
    JT
    BO
    "#
    5FTU
    BU
    1JOUFSFTU
    w IUUQXXXTMJEFTIBSFOFU,SJTIOB(BEFXIZFWFZSUIJOHJTBOBCUFTUBUQJOUFSFTU
    w "#
    5FTUJOH
    BU
    1JOUFSFTU
    #VJMEJOH
    B
    $VMUVSF
    PG
    &YQFSJNFOUBUJPO
    w IUUQXXXTMJEFTIBSFOFU8SBOHMF$POGBCUFTUJOHBUQJOUFSFTUCVJMEJOHBDVMUVSFPG FYQFSJNFOUBUJPO
14. "JSCOC w #PPLJOH
    QSPDFTT!"JSCOC
    w "#ςετΛ͍ͭ·Ͱଓ͚Δͷ͔
    w "#ूܭج൫ը໘
    w ""ςετ
    w ςετର৅ͷܾΊํ
15. #PPLJOH
    QSPDFTT!"JSCOC w ༧໿·Ͱͷϓϩηεͱͦͷ,1*
    w Ұ൪ॏཁͳࢦඪ͸4FBSDI͔Β#PPL΁ͷ$73
16. "#ςετΛ͍ͭ·Ͱଓ͚Δͷ͔ w ͱ͋Δ"#ςετͷ݁Ռ
17. ͳͥςετΛऴྃ͠ͳ͔ͬͨͷ͔ w Ϣʔβʔ͕༧໿·Ͱߦ͏ʹ͸௕͍೔਺͕͔͔Δ
    w ϢʔβʔਃࠐˠΦʔφʔঝ୚ˠϢʔβʔ༧໿
    w ॳظϢʔβʔʹΑΔ͹Β͖͕ͭେ͖͍
    w ຖ೔1஋Λࢉग़͍ͯ͠ΔͷͰ༗ҙʹग़΍͍͢
    w ྦྷੵ
    PS
    ೔ຖ͔͸෼͔Βͳ͍͕ʜ
    w 1஋΍ࠩ෼͕ऩଋ͔ͯ͠Β൑அ͢ΔΑ͏ʹ͍ͯ͠Δ
18. ͙͢ʹޮՌͷग़ͨςετΛͲ͏ѻ͏͔ w աڈͷςετͷ݁ՌͱγϛϡϨʔγϣϯΛ༻͍ͯɺ ൑அ͢ΔͨΊͷQ஋ͷڥքઢΛ࡞੒ͨ͠
19. "#ूܭج൫ը໘
20. "#ूܭج൫ը໘ w Q஋΍ࠩ෼ͷάϥϑ
    w ऩଋ͔ͨ͠Λݟ͍ͯΔ
    w ϐϘοτ΍ίϗʔτͰߜΓࠐΈ͕Ͱ͖Δ
    w ৽نϢʔβʔ
    PS
    طଘϢʔβʔ
21. ""ςετ w "#ςετͷର৅ͷׂΓৼΓ্͕ख͍͍ͬͯ͘Δ͔ ͷݕূͷͨΊʹ΋࢖༻͍ͯ͠Δ
    w 1JOUFSFTUͷ(SPVQ
    7BMJEBUJPOͷΑ͏ͳ΋ͷʁ
    w γεςϜͷಈ͖͕͓͔͔ͬͨ͠Γɺςετ݁Ռ্͕ ख͘ߦ͖͍͗ͯ͢Δͱ͖͸஫ҙ͢Δ
    w ϩάΠϯ͍ͯ͠ͳ͍ϢʔβʔͷׂΓৼΓͰόά͕ ݟ͔ͭͬͨͱ͔
22. ςετର৅ͷܾΊํ
23. ࢀߟจݙ w &YQFSJNFOUT
    BU
    "JSCOC
    w IUUQOFSETBJSCOCDPNFYQFSJNFOUTBUBJSCOC
    w &YQFSJNFOU
    3FQPSUJOH
    'SBNFXPSL
    w IUUQOFSETBJSCOCDPNFYQFSJNFOUSFQPSUJOHGSBNFXPSL
    w "JSCOC
    ࠷΋ར༻͞Ε͍ͯΔػೳ͕ϕετͩͱ͸ݶΒͳ͍
    w IUUQXB[BOPWBKQJUFNT
    w "#ςετͷਐԽ
    w IUUQXB[BOPWBKQJUFNT
    w BJSCOCUSFCVDIFU
    w IUUQTHJUIVCDPNBJSCOCUSFCVDIFU
24. -JOLFEJO w 
    FYQFSJNFOUT
    
    EBZʢ࣌఺ʣ
    w 
    FYQFSJNFOUT
    EBZʢ೥લʣ
    w 
    NFUSJDT
    NJMMJPO
    TVNNBSZ
    SFDPSET
    w 
    NFUSJDTʢ೥લʣ
    w l8F
    SFBMJ[FE
    FBSMZ
    PO
    UIBU
    BE
    IPD
    UFTUJOH
    XPVME
    POMZ
    UBLF
    VT
    TP
    GBSz
25. "#
    UFTUT!-JOLFEJO w ϢʔβʔͷͨΊͷϓϩμΫτվળ͕໨త
    w ςετ͠ͳ͍ͱܾΊ͍ͯΔ΋ͷ
    w ϢʔβʔମݧΛଛͳ͏
    w Ϣʔβʔͷؾ෼΍ײ৘Λม͑Δ
    w Ϣʔβʔͷઃఆ΍બ୒ͨ͠΋ͷΛ্ॻ͖͢Δ
26. 9-/5 w "#
    UFTUJOH
    QMBUGPSN
    w "#ςετͷઃܭͱσϓϩΠ͕؆୯ʹͰ͖Δ
    w ίʔυϦϦʔεͱ"#ςετΛ੾Γ཭ͯ͘͠ΕΔ
    w ࣗಈूܭϨϙʔτػೳ
27. ࣗಈूܭϨϙʔτ w ೔࣌Ͱूܭ
    w ˋࠩ෼
    Q஋
    w ίϗʔτػೳ
28. $VTUPN
    &YQFSJNFOUBM
    6OJU w ήετϢʔβʔΛର৅ʹͨ͠"#ςετ౳Ͱ͖Δ
29. .FUSJDT
    :PV
    'PMMPX w ࢦඪ΁ͷӨڹͷେ͖͍ςετΛฒ΂ͯ͘ΕΔ
30. 1PTU
    &YQFSJNFOU
    1PXFS w F⒎FDU
    TJ[F͔Βݕग़ྗΛࢉग़͢Δ
    w ςετظؒʹ͍ͭͯͷΞυόΠε
    w աڈͷσʔλͱݱࡏͷσʔλ͔Βඞཁͳݕग़ྗ͕ ಘΒΕΔ·ͰͷظؒΛڭ͑ͯ͘ΕΔ
31. 1PTU
    &YQFSJNFOU
    1PXFS
32. ࢀߟจݙ w 9-/5
    1MBUGPSN
    %SJWJOH
    "#
    5FTUJOH
    BU
    -JOLFE*O
    w IUUQOFSETBJSCOCDPNFYQFSJNFOUTBUBJSCOC
    w 5IF
    &WPMVUJPO
    PG
    "#
    5FTUJOH
    1MBUGPSN
    BU
    -JOLFE*O
    w IUUQTFOHJOFFSJOHMJOLFEJODPNBCUFTUJOHFWPMVUJPOBCUFTUJOHQMBUGPSN MJOLFEJO
    w 5PQ
    'JWF
    -FTTPOT
    GSPN
    3VOOJOH
    "#
    5FTUT
    PO
    UIF
    8PSMET
    -BSHFTU
    1SPGFTTJPOBM
    /FUXPSL
    w IUUQTFOHJOFFSJOHMJOLFEJODPNCMPHUPQpWFMFTTPOTGSPNSVOOJOH BCUFTUTPOUIFXPSMETMBSHFTUQ
    w ܧଓతσϓϩΠ͕޿͕Δൣғ
    w IUUQXB[BOPWBKQJUFNT
33. %%(!5XJUUFS w B
    TZTUFN
    UIBU
    JT
    DBQBCMF
    PG
    BHHSFHBUJOH
    NBOZ
    UFSBCZUFT
    PG
    EBUB
    
    w ࢝Ίʹ࡞ΒΕͨͷ͸೥
    w )BEPPQ
    w )FSPOʢετϦʔϛϯάʣ
    w .BOIBUUBOʢ෼ࢄσʔλϕʔεʣ
34. %BUB
    QSPDFTTJOH
    QJQFMJOF w ੜϩά͔ΒϢʔβʔ͝ͱ
    ೔࣌͝ͱͰ֤ࢦඪΛूܭ
    w ΞυϗοΫͳίϗʔτʹ΋༗ޮ
35. %BUB
    QSPDFTTJOH
    QJQFMJOF w ςετσʔλͱ+0*/͢Δ
    w Ϣʔβʔ͸ෳ਺ͷςετର৅ͱͳͬͯ΋Α͍
    w ͨͩ͠࠷ॳʹࢀՃͨ͠ςετ͸ه࿥͍ͯ͠Δ
36. ςετ࡞੒ʢ8FC
    6*ʣ w ݴޠ΍ࠃ
    04ͳͲ͔Βςετର৅Λ੍ݶ͢Δ
    w ςετର৅Λࢦఆ
    w Ծઆ΍มԽ͕ظ଴͞ΕΔࢦඪΛ໌֬ʹ͢Δ
    w ͜͜Ͱఆٛ͞Εͨࢦඪ
    
    ͋Β͔͡Ί༻ҙ͞Εͯ ͍Δࢦඪ͕ूܭ͞ΕΔ
37. .FUSJD w ͋Β͔͡Ίఆٛ͞Ε͍ͯΔࢦඪ
    w 5XFFU਺
    ϩάΠϯճ਺
    w Πϕϯτ໊Ͱूܭ͞ΕΔΧ΢ϯτσʔλ
    w Πϯϙʔτσʔλ
    w ΤϯδχΞ͕ΞυϗοΫʹूܭͨ͠ࢦඪ
38. *EFOUJGZJOH
    CVDLFU
    JNCBMBODF w શମͰͷϔϧενΣοΫ
    w NVMUJOPNJBM
    HPPEOFTT
    PG
    pU
    UFTU
    w ݸʑͷόέοτ΁ͷςετ
    w CJOPNJBM
    UFTUT
    w શମͷϔϧενΣοΫ͕ࣦഊ͍ͯ͠Ε͹ߦ͏
39. 'MBHHJOH
    JOEJWJEVBM
    CVDLFUT w IFBMUIZ
    UJNF
    TFSJFT
    w VOIFBMUIZ
    UJNF
    TFSJFT
40. "#ͷظؒ w ""ςετΛར༻͍ͯ͠Δ
    w ৄࡉ͸ॻ͔Ε͓ͯΒͣ
41. ࢀߟจݙ w 5XJUUFS
    FYQFSJNFOUBUJPO
    UFDIOJDBM
    PWFSWJFX
    w IUUQTCMPHUXJUUFSDPNUXJUUFSFYQFSJNFOUBUJPOUFDIOJDBMPWFSWJFX
    w 5IF
    XIBU
    BOE
    XIZ
    PG
    QSPEVDU
    FYQFSJNFOUBUJPO
    BU
    5XJUUFS
    w IUUQTCMPHUXJUUFSDPNUIFXIBUBOEXIZPGQSPEVDUFYQFSJNFOUBUJPOBU UXJUUFS
    w %FUFDUJOH
    BOE
    BWPJEJOH
    CVDLFU
    JNCBMBODF
    JO
    "#
    UFTUT
    w IUUQTCMPHUXJUUFSDPNEFUFDUJOHBOEBWPJEJOHCVDLFUJNCBMBODFJOBCUFTUT
    w *NQMJDBUJPOT
    PG
    VTF
    PG
    NVMUJQMF
    DPOUSPMT
    JO
    BO
    "#
    UFTU
    w IUUQTCMPHUXJUUFSDPNJNQMJDBUJPOTPGVTFPGNVMUJQMFDPOUSPMTJOBOBCUFTU
42. ·ͱΊ ද 1JOUFSFTU "JSCOC -JOLFEJO 5XJUUFS ࣗಈूܭ ˓ ˓ ˓ ˓  ίϗʔτ ˓ ˓ ˓ ˓  (SPVQ
    7BMJEBUJPO ˓ ʗ ʗ ˓  Uݕఆ ˓ ˓ ˓ ˓  ςετظؒ ʗ ˓ ˓ ˓  ""ςετ ʗ ˓ ʗ ʗ  .FUSJDT
    :PV
    'PMMPX ʗ ʗ ˓ ʗ  $VTUPN
    .FUSJDT ʗ ʗ ˓ ʗ 
43. ͓·͚
44. 5PQ
    'JWF
    -FTTPOT
    GSPN
    3VOOJOH
    "#
    5FTUT
    PO
    -JOLFEJO w .FBTVSF
    POF
    DIBOHF
    BU
    B
    UJNF
    w %FDJEF
    PO
    USJHHFSFE
    VTFST
    CVU
    SFQPSU
    PO
    BMM
    VTFST
    w 5IF
    FYQFSJNFOUBM
    HSPVQ
    TIPVME
    OPU
    CF
    JOqVFODFE
    CZ
    UIF
    FYQFSJNFOU
    PVUDPNFT
    w "WPJE
    DPVQMJOH
    B
    NBSLFUJOH
    DBNQBJHO
    XJUI
    BO
    "#
    UFTU
    w 6TF
    B
    TJNQMF
    SVMF
    PG
    UIVNC
    UP
    BEESFTT
    NVMUJQMF
    UFTUJOH
    QSPCMFNT