Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Gunosy分析チームとA/Bテスト運用 #MLCT /ab-testing-in-gusnoy
Search
ysekky
December 15, 2015
1
3.7k
Gunosy分析チームとA/Bテスト運用 #MLCT /ab-testing-in-gusnoy
ysekky
December 15, 2015
Tweet
Share
More Decks by ysekky
See All by ysekky
スタートアップの開発サイクルに学ぶ 研究活動の進め方 / research practices inspired by startup business strategy
ysekky
0
2.2k
[論文紹介] A Method to Anonymize Business Metrics to Publishing Implicit Feedback Datasets (Recsys2020) / recsys20-reading-gunosy-datapub
ysekky
3
2.7k
JSAI2020 OS-12 広告とAI オープニング / JSAI2020-OS-12-ads-and-ai-opening
ysekky
0
2.1k
JSAI2020インダストリアルセッション - Gunosyにおける研究開発 / jsai2020-gunosy-rd-examples
ysekky
1
760
ウェブサービス事業者における研究開発インターン[株式会社Gunosy] - テキストアナリティクスシンポジウム2019 / research-intern-case-study-at-gunosy
ysekky
0
2.8k
Gunosyにおけるニュース記事推薦/ news-recommendation-in-gunosy-webdbf2019
ysekky
1
1.5k
DEIM2019技術報告セッション - Gunosyの研究開発 / deim-2019-sponsor-session-gunosy-research
ysekky
0
1.1k
Analysis of Bias in Gathering Information Between User Attributes in News Application (ABCCS 2018)
ysekky
1
2.3k
世代による政治ニュース記事の閲覧傾向の違いの分析 - JSAI2018 / Analysis of differences in viewing behavior of politics news by age
ysekky
0
3.9k
Featured
See All Featured
Being A Developer After 40
akosma
90
590k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
980
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
181
54k
How to Ace a Technical Interview
jacobian
278
23k
Speed Design
sergeychernyshev
32
1k
BBQ
matthewcrist
89
9.7k
Rails Girls Zürich Keynote
gr2m
95
14k
Site-Speed That Sticks
csswizardry
10
690
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.4k
How to Think Like a Performance Engineer
csswizardry
25
1.7k
Transcript
About Gunosy Data Analysis Team? @ysekky_ 2015/12/15 Machine Learning Casual
Talks #4
about • Yoshifumi Seki • גࣜձࣾGunosy։ൃຊ෦σʔλੳ෦ • Ϣʔβߦಈੳ, هࣄ৴ϩδοΫߏங •
౦ژେֶେֶӃത࢜ޙظ՝ఔࡏֶத • Ϣʔβߦಈੳ, ίϯςϯπධՁ • ΞΠυϧϮλΫ/কع/ຊञ
ࠓͷ • σʔλੳ෦νʔϜ͕ͲΜͳ͜ͱΛ͍ͬͯΔ͔ • σʔλੳνʔϜʹؔ͢Δϊϋ͕গͳ͍ • ͱ͜ΖͯΜ͞Μͷσϒαϛळͷൃද • Θ͔Δ •
͜͏͍͏ͷͬͱΦʔϓϯʹͯ͠ڞ༗͍ͯٞͨ͠͠ • ͔ͩΒΒެ։͠·͢ • ࣌ؒͳ͗͢͞ΔͷͰ֓ཁͱA/Bςετཧͷํ๏ʹ͍ͭͯ
σʔλੳ෦ʹ͍ͭͯ • ߏ • 5໊+ΞϧόΠτ2໊ • ओͳۀ • هࣄ৴ϩδοΫͷ։ൃ •
KPIͷઃܭɾੳ • KPIμογϡϘʔυͷ࡞ • ࢪࡦͷੳ४උͱ݁Ռੳ • Ϣʔβߦಈੳ
ओʹͬͯΔαʔϏεπʔϧ • Github • Django+HighChartsʹΑΔࣾDashBoard • Մೳͳ͔͗ΓࡉԽՄೳʹͯ͠༻ҙ • csvμϯϩʔυՄೳʹͯ͠෦ॺ֎ͷਓ͕ੳͰ͖ΔΑ͏ʹ͢Δ •
ipython notebook • Trello • redash • ఆৗूܭ෦ॺ֎ͷਓʹSQLͯͬͯ͠Β͏ • ͍͍ͪͪόονUI༻ҙ͢ΔͷΊΜͲ͍͘͞
ҎલͷਐΊํ MLCT #2ΑΓ
՝ • ৫ͷن͕େ͖͘ͳͬͨ • Ͳ͜ͰͳΜͷࢪࡦΛ͍ͬͯΔ͔ݟ͑ͮΒ͘ͳͬͨ • ͳʹ͕ͲͷʹӨڹ͍ͯ͠Δ͔ෳࡶԽ͍ͯ͠Δ • αʔϏεن͕େ͖͘ͳͬͯͪΐͬͱͷϛε͕Өڹ͢ΔΑ͏ ʹͳͬͨ
• վળεϐʔυԼ͛ͨ͘ͳ͍
Github issueʹΑΔA/Bςετཧ issueͰA/BςετͷਐḿΛཧͯ͠Δ
Github issueʹΑΔA/Bςετཧ • త • ͳʹΛతͱͨ͠ͲΜͳςετͳͷ͔ • ܭը • ͲͷϢʔβʹఏڙͯ͠ͲͷΛ͏͔
• ܦաϩά • ͍ͭͲͷΑ͏ͳ݁ՌʹΑͬͯͲͷΑ͏ͳҙࢥܾఆΛ͔ͨ͠
Github issueʹΑΔA/Bςετཧ
Github issueʹΑΔA/Bςετཧ
Github issueʹΑΔA/Bςετཧ
ػೳͷϦϦʔεϑϩʔ 1. 5%ެ։ɺத2Ҏ্ (มߋͨ͠ϩδοΫʹΫϦςΟΧϧͳόά͕ͳ͍͔ͷνΣοΫ) 2. 10%ެ։ɺத2Ҏ্ (มߋͨ͠ϩδοΫʹΫϦςΟΧϧͳѱӨڹ͕ͳ͍͔ͷνΣοΫ) 3. 20%ެ։ɺத3Ҏ্ (มߋͨ͠ϩδοΫ͕తKPIΛվળ͍ͯ͠Δ͔ͷνΣοΫ)
4. 40%ެ։ɺத5Ҏ্ (มߋͨ͠ϩδοΫ͕తKPIΛվળ͍ͯ͠Δ͔ɺܧଓʹѱӨ ڹΛٴ΅͍ͯ͠ͳ͍͔ͷνΣοΫ) 5. 80%ެ։ɺத3Ҏ্ (ରൣғΛ֦େͯ͠ͷతKPIͷվળΛҡ͍࣋ͯ͠Δ͔ɺܧ ଓʹѱӨڹΛٴ΅͍ͯ͠ͳ͍͔ͷνΣοΫ) 6. 100%ެ։
·ͱΊͱ͜Ε͔Βͷ՝ • ਓ͕૿͑ͯେ͖͘ͳͬͯ͘Δͱϧʔϧ͕ඞཁʹͳͬͯ͘Δ • ͳʹΛ͍ͬͯΔͷ͔ΛͻͱʹΘ͔ΔΑ͏ʹ • ΛԼ͛ͨ͘ͳ͍ͷͰΈͰ҆શͳ΄͏ʹ͍ͬͯ͘ • ΠςϨʔγϣϯͷΛ͍͋͛ͨ •
ूܭͷࣗಈԽ • ࣮ͷ݈શԽ • ϊϋڞ༗ͯٞͯ͠͠ΑΓΑ͍σʔλੳ෦࡞Γ͍ͨ • σʔλੳ෦తேձʹ͍ͭͯ • KPIπʔϧͷ࡞Γํ • ੳґཔͱͷઓ͍ํ • ΫϥΠΞϯτΞϓϦͷϩάઃܭ