Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Gunosy分析チームとA/Bテスト運用 #MLCT /ab-testing-in-gusnoy
Search
ysekky
December 15, 2015
1
3.5k
Gunosy分析チームとA/Bテスト運用 #MLCT /ab-testing-in-gusnoy
ysekky
December 15, 2015
Tweet
Share
More Decks by ysekky
See All by ysekky
スタートアップの開発サイクルに学ぶ 研究活動の進め方 / research practices inspired by startup business strategy
ysekky
0
1.6k
[論文紹介] A Method to Anonymize Business Metrics to Publishing Implicit Feedback Datasets (Recsys2020) / recsys20-reading-gunosy-datapub
ysekky
3
2.4k
JSAI2020 OS-12 広告とAI オープニング / JSAI2020-OS-12-ads-and-ai-opening
ysekky
0
1.8k
JSAI2020インダストリアルセッション - Gunosyにおける研究開発 / jsai2020-gunosy-rd-examples
ysekky
1
700
ウェブサービス事業者における研究開発インターン[株式会社Gunosy] - テキストアナリティクスシンポジウム2019 / research-intern-case-study-at-gunosy
ysekky
0
2.4k
Gunosyにおけるニュース記事推薦/ news-recommendation-in-gunosy-webdbf2019
ysekky
1
1.2k
DEIM2019技術報告セッション - Gunosyの研究開発 / deim-2019-sponsor-session-gunosy-research
ysekky
0
830
Analysis of Bias in Gathering Information Between User Attributes in News Application (ABCCS 2018)
ysekky
1
2.1k
世代による政治ニュース記事の閲覧傾向の違いの分析 - JSAI2018 / Analysis of differences in viewing behavior of politics news by age
ysekky
0
3.6k
Featured
See All Featured
Designing the Hi-DPI Web
ddemaree
275
33k
Six Lessons from altMBA
skipperchong
19
2.9k
Code Reviewing Like a Champion
maltzj
512
39k
Designing on Purpose - Digital PM Summit 2013
jponch
109
6.4k
Optimising Largest Contentful Paint
csswizardry
7
2.3k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
4
1.4k
Reflections from 52 weeks, 52 projects
jeffersonlam
343
19k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
272
12k
Building Flexible Design Systems
yeseniaperezcruz
317
37k
Designing with Data
zakiwarfel
94
4.8k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
18
1.7k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
6
930
Transcript
About Gunosy Data Analysis Team? @ysekky_ 2015/12/15 Machine Learning Casual
Talks #4
about • Yoshifumi Seki • גࣜձࣾGunosy։ൃຊ෦σʔλੳ෦ • Ϣʔβߦಈੳ, هࣄ৴ϩδοΫߏங •
౦ژେֶେֶӃത࢜ޙظ՝ఔࡏֶத • Ϣʔβߦಈੳ, ίϯςϯπධՁ • ΞΠυϧϮλΫ/কع/ຊञ
ࠓͷ • σʔλੳ෦νʔϜ͕ͲΜͳ͜ͱΛ͍ͬͯΔ͔ • σʔλੳνʔϜʹؔ͢Δϊϋ͕গͳ͍ • ͱ͜ΖͯΜ͞Μͷσϒαϛळͷൃද • Θ͔Δ •
͜͏͍͏ͷͬͱΦʔϓϯʹͯ͠ڞ༗͍ͯٞͨ͠͠ • ͔ͩΒΒެ։͠·͢ • ࣌ؒͳ͗͢͞ΔͷͰ֓ཁͱA/Bςετཧͷํ๏ʹ͍ͭͯ
σʔλੳ෦ʹ͍ͭͯ • ߏ • 5໊+ΞϧόΠτ2໊ • ओͳۀ • هࣄ৴ϩδοΫͷ։ൃ •
KPIͷઃܭɾੳ • KPIμογϡϘʔυͷ࡞ • ࢪࡦͷੳ४උͱ݁Ռੳ • Ϣʔβߦಈੳ
ओʹͬͯΔαʔϏεπʔϧ • Github • Django+HighChartsʹΑΔࣾDashBoard • Մೳͳ͔͗ΓࡉԽՄೳʹͯ͠༻ҙ • csvμϯϩʔυՄೳʹͯ͠෦ॺ֎ͷਓ͕ੳͰ͖ΔΑ͏ʹ͢Δ •
ipython notebook • Trello • redash • ఆৗूܭ෦ॺ֎ͷਓʹSQLͯͬͯ͠Β͏ • ͍͍ͪͪόονUI༻ҙ͢ΔͷΊΜͲ͍͘͞
ҎલͷਐΊํ MLCT #2ΑΓ
՝ • ৫ͷن͕େ͖͘ͳͬͨ • Ͳ͜ͰͳΜͷࢪࡦΛ͍ͬͯΔ͔ݟ͑ͮΒ͘ͳͬͨ • ͳʹ͕ͲͷʹӨڹ͍ͯ͠Δ͔ෳࡶԽ͍ͯ͠Δ • αʔϏεن͕େ͖͘ͳͬͯͪΐͬͱͷϛε͕Өڹ͢ΔΑ͏ ʹͳͬͨ
• վળεϐʔυԼ͛ͨ͘ͳ͍
Github issueʹΑΔA/Bςετཧ issueͰA/BςετͷਐḿΛཧͯ͠Δ
Github issueʹΑΔA/Bςετཧ • త • ͳʹΛతͱͨ͠ͲΜͳςετͳͷ͔ • ܭը • ͲͷϢʔβʹఏڙͯ͠ͲͷΛ͏͔
• ܦաϩά • ͍ͭͲͷΑ͏ͳ݁ՌʹΑͬͯͲͷΑ͏ͳҙࢥܾఆΛ͔ͨ͠
Github issueʹΑΔA/Bςετཧ
Github issueʹΑΔA/Bςετཧ
Github issueʹΑΔA/Bςετཧ
ػೳͷϦϦʔεϑϩʔ 1. 5%ެ։ɺத2Ҏ্ (มߋͨ͠ϩδοΫʹΫϦςΟΧϧͳόά͕ͳ͍͔ͷνΣοΫ) 2. 10%ެ։ɺத2Ҏ্ (มߋͨ͠ϩδοΫʹΫϦςΟΧϧͳѱӨڹ͕ͳ͍͔ͷνΣοΫ) 3. 20%ެ։ɺத3Ҏ্ (มߋͨ͠ϩδοΫ͕తKPIΛվળ͍ͯ͠Δ͔ͷνΣοΫ)
4. 40%ެ։ɺத5Ҏ্ (มߋͨ͠ϩδοΫ͕తKPIΛվળ͍ͯ͠Δ͔ɺܧଓʹѱӨ ڹΛٴ΅͍ͯ͠ͳ͍͔ͷνΣοΫ) 5. 80%ެ։ɺத3Ҏ্ (ରൣғΛ֦େͯ͠ͷతKPIͷվળΛҡ͍࣋ͯ͠Δ͔ɺܧ ଓʹѱӨڹΛٴ΅͍ͯ͠ͳ͍͔ͷνΣοΫ) 6. 100%ެ։
·ͱΊͱ͜Ε͔Βͷ՝ • ਓ͕૿͑ͯେ͖͘ͳͬͯ͘Δͱϧʔϧ͕ඞཁʹͳͬͯ͘Δ • ͳʹΛ͍ͬͯΔͷ͔ΛͻͱʹΘ͔ΔΑ͏ʹ • ΛԼ͛ͨ͘ͳ͍ͷͰΈͰ҆શͳ΄͏ʹ͍ͬͯ͘ • ΠςϨʔγϣϯͷΛ͍͋͛ͨ •
ूܭͷࣗಈԽ • ࣮ͷ݈શԽ • ϊϋڞ༗ͯٞͯ͠͠ΑΓΑ͍σʔλੳ෦࡞Γ͍ͨ • σʔλੳ෦తேձʹ͍ͭͯ • KPIπʔϧͷ࡞Γํ • ੳґཔͱͷઓ͍ํ • ΫϥΠΞϯτΞϓϦͷϩάઃܭ