Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Gunosy分析チームとA/Bテスト運用 #MLCT /ab-testing-in-gusnoy
Search
ysekky
December 15, 2015
1
3.7k
Gunosy分析チームとA/Bテスト運用 #MLCT /ab-testing-in-gusnoy
ysekky
December 15, 2015
Tweet
Share
More Decks by ysekky
See All by ysekky
スタートアップの開発サイクルに学ぶ 研究活動の進め方 / research practices inspired by startup business strategy
ysekky
0
2k
[論文紹介] A Method to Anonymize Business Metrics to Publishing Implicit Feedback Datasets (Recsys2020) / recsys20-reading-gunosy-datapub
ysekky
3
2.6k
JSAI2020 OS-12 広告とAI オープニング / JSAI2020-OS-12-ads-and-ai-opening
ysekky
0
2k
JSAI2020インダストリアルセッション - Gunosyにおける研究開発 / jsai2020-gunosy-rd-examples
ysekky
1
750
ウェブサービス事業者における研究開発インターン[株式会社Gunosy] - テキストアナリティクスシンポジウム2019 / research-intern-case-study-at-gunosy
ysekky
0
2.7k
Gunosyにおけるニュース記事推薦/ news-recommendation-in-gunosy-webdbf2019
ysekky
1
1.4k
DEIM2019技術報告セッション - Gunosyの研究開発 / deim-2019-sponsor-session-gunosy-research
ysekky
0
1.1k
Analysis of Bias in Gathering Information Between User Attributes in News Application (ABCCS 2018)
ysekky
1
2.3k
世代による政治ニュース記事の閲覧傾向の違いの分析 - JSAI2018 / Analysis of differences in viewing behavior of politics news by age
ysekky
0
3.9k
Featured
See All Featured
Testing 201, or: Great Expectations
jmmastey
42
7.2k
It's Worth the Effort
3n
184
28k
Bootstrapping a Software Product
garrettdimon
PRO
306
110k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Gamification - CAS2011
davidbonilla
80
5.2k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.7k
Product Roadmaps are Hard
iamctodd
PRO
50
11k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
120k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.1k
A Modern Web Designer's Workflow
chriscoyier
693
190k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
29
1k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
4
430
Transcript
About Gunosy Data Analysis Team? @ysekky_ 2015/12/15 Machine Learning Casual
Talks #4
about • Yoshifumi Seki • גࣜձࣾGunosy։ൃຊ෦σʔλੳ෦ • Ϣʔβߦಈੳ, هࣄ৴ϩδοΫߏங •
౦ژେֶେֶӃത࢜ޙظ՝ఔࡏֶத • Ϣʔβߦಈੳ, ίϯςϯπධՁ • ΞΠυϧϮλΫ/কع/ຊञ
ࠓͷ • σʔλੳ෦νʔϜ͕ͲΜͳ͜ͱΛ͍ͬͯΔ͔ • σʔλੳνʔϜʹؔ͢Δϊϋ͕গͳ͍ • ͱ͜ΖͯΜ͞Μͷσϒαϛळͷൃද • Θ͔Δ •
͜͏͍͏ͷͬͱΦʔϓϯʹͯ͠ڞ༗͍ͯٞͨ͠͠ • ͔ͩΒΒެ։͠·͢ • ࣌ؒͳ͗͢͞ΔͷͰ֓ཁͱA/Bςετཧͷํ๏ʹ͍ͭͯ
σʔλੳ෦ʹ͍ͭͯ • ߏ • 5໊+ΞϧόΠτ2໊ • ओͳۀ • هࣄ৴ϩδοΫͷ։ൃ •
KPIͷઃܭɾੳ • KPIμογϡϘʔυͷ࡞ • ࢪࡦͷੳ४උͱ݁Ռੳ • Ϣʔβߦಈੳ
ओʹͬͯΔαʔϏεπʔϧ • Github • Django+HighChartsʹΑΔࣾDashBoard • Մೳͳ͔͗ΓࡉԽՄೳʹͯ͠༻ҙ • csvμϯϩʔυՄೳʹͯ͠෦ॺ֎ͷਓ͕ੳͰ͖ΔΑ͏ʹ͢Δ •
ipython notebook • Trello • redash • ఆৗूܭ෦ॺ֎ͷਓʹSQLͯͬͯ͠Β͏ • ͍͍ͪͪόονUI༻ҙ͢ΔͷΊΜͲ͍͘͞
ҎલͷਐΊํ MLCT #2ΑΓ
՝ • ৫ͷن͕େ͖͘ͳͬͨ • Ͳ͜ͰͳΜͷࢪࡦΛ͍ͬͯΔ͔ݟ͑ͮΒ͘ͳͬͨ • ͳʹ͕ͲͷʹӨڹ͍ͯ͠Δ͔ෳࡶԽ͍ͯ͠Δ • αʔϏεن͕େ͖͘ͳͬͯͪΐͬͱͷϛε͕Өڹ͢ΔΑ͏ ʹͳͬͨ
• վળεϐʔυԼ͛ͨ͘ͳ͍
Github issueʹΑΔA/Bςετཧ issueͰA/BςετͷਐḿΛཧͯ͠Δ
Github issueʹΑΔA/Bςετཧ • త • ͳʹΛతͱͨ͠ͲΜͳςετͳͷ͔ • ܭը • ͲͷϢʔβʹఏڙͯ͠ͲͷΛ͏͔
• ܦաϩά • ͍ͭͲͷΑ͏ͳ݁ՌʹΑͬͯͲͷΑ͏ͳҙࢥܾఆΛ͔ͨ͠
Github issueʹΑΔA/Bςετཧ
Github issueʹΑΔA/Bςετཧ
Github issueʹΑΔA/Bςετཧ
ػೳͷϦϦʔεϑϩʔ 1. 5%ެ։ɺத2Ҏ্ (มߋͨ͠ϩδοΫʹΫϦςΟΧϧͳόά͕ͳ͍͔ͷνΣοΫ) 2. 10%ެ։ɺத2Ҏ্ (มߋͨ͠ϩδοΫʹΫϦςΟΧϧͳѱӨڹ͕ͳ͍͔ͷνΣοΫ) 3. 20%ެ։ɺத3Ҏ্ (มߋͨ͠ϩδοΫ͕తKPIΛվળ͍ͯ͠Δ͔ͷνΣοΫ)
4. 40%ެ։ɺத5Ҏ্ (มߋͨ͠ϩδοΫ͕తKPIΛվળ͍ͯ͠Δ͔ɺܧଓʹѱӨ ڹΛٴ΅͍ͯ͠ͳ͍͔ͷνΣοΫ) 5. 80%ެ։ɺத3Ҏ্ (ରൣғΛ֦େͯ͠ͷతKPIͷվળΛҡ͍࣋ͯ͠Δ͔ɺܧ ଓʹѱӨڹΛٴ΅͍ͯ͠ͳ͍͔ͷνΣοΫ) 6. 100%ެ։
·ͱΊͱ͜Ε͔Βͷ՝ • ਓ͕૿͑ͯେ͖͘ͳͬͯ͘Δͱϧʔϧ͕ඞཁʹͳͬͯ͘Δ • ͳʹΛ͍ͬͯΔͷ͔ΛͻͱʹΘ͔ΔΑ͏ʹ • ΛԼ͛ͨ͘ͳ͍ͷͰΈͰ҆શͳ΄͏ʹ͍ͬͯ͘ • ΠςϨʔγϣϯͷΛ͍͋͛ͨ •
ूܭͷࣗಈԽ • ࣮ͷ݈શԽ • ϊϋڞ༗ͯٞͯ͠͠ΑΓΑ͍σʔλੳ෦࡞Γ͍ͨ • σʔλੳ෦తேձʹ͍ͭͯ • KPIπʔϧͷ࡞Γํ • ੳґཔͱͷઓ͍ํ • ΫϥΠΞϯτΞϓϦͷϩάઃܭ