Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Gunosy分析チームとA/Bテスト運用 #MLCT /ab-testing-in-gusnoy
Search
ysekky
December 15, 2015
1
3.5k
Gunosy分析チームとA/Bテスト運用 #MLCT /ab-testing-in-gusnoy
ysekky
December 15, 2015
Tweet
Share
More Decks by ysekky
See All by ysekky
スタートアップの開発サイクルに学ぶ 研究活動の進め方 / research practices inspired by startup business strategy
ysekky
0
1.7k
[論文紹介] A Method to Anonymize Business Metrics to Publishing Implicit Feedback Datasets (Recsys2020) / recsys20-reading-gunosy-datapub
ysekky
3
2.4k
JSAI2020 OS-12 広告とAI オープニング / JSAI2020-OS-12-ads-and-ai-opening
ysekky
0
1.8k
JSAI2020インダストリアルセッション - Gunosyにおける研究開発 / jsai2020-gunosy-rd-examples
ysekky
1
700
ウェブサービス事業者における研究開発インターン[株式会社Gunosy] - テキストアナリティクスシンポジウム2019 / research-intern-case-study-at-gunosy
ysekky
0
2.4k
Gunosyにおけるニュース記事推薦/ news-recommendation-in-gunosy-webdbf2019
ysekky
1
1.2k
DEIM2019技術報告セッション - Gunosyの研究開発 / deim-2019-sponsor-session-gunosy-research
ysekky
0
840
Analysis of Bias in Gathering Information Between User Attributes in News Application (ABCCS 2018)
ysekky
1
2.1k
世代による政治ニュース記事の閲覧傾向の違いの分析 - JSAI2018 / Analysis of differences in viewing behavior of politics news by age
ysekky
0
3.7k
Featured
See All Featured
Build The Right Thing And Hit Your Dates
maggiecrowley
23
1.9k
Learning to Love Humans: Emotional Interface Design
aarron
266
39k
Rails Girls Zürich Keynote
gr2m
91
13k
4 Signs Your Business is Dying
shpigford
174
21k
How to train your dragon (web standard)
notwaldorf
71
5.1k
How STYLIGHT went responsive
nonsquared
92
4.7k
Optimizing for Happiness
mojombo
369
69k
WebSockets: Embracing the real-time Web
robhawkes
59
6.9k
Rebuilding a faster, lazier Slack
samanthasiow
72
8.2k
No one is an island. Learnings from fostering a developers community.
thoeni
14
2k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
124
32k
How to name files
jennybc
62
92k
Transcript
About Gunosy Data Analysis Team? @ysekky_ 2015/12/15 Machine Learning Casual
Talks #4
about • Yoshifumi Seki • גࣜձࣾGunosy։ൃຊ෦σʔλੳ෦ • Ϣʔβߦಈੳ, هࣄ৴ϩδοΫߏங •
౦ژେֶେֶӃത࢜ޙظ՝ఔࡏֶத • Ϣʔβߦಈੳ, ίϯςϯπධՁ • ΞΠυϧϮλΫ/কع/ຊञ
ࠓͷ • σʔλੳ෦νʔϜ͕ͲΜͳ͜ͱΛ͍ͬͯΔ͔ • σʔλੳνʔϜʹؔ͢Δϊϋ͕গͳ͍ • ͱ͜ΖͯΜ͞Μͷσϒαϛळͷൃද • Θ͔Δ •
͜͏͍͏ͷͬͱΦʔϓϯʹͯ͠ڞ༗͍ͯٞͨ͠͠ • ͔ͩΒΒެ։͠·͢ • ࣌ؒͳ͗͢͞ΔͷͰ֓ཁͱA/Bςετཧͷํ๏ʹ͍ͭͯ
σʔλੳ෦ʹ͍ͭͯ • ߏ • 5໊+ΞϧόΠτ2໊ • ओͳۀ • هࣄ৴ϩδοΫͷ։ൃ •
KPIͷઃܭɾੳ • KPIμογϡϘʔυͷ࡞ • ࢪࡦͷੳ४උͱ݁Ռੳ • Ϣʔβߦಈੳ
ओʹͬͯΔαʔϏεπʔϧ • Github • Django+HighChartsʹΑΔࣾDashBoard • Մೳͳ͔͗ΓࡉԽՄೳʹͯ͠༻ҙ • csvμϯϩʔυՄೳʹͯ͠෦ॺ֎ͷਓ͕ੳͰ͖ΔΑ͏ʹ͢Δ •
ipython notebook • Trello • redash • ఆৗूܭ෦ॺ֎ͷਓʹSQLͯͬͯ͠Β͏ • ͍͍ͪͪόονUI༻ҙ͢ΔͷΊΜͲ͍͘͞
ҎલͷਐΊํ MLCT #2ΑΓ
՝ • ৫ͷن͕େ͖͘ͳͬͨ • Ͳ͜ͰͳΜͷࢪࡦΛ͍ͬͯΔ͔ݟ͑ͮΒ͘ͳͬͨ • ͳʹ͕ͲͷʹӨڹ͍ͯ͠Δ͔ෳࡶԽ͍ͯ͠Δ • αʔϏεن͕େ͖͘ͳͬͯͪΐͬͱͷϛε͕Өڹ͢ΔΑ͏ ʹͳͬͨ
• վળεϐʔυԼ͛ͨ͘ͳ͍
Github issueʹΑΔA/Bςετཧ issueͰA/BςετͷਐḿΛཧͯ͠Δ
Github issueʹΑΔA/Bςετཧ • త • ͳʹΛతͱͨ͠ͲΜͳςετͳͷ͔ • ܭը • ͲͷϢʔβʹఏڙͯ͠ͲͷΛ͏͔
• ܦաϩά • ͍ͭͲͷΑ͏ͳ݁ՌʹΑͬͯͲͷΑ͏ͳҙࢥܾఆΛ͔ͨ͠
Github issueʹΑΔA/Bςετཧ
Github issueʹΑΔA/Bςετཧ
Github issueʹΑΔA/Bςετཧ
ػೳͷϦϦʔεϑϩʔ 1. 5%ެ։ɺத2Ҏ্ (มߋͨ͠ϩδοΫʹΫϦςΟΧϧͳόά͕ͳ͍͔ͷνΣοΫ) 2. 10%ެ։ɺத2Ҏ্ (มߋͨ͠ϩδοΫʹΫϦςΟΧϧͳѱӨڹ͕ͳ͍͔ͷνΣοΫ) 3. 20%ެ։ɺத3Ҏ্ (มߋͨ͠ϩδοΫ͕తKPIΛվળ͍ͯ͠Δ͔ͷνΣοΫ)
4. 40%ެ։ɺத5Ҏ্ (มߋͨ͠ϩδοΫ͕తKPIΛվળ͍ͯ͠Δ͔ɺܧଓʹѱӨ ڹΛٴ΅͍ͯ͠ͳ͍͔ͷνΣοΫ) 5. 80%ެ։ɺத3Ҏ্ (ରൣғΛ֦େͯ͠ͷతKPIͷվળΛҡ͍࣋ͯ͠Δ͔ɺܧ ଓʹѱӨڹΛٴ΅͍ͯ͠ͳ͍͔ͷνΣοΫ) 6. 100%ެ։
·ͱΊͱ͜Ε͔Βͷ՝ • ਓ͕૿͑ͯେ͖͘ͳͬͯ͘Δͱϧʔϧ͕ඞཁʹͳͬͯ͘Δ • ͳʹΛ͍ͬͯΔͷ͔ΛͻͱʹΘ͔ΔΑ͏ʹ • ΛԼ͛ͨ͘ͳ͍ͷͰΈͰ҆શͳ΄͏ʹ͍ͬͯ͘ • ΠςϨʔγϣϯͷΛ͍͋͛ͨ •
ूܭͷࣗಈԽ • ࣮ͷ݈શԽ • ϊϋڞ༗ͯٞͯ͠͠ΑΓΑ͍σʔλੳ෦࡞Γ͍ͨ • σʔλੳ෦తேձʹ͍ͭͯ • KPIπʔϧͷ࡞Γํ • ੳґཔͱͷઓ͍ํ • ΫϥΠΞϯτΞϓϦͷϩάઃܭ