Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
グノシーを支える機械学習業務プロセス
Search
ysekky
June 06, 2014
6
9.4k
グノシーを支える機械学習業務プロセス
ysekky
June 06, 2014
Tweet
Share
More Decks by ysekky
See All by ysekky
スタートアップの開発サイクルに学ぶ 研究活動の進め方 / research practices inspired by startup business strategy
ysekky
0
2k
[論文紹介] A Method to Anonymize Business Metrics to Publishing Implicit Feedback Datasets (Recsys2020) / recsys20-reading-gunosy-datapub
ysekky
3
2.6k
JSAI2020 OS-12 広告とAI オープニング / JSAI2020-OS-12-ads-and-ai-opening
ysekky
0
2k
JSAI2020インダストリアルセッション - Gunosyにおける研究開発 / jsai2020-gunosy-rd-examples
ysekky
1
750
ウェブサービス事業者における研究開発インターン[株式会社Gunosy] - テキストアナリティクスシンポジウム2019 / research-intern-case-study-at-gunosy
ysekky
0
2.7k
Gunosyにおけるニュース記事推薦/ news-recommendation-in-gunosy-webdbf2019
ysekky
1
1.4k
DEIM2019技術報告セッション - Gunosyの研究開発 / deim-2019-sponsor-session-gunosy-research
ysekky
0
1.1k
Analysis of Bias in Gathering Information Between User Attributes in News Application (ABCCS 2018)
ysekky
1
2.3k
世代による政治ニュース記事の閲覧傾向の違いの分析 - JSAI2018 / Analysis of differences in viewing behavior of politics news by age
ysekky
0
3.9k
Featured
See All Featured
Gamification - CAS2011
davidbonilla
80
5.2k
Building Flexible Design Systems
yeseniaperezcruz
328
38k
Embracing the Ebb and Flow
colly
84
4.6k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
27
1.6k
Being A Developer After 40
akosma
89
590k
Making Projects Easy
brettharned
116
6k
BBQ
matthewcrist
87
9.5k
We Have a Design System, Now What?
morganepeng
51
7.4k
Adopting Sorbet at Scale
ufuk
74
9.2k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
100
18k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
12
990
How to train your dragon (web standard)
notwaldorf
91
5.9k
Transcript
グノシーを支える ML業務プロセス YOSHIFUMI SEKI 2014.06.06 MACHINE LEARNING CASUAL TALK
自己紹介 • 関 喜史 • Gunosy Inc. 共同創業者 • 東京大学博士後期課程在籍中
• 推薦システム/コンテンツ評価/ユーザ行動分析 • グノシー • 最適な情報を最適な人にお届けするニュースアプリ • 絶賛CM放送中 • DL数 300万超え
今日の話 機械学習を用いたサービスを どのようにユーザに届けるか?
基本方針 過去データからユーザ体験の予測はできない 優劣はユーザに出してはじめて明らかになる
グノシーの機械学習タスク たくさんのURL 同一記事判定 カテゴリ推定 クオリティ予測 ユーザCTR予測 etc… 少数のURL
リリース前 • 仮説を起案 • 「もっといま流行っている情報を届けやすくする」 • 「新鮮なコンテンツを届けやすくする」 • このときそれによって向上をねらうKPIも設計する •
仮説に適合するモデルやfeatureを決めて実装 • 現状のデータと比較 • Ex. 配信量が変化するコンテンツがあるか?その変化量は想 定通りか? • Ex. ユーザが見ていたコンテンツがそのユーザに配信されなく ならないか?その割合はどの程度か? • 詳しい精度とかを出すとか、既存に比べて勝っているとかは見 ない.どのような変化が起こるかだけを観測しておく.
A/Bテスト • 事前に調査した影響に応じて適用する範囲を設定 • まずは新規ユーザの一部に適用 • 既存ユーザは”これまでとの変化”という要因がはいる • 向上を狙ったKPIにどのような影響がでるか? •
ある程度の期間をみる • 定常的なKPIに悪影響が出ていないか? • KPIの変化に応じてテスト範囲の拡大や,テストの中止を行う. • 想定と違った場合 • どのようなユーザがKPIを悪化させたのか,それが変更による ものかを調査 • そのユーザの特性からモデルを改善しまたテスト
まとめ • サービスとして提供しているのでモデルの優劣はユーザが決める • 数値は神より正しい • ユーザがすべてを知っている • 迷ったら挑戦しよう (Gunosy
Wayより) • どこが良くなるか、というよりもアウトプットとして何が変わるかを認 識しておくことが重要 • ユーザ体験としてなにが変わるのか? • KPIが変わったときに手がかりになる • まず仮説が大事 • 何が課題で、どのKPIが目的なのか • ユーザのどのような課題を解決するのか
宣伝 データマイニングの勉強会を行っています 「Gunosy研究会」 日時: 毎週火曜19:00 グノシーオフィス 内容: 書籍の輪読 (約30分) 論文の紹介
(約30分) 興味ある方はこのあとお声掛けください