Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
グノシーを支える機械学習業務プロセス
Search
ysekky
June 06, 2014
6
9.5k
グノシーを支える機械学習業務プロセス
ysekky
June 06, 2014
Tweet
Share
More Decks by ysekky
See All by ysekky
スタートアップの開発サイクルに学ぶ 研究活動の進め方 / research practices inspired by startup business strategy
ysekky
0
2.1k
[論文紹介] A Method to Anonymize Business Metrics to Publishing Implicit Feedback Datasets (Recsys2020) / recsys20-reading-gunosy-datapub
ysekky
3
2.7k
JSAI2020 OS-12 広告とAI オープニング / JSAI2020-OS-12-ads-and-ai-opening
ysekky
0
2.1k
JSAI2020インダストリアルセッション - Gunosyにおける研究開発 / jsai2020-gunosy-rd-examples
ysekky
1
760
ウェブサービス事業者における研究開発インターン[株式会社Gunosy] - テキストアナリティクスシンポジウム2019 / research-intern-case-study-at-gunosy
ysekky
0
2.8k
Gunosyにおけるニュース記事推薦/ news-recommendation-in-gunosy-webdbf2019
ysekky
1
1.5k
DEIM2019技術報告セッション - Gunosyの研究開発 / deim-2019-sponsor-session-gunosy-research
ysekky
0
1.1k
Analysis of Bias in Gathering Information Between User Attributes in News Application (ABCCS 2018)
ysekky
1
2.3k
世代による政治ニュース記事の閲覧傾向の違いの分析 - JSAI2018 / Analysis of differences in viewing behavior of politics news by age
ysekky
0
3.9k
Featured
See All Featured
Unsuck your backbone
ammeep
671
58k
Building an army of robots
kneath
306
45k
Optimising Largest Contentful Paint
csswizardry
37
3.3k
The Invisible Side of Design
smashingmag
299
51k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
281
13k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
43
2.4k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.5k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
6
690
The Language of Interfaces
destraynor
158
25k
Art, The Web, and Tiny UX
lynnandtonic
299
21k
Rails Girls Zürich Keynote
gr2m
94
14k
Code Reviewing Like a Champion
maltzj
524
40k
Transcript
グノシーを支える ML業務プロセス YOSHIFUMI SEKI 2014.06.06 MACHINE LEARNING CASUAL TALK
自己紹介 • 関 喜史 • Gunosy Inc. 共同創業者 • 東京大学博士後期課程在籍中
• 推薦システム/コンテンツ評価/ユーザ行動分析 • グノシー • 最適な情報を最適な人にお届けするニュースアプリ • 絶賛CM放送中 • DL数 300万超え
今日の話 機械学習を用いたサービスを どのようにユーザに届けるか?
基本方針 過去データからユーザ体験の予測はできない 優劣はユーザに出してはじめて明らかになる
グノシーの機械学習タスク たくさんのURL 同一記事判定 カテゴリ推定 クオリティ予測 ユーザCTR予測 etc… 少数のURL
リリース前 • 仮説を起案 • 「もっといま流行っている情報を届けやすくする」 • 「新鮮なコンテンツを届けやすくする」 • このときそれによって向上をねらうKPIも設計する •
仮説に適合するモデルやfeatureを決めて実装 • 現状のデータと比較 • Ex. 配信量が変化するコンテンツがあるか?その変化量は想 定通りか? • Ex. ユーザが見ていたコンテンツがそのユーザに配信されなく ならないか?その割合はどの程度か? • 詳しい精度とかを出すとか、既存に比べて勝っているとかは見 ない.どのような変化が起こるかだけを観測しておく.
A/Bテスト • 事前に調査した影響に応じて適用する範囲を設定 • まずは新規ユーザの一部に適用 • 既存ユーザは”これまでとの変化”という要因がはいる • 向上を狙ったKPIにどのような影響がでるか? •
ある程度の期間をみる • 定常的なKPIに悪影響が出ていないか? • KPIの変化に応じてテスト範囲の拡大や,テストの中止を行う. • 想定と違った場合 • どのようなユーザがKPIを悪化させたのか,それが変更による ものかを調査 • そのユーザの特性からモデルを改善しまたテスト
まとめ • サービスとして提供しているのでモデルの優劣はユーザが決める • 数値は神より正しい • ユーザがすべてを知っている • 迷ったら挑戦しよう (Gunosy
Wayより) • どこが良くなるか、というよりもアウトプットとして何が変わるかを認 識しておくことが重要 • ユーザ体験としてなにが変わるのか? • KPIが変わったときに手がかりになる • まず仮説が大事 • 何が課題で、どのKPIが目的なのか • ユーザのどのような課題を解決するのか
宣伝 データマイニングの勉強会を行っています 「Gunosy研究会」 日時: 毎週火曜19:00 グノシーオフィス 内容: 書籍の輪読 (約30分) 論文の紹介
(約30分) 興味ある方はこのあとお声掛けください