Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
プロダクト改善のためのデータ分析入門
Search
ij_spitz
September 27, 2017
Technology
0
66
プロダクト改善のためのデータ分析入門
ij_spitz
September 27, 2017
Tweet
Share
More Decks by ij_spitz
See All by ij_spitz
GunosyにおけるABテストの全容
ij_spitz
2
2k
これからの強化学習_3.1_3.2
ij_spitz
0
98
海外スタートアップにおけるA/Bテスト基盤の紹介
ij_spitz
9
17k
GunosyにおけるABテスト
ij_spitz
1
430
fitbitではじめるオープンデータ
ij_spitz
0
150
食べログデータから見る東新宿と西早稲田のランチ事情
ij_spitz
0
310
Linuxとファイル
ij_spitz
0
73
紳士なおじさんYeomanに学ぶ異性を落とす3つのテクニック
ij_spitz
0
180
Supporter Opinion
ij_spitz
0
56
Other Decks in Technology
See All in Technology
VS CodeでAWSを操作しよう
smt7174
7
1.6k
ChatworkのSRE部って実は 半分くらいPlatform Engineering部かもしれない
saramune
0
160
20分で完全に理解するGrafanaダッシュボード
hamadakoji
3
350
開発パフォーマンスを最大化するための開発体制
ham0215
2
280
NgRx Signal Store
rainerhahnekamp
0
150
AOAI をきっかけに 社内の Azure 管理を見直した話
recruitengineers
PRO
1
260
Kernel MemoryでAzure OpenAI Serviceとお手軽データソース連携
mitsuzono
1
240
私が trocco を推す理由
__allllllllez__
1
210
Meta Quest 3 で動く桜マシマシ WebXR アプリを IBM Cloud Code Engine と Babylon.js で作った話
1ftseabass
PRO
0
120
KubeCon EU 2024 Recap “Kubernetes Policy Time Machine: Where to Next?”
ryysud
0
210
ここが嬉しいABAC ここが辛いよABAC #再解説+補足編
masahirokawahara
1
270
AWSに詳しくない人でも始められるコスト最適化ガイド
yuhta28
0
170
Featured
See All Featured
The World Runs on Bad Software
bkeepers
PRO
61
6.7k
Producing Creativity
orderedlist
PRO
337
39k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
21
1.6k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
17
1.4k
Designing for humans not robots
tammielis
248
25k
Happy Clients
brianwarren
92
6.4k
Building an army of robots
kneath
300
41k
RailsConf 2023
tenderlove
4
540
jQuery: Nuts, Bolts and Bling
dougneiner
59
7.1k
5 minutes of I Can Smell Your CMS
philhawksworth
199
19k
Agile that works and the tools we love
rasmusluckow
325
20k
Navigating Team Friction
lara
178
13k
Transcript
プロダクト改善のためのデータ分析⼊⾨ Gunosy Inc. 2017.9.27 Confidential
2 ©Gunosy Inc. ⾃⼰紹介 • ⽯塚 淳(いしつか じゅん) • 株式会社Gunosy
• 開発本部データ分析部 • 東京⼤学⼯学部卒 • 坂⽥・森研究室 • 某ソシャゲ会社に新卒⼊社 • データ分析基盤の開発を担当 • エンジニア業務がメイン • 2016年2⽉に株式会社Gunosyに⼊社 • グノシーのデータ分析を担当
3 ©Gunosy Inc. 今⽇話すこと • Gunosy/データ分析部のやっていること • データの収集⽅法 • ログ収集基盤
• 分析基盤 • データの活⽤⽅法 • 記事配信ロジック • KPI管理 • プロダクト開発
4 ©Gunosy Inc. Gunosyとは • グノシーは、データとアルゴリズムの会社 • 「情報を世界中の⼈に最適に届ける」がミッション • ニュースアプリだけの会社ではない
• 動画、商品、広告
5 ©Gunosy Inc. データ分析部とは • データ • ユーザ⾏動のデータを解析し施策に落とし込み、効果を検証する
6 ©Gunosy Inc. データ分析部とは • アルゴリズム • ユーザにコンテンツを適切な形で情報を伝える
7 ©Gunosy Inc. 今⽇話すこと • Gunosy/データ分析部のやっていること • データの収集⽅法 • ログ収集基盤
• 分析基盤 • データの活⽤⽅法 • 記事配信ロジック • KPI管理 • プロダクト開発
8 ©Gunosy Inc. データの収集⽅法 • Gunosyのログ基盤は⼤きく2つ • 確定値ログ基盤 • KPIダッシュボード
• 記事配信アルゴリズム • データ分析 • 速報値ログ基盤 • 速報⽤KPI(Hourly Active User, ⼈気記事) • 記事配信アルゴリズム
9 ©Gunosy Inc. データの収集⽅法 • 今回は確定値のログ基盤のみ紹介 • 確定値ログ基盤 • KPIダッシュボード
• 記事配信アルゴリズム • データ分析 • 速報値ログ基盤 • 速報⽤KPI(Hourly Active User, ⼈気記事) • 記事配信アルゴリズム
10 ©Gunosy Inc. 確定値ログ基盤 ©Gunosy Inc. X ֬ఆϩάج൫ Redshift ϩάαʔόʔ
S3 SQS ίϯόʔλʔ Fluentd BigQuery KPIόον αʔόʔ μογϡϘʔυ
11 ©Gunosy Inc. KPIダッシュボード • Redash • 様々なデータ・ソースに統⼀的にアクセスできる可視化ツール • SQLで完結
• Web画⾯でポチポチするとグラフ表⽰できる • ホスティングサービスが存在 • ⾃社運⽤Djangoダッシュボード • フルスクラッチ実装なので、⾃由度は⾼い • いにしえより利⽤ • SQLで完結しない指標を⾒るときに実装
12 ©Gunosy Inc. データ分析基盤 • BIツール + DB • 基本はRedashでRedshiftやBigQueryを叩く
• 複雑な処理や機械学習モデルを使⽤した分析はJupyterで ©Gunosy Inc. X σʔλੳج൫ Redshift BigQuery Pandas
13 ©Gunosy Inc. ここからが本題、データの活⽤⽅法 • ログ基盤が整って、SQLやJupyterからデータを取得できる環境が揃った • ここまでの⼯程はWeb上にも豊富に存在 • AWSやGCPのお陰でそこまで⼿間は掛からない
• で、この後どうするの︖︖︖ • とりあえずKPIでも可視化してみる︖ • 機械学習で◯◯予測してみたい
14 ©Gunosy Inc. 今⽇話すこと • Gunosy/データ分析部のやっていること • データの収集⽅法 • ログ収集基盤
• 分析基盤 • データの活⽤⽅法 • 記事配信ロジック • KPI管理 • プロダクト開発
15 ©Gunosy Inc. 記事配信ロジック • グノシーの記事配信ロジックの概要
16 ©Gunosy Inc. 記事配信ロジック • 詳細はブログで
17 ©Gunosy Inc. KPI管理 • KPIをいくつかの要素に分解してモニタリング • 予実を⽇次で管理 • 分解の1例
• 売上 • DAU • 新規獲得数 • 継続率 • Sales/DAU(ARPU) • AdImpSales/DAU • AdClickSales/DAU
18 ©Gunosy Inc. Redashによるダッシュボード • 分解したKPIを⼀覧できるダッシュボードをRedashで作成 • 先ほどのKPIツリーを意識した構成 • 予算に対する実績の確認
19 ©Gunosy Inc. 数値を⾒る仕組み • データ分析部では2つの朝会を実施している • 開発部朝会 • グノシー、ニュースパスそれぞれの開発部で実施
• 昨⽇やったこと、今⽇やること、共有事項の確認 • 数値確認朝会 • データ分析部で実施 • 各プロダクトのKPIを確認 • 数値に異常があれば、朝会後詳細な調査を実施 • 例えば • 1⽇後継続率が下がった • エンタメタブのクリック数が下がった
20 ©Gunosy Inc. プロダクト開発 • グノシーのプロダクト改善は現状の数値の把握から始まる • とはいえ現状の把握だけではなく、仮説・検証・意思決定も含んだ分析が⼤切 • 悪い例
• グノシーユーザの⼥性割合は45%だが、⼣⽅の利⽤ユーザに絞ると、 70%が⼥性である。 • 良い例 • グノシーユーザの⼥性割合は45%だが、⼣⽅の利⽤ユーザに絞ると、 70%が⼥性である。なので、⼣⽅に登録したユーザには、⼥性に⼈気 のコンテンツを多く表⽰させてみて、継続率に変化があるか試してみ る。
21 ©Gunosy Inc. プロダクト開発のサイクル
22 ©Gunosy Inc. 仮説を出すためのヒント • 施策を⾏うためのヒントを事前の分析から得る • 失敗から学ぶ • 重要な数値をモニタリングし、下がった原因を探る(前述のKPI管理参照)
• 他プロダクト事例 • 他社のABテストが100%適⽤になった、撤退した • ニュースパス、ルクラ、バザリー、ビデレーからの輸⼊ • ユーザ間の⽐較 • OS、獲得経路別、ユーザが最初に使った機能ごとのKPIを⽐較 • ⼤切な数値と相関の⼤きな数値 • ある⾏動の回数が⾼いと、重要な数値も⾼くなる傾向がある
23 ©Gunosy Inc. ABテストによる効果測定と意思決定 • ABテストによる意思決定の徹底 • 1⽇に⾛っているABテストは約20個(グノシーのみ) • ABテストによるメリット
• 施策の効果検証 • ニュースアプリなので、時事性や季節の変動を受けやすいので、効果 の計測がしづらい • 意図しない数値の低下、ユーザービリティの低下を防ぐ • インフラの変更 • アプリのリリース • Androidは段階的リリースを実施している
24 ©Gunosy Inc. 2 効果測定 よくない例
25 ©Gunosy Inc. 2 効果測定 よくない例 機能リリース
26 ©Gunosy Inc. 2 効果測定 よくない例 機能リリース ⼤きなイベント発⽣
27 ©Gunosy Inc. 2 効果測定 よくない例 機能リリース ⼤きなイベント発⽣ 前より低い…?
28 ©Gunosy Inc. ABテストによる効果測定と意思決定 • ABテストによる意思決定の徹底 • 1⽇に⾛っているABテストは約20個(グノシーのみ) • ABテストによるメリット
• 施策の効果検証 • ニュースアプリなので、時事性や季節の変動を受けやすいので、効果 の計測がしづらい • 意図しない数値の低下、ユーザービリティの低下を防ぐ • インフラの変更 • アプリのリリース • Androidは段階的リリースを実施している
29 ©Gunosy Inc. 2 効果測定 ABテストの例 • 特定のユーザ群にUIやアルゴリズムを出し分けるテストを⾏う Test A
Test B クリック率 5% 6% 滞在時間 30 35
30 ©Gunosy Inc. 3 この例の場合であれば Test Bを全体に適応 (※)実際は複数の指標を見ている 効果測定 ABテストの例
• 特定のユーザ群にUIやアルゴリズムを出し分けるテストを⾏う Test A Test B クリック率 5% 6% 滞在時間 30 35
31 ©Gunosy Inc. 3 効果測定 ABテストの例 機能リリース ⼤きなイベント発⽣ 前より低い…? この例の場合であれば
Test Bを全体に適応 (※)実際は複数の指標を⾒ている
32 ©Gunosy Inc. ABテストによる効果測定と意思決定 • ABテストは1%公開から開始して100%まで段階的に割合を引き上げていく • グノシーで⼀般的なABテストだと1%から100%までに1, 2ヶ⽉掛かる •
割合ごとに⾒る数値と期間は異なる • 1%(1 ~ 3⽇) • ⼤幅な数値低下や不具合がないか • 5%、10%(7⽇) • 期待したKPIは向上しているか • 20%(14⽇) • 継続率
33 ©Gunosy Inc. 意思決定 • グノシーマンガ撤退におけるケーススタディ • ユニットエコノミクスの検証 • Pros
• マンガ獲得ユーザー • LTVとCPI • ⾮マンガ獲得ユーザー • マンガによる継続率、Salesの上昇 • Cons • コンテンツ費⽤、サーバー代