Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
プロダクト改善のためのデータ分析入門
Search
ij_spitz
September 27, 2017
Technology
1
77
プロダクト改善のためのデータ分析入門
ij_spitz
September 27, 2017
Tweet
Share
More Decks by ij_spitz
See All by ij_spitz
GunosyにおけるABテストの全容
ij_spitz
3
2.1k
これからの強化学習_3.1_3.2
ij_spitz
0
100
海外スタートアップにおけるA/Bテスト基盤の紹介
ij_spitz
9
17k
GunosyにおけるABテスト
ij_spitz
1
460
fitbitではじめるオープンデータ
ij_spitz
0
160
食べログデータから見る東新宿と西早稲田のランチ事情
ij_spitz
0
340
Linuxとファイル
ij_spitz
0
80
紳士なおじさんYeomanに学ぶ異性を落とす3つのテクニック
ij_spitz
0
190
Supporter Opinion
ij_spitz
0
59
Other Decks in Technology
See All in Technology
watsonx.ai Dojo #5 ファインチューニングとInstructLAB
oniak3ibm
PRO
0
170
alecthomas/kong はいいぞ / kamakura.go#7
fujiwara3
1
300
Storage Browser for Amazon S3
miu_crescent
1
220
成果を出しながら成長する、アウトプット駆動のキャッチアップ術 / Output-driven catch-up techniques to grow while producing results
aiandrox
0
350
1等無人航空機操縦士一発試験 合格までの道のり ドローンミートアップ@大阪 2024/12/18
excdinc
0
170
社内イベント管理システムを1週間でAKSからACAに移行した話し
shingo_kawahara
0
190
普通のエンジニアがLaravelコアチームメンバーになるまで
avosalmon
0
110
生成AIをより賢く エンジニアのための RAG入門 - Oracle AI Jam Session #20
kutsushitaneko
4
260
LINEヤフーのフロントエンド組織・体制の紹介【24年12月】
lycorp_recruit_jp
0
530
どちらを使う?GitHub or Azure DevOps Ver. 24H2
kkamegawa
0
850
NilAway による静的解析で「10 億ドル」を節約する #kyotogo / Kyoto Go 56th
ytaka23
3
380
20241214_WACATE2024冬_テスト設計技法をチョット俯瞰してみよう
kzsuzuki
3
540
Featured
See All Featured
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
2
170
Side Projects
sachag
452
42k
Building Applications with DynamoDB
mza
91
6.1k
Large-scale JavaScript Application Architecture
addyosmani
510
110k
Gamification - CAS2011
davidbonilla
80
5.1k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
59k
Fantastic passwords and where to find them - at NoRuKo
philnash
50
2.9k
How GitHub (no longer) Works
holman
311
140k
GitHub's CSS Performance
jonrohan
1030
460k
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
Music & Morning Musume
bryan
46
6.2k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
330
21k
Transcript
プロダクト改善のためのデータ分析⼊⾨ Gunosy Inc. 2017.9.27 Confidential
2 ©Gunosy Inc. ⾃⼰紹介 • ⽯塚 淳(いしつか じゅん) • 株式会社Gunosy
• 開発本部データ分析部 • 東京⼤学⼯学部卒 • 坂⽥・森研究室 • 某ソシャゲ会社に新卒⼊社 • データ分析基盤の開発を担当 • エンジニア業務がメイン • 2016年2⽉に株式会社Gunosyに⼊社 • グノシーのデータ分析を担当
3 ©Gunosy Inc. 今⽇話すこと • Gunosy/データ分析部のやっていること • データの収集⽅法 • ログ収集基盤
• 分析基盤 • データの活⽤⽅法 • 記事配信ロジック • KPI管理 • プロダクト開発
4 ©Gunosy Inc. Gunosyとは • グノシーは、データとアルゴリズムの会社 • 「情報を世界中の⼈に最適に届ける」がミッション • ニュースアプリだけの会社ではない
• 動画、商品、広告
5 ©Gunosy Inc. データ分析部とは • データ • ユーザ⾏動のデータを解析し施策に落とし込み、効果を検証する
6 ©Gunosy Inc. データ分析部とは • アルゴリズム • ユーザにコンテンツを適切な形で情報を伝える
7 ©Gunosy Inc. 今⽇話すこと • Gunosy/データ分析部のやっていること • データの収集⽅法 • ログ収集基盤
• 分析基盤 • データの活⽤⽅法 • 記事配信ロジック • KPI管理 • プロダクト開発
8 ©Gunosy Inc. データの収集⽅法 • Gunosyのログ基盤は⼤きく2つ • 確定値ログ基盤 • KPIダッシュボード
• 記事配信アルゴリズム • データ分析 • 速報値ログ基盤 • 速報⽤KPI(Hourly Active User, ⼈気記事) • 記事配信アルゴリズム
9 ©Gunosy Inc. データの収集⽅法 • 今回は確定値のログ基盤のみ紹介 • 確定値ログ基盤 • KPIダッシュボード
• 記事配信アルゴリズム • データ分析 • 速報値ログ基盤 • 速報⽤KPI(Hourly Active User, ⼈気記事) • 記事配信アルゴリズム
10 ©Gunosy Inc. 確定値ログ基盤 ©Gunosy Inc. X ֬ఆϩάج൫ Redshift ϩάαʔόʔ
S3 SQS ίϯόʔλʔ Fluentd BigQuery KPIόον αʔόʔ μογϡϘʔυ
11 ©Gunosy Inc. KPIダッシュボード • Redash • 様々なデータ・ソースに統⼀的にアクセスできる可視化ツール • SQLで完結
• Web画⾯でポチポチするとグラフ表⽰できる • ホスティングサービスが存在 • ⾃社運⽤Djangoダッシュボード • フルスクラッチ実装なので、⾃由度は⾼い • いにしえより利⽤ • SQLで完結しない指標を⾒るときに実装
12 ©Gunosy Inc. データ分析基盤 • BIツール + DB • 基本はRedashでRedshiftやBigQueryを叩く
• 複雑な処理や機械学習モデルを使⽤した分析はJupyterで ©Gunosy Inc. X σʔλੳج൫ Redshift BigQuery Pandas
13 ©Gunosy Inc. ここからが本題、データの活⽤⽅法 • ログ基盤が整って、SQLやJupyterからデータを取得できる環境が揃った • ここまでの⼯程はWeb上にも豊富に存在 • AWSやGCPのお陰でそこまで⼿間は掛からない
• で、この後どうするの︖︖︖ • とりあえずKPIでも可視化してみる︖ • 機械学習で◯◯予測してみたい
14 ©Gunosy Inc. 今⽇話すこと • Gunosy/データ分析部のやっていること • データの収集⽅法 • ログ収集基盤
• 分析基盤 • データの活⽤⽅法 • 記事配信ロジック • KPI管理 • プロダクト開発
15 ©Gunosy Inc. 記事配信ロジック • グノシーの記事配信ロジックの概要
16 ©Gunosy Inc. 記事配信ロジック • 詳細はブログで
17 ©Gunosy Inc. KPI管理 • KPIをいくつかの要素に分解してモニタリング • 予実を⽇次で管理 • 分解の1例
• 売上 • DAU • 新規獲得数 • 継続率 • Sales/DAU(ARPU) • AdImpSales/DAU • AdClickSales/DAU
18 ©Gunosy Inc. Redashによるダッシュボード • 分解したKPIを⼀覧できるダッシュボードをRedashで作成 • 先ほどのKPIツリーを意識した構成 • 予算に対する実績の確認
19 ©Gunosy Inc. 数値を⾒る仕組み • データ分析部では2つの朝会を実施している • 開発部朝会 • グノシー、ニュースパスそれぞれの開発部で実施
• 昨⽇やったこと、今⽇やること、共有事項の確認 • 数値確認朝会 • データ分析部で実施 • 各プロダクトのKPIを確認 • 数値に異常があれば、朝会後詳細な調査を実施 • 例えば • 1⽇後継続率が下がった • エンタメタブのクリック数が下がった
20 ©Gunosy Inc. プロダクト開発 • グノシーのプロダクト改善は現状の数値の把握から始まる • とはいえ現状の把握だけではなく、仮説・検証・意思決定も含んだ分析が⼤切 • 悪い例
• グノシーユーザの⼥性割合は45%だが、⼣⽅の利⽤ユーザに絞ると、 70%が⼥性である。 • 良い例 • グノシーユーザの⼥性割合は45%だが、⼣⽅の利⽤ユーザに絞ると、 70%が⼥性である。なので、⼣⽅に登録したユーザには、⼥性に⼈気 のコンテンツを多く表⽰させてみて、継続率に変化があるか試してみ る。
21 ©Gunosy Inc. プロダクト開発のサイクル
22 ©Gunosy Inc. 仮説を出すためのヒント • 施策を⾏うためのヒントを事前の分析から得る • 失敗から学ぶ • 重要な数値をモニタリングし、下がった原因を探る(前述のKPI管理参照)
• 他プロダクト事例 • 他社のABテストが100%適⽤になった、撤退した • ニュースパス、ルクラ、バザリー、ビデレーからの輸⼊ • ユーザ間の⽐較 • OS、獲得経路別、ユーザが最初に使った機能ごとのKPIを⽐較 • ⼤切な数値と相関の⼤きな数値 • ある⾏動の回数が⾼いと、重要な数値も⾼くなる傾向がある
23 ©Gunosy Inc. ABテストによる効果測定と意思決定 • ABテストによる意思決定の徹底 • 1⽇に⾛っているABテストは約20個(グノシーのみ) • ABテストによるメリット
• 施策の効果検証 • ニュースアプリなので、時事性や季節の変動を受けやすいので、効果 の計測がしづらい • 意図しない数値の低下、ユーザービリティの低下を防ぐ • インフラの変更 • アプリのリリース • Androidは段階的リリースを実施している
24 ©Gunosy Inc. 2 効果測定 よくない例
25 ©Gunosy Inc. 2 効果測定 よくない例 機能リリース
26 ©Gunosy Inc. 2 効果測定 よくない例 機能リリース ⼤きなイベント発⽣
27 ©Gunosy Inc. 2 効果測定 よくない例 機能リリース ⼤きなイベント発⽣ 前より低い…?
28 ©Gunosy Inc. ABテストによる効果測定と意思決定 • ABテストによる意思決定の徹底 • 1⽇に⾛っているABテストは約20個(グノシーのみ) • ABテストによるメリット
• 施策の効果検証 • ニュースアプリなので、時事性や季節の変動を受けやすいので、効果 の計測がしづらい • 意図しない数値の低下、ユーザービリティの低下を防ぐ • インフラの変更 • アプリのリリース • Androidは段階的リリースを実施している
29 ©Gunosy Inc. 2 効果測定 ABテストの例 • 特定のユーザ群にUIやアルゴリズムを出し分けるテストを⾏う Test A
Test B クリック率 5% 6% 滞在時間 30 35
30 ©Gunosy Inc. 3 この例の場合であれば Test Bを全体に適応 (※)実際は複数の指標を見ている 効果測定 ABテストの例
• 特定のユーザ群にUIやアルゴリズムを出し分けるテストを⾏う Test A Test B クリック率 5% 6% 滞在時間 30 35
31 ©Gunosy Inc. 3 効果測定 ABテストの例 機能リリース ⼤きなイベント発⽣ 前より低い…? この例の場合であれば
Test Bを全体に適応 (※)実際は複数の指標を⾒ている
32 ©Gunosy Inc. ABテストによる効果測定と意思決定 • ABテストは1%公開から開始して100%まで段階的に割合を引き上げていく • グノシーで⼀般的なABテストだと1%から100%までに1, 2ヶ⽉掛かる •
割合ごとに⾒る数値と期間は異なる • 1%(1 ~ 3⽇) • ⼤幅な数値低下や不具合がないか • 5%、10%(7⽇) • 期待したKPIは向上しているか • 20%(14⽇) • 継続率
33 ©Gunosy Inc. 意思決定 • グノシーマンガ撤退におけるケーススタディ • ユニットエコノミクスの検証 • Pros
• マンガ獲得ユーザー • LTVとCPI • ⾮マンガ獲得ユーザー • マンガによる継続率、Salesの上昇 • Cons • コンテンツ費⽤、サーバー代