$30 off During Our Annual Pro Sale. View Details »
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
プロダクト改善のためのデータ分析入門
Search
ij_spitz
September 27, 2017
Technology
2
77
プロダクト改善のためのデータ分析入門
ij_spitz
September 27, 2017
Tweet
Share
More Decks by ij_spitz
See All by ij_spitz
GunosyにおけるABテストの全容
ij_spitz
3
2.1k
これからの強化学習_3.1_3.2
ij_spitz
0
100
海外スタートアップにおけるA/Bテスト基盤の紹介
ij_spitz
9
17k
GunosyにおけるABテスト
ij_spitz
1
460
fitbitではじめるオープンデータ
ij_spitz
0
160
食べログデータから見る東新宿と西早稲田のランチ事情
ij_spitz
0
340
Linuxとファイル
ij_spitz
0
79
紳士なおじさんYeomanに学ぶ異性を落とす3つのテクニック
ij_spitz
0
190
Supporter Opinion
ij_spitz
0
59
Other Decks in Technology
See All in Technology
2024年のModern Data Stackを振り返ろう~分野別の目玉アップデート情報まとめ~
sagara
0
240
ナレッジベースはどのようにSQLを生成するのか / Knowledge Bases supports structed data retrieval
hayaok3
1
120
Autonomous Database サービス・アップデート (FY25)
oracle4engineer
PRO
0
260
GDGoC開発体験談 - Gemini生成AI活用ハッカソン / GASとFirebaseで挑むパン屋のフードロス解決 -
hotekagi
1
750
開志専門職大学特別講義 2024 デモパート
1ftseabass
PRO
0
210
日本全国・都市3D化プロジェクト「PLATEAU」とデータ変換OSS「PLATEAU GIS Converter」の公開
nokonoko1203
4
370
TimeTreeが経た3つの転換点 ー プロダクト成長過程でその時、その瞬間、何を考えてたか
ysmtysts
1
3.6k
ミスが許されない領域にAIを溶け込ませる プロダクトマネジメントの裏側
t01062sy
8
8.3k
2024/12/05 AITuber本著者によるAIキャラクター入門 - AITuberの基礎からソフトウェア設計、失敗談まで
sr2mg4
2
570
アジャイルテストの4象限で考える プロダクト開発の品質への向き合い方
nagano
1
870
つくってあそぼ! ユビキタス言語作文の紹介
ndadayo
1
140
プロダクトマネージャーは 事業責任者の夢をみるのか pmconf2024
gimupop
1
8.7k
Featured
See All Featured
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.3k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
1.9k
VelocityConf: Rendering Performance Case Studies
addyosmani
326
24k
Navigating Team Friction
lara
183
15k
GraphQLの誤解/rethinking-graphql
sonatard
67
10k
How STYLIGHT went responsive
nonsquared
95
5.2k
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
126
18k
Designing on Purpose - Digital PM Summit 2013
jponch
116
7k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
665
120k
BBQ
matthewcrist
85
9.3k
Done Done
chrislema
181
16k
Transcript
プロダクト改善のためのデータ分析⼊⾨ Gunosy Inc. 2017.9.27 Confidential
2 ©Gunosy Inc. ⾃⼰紹介 • ⽯塚 淳(いしつか じゅん) • 株式会社Gunosy
• 開発本部データ分析部 • 東京⼤学⼯学部卒 • 坂⽥・森研究室 • 某ソシャゲ会社に新卒⼊社 • データ分析基盤の開発を担当 • エンジニア業務がメイン • 2016年2⽉に株式会社Gunosyに⼊社 • グノシーのデータ分析を担当
3 ©Gunosy Inc. 今⽇話すこと • Gunosy/データ分析部のやっていること • データの収集⽅法 • ログ収集基盤
• 分析基盤 • データの活⽤⽅法 • 記事配信ロジック • KPI管理 • プロダクト開発
4 ©Gunosy Inc. Gunosyとは • グノシーは、データとアルゴリズムの会社 • 「情報を世界中の⼈に最適に届ける」がミッション • ニュースアプリだけの会社ではない
• 動画、商品、広告
5 ©Gunosy Inc. データ分析部とは • データ • ユーザ⾏動のデータを解析し施策に落とし込み、効果を検証する
6 ©Gunosy Inc. データ分析部とは • アルゴリズム • ユーザにコンテンツを適切な形で情報を伝える
7 ©Gunosy Inc. 今⽇話すこと • Gunosy/データ分析部のやっていること • データの収集⽅法 • ログ収集基盤
• 分析基盤 • データの活⽤⽅法 • 記事配信ロジック • KPI管理 • プロダクト開発
8 ©Gunosy Inc. データの収集⽅法 • Gunosyのログ基盤は⼤きく2つ • 確定値ログ基盤 • KPIダッシュボード
• 記事配信アルゴリズム • データ分析 • 速報値ログ基盤 • 速報⽤KPI(Hourly Active User, ⼈気記事) • 記事配信アルゴリズム
9 ©Gunosy Inc. データの収集⽅法 • 今回は確定値のログ基盤のみ紹介 • 確定値ログ基盤 • KPIダッシュボード
• 記事配信アルゴリズム • データ分析 • 速報値ログ基盤 • 速報⽤KPI(Hourly Active User, ⼈気記事) • 記事配信アルゴリズム
10 ©Gunosy Inc. 確定値ログ基盤 ©Gunosy Inc. X ֬ఆϩάج൫ Redshift ϩάαʔόʔ
S3 SQS ίϯόʔλʔ Fluentd BigQuery KPIόον αʔόʔ μογϡϘʔυ
11 ©Gunosy Inc. KPIダッシュボード • Redash • 様々なデータ・ソースに統⼀的にアクセスできる可視化ツール • SQLで完結
• Web画⾯でポチポチするとグラフ表⽰できる • ホスティングサービスが存在 • ⾃社運⽤Djangoダッシュボード • フルスクラッチ実装なので、⾃由度は⾼い • いにしえより利⽤ • SQLで完結しない指標を⾒るときに実装
12 ©Gunosy Inc. データ分析基盤 • BIツール + DB • 基本はRedashでRedshiftやBigQueryを叩く
• 複雑な処理や機械学習モデルを使⽤した分析はJupyterで ©Gunosy Inc. X σʔλੳج൫ Redshift BigQuery Pandas
13 ©Gunosy Inc. ここからが本題、データの活⽤⽅法 • ログ基盤が整って、SQLやJupyterからデータを取得できる環境が揃った • ここまでの⼯程はWeb上にも豊富に存在 • AWSやGCPのお陰でそこまで⼿間は掛からない
• で、この後どうするの︖︖︖ • とりあえずKPIでも可視化してみる︖ • 機械学習で◯◯予測してみたい
14 ©Gunosy Inc. 今⽇話すこと • Gunosy/データ分析部のやっていること • データの収集⽅法 • ログ収集基盤
• 分析基盤 • データの活⽤⽅法 • 記事配信ロジック • KPI管理 • プロダクト開発
15 ©Gunosy Inc. 記事配信ロジック • グノシーの記事配信ロジックの概要
16 ©Gunosy Inc. 記事配信ロジック • 詳細はブログで
17 ©Gunosy Inc. KPI管理 • KPIをいくつかの要素に分解してモニタリング • 予実を⽇次で管理 • 分解の1例
• 売上 • DAU • 新規獲得数 • 継続率 • Sales/DAU(ARPU) • AdImpSales/DAU • AdClickSales/DAU
18 ©Gunosy Inc. Redashによるダッシュボード • 分解したKPIを⼀覧できるダッシュボードをRedashで作成 • 先ほどのKPIツリーを意識した構成 • 予算に対する実績の確認
19 ©Gunosy Inc. 数値を⾒る仕組み • データ分析部では2つの朝会を実施している • 開発部朝会 • グノシー、ニュースパスそれぞれの開発部で実施
• 昨⽇やったこと、今⽇やること、共有事項の確認 • 数値確認朝会 • データ分析部で実施 • 各プロダクトのKPIを確認 • 数値に異常があれば、朝会後詳細な調査を実施 • 例えば • 1⽇後継続率が下がった • エンタメタブのクリック数が下がった
20 ©Gunosy Inc. プロダクト開発 • グノシーのプロダクト改善は現状の数値の把握から始まる • とはいえ現状の把握だけではなく、仮説・検証・意思決定も含んだ分析が⼤切 • 悪い例
• グノシーユーザの⼥性割合は45%だが、⼣⽅の利⽤ユーザに絞ると、 70%が⼥性である。 • 良い例 • グノシーユーザの⼥性割合は45%だが、⼣⽅の利⽤ユーザに絞ると、 70%が⼥性である。なので、⼣⽅に登録したユーザには、⼥性に⼈気 のコンテンツを多く表⽰させてみて、継続率に変化があるか試してみ る。
21 ©Gunosy Inc. プロダクト開発のサイクル
22 ©Gunosy Inc. 仮説を出すためのヒント • 施策を⾏うためのヒントを事前の分析から得る • 失敗から学ぶ • 重要な数値をモニタリングし、下がった原因を探る(前述のKPI管理参照)
• 他プロダクト事例 • 他社のABテストが100%適⽤になった、撤退した • ニュースパス、ルクラ、バザリー、ビデレーからの輸⼊ • ユーザ間の⽐較 • OS、獲得経路別、ユーザが最初に使った機能ごとのKPIを⽐較 • ⼤切な数値と相関の⼤きな数値 • ある⾏動の回数が⾼いと、重要な数値も⾼くなる傾向がある
23 ©Gunosy Inc. ABテストによる効果測定と意思決定 • ABテストによる意思決定の徹底 • 1⽇に⾛っているABテストは約20個(グノシーのみ) • ABテストによるメリット
• 施策の効果検証 • ニュースアプリなので、時事性や季節の変動を受けやすいので、効果 の計測がしづらい • 意図しない数値の低下、ユーザービリティの低下を防ぐ • インフラの変更 • アプリのリリース • Androidは段階的リリースを実施している
24 ©Gunosy Inc. 2 効果測定 よくない例
25 ©Gunosy Inc. 2 効果測定 よくない例 機能リリース
26 ©Gunosy Inc. 2 効果測定 よくない例 機能リリース ⼤きなイベント発⽣
27 ©Gunosy Inc. 2 効果測定 よくない例 機能リリース ⼤きなイベント発⽣ 前より低い…?
28 ©Gunosy Inc. ABテストによる効果測定と意思決定 • ABテストによる意思決定の徹底 • 1⽇に⾛っているABテストは約20個(グノシーのみ) • ABテストによるメリット
• 施策の効果検証 • ニュースアプリなので、時事性や季節の変動を受けやすいので、効果 の計測がしづらい • 意図しない数値の低下、ユーザービリティの低下を防ぐ • インフラの変更 • アプリのリリース • Androidは段階的リリースを実施している
29 ©Gunosy Inc. 2 効果測定 ABテストの例 • 特定のユーザ群にUIやアルゴリズムを出し分けるテストを⾏う Test A
Test B クリック率 5% 6% 滞在時間 30 35
30 ©Gunosy Inc. 3 この例の場合であれば Test Bを全体に適応 (※)実際は複数の指標を見ている 効果測定 ABテストの例
• 特定のユーザ群にUIやアルゴリズムを出し分けるテストを⾏う Test A Test B クリック率 5% 6% 滞在時間 30 35
31 ©Gunosy Inc. 3 効果測定 ABテストの例 機能リリース ⼤きなイベント発⽣ 前より低い…? この例の場合であれば
Test Bを全体に適応 (※)実際は複数の指標を⾒ている
32 ©Gunosy Inc. ABテストによる効果測定と意思決定 • ABテストは1%公開から開始して100%まで段階的に割合を引き上げていく • グノシーで⼀般的なABテストだと1%から100%までに1, 2ヶ⽉掛かる •
割合ごとに⾒る数値と期間は異なる • 1%(1 ~ 3⽇) • ⼤幅な数値低下や不具合がないか • 5%、10%(7⽇) • 期待したKPIは向上しているか • 20%(14⽇) • 継続率
33 ©Gunosy Inc. 意思決定 • グノシーマンガ撤退におけるケーススタディ • ユニットエコノミクスの検証 • Pros
• マンガ獲得ユーザー • LTVとCPI • ⾮マンガ獲得ユーザー • マンガによる継続率、Salesの上昇 • Cons • コンテンツ費⽤、サーバー代