brainpad_meetup_20181115_for_upload.pdf

Transcript

1. Copyright © 2018 eureka, Inc. All rights reserved. 分析結果を意思決定者に 使ってもらうための工夫 イベント「ブレインパッドとエウレカが語る、データ分析と機械学習の活用」登壇資料
2. Copyright © 2018 eureka, Inc. All rights reserved. 2 大久保 晋之介 • 所属 ◦ 株式会社エウレカ BIチーム所属 • 趣味 ◦ BIツール弄び ▪ redash, Tableau好きです ◦ データを使ったダイエット ▪ 体脂肪19%→16% (4ヶ月) 自己紹介
3. Copyright © 2018 eureka, Inc. All rights reserved. 3 社内の様々な職種の人に意思決定の材料を提供 • 開発チーム　　　　　　 →　施策の効果判断の意思決定材料を提供 • 開発プロセス改善チーム →　開発プロセス改善の〃 • 採用チーム　　　　　　 →　採用プロセス改善の〃 • 財務・マーケチーム　　 →　投資対効果改善の〃 • PRメンバー　　　　　 →　TV放映の効果判断の〃 ...etc 普段の業務
4. Copyright © 2018 eureka, Inc. All rights reserved. 4 • 対象 ◦ データ分析結果を意思決定者に使ってもらうことで、ビジネスにおい て成果を出したいと考えている人向け • 話すこと ◦ 分析結果が意思決定者に使われない理由 ◦ 分析結果を意思決定者に使ってもらうための工夫 ▪ 具体例 ▪ エピソード 今日の発表について
5. Copyright © 2018 eureka, Inc. All rights reserved. 5 「意思決定に使われない分析に価値はない」 なぜなら、分析結果が意思決定に使われなければ ビジネス価値を生まないため 前提として
6. Copyright © 2018 eureka, Inc. All rights reserved. 6 分析結果が意思決定者に使われないことはざらにある。なぜか おおよその場合、以下4つのいずれかの理由がある 1. 分析結果が見づらい 2. 分析結果が信頼できない 3. 分析結果をアクションに繋げづらい 4. 分析結果の鮮度が悪い しかし...
7. Copyright © 2018 eureka, Inc. All rights reserved. 7 意思決定者が「この分析結果、見づらいなあ」と感じている状態 • 解釈しづらい ◦ 例：意思決定者に馴染みのない手法を使っている • 読みにくい ◦ 例：色使いがゴチャゴチャしている • 定義がわかりづらい ◦ 例：率を算出しているが、分母と分子の説明がない • 見るものが多い ◦ 例：20個の種類の異なるグラフを載せている 1.「分析結果が見づらい」状態とは
8. Copyright © 2018 eureka, Inc. All rights reserved. 8 • 簡易な表現を用いる ◦ 例：無闇に複雑な手法を使わず、棒グラフや折れ線グラフで表す • 読みやすさに配慮する ◦ 例：男性は青、女性は赤などわかりやすい色使いを心がける • 定義を明示 ◦ 例：分析結果に「README」をつけ、指標の詳細な定義などを明示 • 見るものを最小限にする ◦ 例：載せるグラフを絞る 見やすい分析結果にするために
9. Copyright © 2018 eureka, Inc. All rights reserved. 9 開発プロセスを改善する目的で、開発プロセス改善チームにプロセス を可視化したグラフを提供。依頼に応じてグラフは8つ作成 エピソード (見るものを減らす重要性)
10. Copyright © 2018 eureka, Inc. All rights reserved. 10 開発プロセスを改善する目的で、開発プロセス改善チームにプロセス を可視化したグラフを提供。依頼に応じてグラフは8つ作成 ↓ 見るものが多く建設的な議論が進まず、グラフは運用に乗らない エピソード (見るものを減らす重要性)
11. Copyright © 2018 eureka, Inc. All rights reserved. 11 開発プロセスを改善する目的で、開発プロセス改善チームにプロセス を可視化したグラフを提供。依頼に応じてグラフは8つ作成 ↓ 見るものが多く建設的な議論が進まず、グラフは運用に乗らない ↓ 本当に必要な最低限のものを一緒に考え、グラフを8→2に削減 エピソード (見るものを減らす重要性)
12. Copyright © 2018 eureka, Inc. All rights reserved. 12 開発プロセスを改善する目的で、開発プロセス改善チームにプロセス を可視化したグラフを提供。依頼に応じてグラフは8つ作成 ↓ 見るものが多く建設的な議論が進まず、グラフは運用に乗らない ↓ 本当に必要な最低限のものを一緒に考え、グラフを8→2に削減 ↓ 現在は毎週使用され、開発プロセス改善の糸口発見に貢献 (※1) ※1 毎週使用されるに至る別の要因もあるので、そちらは後述します エピソード (見るものを減らす重要性)
13. Copyright © 2018 eureka, Inc. All rights reserved. 13 意思決定者が「この分析結果、信用できない」と感じている状態 • 直感に反する ◦ 例：良い体験をしているはずのユーザーほど、レビューが悪い傾向にある • 不測の事態を考慮していない ◦ 例：データ欠損や計算ミスなどの確認が行われていない • 分析精度が期待値以下 ◦ 例：予測モデルに対して意思決定者は80%の精度を期待。一方で分析結果は精度 60% 2.「分析結果が信頼できない」状態とは
14. Copyright © 2018 eureka, Inc. All rights reserved. 14 • 結果の説明ができるようにする ◦ 例：良い体験をしているユーザーほどメール通知が増え、レビューが悪化 • 検算をする ◦ 例：別の計算方法で同じ結果になるか確認 / 有識者にレビューを依頼する • 分析精度の合意を得る ◦ 例：意思決定者の求める分析精度を事前に確認した上でモデルを作成する 信頼できる分析結果にするために
15. Copyright © 2018 eureka, Inc. All rights reserved. 15 エピソード (検算の重要性) 広告の投資対効果を最適化する目的で、財務チームに今後5年間の 投資対効果を予測したレポートを提供
16. Copyright © 2018 eureka, Inc. All rights reserved. 16 エピソード (検算の重要性) 広告の投資対効果を最適化する目的で、財務チームに今後5年間の 投資対効果を予測したレポートを提供 ↓ 予測値が財務チームの経験にそぐわず運用に乗らない
17. Copyright © 2018 eureka, Inc. All rights reserved. 17 エピソード (検算の重要性) 広告の投資対効果を最適化する目的で、財務チームに今後5年間の 投資対効果を予測したレポートを提供 ↓ 予測値が財務チームの経験にそぐわず運用に乗らない ↓ 予測値算出ロジックに問題がないか入念に検算。かつ財務や BIメンバーにトリプルチェックを依頼
18. Copyright © 2018 eureka, Inc. All rights reserved. 18 エピソード (検算の重要性) 広告の投資対効果を最適化する目的で、財務チームに今後5年間の 投資対効果を予測したレポートを提供 ↓ 予測値が財務チームの経験にそぐわず運用に乗らない ↓ 予測値算出ロジックに問題がないか入念に検算。かつ財務や BIメンバーにトリプルチェックを依頼 ↓ ロジック修正の必要性を発見し改善。投資対効果の正確な予測 により、広告の投資対効果を最適化できた
19. Copyright © 2018 eureka, Inc. All rights reserved. 19 意思決定者が「この分析結果で何をすれば？」と感じている状態 • 目新しい情報がない ◦ 例：売上と季節の相関分析を行ったが、既知の分析結果と同じになった • アクションが思い浮かばない ◦ 例：年収◯円以上のユーザーはマッチングしやすい → 年収◯円以上にすることは できない • アクションに至るまでに障壁がある ◦ 例：意思決定者が業務に忙殺されていて、分析結果を使う時間がない 3.「分析結果をアクションに繋げづらい」状態とは
20. Copyright © 2018 eureka, Inc. All rights reserved. • 目新しい情報がない分析はしない ◦ 例：既に実施されている分析を繰り返さない (別の手法で同じ結果になるのはしょう が無いけど) • アクションが思い浮かばない分析はしない ◦ 例：分析前に意思決定者とネクストアクションについて合意を取る • アクションに至るまでの障壁を取り除く ◦ 例：分析結果を自動レポートするなど、意思決定者が見に行く手間を省く 20 アクションに繋げやすい分析をするために
21. Copyright © 2018 eureka, Inc. All rights reserved. 21 エピソード (Next Actionを定めることの重要性) 開発プロセス改善チームにプロセスを可視化したグラフを 提供 (前述の通り8→2に減らした上で)
22. Copyright © 2018 eureka, Inc. All rights reserved. 22 エピソード (Next Actionを定めることの重要性) 開発プロセス改善チームにプロセスを可視化したグラフを 提供 (前述の通り8→2に減らした上で) ↓ グラフから得た情報→ネクストアクションへの繋げ方について 同チームメンバーの間で意思統一ができず、運用に乗らない危機
23. Copyright © 2018 eureka, Inc. All rights reserved. 23 エピソード (Next Actionを定めることの重要性) 開発プロセス改善チームにプロセスを可視化したグラフを 提供 (前述の通り8→2に減らした上で) ↓ グラフから得た情報→ネクストアクションへの繋げ方について 同チームメンバーの間で意思統一ができず、運用に乗らない危機 ↓ グラフから得た情報→ネクストアクションへの繋げ方について 一緒に策定
24. Copyright © 2018 eureka, Inc. All rights reserved. 24 エピソード (Next Actionを定めることの重要性) 開発プロセス改善チームにプロセスを可視化したグラフを 提供 (前述の通り8→2に減らした上で) ↓ グラフから得た情報→ネクストアクションへの繋げ方について 同チームメンバーの間で意思統一ができず、運用に乗らない危機 ↓ グラフから得た情報→ネクストアクションへの繋げ方について 一緒に策定 ↓ 現在は毎週使用され、開発プロセス改善の糸口発見に貢献
25. Copyright © 2018 eureka, Inc. All rights reserved. 25 意思決定者が「この分析結果、今あってもあまり意味がない」と感じている 状態 • 締切を逃す • 意思決定者の熱量が高いタイミングを逃す ◦ 例：意思決定者がBに着目し始めたタイミングで、Aの分析結果を渡す 4.「分析結果の鮮度が悪い」状態とは
26. Copyright © 2018 eureka, Inc. All rights reserved. • 締切に間に合わせる • 意思決定者の熱量を観察し行動する ◦ 例：意思決定者がBに着目し始めたタイミングで、Bの分析結果を渡す 26 鮮度が良い分析結果にするために
27. Copyright © 2018 eureka, Inc. All rights reserved. 27 エピソード (意思決定者の熱量を見極める重要性) 社内の偉い人の中でPairs内メールの効果分析に対する熱量が上昇 分析開始
28. Copyright © 2018 eureka, Inc. All rights reserved. 28 エピソード (意思決定者の熱量を見極める重要性) 社内の偉い人の中でPairs内メールの効果分析に対する熱量が上昇 分析開始 ↓ 分析の前段階のデータ取得において、取得用ツールの動作が 不安定でなかなか分析進まず
29. Copyright © 2018 eureka, Inc. All rights reserved. 29 エピソード (意思決定者の熱量を見極める重要性) 社内の偉い人の中でPairs内メールの効果分析に対する熱量が上昇 分析開始 ↓ 分析の前段階のデータ取得において、取得用ツールの動作が 不安定でなかなか分析進まず ↓ 偉い人の熱量が低下
30. Copyright © 2018 eureka, Inc. All rights reserved. 30 エピソード (意思決定者の熱量を見極める重要性) 社内の偉い人の中でPairs内メールの効果分析に対する熱量が上昇 分析開始 ↓ 分析の前段階のデータ取得において、取得用ツールの動作が 不安定でなかなか分析進まず ↓ 偉い人の熱量が低下 ↓ 同分析の事業優先度が低下
31. Copyright © 2018 eureka, Inc. All rights reserved. 31 データ分析結果を意思決定者に使ってもらうことで、ビジネスにおいて成 果を出したい人には以下の本がオススメ • 会社を変える分析の力 ◦ https://www.amazon.co.jp/dp/4062882183 • データサイエンティスト養成読本 ビジネス活用編 ◦ https://www.amazon.co.jp/dp/4297101084 本の紹介
32. Copyright © 2018 eureka, Inc. All rights reserved.