ダッシュボードを使ってもらうには、 現場へのヒアリングが重要だと 改めて気づいた話

Timee × Commune データチーム勉強会より

Transcript

1. 1 | © Commune Inc. All rights reserved ダッシュボードを使ってもらうには、 現場へのヒアリングが重要だと 改めて気づいた話 Product&Data Data Scientist Apr. 23 2024 - Kokoro Higuchi
2. 2 | © Commune Inc. All rights reserved Agenda • 自己紹介 • プロダクト・プロジェクト概要 • プロジェクトの進め方 • プロジェクトにおけるヒアリングでの学び • ヒアリングを経た結果 • なぜヒアリングが重要なのか?
3. 3 | © Commune Inc. All rights reserved 自己紹介 樋口 心 @zerebom_3 経歴 • DS @Wantedly (2021/04 - 2023/11) ◦ レコメンド改善, ML開発(FeatureStore導入など) • DS @コミューン (2024/01 -) ◦ 推薦/検索改善, プロダクトKPIの可視化, コミュニティマネージャー向けダッシュボード作成 興味関心 • 推薦・データ分析・LLM・検索・MLOpsなど
4. 4 | © Commune Inc. All rights reserved 会社・プロダクト概要
5. 5 | © Commune Inc. All rights reserved Communeってどんなプロダクト? コミュニティ成功に必要な機能を包括的に持ったプラットフォーム
6. 6 | © Commune Inc. All rights reserved Communeってどんなプロダクト? ノーコードでコミュニティを⽴ち上げ、運⽤し、成功に導く コミュニティの例 • キッチン家電のレシピ投稿サイト • コミュニティ運営者のナレッジシェアサイト コミュニティ導⼊のメリット • クライアント:ユーザー定着‧UGC増加‧本⾳理解など • ユーザー: 共通話題でコミュニケーション‧ ナレッジシェアなど
7. 7 | © Commune Inc. All rights reserved プロジェクト概要・進め方
8. 8 | © Commune Inc. All rights reserved プロジェクト概要 • 背景:クライアントのコミュニティを⽴ち上げるだけでなく、再現性持って成功に導きたい • 課題: ⼀⽅でコミュニティ成功に必要な仕事やナレッジは多岐にわたり、難易度が⾼い ◦ コンセプト作り/集客/活性化/コンテンツ作成/監視... • 解決⽅針: データ分析‧可視化を使って、上記のような⾼難易度な仕事を⽀援したい • 具体策: コミュニティマネージャー向けダッシュボードを作成して⽀援する 🚀
9. 9 | © Commune Inc. All rights reserved コミュニティマネージャー(略称:コミュマネ)とは? コミュニティの管理⼈ 企画‧運営‧メンバーのサポート‧トラブルの解決まで、幅広い役割を担う コミューンには運⽤代⾏プランがあるため、社内のコミュマネも多くいます
10. 10 | © Commune Inc. All rights reserved ダッシュボードに関連するコミュマネの業務上の課題 打った施策の数や良し悪しが判断しづらく、PDCAを回しづらい 施策は投稿作成・DM送信・イベント作成など多岐にわたる それらの成果を一元的に知ることができない コミュニティマネジメントの目標がわからない 必ずしもコミュニティに精通している人がコミュマネをやるわけではない コミューンの支援はありつつ、何をどれくらいどの程度やるかがわからないことも 定型業務が多く、運営方針決めなど本質的な実務にリソースを割けない DM・投稿リアクション・イベント集客など、作業量が多い
11. 11 | © Commune Inc. All rights reserved ダッシュボードを使ったコミュマネの支援 各施策の成果やコミュニティのトレンドを定量化 ユーザーが投稿したコンテンツのハッシュタグなどからトレンドの可視化 コミュマネとユーザーの行動量をそれぞれ可視化 コミュニティ成功に必要なアクション量の目標と実数を表示 コミューン利用企業から傾向を算出し、成功しているコミュニティの 共通項を目標値とし、その差分などを可視化 定型業務のリスト化による業務効率の改善 コミュマネがフォローしてない新規ユーザーや、コメントしてない新着投稿のリストを列挙 することで、アクション工数を最小化
12. 12 | © Commune Inc. All rights reserved ダッシュボード作成時のプロジェクトの進め方 1. 1weekでざっくりと 作る 課題と可視化方法を考えた 後に、LookerStudio + べた書きクエリでとにかく 早く動くものを作る 2. 社内コミュマネへの ヒアリング* 4回 週次で動くものを見せつつ、 実務利用をイメージできるか MTGでフィードバックを貰う 3. 関連チームに同期的に、 全社に非同期で共有 完成度が上がったタイミングで 社内チームに共有 非言語な反応含め、 フィードバックを見て、修正
13. 13 | © Commune Inc. All rights reserved ダッシュボード作成時のプロジェクトの進め方 1. 1weekでざっくりと 作る 課題と可視化方法を考えた 後に、LookerStudio + べた書きクエリでとにかく 早く動くものを作る 2. 社内コミュマネへの ヒアリング* 4回 週次で動くものを見せつつ、 実務利用をイメージできるか MTGでフィードバックを貰う 3. 関連チームに同期的に、 全社に非同期で共有 完成度が上がったタイミングで 社内チームに共有 非言語な反応含め、 フィードバックを見て、修正 学びがあり、非常に重要なプロセスだった (協力いただきありがとうございました...!)
14. 14 | © Commune Inc. All rights reserved プロジェクトにおけるヒアリングでの学び
15. 15 | © Commune Inc. All rights reserved 1. 一般的なWebサイトのメトリクスだけではコミュニティの状態はわからない 想定: • コミュニティは広義のWebサイトなのでそのような他社事例を参考に、 投稿数やMAUなどを可視化すれば良い 実際: • ⼀般的なサイトに⽐べ、ユーザー数が少なくコミュニケーションが密 • アクティブ度の差も激しい • コアユーザーがどんな⾏動しているかなど、n=1を観察できることも⼤切 改善: • コアユーザーをメトリクスから定義し、追えるようにする
16. 16 | © Commune Inc. All rights reserved 2. 指標を可視化さえすれば示唆につながり、使えるわけではない 想定: • 投稿数, ユーザー数などを集計すれば、コミュニティの状態がわかり、⽰唆になる 実際: • 単に投稿数を計測しても、上下の原因や⽬標も不明で次のアクションを取りづらい • ユーザー⾏動はコミュマネの⾏動の遅⾏指数になるため、単体では使いづらい 改善: • 成功するコミュニティの特徴を分析し、⽬標数値を算出 • コミュマネとユーザーの⾏動をセットで⾒れるようにする
17. 17 | © Commune Inc. All rights reserved ヒアリングを経た結果
18. 18 | © Commune Inc. All rights reserved リリース以降、全社で継続的に利用されている 🎉
19. 19 | © Commune Inc. All rights reserved なぜヒアリングが重要なのか?
20. 20 | © Commune Inc. All rights reserved 1. 現状の業務を起点にJobを解決しないと、認知負荷が高すぎるから • 現場の方のヒアリングをしないと微妙に実務とそぐわない可視化になる ◦ 指標の定義、データの更新頻度、粒度、可視化の順序、大小etc • 結果、既存業務を代替できるイメージがつかず、使い方を覚えるのは後回しになる → 現在の業務を把握し、代替・効率化する可視化が必要 業務レベルまで解像度を上げた例: • △: コミュニティの健康状態を知れるダッシュボード • ◎: コミュニティ活性化において重要な、ユーザーの新規投稿へのコメントの抜け漏れを確 認できるダッシュボード
21. 21 | © Commune Inc. All rights reserved 2. 同期的なリアクションや関係値構築などが良いもの作るのに欠かせないから • slack等で非同期・文章でもFBをもらえるが、文章で出来るFBはごく一部 ◦ 心理的に慣れてないもの、関係値がない人に、ネガティブなことは書きづらい ▪ (ex. データチームの人が作ったデータ分析ならいいんじゃない...?) ◦ ある程度使える状態でないと、FBは思いつかない. • 同期的なリアクションであれば、言語化できない温度感・期待感もわかる ◦ ex) 視線, 声色, 表情, 操作の戸惑い, ある機能への追加質問 • 同期的に話して関係構築した人は、別の場・非同期でもフィードバックしやすくなる ◦ ex) 出社時, 全社のコミュニケーション施策時に「あれからどうですか?」など
22. 22 | © Commune Inc. All rights reserved Summary • コミュニティマネージャーの業務改善のためにダッシュボードを作成した • ヒアリングを経て業務理解したことで、日常的に使ってもらえるようになった • ヒアリングが重要な理由 ◦ 現状の業務を起点にJobを解決しないと、認知負荷が高すぎるから ◦ 同期的なリアクションや関係値構築などが、良いもの作るのに欠かせないから
23. 23 | © Commune Inc. All rights reserved Appendix ヒアリング時に意識したこと • ある程度仮説を持った上で機能開発し、そのギャップを埋めていく a. どう作ったらいい？より、こう思って作ったけどどこが悪い？の方が回答しやすい b. コミュニティグロースの書籍を読んだり、コミュマネ向けイベントに参加することも有効だった • 今の業務でどうしてるかを聞く a. どんなオペレーションがあるのか、どのくらいの頻度、人数、強度でやってるか b. インターネットに落ちてない、推察しづらいことに時間を割く • 全社共有後はより非同期でFBもらいやすくする土壌を作る a. 丁寧なドキュメント、専用チャンネルを作るなど