ProductTank Taipei#2 數據驅動的用戶研究- By Jason Hou

ProductTank Taipei#2 數據驅動的用戶研究- By Jason Hou

Video on Youtube:
https://www.youtube.com/watch?v=6rRSHQ-xcFU

Transcript

1. 我插入了 GA/Flurry，然後咧？ - 數據驅動的用戶研究 Jason @ Product Tank 2016/3/31 1
2. • 其實不能幹麻 可以看巨觀數字 ◦ 可以看到「以裝置/流量為單位」的分析 ◦ 可以看數字漲跌 (vanity metrics) 插入 Flurry / GA 以後... 2 • 但不能回答： ◦ 誰在用哪個(功能)、做什麼(事情)、和為什麼？ ◦ Who is using which, for what, and why?
3. • 新創公司頭號殺手：做了沒人用的產品 • 不在意用戶，用戶就背棄你 為什麼這個問題，很重要？ • 用戶量不是萬能，但沒有用戶萬萬不能 3
4. • Jason 侯宗成 • StorySense 第 3or4 位實習生/第 6or7 位成員 • 演算法工程師 => Growth Hacker About Me 4 • Hacker 造成許多誤會 • Growth Engineer @ Apexlearn Inc. • 我們的產品： ParrotTalks
5. • 產品已上線，已有用戶數據 ◦ 沒上線沒數據，純做質化訪談 ◦ 或做 MVP 丟出去測試，從中撈訪談者 • 知道 event tracking, mixpanel, amplitude • 知道用戶旅程漏斗，例如：AARRR • 知道如何做基本的用戶訪談、質化研究 今天的分享，假設大家... 5
6. • 想知道：用戶獲得什麼價值，想完成什麼任務？ • 要達成：如何讓陌生訪客「快速理解價值」？ 了解用戶的目標 6 • 拆解問題：Who is using which, for what, and why? ◦ Q1: 誰是 power users? ◦ Q2: 他們在服務中做什麼(用什麼功能)? ◦ Q3: 他們想完成什麼任務? ◦ Q4: 為什麼? ◦ Q5: 陌生訪客與邊緣用戶，了解多少？
7. 如何了解用戶? 7 • 質化的訪談研究： ◦ 深入回答，但要足夠時間 ◦ 易被質疑樣本選擇的邏輯、代表性 • 量化的數據分析： ◦ 快速的初步回答，但沒有「為什麼」 ◦ 扁平的結果，只有「缺乏個性」的樣本，沒有人味
8. • 分析用戶數據，決定要深入了解哪群用戶 ◦ Step 1：數據分析，將用戶分群，初步回答 ◦ Step 2：依漏斗的轉換成效，決定問題次序 ◦ Step 3：執行質化研究，回答 ”Who” and “why” ◦ Step 4： ▪ 基於結果，採取行動 ▪ 調整判讀數據的角度，重新來過 ▪ 驗證質化研究結果 兩者搭配 - 數據驅動的用戶研究 8
9. 介紹 ParrotTalks 9 • 解決問題：因英文能力不足而生的資訊落差 • 如何解決：輔助閱讀，擴充字彙，大腦健身 • 營收模式：Software as a Service 即點即查 自建詞庫 活化記憶 免費 (網頁) 付費 (PDF) 免費 (容量限制) 付費 (無限) 試用 14 天 付費 (產品快速 demo)
10. 基本的用戶分群 10 Visitors Marginal Users Power Users Acquisition Activation Retention Referral / Revenue • 事件追蹤：轉換點、連續傳遞價值、初次傳遞價值 查詢 儲存 複習 • 順著體驗流程，針對用戶的「體驗程度or深度」做分群
11. Referral Program 製作前問卷：Who & Which 11 • 先來個簡單的例子： ◦ 原本的版本：邀請朋友換點數 -> 換個別功能 ◦ 提議新的版本：邀請朋友換點數 -> 換一個月付費全功能 • 問題： ◦ 對誰有吸引力，有吸引力嗎？ ◦ 如何快速獲得用戶回饋？
12. Referral Program 製作前問卷：Who & Which • 選出不同用戶群，email問卷，看回應 ◦ Group A： 過去 3 個月曾經造訪過舊版 Referral 頁面 ◦ Group B： 過去 30 天使用過 PDF 功能 ◦ Group C： 過去 3 個月的忠實用戶 • 從符合條件的用戶中，隨機選 300 或 600 人 12 Size Open % CTR % 填完 % 獲得回應 想要>=4 Group A 600 Group B 300 Group C 300
13. Referral Program 製作前問卷：Who & Which • 選出不同用戶群，email問卷，看回應 ◦ Group A： 過去 3 個月曾經造訪過舊版 Referral 頁面 ◦ Group B： 過去 30 天使用過 PDF 功能 ◦ Group C： 過去 3 個月的忠實用戶 • 從符合條件的用戶中，隨機選 300 或 600 人 13 Size Open % CTR % 填完 % 獲得回應 想要>=4 Group A 600 25.7% 11.3% 59% 54 72% Group B 300 24.0% 8.2% 52% 15 66% Group C 300 38.6% 20.3% 62% 51 76%
14. Referral Program 製作前問卷：Who & Which • 為什麼願意： ◦ 之前給過你們一些建議你們都會參考 ◦ 我觉得你们的软件很棒，但是对大陆的用户很不友好 • 為什麼不願意： ◦ 因為沒有非常好用 ◦ 不想打擾朋友，如同廣告強迫推銷 ◦ 覺得就算分享了，朋友也不一定註冊使用 • Referral 最好透過 Power User 來啟動 14
15. • 上線一個月推出付費方案 ◦ 付費用戶自然是 Power Users，直接做訪談 • 從沒付費的用戶中，標定有儲存的用戶 ◦ 假設「有儲存一定量」的人可能是 Power user ◦ 撈用戶的數據條件： ▪ 過去一個月存了 > 9 個單字 ▪ 過去一個月存了> 9 個單字，且過去兩週有查詢 初期 Power User 訪談：Who & Why 15 • 隨著用戶量成長，用戶分群的門檻會改變
16. • Who： ◦ 職業類型：研究生、學生、上班族 ◦ 共同特質：有學習動機、求知慾望 • Why： ◦ 具體目標：工作、自發學習、檢定 ◦ 心理需求：因為英文而妨礙工作 • 小故事： ◦ 存手機上的文章，用電腦+Plugin閱讀 ◦ 貼到 email，藏起鸚鵡頭，然後閱讀 初期 Power User 訪談：Who & Why 16
17. • 提升解釋品質 • 為了驗證 Persona，在產品內嵌問卷 • 發現價值：把讀論文的痛苦時間縮短 => 研究生 Campaign 後續行動 17
18. • 驗證訪談結果，跟用戶數據交叉比對 • 試用前問卷： ◦ 身份、使用動機 • 需要驗證： ◦ 質化訪談獲得的 persona，足夠代表 power users？ • 驗證條件： ◦ 如果這些用戶的 retention 比較高，則表示有效 產品內嵌問卷：Who & Why & Which 18
19. 產品內嵌問卷：Who & Why & Which 19
20. • 分成兩種 Retention： ◦ First-Time：視為 Activation 的成效 ◦ Recurring：重複使用，是 Retention / Return Rate 產品內嵌問卷：Who & Why & Which 20 • 訪談沒發現：上班族 retention 更好，但慢理解價值 學生 vs 非學生 研究生 vs 非研究生 上班族 vs 非上班族 學生 vs 沒填問卷 研究生 vs 沒填 上班族 vs 沒填 Month 0 First Time Retention +4% -1% -1% +11% +3% +3% Month 1 Recurring Retention -3% -1% +6% +12% +13% +20%
21. 產品內嵌問卷：Who & Why & Which 21
22. 產品內嵌問卷：Who & Why & Which 22
23. • 用戶量更多，則要更多數據分析，挑研究樣本 • 定義重度用戶： ◦ 單位時間內，更密集使用 (查詢, 儲存, 複習) 中期 Power User 觀察：Who & What 23 • 挑出值得研究的用戶： ◦ 1) 設最低門檻，超過才排序（因資料量大） ▪ Ex: 過去 6 個月，「查詢」超過 60 次 ◦ 2) 過去 1 個月仍然活躍 ◦ 3) 量體不同，正規劃化後排序
24. • 量體不同： ◦ 正規劃方法：最重度的% = (每個用戶的每天量) / (最重度的每天量) • 注意：每位用戶的「起點」 ◦ 雖然在相同期間（ex:過去 6 個月） ◦ 並非所有用戶都已使用 6 個月 • 觀察前 10 位最重度的用戶，夥伴整理出下頁 中期 Power User 觀察：Who & What 24 ( 6 個月內) Max Min Average STDEV 查詢 59,910 60 1,105 2,375 複習 164,129 504 9,805 23,502
25. 讀自己喜歡的內容 讀準備考試的內容 隨意的學習步調 不急 x 輕鬆準備 短時間取高分 x 密集準備 離考試還很久 or 看不懂英文新聞 提升英文程度 x 密集準備 密集的學習步調 小提醒：此圖修改自當時的研究結果， 產品仍在 發展中，隨時會變動
26. • 質化訪談沒發現的事情： ◦ 觀看娛樂類的內容 IMBD、歌詞、娛樂新聞、遊戲情報 (Battle.net) 直播網站 (Twitch) ◦ 去考題、字彙網站儲存單字 (考滿分, Magoosh, Quizlet) ◦ 去 YouTube, VoiceTube 上使用 中期 Power User 觀察：Who & What 26
27. • 分析數據的重點： ◦ 立假設，然後做出用戶分群，方便深入研究 ◦ 交叉比對質化研究的結果 • 瞭解重度用戶：在想什麼、獲得什麼價值 ◦ 令邊緣用戶 / 訪客快速體驗價值 ◦ 傳達重度用戶對產品的理解 結語 • 除了用戶訪談： ◦ 客服訊息是超重要的管道，搭配用戶數據一併判斷 ◦ 發送問卷可以快速獲得結果 27
28. Questions? 28 Find me via: jasonhou.tw@gmail.com