Data-driven User Experience Design

Data-driven User Experience Design at UI/UX Night @ Yahoo!

1. Data-driven User Experience Design Steven Hsieh 謝沛剛 Product Planner @ Gogolook 2016.05.28 UI/UX Night @ Yahoo!
2. Gogolook Sr. Product Planner, Growth Team HTC Sr. Engineer, Data Insight Management StorySense Web Developer & Project Management Hi, I’m Steven
3. Interpret Understand Communicate Motivate
5. 一切的基礎：Event tracking Level_Up Share_Score Unlock_Achievement … Add_Payment_Info View_Item Add_Into_Cart … Add_Friend Post_Photo Join_Group … First_Launch Start_Session Sign_Up Update_App Share_App … ... Receive_Calls Block_Calls Report_Names …
6. 工具 和 案例 各有優缺點，依據產品、團隊性質，找適合的
7. User Path Observe user behavior
8. 了解使用者怎麼使用你的服務，有沒有符合你預期他們完成的事情？有沒有可以改善/優化/轉型的方向？
9. 搜尋結果 店家詳細頁 看地圖 店家詳細頁 看地圖 … Finding: 在搜尋結果列表，逐筆檢視地圖 (想找最近的)
10. 搜尋結果 地圖列表 收藏清單 地圖列表 Improvement: 地圖檢視 @ 搜尋結果 & 收藏清單
11. 搜尋店家 收藏 撥號 看地圖 幾天後… Finding: 看到想去的店家，先存起來備用 Improvement: 瀏覽器外掛，看食記/遊記可以直接收藏
12. A/B Testing Facts speak louder than words
13. Project Manager UI Designer Business Manager Developer
14. 設定目標 觀察達成率 實驗 + 收集數據
15. A. B. From>> http://unbounce.com/a-b-testing/shocking-results/ 目標: 註冊率
16. A. B. +24% From>> http://unbounce.com/a-b-testing/shocking-results/ 目標: 註冊率 表單被下移，轉換率較差
17. A. B. 目標: 影片點擊率 From>> http://unbounce.com/a-b-testing/shocking-results/
18. A. B. 目標: 影片點擊率 +50% From>> http://unbounce.com/a-b-testing/shocking-results/ 專業軟體，比起專家現身說法， 使用者比較想看實際功能展示
19. From>> http://unbounce.com/a-b-testing/shocking-results/ 目標: 按鈕點擊率 A. B.
20. From>> http://unbounce.com/a-b-testing/shocking-results/ 目標: 按鈕點擊率 A. B. +115% 進入來源是從一個廣告點擊進入， 這個文案較有連貫性
21. 工具 和 案例 Make it your own way • 同樣的作法在不同的產品上不一定有效 • 思考別人為什麼這樣做，為使用者創造什麼價值或感受 • 參考別人的 why，嘗試自己的 how
22. From>> http://unbounce.com/a-b-testing/shocking-results/ 目標: Button clicks A. B. 90,000 Views 6583 Clicks 7.31% CTR 10,000 Views 775 Clicks 7.75% CTR Join Join 11 of your friends already did 實驗是否成功？ (轉換率是否較好?)
23. • 抽樣調查的實驗結果能不能代表母體 (全體使用者)，需要經過統計方法檢驗。 • 抽樣的樣本數越大，樣本的平均值越接近母體的平均值。
25. http://abtestguide.com/calc/
26. From>> http://unbounce.com/a-b-testing/shocking-results/ 目標: Button clicks A. B. 90,000 Views 6583 Clicks 7.31% CTR 10,000 Views 775 Clicks 7.75% CTR Join Join 11 of your friends already did 95%信心水準下 差異不顯著
27. 節錄自：@tempofeng 前輩 (產品開發週刊 #19) - https://pdwtaiwan.ongoodbits.com/2016/02/17/issue-19 原文： http://conversionxl.com/inconclusive-ab-test-results/ (05.29) 補充：當 A/B Test 的結果沒有顯著差異的時候該怎麼辦？ ＊再分群用戶 觀察一下不同的用戶分群，看看會不會在某些分群之中會有一些群體的活動是顯著差異的。要注意分群之後的取樣數還是需要 足夠才行。 ＊該繼續測試或放棄該測試？ 如果測試的東西很簡單或是沒有很強的動機或假設在背後支持，則可以考慮直接放棄，如果測試的結果沒有完整地驗證測試背 後的假設，則可更進一步做更多的測試。 如果一直會得到沒有顯著差異的結果，可能要檢討測試的假設與策略是否有問題。 ＊沒有顯著差異的結果對我們有幫助嗎？ 就算是得到沒有顯著差異的結果，有時候也可以學習到東西。如雖然結果不顯著，可是仔細分析後發現對某分群還是有效或是 會影響用戶的某些行為，那還是可以帶著新知識修正測試再試幾次。 有時候沒有顯著差異的結果代表刪去法，如跑三個不同價格的測試（$29，$35，$39），可是測試結果差不多，那當然就可以 選用價格高的結果。 ＊檢驗其他非目標的指標（Micro-Conversions） 有時候雖然得到沒有顯著差異的結果，可是提升了其他非目標的指標。如果分析後覺得有效，那可能還是可以留下實驗組的結 果或是更進一步測試。 ＊預設回到對照組比較好 如果得到沒有顯著差異的結果可是又沒有理由要繼續，那一般大家做法就是回到使用對照組，除非實驗組真的特別喜歡。
28. Test Everything – 初次開啟流程 A. B. 目標: Retention rate
29. Test Everything – 功能介紹 pop-up A. B. 目標: Retention rate
30. Test Everything – 文案 A. B. C. 現在回報名稱， 下次大家就可辨識 現在回報名稱， 保護你的家人朋友 現在回報名稱， 幫助自己也幫助別人 目標: 回報率
31. 接到0800開頭的電話要小心，100%是詐騙電話.. [注意] 小心詐騙手法 >>> 點我看答案 >>>>>> 0800 開頭來電到底可不可以接!? Fri 17:40 Sat 15:15 A CTR +53% 1 B CTR +100% CTR +41% A. B. Test Everything – 推送內容 & 時間
32. Cohort Analysis Find your power users
33. Demographic Cohorts Age Gender Location Income Education Occupation … ... 過去資訊來源主要來自於主流媒體(報紙、電視），生長在同樣時間、區域，受相同教育、做相同職業的人 們，容易有相差不遠的價值觀和行為模式。使用人口統計學來分群，容易分析世代或地域間的不同。
34. 35 yrs Taipei 75 yrs PinDong Who’s your power user? 近年網路發達，資訊來源相當廣泛，就算是同年齡層、同性別、住同區域的人們，也很可能會有極不同的 生活方式、行為、價值觀。因此，只用人口統計學的特徵來分群，不容易把有相同行為的使用者切分出來。
35. Demographic Cohorts Behavioral groupusersbased onwhattheydo 第一次使用就註冊 每日十次以上通話 封鎖超過二十個號碼 有來電時常沒有網路連線 安裝前三天回報五次以上
36. 比較不同 Cohorts 間的轉換率
37. 比較不同 Cohorts 間的留存率
39. Game over 不想等？ 買金幣 看廣告 邀請朋友 不願意花錢的人 依據行為模式 傳遞最適合的訊息
40. 經營生意、業務員 初次使用教學 撥號 SIM 卡推薦 建立來電名片 封鎖來電 依據行為模式 傳遞最適合的訊息
41. Takeaways Make it your own way!!
42. Takeaways • 案例只是參考，做你自己的實驗！ • Data 要能轉化為 行動 • 實驗前設立 觀察指標 以及 行動方案 • 善用 Behavioral cohorts • 小心數字陷阱 • Test everything!!
43. Whoscall
44. ProductTank Taipei
45. Thank you! stevenhsieh@gogolook.com