Data-driven User Experience Design

Data-driven User Experience Design at UI/UX Night @ Yahoo!

Transcript

1. Data-driven
   User Experience Design
   Steven Hsieh 謝沛剛
   Product Planner @ Gogolook
   2016.05.28 UI/UX Night @ Yahoo!
   

   View Slide

2. Gogolook
   Sr. Product Planner, Growth Team
   HTC
   Sr. Engineer, Data Insight Management
   StorySense
   Web Developer & Project Management
   Hi, I’m Steven
   

   View Slide

3. Interpret
   Understand
   Communicate
   Motivate
   

   View Slide

4. View Slide

5. 一切的基礎：Event tracking
   Level_Up
   Share_Score
   Unlock_Achievement
   …
   Add_Payment_Info
   View_Item
   Add_Into_Cart
   …
   Add_Friend
   Post_Photo
   Join_Group
   …
   First_Launch
   Start_Session
   Sign_Up
   Update_App
   Share_App
   …
   ...
   Receive_Calls
   Block_Calls
   Report_Names
   …
   

   View Slide

6. 工具 和 案例
   各有優缺點，依據產品、團隊性質，找適合的
   

   View Slide

7. User Path
   Observe user behavior
   

   View Slide

8. 了解使用者怎麼使用你的服務，有沒有符合你預期他們完成的事情？有沒有可以改善/優化/轉型的方向？
   

   View Slide

9. 搜尋結果
   店家詳細頁
   看地圖
   店家詳細頁
   看地圖
   …
   Finding: 在搜尋結果列表，逐筆檢視地圖 (想找最近的)
   

   View Slide

10. 搜尋結果
    地圖列表
    收藏清單
    地圖列表
    Improvement: 地圖檢視 @ 搜尋結果 & 收藏清單
    

    View Slide

11. 搜尋店家
    收藏
    撥號
    看地圖
    幾天後…
    Finding: 看到想去的店家，先存起來備用
    Improvement: 瀏覽器外掛，看食記/遊記可以直接收藏
    

    View Slide

12. A/B Testing
    Facts speak louder than words
    

    View Slide

13. Project Manager
    UI Designer
    Business Manager
    Developer
    

    View Slide

14. 設定目標
    觀察達成率
    實驗 + 收集數據
    

    View Slide

15. A. B.
    From>> http://unbounce.com/a-b-testing/shocking-results/
    目標: 註冊率
    

    View Slide

16. A. B.
    +24%
    From>> http://unbounce.com/a-b-testing/shocking-results/
    目標: 註冊率
    表單被下移，轉換率較差
    

    View Slide

17. A.
    B.
    目標: 影片點擊率
    From>> http://unbounce.com/a-b-testing/shocking-results/
    

    View Slide

18. A.
    B.
    目標: 影片點擊率
    +50%
    From>> http://unbounce.com/a-b-testing/shocking-results/
    專業軟體，比起專家現身說法，
    使用者比較想看實際功能展示
    

    View Slide

19. From>> http://unbounce.com/a-b-testing/shocking-results/
    目標: 按鈕點擊率
    A. B.
    

    View Slide

20. From>> http://unbounce.com/a-b-testing/shocking-results/
    目標: 按鈕點擊率
    A. B.
    +115%
    進入來源是從一個廣告點擊進入，
    這個文案較有連貫性
    

    View Slide

21. 工具 和 案例
    Make it your own way
    • 同樣的作法在不同的產品上不一定有效
    • 思考別人為什麼這樣做，為使用者創造什麼價值或感受
    • 參考別人的 why，嘗試自己的 how
    

    View Slide

22. From>> http://unbounce.com/a-b-testing/shocking-results/
    目標: Button clicks
    A. B.
    90,000 Views
    6583 Clicks
    7.31% CTR
    10,000 Views
    775 Clicks
    7.75% CTR
    Join Join
    11 of your friends already did
    實驗是否成功？
    (轉換率是否較好?)
    

    View Slide

23. • 抽樣調查的實驗結果能不能代表母體 (全體使用者)，需要經過統計方法檢驗。
    • 抽樣的樣本數越大，樣本的平均值越接近母體的平均值。
    

    View Slide

24. View Slide

25. http://abtestguide.com/calc/
    

    View Slide

26. From>> http://unbounce.com/a-b-testing/shocking-results/
    目標: Button clicks
    A. B.
    90,000 Views
    6583 Clicks
    7.31% CTR
    10,000 Views
    775 Clicks
    7.75% CTR
    Join Join
    11 of your friends already did
    95%信心水準下
    差異不顯著
    

    View Slide

27. 節錄自：@tempofeng 前輩 (產品開發週刊 #19) - https://pdwtaiwan.ongoodbits.com/2016/02/17/issue-19
    原文： http://conversionxl.com/inconclusive-ab-test-results/
    (05.29) 補充：當 A/B Test 的結果沒有顯著差異的時候該怎麼辦？
    ＊再分群用戶
    觀察一下不同的用戶分群，看看會不會在某些分群之中會有一些群體的活動是顯著差異的。要注意分群之後的取樣數還是需要
    足夠才行。
    ＊該繼續測試或放棄該測試？
    如果測試的東西很簡單或是沒有很強的動機或假設在背後支持，則可以考慮直接放棄，如果測試的結果沒有完整地驗證測試背
    後的假設，則可更進一步做更多的測試。
    如果一直會得到沒有顯著差異的結果，可能要檢討測試的假設與策略是否有問題。
    ＊沒有顯著差異的結果對我們有幫助嗎？
    就算是得到沒有顯著差異的結果，有時候也可以學習到東西。如雖然結果不顯著，可是仔細分析後發現對某分群還是有效或是
    會影響用戶的某些行為，那還是可以帶著新知識修正測試再試幾次。
    有時候沒有顯著差異的結果代表刪去法，如跑三個不同價格的測試（$29，$35，$39），可是測試結果差不多，那當然就可以
    選用價格高的結果。
    ＊檢驗其他非目標的指標（Micro-Conversions）
    有時候雖然得到沒有顯著差異的結果，可是提升了其他非目標的指標。如果分析後覺得有效，那可能還是可以留下實驗組的結
    果或是更進一步測試。
    ＊預設回到對照組比較好
    如果得到沒有顯著差異的結果可是又沒有理由要繼續，那一般大家做法就是回到使用對照組，除非實驗組真的特別喜歡。
    

    View Slide

28. Test Everything – 初次開啟流程
    A. B.
    目標: Retention rate
    

    View Slide

29. Test Everything – 功能介紹 pop-up
    A. B.
    目標: Retention rate
    

    View Slide

30. Test Everything – 文案
    A.
    B.
    C.
    現在回報名稱，
    下次大家就可辨識
    現在回報名稱，
    保護你的家人朋友
    現在回報名稱，
    幫助自己也幫助別人
    目標: 回報率
    

    View Slide

31. 接到0800開頭的電話要小心，100%是詐騙電話..
    [注意] 小心詐騙手法
    >>> 點我看答案 >>>>>>
    0800 開頭來電到底可不可以接!?
    Fri 17:40 Sat 15:15
    A
    CTR
    +53%
    1
    B
    CTR
    +100%
    CTR
    +41%
    A. B.
    Test Everything – 推送內容 & 時間
    

    View Slide

32. Cohort Analysis
    Find your power users
    

    View Slide

33. Demographic Cohorts
    Age
    Gender
    Location
    Income
    Education
    Occupation
    …
    ...
    過去資訊來源主要來自於主流媒體(報紙、電視），生長在同樣時間、區域，受相同教育、做相同職業的人
    們，容易有相差不遠的價值觀和行為模式。使用人口統計學來分群，容易分析世代或地域間的不同。
    

    View Slide

34. 35 yrs
    Taipei
    75 yrs
    PinDong
    Who’s your power user?
    近年網路發達，資訊來源相當廣泛，就算是同年齡層、同性別、住同區域的人們，也很可能會有極不同的
    生活方式、行為、價值觀。因此，只用人口統計學的特徵來分群，不容易把有相同行為的使用者切分出來。
    

    View Slide

35. Demographic Cohorts
    Behavioral
    groupusersbased onwhattheydo
    第一次使用就註冊
    每日十次以上通話
    封鎖超過二十個號碼
    有來電時常沒有網路連線
    安裝前三天回報五次以上
    

    View Slide

36. 比較不同 Cohorts 間的轉換率
    

    View Slide

37. 比較不同 Cohorts 間的留存率
    

    View Slide

38. View Slide

39. Game over 不想等？
    買金幣
    看廣告
    邀請朋友
    不願意花錢的人
    依據行為模式
    傳遞最適合的訊息
    

    View Slide

40. 經營生意、業務員
    初次使用教學
    撥號 SIM 卡推薦
    建立來電名片
    封鎖來電
    依據行為模式
    傳遞最適合的訊息
    

    View Slide

41. Takeaways
    Make it your own way!!
    

    View Slide

42. Takeaways
    • 案例只是參考，做你自己的實驗！
    • Data 要能轉化為 行動
    • 實驗前設立 觀察指標 以及 行動方案
    • 善用 Behavioral cohorts
    • 小心數字陷阱
    • Test everything!!
    

    View Slide

43. Whoscall
    

    View Slide

44. ProductTank Taipei
    

    View Slide

45. Thank you!
    stevenhsieh@gogolook.com
    

    View Slide