Data-driven User Experience Design

Slide 1

Slide 1 text

Data-driven User Experience Design Steven Hsieh 謝沛剛 Product Planner @ Gogolook 2016.05.28 UI/UX Night @ Yahoo!

Slide 2

Slide 2 text

Gogolook Sr. Product Planner, Growth Team HTC Sr. Engineer, Data Insight Management StorySense Web Developer & Project Management Hi, I’m Steven

Slide 3

Slide 3 text

Interpret Understand Communicate Motivate

Slide 4

Slide 4 text

No content

Slide 5

Slide 5 text

一切的基礎：Event tracking Level_Up Share_Score Unlock_Achievement … Add_Payment_Info View_Item Add_Into_Cart … Add_Friend Post_Photo Join_Group … First_Launch Start_Session Sign_Up Update_App Share_App … ... Receive_Calls Block_Calls Report_Names …

Slide 6

Slide 6 text

工具和案例各有優缺點，依據產品、團隊性質，找適合的

Slide 7

Slide 7 text

User Path Observe user behavior

Slide 8

Slide 8 text

了解使用者怎麼使用你的服務，有沒有符合你預期他們完成的事情？有沒有可以改善/優化/轉型的方向？

Slide 9

Slide 9 text

搜尋結果店家詳細頁看地圖店家詳細頁看地圖 … Finding: 在搜尋結果列表，逐筆檢視地圖 (想找最近的)

Slide 10

Slide 10 text

搜尋結果地圖列表收藏清單地圖列表 Improvement: 地圖檢視 @ 搜尋結果 & 收藏清單

Slide 11

Slide 11 text

搜尋店家收藏撥號看地圖幾天後… Finding: 看到想去的店家，先存起來備用 Improvement: 瀏覽器外掛，看食記/遊記可以直接收藏

Slide 12

Slide 12 text

A/B Testing Facts speak louder than words

Slide 13

Slide 13 text

Project Manager UI Designer Business Manager Developer

Slide 14

Slide 14 text

設定目標觀察達成率實驗 + 收集數據

Slide 15

Slide 15 text

A. B. From>> http://unbounce.com/a-b-testing/shocking-results/ 目標: 註冊率

Slide 16

Slide 16 text

A. B. +24% From>> http://unbounce.com/a-b-testing/shocking-results/ 目標: 註冊率表單被下移，轉換率較差

Slide 17

Slide 17 text

A. B. 目標: 影片點擊率 From>> http://unbounce.com/a-b-testing/shocking-results/

Slide 18

Slide 18 text

A. B. 目標: 影片點擊率 +50% From>> http://unbounce.com/a-b-testing/shocking-results/ 專業軟體，比起專家現身說法，使用者比較想看實際功能展示

Slide 19

Slide 19 text

From>> http://unbounce.com/a-b-testing/shocking-results/ 目標: 按鈕點擊率 A. B.

Slide 20

Slide 20 text

From>> http://unbounce.com/a-b-testing/shocking-results/ 目標: 按鈕點擊率 A. B. +115% 進入來源是從一個廣告點擊進入，這個文案較有連貫性

Slide 21

Slide 21 text

工具和案例 Make it your own way • 同樣的作法在不同的產品上不一定有效 • 思考別人為什麼這樣做，為使用者創造什麼價值或感受 • 參考別人的 why，嘗試自己的 how

Slide 22

Slide 22 text

From>> http://unbounce.com/a-b-testing/shocking-results/ 目標: Button clicks A. B. 90,000 Views 6583 Clicks 7.31% CTR 10,000 Views 775 Clicks 7.75% CTR Join Join 11 of your friends already did 實驗是否成功？ (轉換率是否較好?)

Slide 23

Slide 23 text

• 抽樣調查的實驗結果能不能代表母體 (全體使用者)，需要經過統計方法檢驗。 • 抽樣的樣本數越大，樣本的平均值越接近母體的平均值。

Slide 24

Slide 24 text

No content

Slide 25

Slide 25 text

http://abtestguide.com/calc/

Slide 26

Slide 26 text

Slide 27

Slide 27 text

節錄自：@tempofeng 前輩 (產品開發週刊 #19) - https://pdwtaiwan.ongoodbits.com/2016/02/17/issue-19 原文： http://conversionxl.com/inconclusive-ab-test-results/ (05.29) 補充：當 A/B Test 的結果沒有顯著差異的時候該怎麼辦？＊再分群用戶觀察一下不同的用戶分群，看看會不會在某些分群之中會有一些群體的活動是顯著差異的。要注意分群之後的取樣數還是需要足夠才行。＊該繼續測試或放棄該測試？如果測試的東西很簡單或是沒有很強的動機或假設在背後支持，則可以考慮直接放棄，如果測試的結果沒有完整地驗證測試背後的假設，則可更進一步做更多的測試。如果一直會得到沒有顯著差異的結果，可能要檢討測試的假設與策略是否有問題。＊沒有顯著差異的結果對我們有幫助嗎？就算是得到沒有顯著差異的結果，有時候也可以學習到東西。如雖然結果不顯著，可是仔細分析後發現對某分群還是有效或是會影響用戶的某些行為，那還是可以帶著新知識修正測試再試幾次。有時候沒有顯著差異的結果代表刪去法，如跑三個不同價格的測試（$29，$35，$39），可是測試結果差不多，那當然就可以選用價格高的結果。＊檢驗其他非目標的指標（Micro-Conversions）有時候雖然得到沒有顯著差異的結果，可是提升了其他非目標的指標。如果分析後覺得有效，那可能還是可以留下實驗組的結果或是更進一步測試。＊預設回到對照組比較好如果得到沒有顯著差異的結果可是又沒有理由要繼續，那一般大家做法就是回到使用對照組，除非實驗組真的特別喜歡。

Slide 28

Slide 28 text

Test Everything – 初次開啟流程 A. B. 目標: Retention rate

Slide 29

Slide 29 text

Test Everything – 功能介紹 pop-up A. B. 目標: Retention rate

Slide 30

Slide 30 text

Test Everything – 文案 A. B. C. 現在回報名稱，下次大家就可辨識現在回報名稱，保護你的家人朋友現在回報名稱，幫助自己也幫助別人目標: 回報率

Slide 31

Slide 31 text

接到0800開頭的電話要小心，100%是詐騙電話.. [注意] 小心詐騙手法 >>> 點我看答案 >>>>>> 0800 開頭來電到底可不可以接!? Fri 17:40 Sat 15:15 A CTR +53% 1 B CTR +100% CTR +41% A. B. Test Everything – 推送內容 & 時間

Slide 32

Slide 32 text

Cohort Analysis Find your power users

Slide 33

Slide 33 text

Demographic Cohorts Age Gender Location Income Education Occupation … ... 過去資訊來源主要來自於主流媒體(報紙、電視），生長在同樣時間、區域，受相同教育、做相同職業的人們，容易有相差不遠的價值觀和行為模式。使用人口統計學來分群，容易分析世代或地域間的不同。

Slide 34

Slide 34 text

35 yrs Taipei 75 yrs PinDong Who’s your power user? 近年網路發達，資訊來源相當廣泛，就算是同年齡層、同性別、住同區域的人們，也很可能會有極不同的生活方式、行為、價值觀。因此，只用人口統計學的特徵來分群，不容易把有相同行為的使用者切分出來。

Slide 35

Slide 35 text

Demographic Cohorts Behavioral groupusersbased onwhattheydo 第一次使用就註冊每日十次以上通話封鎖超過二十個號碼有來電時常沒有網路連線安裝前三天回報五次以上

Slide 36

Slide 36 text

比較不同 Cohorts 間的轉換率

Slide 37

Slide 37 text

比較不同 Cohorts 間的留存率

Slide 38

Slide 38 text

No content

Slide 39

Slide 39 text

Game over 不想等？買金幣看廣告邀請朋友不願意花錢的人依據行為模式傳遞最適合的訊息

Slide 40

Slide 40 text

經營生意、業務員初次使用教學撥號 SIM 卡推薦建立來電名片封鎖來電依據行為模式傳遞最適合的訊息

Slide 41

Slide 41 text

Takeaways Make it your own way!!

Slide 42

Slide 42 text

Takeaways • 案例只是參考，做你自己的實驗！ • Data 要能轉化為行動 • 實驗前設立觀察指標以及行動方案 • 善用 Behavioral cohorts • 小心數字陷阱 • Test everything!!