Upgrade to Pro — share decks privately, control downloads, hide ads and more …

用户研究方法和工具分享

jun9
August 29, 2013

 用户研究方法和工具分享

用户研究方法与经验交流
* 用户访谈技巧
* 跨文化的用户研究经验、体会
* 现代心理学研究对用户体验设计的启发
在线用户研究方法和工具介绍
* 常用方法和远程用户测试
* 用户反馈建议系统
* 鼠标点击和移动轨迹跟踪
* AB-Test系统
用户研究中的数据分析
* 数据模型的应用
* 开源数据分析工具介绍
* 大数据的处理

jun9

August 29, 2013
Tweet

More Decks by jun9

Other Decks in Research

Transcript

  1. About me 张勇 (Zhang,Yong) M.S. Management of Technology 阿里巴巴国际站 用户研究、数据分析

    国际网站的市场和用户研究,包括海外和国内会员 尝试并实践完善多种用户研究工具和方法:如多种形 式的在线问卷、远程用户测试、用户访谈、用户原 型、及数据可视化和数据挖掘等 斯隆电子零售研究中心 兴趣: (参考del.icio.us/jun9标签云) (参考del.icio.us/jun9标签云)
  2. 主要内容 用户研究方法与经验交流 • 用户访谈技巧 • 跨文化的用户研究经验、体会 • 跨文化的用户研究经验、体会 • 现代心理学研究对用户体验设计的启发

    在线用户研究方法和工具介绍 • 常用方法和远程用户测试 • 用户反馈建议系统 • 鼠标点击和移动轨迹跟踪 • AB-Test 系统 • AB-Test 系统 用户研究中的数据分析 • 数据模型的应用 • 开源数据分析工具介绍 • 大数据的处理
  3. 用户访谈技巧 用户访谈技巧 用户访谈技巧 用户访谈技巧 尽量达到沟通交流高潮( Rapport, in sync, in the

    moment ) the moment ) 让用户开始讲故事 积极聆听是建立信任的关键 让用户觉得自己是专家 让用户当老师教你操作可帮助发现细节问题 不要拘泥于最初的研究目标,要有广泛的好奇心 不要拘泥于最初的研究目标,要有广泛的好奇心 接近访谈结束时是问敏感问题最好时机 访问前放下自己的想法,从用户的角度关注,要 具备同理心( Empathy )
  4. 跨文化的用户研究 跨文化的用户研究 跨文化的用户研究 跨文化的用户研究( ( ( (探讨 探讨 探讨 探讨)

    ) ) ) 沉默是金 交谈中适当运用沉默是一种高级访谈技巧和艺术 交谈中适当运用沉默是一种高级访谈技巧和艺术 东方文化谈话中的三种沉默 * 开场沉默 相互介绍后,和更改话题前 表示尊敬,思考刚才的谈话和准备好沟通下个话题 努力沉默 表示正在努力思考,尊重、认同刚才讲的内容 表示正在努力思考,尊重、认同刚才讲的内容 失败沉默 不知所谓和不知所措的沉默 *Interviewing Users: How to Uncover Compelling Insights (Portigal, Steve)
  5. 跨文化的用户研究 跨文化的用户研究 跨文化的用户研究 跨文化的用户研究( ( ( (探讨 探讨 探讨 探讨)

    ) ) ) 用户测试中的 Think Aloud 方式 * Definition: In a thinking aloud test, you ask test participants to use the system while continuously thinking out loud — that is, simply the system while continuously thinking out loud — that is, simply verbalizing their thoughts as they move through the user interface. 欧美、南亚用户比较容易 东亚用户需要更多提示 也许可采用让用户当老师等变通方式 或改为任务完成后的 retrospective think- aloud protocol** aloud protocol** * Thinking Aloud: The #1 Usability Tool http://www.nngroup.com/articles/thinking-aloud-the-1-usability-tool/ ** Kuusela, H., & Paul, P. (2000). "A comparison of concurrent and retrospective verbal protocol analysis". American Journal of Psychology (University of Illinois Press) 113 (3): 387–404.
  6. 跨文化的用户研究 跨文化的用户研究 跨文化的用户研究 跨文化的用户研究( ( ( (探讨 探讨 探讨 探讨)

    ) ) ) 东方文化对全局关系、背景 的关注 “When shown complex, busy scenes, Asian- Americans and non- East = Relationships; West = Individualistic If you show people from the West a picture, they focus on a main or dominant foreground object, while people from East Asia pay more attention to context and background. East Asian Americans and non- Asian-Americans recruited different brain regions. The Asians showed more activity in areas that process figure-ground relations— holistic context—while the Americans showed more activity in regions that recognize objects.” background. East Asian people who grow up in the West show the Western pattern. more activity in regions that recognize objects.” How we see it: Culturally different eye movement patterns over visual scenes, Julie E. Boland, Hannah Faye Chua, & Richard E. Nisbett Sharon Begley: West Brain, East Brain
  7. 现代心理学对用户研究和用户体验设计的启发 现代心理学对用户研究和用户体验设计的启发 现代心理学对用户研究和用户体验设计的启发 现代心理学对用户研究和用户体验设计的启发 用户交互的三种任务负荷( Load ):感知、视觉和动作 资源消耗(难度):感知 / 认知

    > 视觉 > 动作 设计应减少用户负荷(除非游戏) 从 Win8 的开始菜单说起 Win7: 找到开始按钮(视觉),点击(动作),找到要打开 的程序(视觉 + 动作) Win8 :想起怎样找到开始屏幕(认知 认知 认知 认知),点击(动作),找 到要打开的程序(视觉 + 动作) 自动隐藏对新手非常不友好( discoverability ) 自动隐藏对新手非常不友好( discoverability ) 转换交互方式(键盘 + 鼠标)非常消耗资源 两套桌面 = 用户认知过载,增加感知负荷 * * Windows 8 — Disappointing Usability for Both Novice and Power Users http://www.nngroup.com/articles/windows-8-disappointing-usability/
  8. 费茨法则( Fitts's law ) 常识: ( W )小并且 / 或者(

    D )远的目标,需要更长的 时间才能得以准确到达 时间才能得以准确到达 应用: 按钮越大越好? 不是线性的关系, log2(1/W) 相关操作按钮放在一起 prime pixel, D=0 magic pixels, W=∞ magic pixels, W=∞ http://sixrevisions.com/usabilityaccessibility/improving-usability-with-fitts-law/ http://webdesign.tutsplus.com/articles/design-theory/applying-fitts-law-to-mobile-interface-design/
  9. 短期记忆和长期记忆 有限的工作记忆( Working Memory ) RAM 只能记 7 ± 2

    件东西,维持 ** 秒 (电话号码为例) 工作记忆与注意力高度相关,注意力被打扰会丢失 不要依赖用户可怜的工作记忆 上一步的选项信息,对这一步的选项的影响(分拆订单为 例) “您购买的商品分属于苏宁与第三方商家,需要分批次结 算,本次 本次 本次 本次结算完成后您需要 需要 需要 需要返回购物车再结算 再结算 再结算 再结算其余商品。” 渐进式的介绍方法( Progressive Disclosure ) 渐进式的介绍方法( Progressive Disclosure ) 分块展示信息,多几次点击值得 最重要的信息放在最后 http://en.wikipedia.org/wiki/Short-term_memory
  10. 短期记忆和长期记忆 长期记忆和认知的产生 重复重复 通过结构模式( schema) 连接已知 人物: 顾客、带位、侍应、厨师、收银 场景一:进入。 顾客进入餐厅。

    顾客找一座位。 他可能自己找。 他可能被带位引领。 他问带位要一张台。 通过结构模式( schema) 连接已知 神经网络 NN 了解用户已有认知结构模式是 用户研究重要目的之一 餐厅例 认知模型( Mental Model ) 是用户原型( Persona )中的 重要部分 她示意他可以坐那一张台。 顾客坐下来。 场景二:点菜。 顾客收到一张菜单。 顾客阅读菜单。 顾客决定点什么。 侍应落单。 侍应看见顾客。 侍应走向顾客。 顾客点他要的菜。 厨师煮菜。 场景三:进食。 重要部分 认知模型可以帮助我们了解用 户的期望(交互模式) 场景三:进食。 不久,侍应把食物从厨师那里拿到顾客的餐桌。 顾客进食。 场景四:离开。 顾客叫侍应结账。 侍应给顾客账单。 顾客留一点小费。 小费的多少视乎服务质素。 顾客到收银处付款。 顾客离开餐厅。
  11. 用户只看见期待看见的东西 现场实验视频 ( Change ( Change Blindness) 对用户研究的影响: 用户没有看见你的提示 信息很正常

    用户汇报的使用经历不 用户汇报的使用经历不 一定可靠 注意你的问题描述用词 和任务要求描述用语 现场观察员和现场记录 很重要 social psychology @ Coursera
  12. 选择焦虑 果酱促销为例 * 多种选择是吸引人注意非常 40% 60% 30% 3% 停下来看 的顾客

    最终购买 的顾客 多种选择是吸引人注意非常 有效的方法 不要一次性给用户太多选择 ( 3,4 个以上) 可以考虑渐进式的展示方法 一旦给了用户选择就很难再 展示 6 件样品 展示 24 件样品 一旦给了用户选择就很难再 拿走 *When choice is demotivating: Can one desire too much of a good thing? SS Iyengar, MR Lepper - Journal of personality and social …, 2000 http://www.ted.com/talks/barry_schwartz_on_the_paradox_of_choice.html http://freakonomics.com/2009/12/02/is-the-paradox-of-choice-not-so-paradoxical-after-all/
  13. 网站产品项目开发流程中的 用户研究活动(供参考) 测试、验证型的 测试、确认型的 用户研究 内部测试 或 (内部+用户)测试 测试、验证型的 用户研究

    项目前期 用户研究 探索、研究型的用户研究 内部确认 或 (内部+用户)确认 from(某产品开发流程)
  14. Planning Requirements Design Implementation Test & Measure Post Release Lead

    user study User surveys Design guidelines Style guides Performance testing Data analysis 产品开发过程中(理论 上)推荐的具体用户研究 方法 Concept FBRD Specs Checklist Review Stakeholder meeting (Brainstorming) Interviews Paper prototyping Rapid prototyping Diagnostic evaluation Subjective assessment Competitor analysis Contextual inquiry Heuristic evaluation Cognitive walkthrough User surveys Data analysis Field study User observation Parallel design A/B testing Remote evaluation Secondary research Focus group Storyboarding Persona Wizard of Oz Evaluating existing system Interface design patterns Card sorting Affinity diagramming Scenarios of use (User diary) Task analysis ( from The Persona Lifecycle: Keeping People in Mind Throughout Product
  15. 也许可以考虑:远程用户研究 ( Remote User Research ) Instant Message/Phone Interview Instant

    Message/Online Chat Room/Conference Call Focus Group http://www.slideshare.net/boltpeters/remote-research-at-ixd10
  16. 如何选择使用远程用户研究工具 ( Remote User Research Toolbox ) 项目进度 基于电话,IM的采访和在线小组讨论 基于电话,IM的采访和在线小组讨论

    远程 用户测试 远程 用户测试 项目进度 在线简单 任务测试 在线简单 任务测试 A/B测试 A/B测试 不同形式的 在线问卷 不同形式的 在线问卷 用户鼠标 点击分布 用户鼠标 点击分布
  17. 常用方法介绍 方法 方法 方法 方法 解决问题 解决问题 解决问题 解决问题 样本量

    样本量 样本量 样本量 ( ( ( (至少 至少 至少 至少) ) ) ) 主持 主持 主持 主持 者 者 者 者 实施时间 实施时间 实施时间 实施时间 ( ( ( (至少 至少 至少 至少) ) ) ) 优点 优点 优点 优点 缺点 缺点 缺点 缺点 可用性评估 据既定标准 1 低成本、 个人、主观 [ 样本量和实施时间仅供参考 ] 可用性评估 Heuristic evaluation 对项目做出 易用性评价 1 专家 项目后期发布前 低成本、 简单有效 个人、主观 影响 用户访谈 Online Interview / Focus Group 概念和初步 方案探索 6-12 专家 2 天准备访谈提 纲 + 1 天邀约 + 2 小时 / 访问 获得信息 丰富,讨 论较深入 邀约困难, 电话、在线 稍好 远程用户测试 Remote user testing 可在线测试 的具体方案 6-12 专家 3 天准备测试任 务 + 1 天邀约 + 1 小时 / 测试 最有效发 现易用性 问题 邀约困难, 电话、在线 稍好 在线测试 Online tests: (card 比较完整的 50+ 共同 1 周准备测试方 数据具有 测试方案准 备制作时间 Online tests: (card sorting, simple tasks) 比较完整的 设计方案 50+ 共同 1 周准备测试方 案 + 1 周测试 数据具有 统计意义 备制作时间 较长 在线问卷 Online survey 具体问题 100+ 无 1 周准备测试方 案 + 1 周测试 数据具有 统计意义 问卷准备时 间较长 点击分布 HeatMap 评价发布的 完整版本 200+ 无 几小时部署 + 1 天采集数据 直观、准 确 单个页面 多版本测试 A/B test 评价发布的 不同版本 200++ 共同 多版本发布准备 +2 周监控数据 准确、科 学 周期较长
  18. Usability heuristic evaluation (Expert Review) 专家 专家 专家 专家代表用户根据既定的可用性评估标准 可用性评估标准

    可用性评估标准 可用性评估标准对项目 做出易用性评价,建议在项目后期发布前进行。 做出易用性评价,建议在项目后期发布前进行。 评估专家类型 内部专家 外部专家 自评 评价标准类型 国际标准 行业标准 内部标准
  19. 国际标准: ISO Ergonomics Technical Committee ISO organisation SC 1 Ergonomic

    guiding principles SC 3 Anthropometry and biomechanics SC 4 Ergonomics of human system interaction SC 5 Ergonomics of t he physical environment TC 159 Ergonomics WG 1 Fundamentals of controls and signalling methods (resting) WG 2 Visual Display Requirements Calle 乥 org WG 3 Control, workplace and environmental requirements WG 5 Software ergonomics and human computer dialogues Jan Gulliksen WG 6 Human centred design process for interactive systems Tomas Berns, Calle 乥 org WG 8 Ergonomic design of control centres WG5 (Software ergonomics and HC dialogues) Activities: ISO 9241 - Software ergonomics for office work with visual display terminals ISO 14073 - Multimedia user interface design ISO 16071 - Guidance on accessibility of human-computer interfaces interfaces WG6 (Human centred design process) Activities: ISO 13407 - Human centred design process of interactive systems ISO 16982 - Usability methods supporting human centred design ISO 18529 - Human centred lifecycle process descriptions (Usability maturity model)
  20. 用户访谈:上山下乡、电话、在线讨论 用户研究员和设计师通过实地访问用户和与用户面对面的沟通来加深对网 站用户的认识。项目的目的不仅是用户研究,更重要的是帮助设计师更快 地建立对网站实际用户的感性认识以指导日常设计。 地建立对网站实际用户的感性认识以指导日常设计。 研究对象 研究对象 研究对象 研究对象 中国供应商用户(卖家客户等)

    海外买家(广交会买家等) 方法 方法 方法 方法 上门、展会 电话 在线讨论 Member: Mr. Zhou Company: Zhejiang Dale Garments Co., Ltd. Jane F. Ivanov President, Eve Alexander Maternity/Nursing Lingerie 在线讨论 Ltd. Maternity/Nursing Lingerie Location: USA Industry : Apparel Member since 2005
  21. 第一步:被测试者招募 改进说明 改进说明 改进说明 改进说明: : : :以前使用的 Ethnio 招募广告服务【完成开发自制工具】

    基 基 基 基本功能 本功能 本功能 本功能: : : :实现同样功能的弹出招募广告。后台控制程序可实时控制开启、停止投放,可调整弹出频率。 附 附 附 附加 加 加 加功能 功能 功能 功能: : : :利用 cookie 读取会员基本信息(会员类型,注册日期,访问频率等)定向筛选投放招募广告。 需根据流量 控制招募广 告弹出频率 : 如 1~5% 需开发后台控制弹 出频率、(定向筛 选条件)
  22. 第二步:被测试者预约注册和筛选 基本功能 基本功能 基本功能 基本功能: : : :使用网上调研系统可定制招募报名表问卷【 LimeSurvey 开源问卷系统】

    附 附 附 附加功能 加功能 加功能 加功能: : : :嵌入网页的以聊天方式的实时招募问题支持【使用免费第三方服务】 可提供基于网页聊天 的测试 / 招募问题支持 设置简单问卷收集非会员和 附加筛选条件:如年龄、性 别、时间、相关经验等等。 并可导入用户数据进行 2 次 筛选。
  23. 远程用户测试和传统用户测试比较 优点: 测试真实的用户(包括第一次访问者) 可以在用户自己的电脑环境中测试不同国家的用户 能够接受到用户对网站主要流程的互动交流和反馈 可以录制屏幕视频和电话语音交流实况 可以进行附加用户背景采访,更可能进行长期跟踪随访 真正做到低成本测试,无需出差旅行和复杂设备,且做到对用户最小限 度的打扰 度的打扰

    缺点: 在未使用摄像头的情况下无法观察用户面部表情和肢体语音 用户可能在测试过程中受到其他事务的干扰,可能受到网速的影响 需在客户端运行测试程序,可能有用户参与积极性不高 参考:http://www.boltpeters.com/articles/versus.html http://www.techsmith.com/uservue/whyremotetest.asp
  24. 其他远程测试工具和方法 限制条件 网络带宽 用户配合使用客户端软件 其他工具和方法 用户安装客户端,使用桌面共享工具 远程会议系统 WebX, GotoMeeting, TeamViewer

    等 在线聊天工具: QQ 远程协助等 VNC 类远程桌面共享工具 RDP 类: Windows Remote Desktop RDP 类: Windows Remote Desktop 无需安装软件,浏览器内的远程桌面共享 Guacamole: HTML5 remote desktop Flash 等 云端虚拟机测试
  25. 在线简单任务测试: Automated simple task tests Task 2 of 4: Where

    would you go to sign up for email notifications of the latest products? Task 3 of 4: How to find out the supplier's contact information? Task 4 of 4: How to check out more information about a product you are interested in? 把需要测试的交互化解成简单 的基本页面任务操作来测试或 的基本页面任务操作来测试或 验证设计方案: (可用在线测试工具 Chalkmark 或使用国际 站在线问卷系统和鼠标点击分布系统定制)
  26. Be sure, not sorry 调研数据: Structured Online Survey 通过在线弹出、邮件邀请等方法 定向投放的问卷调查是获取大量

    用户信息反馈的最直接方法。 问卷调查不仅可以了解用户背景 信息、还可以用来了解用户对网 站产品功能的需求,态度和满意 度等信息。 度等信息。 问卷问题的设计是关键,回收数 据和分析也十分重要。
  27. 网站用户反馈渠道 常见用户反馈渠道 Help 频道(客服邮件、电话、 IM 等) IM 等) News 、论坛和

    blog 、 twitter 等 满意度及其他用户调研 用户研究(问卷、访谈,用户测 试等) 销售传递 其他 多种用户反馈类型 建议(需确定优先级) 投诉(需跟进) 投诉(需跟进) 提问(需回复) 表扬(可利用) 其他 针对整体 针对具体产品 http://image.baidu.com/i?ct=503316480&z=0&tn=baiduimagedetail&word=%D2%E2%BC%FB%CF%E4&in=25292&cl=2&cm=1&sc=0&lm=-1&pn=162&rn=1&di=2005880568&ln=2000
  28. Alibaba Key User Flow Feedbacks 针对搜索 体验的用 户反馈 针对产品 针对产品

    描述的用 户反馈 除了这些有关具体产品或功能的结构化定量的用 户反馈,还有更多定性的用户反馈如何收集处
  29. http://getsatisfaction.com/tradekey 1. 用户分享建议 2. 用户互动决定改进建议 优先级 3. 公司积极跟进、快速开 用户反馈社区 用户反馈社区

    用户反馈社区 用户反馈社区 http://userfly.uservoice.com/pages/14442-general 发实施,并及时反馈建 议处理状态
  30. 用户反馈系统方案 (实例) 主要功能和使用场景 用户(包括非注册用户)可在全站 方便的反馈分类和管理 用户之间的互动: 反馈收集点提交对网站产品、服务 等反馈信息,并对其他用户提交的 建议进行评价、跟踪公司对用户反 馈意见的处理状态(或参与回答其

    他用户的问题) 优点 整合常见用户反馈渠道 包括多种用户反馈类型 用户自发对反馈分类,进行优 先级投票和评价 分享、讨论启发新意见和建议 用户与公司的互动: 意见和建议处理透明化 跟踪公司对反馈的反馈,提升 用户满意度 包括多种用户反馈类型 针对整体或各产品线 统一的反馈收集界面 长期具体的客户满意度指标
  31. (具体方案)后台管理和团队流程保障 系统管理需解决的问题 用户隐私保护:匿名和非公开反馈 恶意用户滥用反馈和投票功能:管理员审核、用户参与活 跃度管理、 spam control, vote limits, scores

    等 . 跃度管理、 spam control, vote limits, scores 等 . 减少重复意见提交:发布时的实时搜索匹配和推荐投票 推荐预定义分类和相关产品类别 问题、投诉型用户反馈继续由客户服务团队接手 建议采取 Support Ticket 问题编号跟踪制度,由首次联系 客服负责到底、考虑与 BOPS 、客服邮件系统的接口 结合目前客服邮件满意度投票链接统计 建议、改进型用户反馈由相关产品线指派的接待 员负责跟进 用户反馈 客服团队处 理: 简单回复(如 需要) 问题、投诉型 建议、改进型 员负责跟进 相关产品反馈接待员负责跟踪、整理、回复处理用户提出 的(高优先级)建议,并及时设置用户反馈的处理状态 用户研究团队定期提供整合报告 仍需结合核心用户流程环节(搜索、产品信息、发送询盘 等)体验满意度指标数据 协助跟进研究 TOP 建议 用户互动回答 问题 客服处理问题 和投诉 用户可跟踪服 务问题处理状 态 用户投票决定 建议优先级别 各产品线反馈 接口跟进 TOP 建议 用户可跟踪建 议处理状态
  32. 用户鼠标点击分布采集和分析工具 目标 目标 目标 目标: : : : 直观地记录并展示用户在网站页面的鼠标点 击位置分布,为页面设计和改进提供直接的

    支持。 支持。 可作为廉价的眼动仪替代品 背景 背景 背景 背景: : : : 在用户处于互动状态,其鼠标位置与眼球注 视点高度相关 * (见右图 Google 搜索结果页 面数据) 说明 说明 说明 说明: : : : • 采用页面模板或天窗内嵌入 JS 代码方式 * Summary of research on eye - mouse synch available from: Edmonds, A., White, R., Morris, D., Drucker, S. Instrumenting the Dynamic Web. Journal of Web Engineering (JWE), Vol. 6, No. 3 (2007), 243-260. • JS 部署点击数据采集,可实时选择数据采集 比例:如 10% 的访问用户。 • 可根据 cookie 进行简单条件筛选只记录 特定类型用户的点击: 目前只支持是否会员,会员类型,搜索历 史(产品、关键词)等。后期计划支持根 据用户行为宽表的条件进行筛选。
  33. 从 AB-Test 到多变量测试 (MVT) 访问某个页面的 100% 测试设置模块 测试设置模块 测试设置模块 测试设置模块:

    : : : 设置各测试版本及投放 比例 100% 用户 对照组 A : (现版本 A ) 测试组 B : (新版本 B ) 测试组 C : (新版本 C ) 其他测试组 C : (新版本 DC ) 比例 控制测试开始、停止; * 可选功能:测试中投放 比例动态调整、页面自 动优化、 测试发布模块 测试发布模块 测试发布模块 测试发布模块: : : : 根据测试需求在目标用 户群中随机分组投放各 测试版本和对照组版本 (保证其他非测试因素 的随机分布); * 可选功能:根据测试点 组合设置自动生成各测 试版本 报表分析模块 报表分析模块 报表分析模块 报表分析模块: : : : 跟踪记录用户使用各版本的行为和效果 (对比、分析) 根据数据结果 决定采用版本 报表分析模块 报表分析模块 报表分析模块 报表分析模块: : : : 准确跟踪各测试版本基 本点击数据( PV 、 UV 等) 以及主要功能指标(流 失率、成功率、单多步 转化率等) * 可选功能:自定义指标 的跟踪和测试效果统计 计算
  34. 为什么要做 AB 测试 数字胜于直觉、事实胜于雄辩 物竞天择、适者生存 物竞天择、适者生存 科学试验方法胜于经验和感觉 很多情况下尝试多个版本的成本并不高 基于同一套模板的不同文案、交互界面等 千里之行始于足下

    无止境的讨论最优方案不如快速实践尝试创新 有利于打破组织架构壁垒,创造高效跨团队合作 更快的设计开发测试周期 减少盲目发布新版本的用户体验风险
  35. The Hippos Vs. Jaguar Process Traps: Traps: •Endless debate Traps:

    •Perfection Traps: •Opps…forget about it Highest Paid Person’s Opinion (HiPPO) AB-Testing Collect Ideas Select (Approver) Execute (Agile team) Cross- functional Test & Evaluation (Iterate) Traps: •Management not aligned •No resources – fully booked Traps: •Ownership issues •Technically impossible AB-Testing 系统 用户反馈收集系统 Set Success Measure (Manage ment) Ideas (From Everyone) Esp. customers Joint (JIT) Agile Users Aggregated Responses (JAgUAR)
  36. 典型应用场景 典型应用场景 典型应用场景 典型应用场景 1. 根据设计师的要求,用户研究团队确定某 页面或项目的 A/B 测试方案(设计测试点 和样本量)并在系统后台管理界面新建一

    个 A/B 测试,设置相关测试点,如 3 种字 体、 2 种文案和有无帮助提示(系统自动 访问某个页面 的 100% 用户 对照组 A : 测试组 B : 测试组 C : 其他测试组 C : 体、 2 种文案和有无帮助提示(系统自动 生成或手工导入 3x2x2 个版本的模板代 码)和各版本投放比例(如各占 1/12 ) 以及关键测试指标,如反馈转化率。 2. 用户研究团队从系统后台设置开始测试 后,系统按照投放比例随机 随机 随机 随机分配不同版本 到用户,保证每个用户分配到各版本的概 率均等、测试期间多次访问版本的一致 性。 对照组 A : (现版本 A ) 测试组 B : (新版本 B ) 测试组 C : (新版本 C ) 其他测试组 C : (新版本 DC ) 跟踪记录用户使用各版本的行为和效 果 (对比、分析) 根据数据结果 决定采用版本 性。 3. 用户研究团队和相关部门在测试进行中和 完成后可到系统后台跟踪查看各版本在测 试期间的基本点击数据( PV 、 UV 等)以 及主要功能指标(流失率、成功率、单步 和多步转化率等),并根据分析关键指标 表现来评估决定测试结果。如有必要可以 随时调整投放比例或提前终止测试。
  37. 例:那个版本更好? A: Low-to-high A won in this A/B test, with

    16.8% increasing revenue. http://www.reedge.com/products-services/products/ab-testing?#contenttabbed A: Low-to-high pricing B: High-to-low pricing
  38. 不同层面 AB 测试解决方案 • JavaScript 实现判断并载入相应测试版本 • JavaScript 实现判断并载入相应测试版本 •

    只需随机分配 AB 测试 cookie (小需求) • 不适合复杂测试,对页面性能有非常大影响 前端测试 前端测试 前端测试 前端测试 • 底层代码概率判断并载入相应测试版本 • 搜索模块实现多模板测试 • 完整的页面设计测试:推荐方案 模板层测试 模板层测试 模板层测试 模板层测试 简单页面设计元素 页面设计方案 • 底层代码模块判断并载入相应测试版本 • 搜索模块 Bucket Test • 潜在的远期需求:搜索排序、 p4p 规则等 底层代码 底层代码 底层代码 底层代码 交互设计方案、流程、算法
  39. A/B 测试系统的限制条件和风险对策 测试系统的限制条件和风险对策 测试系统的限制条件和风险对策 测试系统的限制条件和风险对策 测试过程需要严格按照统计检验的方法 测试过程需要严格按照统计检验的方法 测试过程需要严格按照统计检验的方法 测试过程需要严格按照统计检验的方法 对样本量有一定的要求

    必须有测试对照控制组 只有定量的指标效果 只有定量的指标效果 只有定量的指标效果 只有定量的指标效果, , , ,没有解释为什么 没有解释为什么 没有解释为什么 没有解释为什么 只能根据预定的指标判断哪个版本更好 可能无法区分短期效果和长期效果 可能无法区分短期效果和长期效果 可能无法区分短期效果和长期效果 可能无法区分短期效果和长期效果 一般要求测试持续 2 周 可能很大程度地增加了不同版本代码测试和开发的成本 可能很大程度地增加了不同版本代码测试和开发的成本 可能很大程度地增加了不同版本代码测试和开发的成本 可能很大程度地增加了不同版本代码测试和开发的成本 开发多个版本通常大部分代码可复用 开发多个版本通常大部分代码可复用 需测试多个版本 只能测试开发完成的版本 只能测试开发完成的版本 只能测试开发完成的版本 只能测试开发完成的版本 需保证各版本完整通过开发和测试 需要流程制度上保证消除代码同步的问题 需要流程制度上保证消除代码同步的问题 需要流程制度上保证消除代码同步的问题 需要流程制度上保证消除代码同步的问题
  40. 结合第三方数据: user lifestyle B: Upscale America College-educated couples and families

    living in the metropolitan sprawl earning upscale incomes providing them with large homes and very comfortable and active lifestyles 人群收入:高 低 very comfortable and active lifestyles Affluent Suburbia Metro Fringe Aspiring Contemporaries Hitwise.com data
  41. 以用户原型为表现形式 Personas are descriptions of a group of typical users.

    •Personas ensure 用户原型 用户原型 用户原型 用户原型 ( ( ( ( Persona ) ) ) ) •Personas ensure everyone is aiming at the same user •As design options are created, each one can be very rapidly tested by asking “Would Mohamed need this?” this?” “Would Alice understand how to use this?”
  42. 网站产品开发的策略和实施保障体系 • 收集用户反馈意见和问题 收集用户反馈意见和问题 收集用户反馈意见和问题 收集用户反馈意见和问题 • 收集系统化、处理制度化 • 用户决定优先级

    • 对意见作反馈、鼓励 了解用户的实际 • 用户研究和用户测试 用户研究和用户测试 用户研究和用户测试 用户研究和用户测试 • 尽早验证的设计 • 避免闭门造车的解决方案 • 用户为中心的界面 / 交互 设计解决用户问 题的有效方案 • 敏捷开发 敏捷开发 敏捷开发 敏捷开发 • 跨部门、多功能的团队 • 自下而上的沟通 • 快速的开发周期 快速迭代的产品 • 衡量产品效果的测试 衡量产品效果的测试 衡量产品效果的测试 衡量产品效果的测试 • 快速反应的测试结果 • 多版本的并行测试 • 明确的效果衡量指标 效果衡量精准快 了解用户的实际 问题 快速迭代的产品 开发过程 用户反馈系统 AB 测试系统
  43. Kaizen Continuous Improvement Kaizen (Japanese for "improvement" or "change for

    the better") refers to a "change for the better") refers to a philosophy or practices that focus upon continuous improvement of processes in manufacturing, engineering, supporting business processes, and management. It has been applied in healthcare, government, banking, and many other industries. When used in the business sense and applied to the workplace, http://en.wikipedia.org/wiki/Kaizen sense and applied to the workplace, kaizen refers to activities that continually improve all functions, and involves all employees from the CEO to the assembly line workers.
  44. 开源免费的数据挖掘和机器学习工具 R:r-project.org Python:scikit-learn Java: Apache Mahout™, WEKA: Online Class open

    for registration Sept. 9th · · · b i p l o t ( p r c o m p ( U S A r r e s t s , s c a l e = T R U E ) , c o l = c ( " g r a y " , " b l a c k " ) ) 6/12
  45. 数据可视化工具 图形处理库 R: ggplot2, Python: matplotlib · p l o

    t ( h c l u s t ( d i s t ( a s . m a t r i x ( m t c a r s ) ) ) ) 7/12
  46. 在线数据可视化工具 Google Charts等 基于Web的数据可视化库 Javascript: D3等 Dc.js Demo rCharts Example

    商业软件 Tableau等 · l i b r a r y ( ' g o o g l e V i s ' ) d e m o ( W o r l d B a n k ) · · 8/12
  47. 可重建的数据分析报告 nbviewer RMarkdown, Knitr和Slidify · l i b r a

    r y ( ' s l i d i f y ' ) s l i d i f y ( ' i n d e x . R m d ' ) # 本文档生成方式 p u b l i s h ( u s e r = " U S E R " , r e p o = " R E P O " ) # # G i t h u b p u b l i s h ( d i r n a m e , h o s t = " d r o p b o x " ) # # D r o p b o x p u b l i s h ( t i t l e = ' m y t i t l e ' , ' i n d e x . h t m l ' , h o s t = ' r p u b s ' ) # # R p u b s iPython notebook · $ i p y t h o n n o t e b o o k - - p y l a b = i n l i n e 9/12
  48. 数据分析Web app 从rApache到OpenCPU Markdown App Rstudio和Shiny Marketing Analysis App ·

    · l i b r a r y ( ' s h i n y ' ) s h i n y : : r u n G i t H u b ( ' r a d y a n t ' , ' m o s t l y - h a r m l e s s ' , s u b d i r = ' i n s t / m a r k e t i n g ' ) 10/12
  49. 大数据的误解 推荐:Data Science, Data Analysis, Machine Learning @ Coursera 样本和全体数据

    相关和因果关系 例:数据发现相关:荷尔蒙替代疗法 <-> 更低的心脏病 但实际上:荷尔蒙替代疗法会增加心脏病发病率 原因:荷尔蒙替代疗法(贵) <- 更高端人群 -> 更低的心脏病 日常分析的大数据有多大 · · 放弃对因果关系的渴求,取而代之关注相关关系。只要知道“是什么”,而不需要知道“为什么” 《大数据时代》译者周涛:放弃对因果关系的分析是人类的堕落 - - · Median job input sizes under 14 GB (at Microsoft and Yahoo) 90% of jobs on a Facebook cluster have input sizes under 100 GB. - - 11/12
  50. 大数据的处理方法 Linux命令:sort/cut/paste/awk (在windows上:Gow - The lightweight alternative to Cygwin) ·

    $ t a i l - 1 0 0 0 0 a c c e s s _ l o g | a w k ' { p r i n t $ 1 } ' | s o r t | u n i q - c | s o r t - n | t a i l $ a w k - F ' , ' ' { x + = $ 1 } E N D { p r i n t x } ' t e s t . c s v $ a w k - F " , " ' $ 3 ~ / ^ 9 / ' c u s t o m e r s . c s v > c u s t o m e r s _ 9 _ C A _ z i p _ c o d e s . c s v C : \ > i p c o n f i g ^ | g r e p I P v 4 ^ | g a w k - F : " { p r i n t $ 2 } " ^ | g a w k - F . " { p r i n t ( $ 1 ) + ( $ 2 * 2 5 6 ) + ( $ 3 * 2 5 6 * 2 5 6 ) + ( $ 4 * 2 5 6 * 2 5 6 并行计算和GPU计算:R: foreach+doMC/doSNOW; Python: StarCluster 内存缓存和内存数据库:VoltDB, 试试Excel, sqlite on Ramdisk 列存储数据库: Monetdb Map Reduce和Hadoop云计算 GraphLab and Vowpal Wabbit: · · · · Mdrill阿里妈妈海量数据分布式在线分析查询系统 Javascript,R,和Python也可以玩Map Reduce Demo Amazon EMR Pig Latin Demo - - - · 12/12