Продуктовые инструменты: гипотезы, эксперименты, деревья роста и проблематики

Transcript

1. Андрей Шапиро, Byndyusoft Продуктовые инструменты \|/ Гипотезы, эксперименты, деревья роста и проблематики
2. 1. 
 ГИПОТЕЗЫ И ИХ СТРУКТУРА:
3. Почему логика и научный подход «работают»
4. Людвиг Витгенштейн, Логико-философский трактат, 1921 «Мир состоит из фактов, а не вещей. <…> Слова соединяются между собой также, как соединяются факты, образуя с ними зеркальную пару»
5. Щедровицкий Г. П. «Исходная гипотеза может быть любой, история мысли — это история продуктивных заблуждений»
6. Щедровицкий П. Г. «Не стоит <...> рассчитывать, что ваша исходная гипотеза имеет хоть какое-то отношение к реальности, но она должна быть, и она должна быть достаточно артикулирована, чтобы вы потом могли подвергнуть ее критике и изменить. Карл Поппер, австрийский и британский философ и социолог, выражает ту же самую мысль в своем определении знания: знание – это то, от чего мы отказываемся, то, что фальсифицируется, то есть имеет такую структуру, в которой присутствует то, от чего мы отказываемся и то, что сохраняем. Если такой структуры нет, то это не гипотеза»
7. Формат единичной гипотезы для продукта
8. Если сделаем X, то произойдёт Y ( это решит проблему Z; 
 это может опровергнуть такую-то часть вопроса; 
 ... ), потому что R ( причинно-следственная связь — тест, мостик между X и Y ), и это за время T эксперимента так-то изменит метрики M1, M2, … Mn
9. Примеры — Приземление на карточку товара после поиска, графический акцент на товаре и отсрочка в выборе ПВЗ до этапа корзины увеличит конверсию гостей в покупателей, потому что вернёт привычный для электронной торговли порядок вещей. Это в свою очередь увеличит конверсию по людям из гостей в покупатели за две недели эксперимента.
10. Примеры — Если включим предоплату товаров Продавцов, то вероятно — возрастёт доля выданных заказов среди предоплаченных; — возрастёт общий объём заказов, купленных у Продавцов, относительно объёма заказов в регионах без предоплаты и заказов в том же регионе по другим каналам.
11. Что посмотреть чтобы заглубиться — Раздел «Продукты» в Базе знаний Byndyusoft — Гипотезы в научном методе. Отрывок курса «Научное мышление». — Идея статистического вывода. Отрывок курса «Основы статистики. Часть 1» — Арсений Ольховский. О формулировании гипотез, подходах и критериях корректности, и проверке гипотез разных уровней. Подкаст
12. 2. 
 ФОРМУЛ ИРОВКА ЭКСПЕРИ МЕНТА:
13. После того как вы сформулировали гипотезу предстоит спроектировать эксперимент, который сможет её проверить
14. В 2020-м году человечество в лице трёх людей из топовых компаний зафиксировало накопившееся знание в области организации онлайн-экспериментов Kohavi, Ron, Diane Tang, and Ya Xu. 2020. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.
15. Структура условий эксперимента — Гипотеза — структура знаний — Целевая метрика, уровень её практической значимости — Заградительные метрики — набор чувствительных метрик побуждающих к осознанным корректирующим действиям — The Sample Ratio — если группы в A/B тексте разбежались по объёму, беда — Растут продажи, но стали оттекать пользователи какой-то кагорты — Единица рандомизации — принцип разбиения на группы — Размер и число групп — Сегментация — принцип фильтрации кагорт — Длительность, конкретные даты
19. 3. 
 ДЕРЕВО РОСТА:
20. Если вы хотите понимать куда идти, у вас должно быть видение, стратегия. Стратегия — прогностическая задача с прицеливанием. Для прицеливания понадобится либо знать куда хотите попасть 
 /целеориентированный подход/, либо знать на что хотите влиять 
 /процессоориентированный подход/. В обоих случае вам понадобится модель.
21. Продуктовые модели
22. Процессная. На рисунке «Бозон Артемия Малкова» — обобщенная карта услуги, схематичный CJM
23. Функциональная модель (ТРИЗ). На примере задачи прогнозирования спроса
24. Онтологическая. Бытийные причинно- следственные цепочки
25. Потоковый
26. Я люблю в качестве модели роста использовать модель потоков ценности. Потоковая структура. Важна оцифровка величин потоков, обозначение бутылочных горлышек и серых зон.
27. Фрагмент дерева роста маркетплейса Фрагмент дерева роста маркетплейса
29. Метод Деревья роста составляются как иерархированные программы, исполняя которые бизнес идёт по пути постепенных улучшений. Каждая из веток дерева является причинно-следственной цепочкой от действий (на глубоких уровнях вложенности) к последствиям (на верхних). Составление остова дерева ведётся на основе анализа главных ресурсных потоков бизнеса. Принципы заполнения дерева — в Базе знаний Byndyusoft
30. Сила и плата Сила — получаете прозрачную для всей команды структуру влияний в продукте; — не сможете внести фигню в дерево, если оно не пройдёт тест на логику. Трудности — это трудно: постоянно нужно думать, многие не выносят и забрасывают; — каждую идеи нужно приземлять в дерево (дисциплина); — дерево нужно пропалывать, чтобы схлапывать дубликаты или устаревшие ветки (дисциплина).
31. Дисциплинированно крепим новые идеи в дерево
32. 4. 
 ДЕРЕВО ТЕКУЩЕЙ РЕАЛЬНОСТИ:
33. Сначала я вешал проблемы на то же дерево роста, но потом перешёл к более классическому подходу из Теории ограничений (ТОС) — дереву текущей реальности.
 
 ДТР очень похоже на причинно- следственную цепочки в ТРИЗ. Единственное отличие от ТРИЗ, в ТОС статаются найти корневой для многих последствий узел, чтобы убить одним махом группу проблем. Это редко удаётся на моей практике.
34. Пример дерева текущей реальности (ДТР/CRT) Продавцов
35. Набор критериев проверки из ТОС — в базе знаний Byndyusoft Как проверять деревья
36. 5.
 О ПРИОРИ ТЕЗАЦИИ
37. Все метрики так или иначе ищут ROI фичи по модели-аналогии с теорией электричества и гидродинамикой:
 
 ЦЕННОСТЬ = ЗАЧЕМ / КАК
38. Как числитель так и знаменатель обычно трудно оценить, поэтому особенную роль играют модели, рассмотренные выше. Понимания схему, модель меньше вероятность ошибиться интуитивно оценивая ситуацию, когда нет метрик или их расчёт труден или невозможен
 
 ЦЕННОСТЬ = ЗАЧЕМ / КАК
39. Спасибо! 🖤 Спросите меня о наболевшем. И не забудьте заглянуть в раздел про продукты в Базе знаний.