Share
Embed
Продуктовые инструменты: гипотезы, эксперименты, деревья роста и проблематики
Бындюсофт
June 23, 2021
Transcript
39 slides
-
Людвиг Витгенштейн, Логико-философский трактат, 1921 «Мир состоит из фактов, а
не вещей. <…> Слова соединяются между собой также, как соединяются факты, образуя с ними зеркальную пару» -
Щедровицкий Г. П. «Исходная гипотеза может быть любой, история мысли
— это история продуктивных заблуждений» -
Щедровицкий П. Г. «Не стоит <...> рассчитывать, что ваша исходная
гипотеза имеет хоть какое-то отношение к реальности, но она должна быть, и она должна быть достаточно артикулирована, чтобы вы потом могли подвергнуть ее критике и изменить. Карл Поппер, австрийский и британский философ и социолог, выражает ту же самую мысль в своем определении знания: знание – это то, от чего мы отказываемся, то, что фальсифицируется, то есть имеет такую структуру, в которой присутствует то, от чего мы отказываемся и то, что сохраняем. Если такой структуры нет, то это не гипотеза» -
Если сделаем X, то произойдёт Y ( это решит проблему
Z; это может опровергнуть такую-то часть вопроса; ... ), потому что R ( причинно-следственная связь — тест, мостик между X и Y ), и это за время T эксперимента так-то изменит метрики M1, M2, … Mn -
Примеры — Приземление на карточку товара после поиска, графический акцент
на товаре и отсрочка в выборе ПВЗ до этапа корзины увеличит конверсию гостей в покупателей, потому что вернёт привычный для электронной торговли порядок вещей. Это в свою очередь увеличит конверсию по людям из гостей в покупатели за две недели эксперимента. -
Примеры — Если включим предоплату товаров Продавцов, то вероятно —
возрастёт доля выданных заказов среди предоплаченных; — возрастёт общий объём заказов, купленных у Продавцов, относительно объёма заказов в регионах без предоплаты и заказов в том же регионе по другим каналам. -
Что посмотреть чтобы заглубиться — Раздел «Продукты» в Базе знаний
Byndyusoft — Гипотезы в научном методе. Отрывок курса «Научное мышление». — Идея статистического вывода. Отрывок курса «Основы статистики. Часть 1» — Арсений Ольховский. О формулировании гипотез, подходах и критериях корректности, и проверке гипотез разных уровней. Подкаст -
В 2020-м году человечество в лице трёх людей из топовых
компаний зафиксировало накопившееся знание в области организации онлайн-экспериментов Kohavi, Ron, Diane Tang, and Ya Xu. 2020. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press. -
Структура условий эксперимента — Гипотеза — структура знаний — Целевая
метрика, уровень её практической значимости — Заградительные метрики — набор чувствительных метрик побуждающих к осознанным корректирующим действиям — The Sample Ratio — если группы в A/B тексте разбежались по объёму, беда — Растут продажи, но стали оттекать пользователи какой-то кагорты — Единица рандомизации — принцип разбиения на группы — Размер и число групп — Сегментация — принцип фильтрации кагорт — Длительность, конкретные даты -
Если вы хотите понимать куда идти, у вас должно быть
видение, стратегия. Стратегия — прогностическая задача с прицеливанием. Для прицеливания понадобится либо знать куда хотите попасть /целеориентированный подход/, либо знать на что хотите влиять /процессоориентированный подход/. В обоих случае вам понадобится модель. -
Я люблю в качестве модели роста использовать модель потоков ценности.
Потоковая структура. Важна оцифровка величин потоков, обозначение бутылочных горлышек и серых зон. -
Метод Деревья роста составляются как иерархированные программы, исполняя которые бизнес
идёт по пути постепенных улучшений. Каждая из веток дерева является причинно-следственной цепочкой от действий (на глубоких уровнях вложенности) к последствиям (на верхних). Составление остова дерева ведётся на основе анализа главных ресурсных потоков бизнеса. Принципы заполнения дерева — в Базе знаний Byndyusoft -
Сила и плата Сила — получаете прозрачную для всей команды
структуру влияний в продукте; — не сможете внести фигню в дерево, если оно не пройдёт тест на логику. Трудности — это трудно: постоянно нужно думать, многие не выносят и забрасывают; — каждую идеи нужно приземлять в дерево (дисциплина); — дерево нужно пропалывать, чтобы схлапывать дубликаты или устаревшие ветки (дисциплина). -
Сначала я вешал проблемы на то же дерево роста, но
потом перешёл к более классическому подходу из Теории ограничений (ТОС) — дереву текущей реальности. ДТР очень похоже на причинно- следственную цепочки в ТРИЗ. Единственное отличие от ТРИЗ, в ТОС статаются найти корневой для многих последствий узел, чтобы убить одним махом группу проблем. Это редко удаётся на моей практике. -
Набор критериев проверки из ТОС — в базе знаний Byndyusoft
Как проверять деревья -
Все метрики так или иначе ищут ROI фичи по модели-аналогии
с теорией электричества и гидродинамикой: ЦЕННОСТЬ = ЗАЧЕМ / КАК -
Как числитель так и знаменатель обычно трудно оценить, поэтому особенную
роль играют модели, рассмотренные выше. Понимания схему, модель меньше вероятность ошибиться интуитивно оценивая ситуацию, когда нет метрик или их расчёт труден или невозможен ЦЕННОСТЬ = ЗАЧЕМ / КАК -
Спасибо! 🖤 Спросите меня о наболевшем. И не забудьте заглянуть
в раздел про продукты в Базе знаний.