Moscow Python Meetup №90, Алексей Жиряков (онлайн-кинотеатр KION, TechLead Backend команды витрины). Remote Config и АБ-эксперименты

Расскажем о том, как KION мы создали свой Remote Config и разбивалку для проведения АБ экспериментов (аналог firebase).

Видео: https://moscowpython.ru/meetup/90/remote-config/

Moscow Python: http://moscowpython.ru
Курсы Learn Python: http://learn.python.ru
Moscow Python Podcast: http://podcast.python.ru
Заявки на доклады: https://bit.ly/mp-speaker

Transcript

1. Remote Config и АБ эксперименты
2. О себе Алексей Жиряков Руководитель направления бекенд команды витрины в KION Знаю что такое контроль хвостовой рекурсии Больше 10 лет в медиа ИТ Люблю Python и комедии В качестве хобби написал распределенную поисковую систему
3. О чем поговорим Remote Config А/B эксперименты Контуры конфигов Как обсчитывать
4. Что такое Remote Config и зачем он нужен? User
5. Как выглядит Config
6. Для чего нужен Remote Config? Получение конфигов Без деплоя А/Б эксперименты Фиче Флаги Конфиги для контуров
7. Почему свой продукт? Санкционные риски Отсутствие лимитов Основные причины Вариативность Только нужный функционал
8. Почему свой продукт? Долгая разработка фич по запросу - Минусы сторонних решений Не все решения поддерживают многовариативность тестов У А/B разбивалок нет функциональности remote config Заточены под веб сервисы + Плюсы сторонних решений Готовая визуализация Прогнозирование результатов Сбор метрик поведения пользователя (интеграция с сервисами метриками) Срок реализации Лимиты
9. Фичи A/B эксперименты Изменение конфигурации устройств в реальном времени Независимые неймспейсы Ролевая модель в рамках одного неймспейса Система нотификации в телеграм Наследование конфигов
10. Фичи Вариативность конфигов по версии, модели, ОС Разделение параметров по продуктовым командам Создание своих вариаций Полное кеширование данных, высокая скорость ответа Поэтапная раскатка Белые/черные списки
12. Namespaces Продуктовая команда Продуктовая команда Продуктовая команда Продуктовая команда Продуктовая команда Продуктовая команда Продуктовая команда Продуктовая команда Продуктовая команда Blender
13. Remote config
14. Remote config PARAMETER value is_json is_numeric description CORE name description parameters configs CONFIG name parameters core experiments EXPERIMENT name description configs coverage filters SPEC_PARAM name description filters parameters 1 M M M M M M M M M
15. Remote config EXPERIMENT Model = [Samsung, LG] OS = [SmartTV] Version = [1 : 4.5] ClientId = 123456 CORE CONFIG CORE CONFIG SPECIAL PARAMETER Model = [Samsung, LG] OS = [SmartTV] Version = [1 : 4.5] ClientId = 123456 PARAMS PARAMS PARAMS
16. Как собирается конфиг? Попадает ли клиент в контрольную группу? Есть ли дефолтные параметры? Есть ли эксп для такого клиента? Попадает ли клиент в покрытие экспа? В какой вариант экспа попал клиент? Есть ли спец параметры для такого клиента? client_id = 68398456 OS = AndroidTV model = IP_TV version = 1.45.19 "params": {}, "experiments": [], "parameters_hash": str
17. Как собирается конфиг? { "var_1": CRD_1, "var_2": CRD_2 } { "var_2": CND_1, "var_3": CND_2 } { "var_3": CRE_1, "var_4": CRE_2 } { "var_4": SP_1, "var_5": SP_2 } { "var_5": CNE_1, "var_6": CNE_2 } Core default Config default Core exp Special param Config exp { "var_1": CRD_1, "var_2": CND_1, "var_3": CRE_1, "var_4": SP_1, "var_5": SP_2 } = + + + +
18. АБ эксперименты АБ Эксперименты
19. АБ эксперименты Попадает ли клиент в покрытие эксперимента? Какой конфиг вернется клиенту?
20. АБ эксперименты EXPERIMENT IF Hash(Client_id + соль покрытия) % 100 < покрытие: return True Попадает ли клиент в покрытие эксперимента? Model OS Version Покрытие Соль покрытия Соль конфигов = [Samsung, LG] = [SmartTV] = [1 : 4.5] = 50% = 2ef761ad = a3f45442
21. АБ эксперименты EXPERIMENT N = Hash(Client_id + соль конфигов) % 100 IF N in [0:50]: return Config_1 IF N in [50:100]: return Config_2 Какой конфиг вернется клиенту? CONFIG [0:50] CONFIG [50:100] 50% 50% Model OS Version Покрытие Соль покрытия Соль конфигов = [Samsung, LG] = [SmartTV] = [1 : 4.5] = 50% = 2ef761ad = a3f45442
22. АБ эксперименты EXPERIMENT N = Hash(Client_id + соль конфигов) % 150 IF N in [0:50]: return Config_1 IF N in [50:150]: return Config_2 CONFIG [0:50] CONFIG [100:150] CONFIG [50:150] 33,33% 66,66% Model OS Version Покрытие Соль покрытия Соль конфигов = [Samsung, LG] = [SmartTV] = [1 : 4.5] = 50% = 2ef761ad = a3f45442 Какой конфиг вернется клиенту?
23. АБ эксперименты EXPERIMENT N = Hash(Client_id + соль конфигов) % 150 IF N in [0:50]: return Config_1 IF N in [50:100]: return Config_2 IF N in [100:150]: return Config_3 CONFIG [0:50] CONFIG [100:150] CONFIG [50:100] 33,33% 33,33% 33,33% Model OS Version Покрытие Соль покрытия Соль конфигов = [Samsung, LG] = [SmartTV] = [1 : 4.5] = 50% = 2ef761ad = a3f45442 Какой конфиг вернется клиенту?
24. АБ эксперименты EXPERIMENT Black list White list Model OS Version Покрытие Соль покрытия Соль конфигов = [Samsung, LG] = [SmartTV] = [1 : 4.5] = 50% = 2ef761ad = a3f45442
25. АБ эксперименты EXPERIMENT CORE CONFIG PARAMS CORE CONFIG PARAMS Black list White list Model OS Version Покрытие Соль покрытия Соль конфигов Запуск Остановка = [Samsung, LG] = [SmartTV] = [1 : 4.5] = 50% = 2ef761ad = a3f45442 = 01.01.24 22:00 = 01.02.24 22:00
26. АБ эксперименты Заведение параметров
27. Параметры
28. Параметры
29. Параметры
30. Нотификация
31. Вопросы? @AlexeyZhi