Effective A/B testing in iOS Apps

Transcript

1. Ефективне A/B тестування в iOS додатках
2. Про себе: • Займаюсь iOS розробкою з 2014 року. • В Reface працюю більше трьох. • Часто долучаюсь до обговорень продуктових ідей щоб краще розуміти потреби продукту та будувати круті додатки. • Люблю мандаринки. • Виховую кицьку Мію. • Фотографую, трохи пишу музику =D
3. • Reface — українська продуктова компанія, що створює мобільні АІ- застосунки. • Reface, Revive, Restyle, InkAI, Honestly, Re*** (coming) • Reface народився в хакатонському вайбі. Це й стало метафорою нашої культури, яку ми втілили в чотирьох цінностях: ЛЮДИ, НЕБАЙДУЖІСТЬ, ЩИРІСТЬ і ХАЧИТИ. • У 2023 році Reface Fund зібрав понад 4 мільйони гривень, більшість з яких — це донати рефейсіанців. Ще допомагаємо з AI-інноваціями ЗСУ і робимо нашу армію більш технологічною.
4. Навіщо нам A/B тести? • “Щоб шо?” Чи комусь потрібна та фіча? • Постійне покращення продукту • Зменшення костів • Якщо почне падати можна вимкнути ;)
5. Що ми А/B тестимо? Все що захочемо =D • Зміни в дизайні • Нові фічі • Цінові тести • Підписки • Погіршувальні А/B тести
6. Поганий А/B тест • ABCDE тест - тяжко захендлити адекватно всі кейси • Одночасно декілька тестів - каша в метриках, не зрозуміло що впливає на показники • Багато змін в одному тесті - можна зробити невірні висновки
7. Хороший А/B тест • А/B - порівнюємо з існуючим функціоналом • Зрозуміла і атомарна зміна • Один тест за раз (деякі тести можна паралелити)
8. Як ми то все менеджим в апці? • Одразу задача на випил тесту • Не забуваємо про дефолтне значення • Не забуваємо підчищати • Після хард апдейту випилюємо з firebase
9. Цікаві приклади з Reface Тест зі зменшенням кількості фото на вхід дифузії (stable diffusion)
10. Цікаві приклади з Reface Відключення пушів для PRO юзерів
11. Цікаві приклади з Reface Тести онбордингу
12. Цікаві приклади з Reface Зменшення безкоштовних спроб в retouch з 3 до 1 на день.
13. Цікаві приклади з Reface Зменшення безкоштовних спроб на baby генераторі з 3 до 1 на день. Збільшили кількість покупок х5 на фічі
14. Дякую за увагу