Евгений Пак — Кринж «Стабильность платформы А/В-тестов vs. расчета метрик»

Transcript

1. Ozon Tech 2023 Евгений Пак, руководитель отдела «Инструменты А/В-тестирования и стенды метрик»
5. Ожидание Реальность Понедельник Окончание инцидента
6. Ожидание Реальность Понедельник Окончание инцидента Понедельник
7. Ожидание Реальность Понедельник Окончание инцидента Понедельник Вторник
8. Ожидание Реальность Понедельник Окончание инцидента Понедельник Вторник Среда
9. Ожидание Реальность Понедельник Окончание инцидента Понедельник Вторник Среда Четверг
10. Ожидание Реальность Понедельник Окончание инцидента Понедельник Вторник Среда Четверг Пятница
11. Ожидание Реальность Понедельник Окончание инцидента Понедельник Вторник Среда Четверг Пятница суббота
12. Ожидание Реальность Понедельник Окончание инцидента Понедельник Вторник Среда Четверг Пятница суббота воскресенье
13. Ожидание Реальность Понедельник Окончание инцидента Понедельник Вторник Среда Четверг Пятница суббота воскресенье понедельник
14. Ожидание Реальность Понедельник Окончание инцидента Понедельник Вторник Среда Четверг Пятница суббота воскресенье понедельник вторник
15. Ожидание Реальность Понедельник Окончание инцидента Понедельник Вторник Среда Четверг Пятница суббота воскресенье понедельник вторник
16. Инсайты 1. Прекрасная команда людей, которые в сложную ситуацию, ночью когда все устали, сохраняют чувство оптимизма, юмора и профессионализма Андрей Александр Александр Александр Евгения
17. 2. Долгое время исправления ошибок Инсайты Ожидание Реальность backend исправил ошибку
18. 2. Долгое время исправления ошибок Инсайты Ожидание Реальность backend исправил ошибку выложил на продакшен
19. 2. Долгое время исправления ошибок Инсайты Ожидание Реальность backend исправил ошибку выложил на продакшен 5-10 мин увидели эффект
20. 2. Долгое время исправления ошибок Инсайты Ожидание Реальность backend исправил ошибку выложил на продакшен 5-10 мин увидели эффект backend аналитик исправил ошибку
21. 2. Долгое время исправления ошибок Инсайты Ожидание Реальность backend исправил ошибку выложил на продакшен 5-10 мин увидели эффект backend аналитик исправил ошибку запустил рассчет
22. 2. Долгое время исправления ошибок Инсайты Ожидание Реальность backend исправил ошибку выложил на продакшен 5-10 мин увидели эффект backend аналитик исправил ошибку запустил рассчет через 8 часов увидел результат
23. Через 8 часов, Карл
24. 3. Два разных мира бэкэнд микросервисной архитектуры бэкэнд аналитической архитектуры
25. 3. Особенности бэкэндой микросервисной архитектуры БД Сервис Memcached Изолированность
26. Конечно изолированность не полная Сервис1
27. Конечно изолированность не полная Сервис1 Node
28. Конечно изолированность не полная Сервис1 Сервис2 Сервис3 Node
29. Конечно изолированность не полная Сервис1 Сервис2 Сервис3 Node Жестко аффектит CPU, Диск
30. Конечно изолированность не полная Сервис1 Сервис2 Сервис3 Node Жестко аффектит CPU, Диск Всем сервисам становиться плохо
31. Особенности архитектуры аналитики ResourceManager Node Node Node Node NameNode DataNode DataNode Node Manager Node Manager DataNode DataNode Node Manager Node Manager
32. Особенности архитектуры аналитики клиент ResourceManager Node Node Node Node NameNode DataNode DataNode DataNode DataNode Node Manager Node Manager Всем расчетам становится плох о Node Manager Node Manager
33. Особенности архитектуры аналитики клиент ResourceManager Node Node Node Node NameNode DataNode DataNode DataNode DataNode Node Manager Node Manager AppMaster Всем расчетам становится плох о
34. Особенности архитектуры аналитики клиент ResourceManager Node Node Node Node NameNode Block1 DataNode Block2 DataNode Node Manager Node Manager DataNode DataNode Node Manager Node Manager AppMaster
35. Особенности архитектуры аналитики клиент ResourceManager Node Node Node Node NameNode Block1 DataNode Block2 DataNode Node Manager Node Manager DataNode DataNode Node Manager Node Manager AppMaster Worker Worker
36. Особенности архитектуры аналитики клиент ResourceManager Node Node Node Node NameNode Block1 DataNode Block2 DataNode Node Manager Node Manager DataNode DataNode Node Manager Node Manager AppMaster Worker Worker Всем расчетам становится плох о IO wait HDD
37. Особенности архитектуры аналитики клиент ResourceManager Node Node Node Node NameNode Block1 DataNode Block2 DataNode Node Manager Node Manager DataNode DataNode Node Manager Node Manager AppMaster Worker Worker IO wait HDD
38. Особенности процессов backend CodeReview QA BenchMark MonitoringPerformance
39. Особенности процессов backend CodeReview QA BenchMark MonitoringPerformance Особенности процессов аналитики
40. Особенности процессов backend CodeReview QA BenchMark MonitoringPerformance Особенности процессов аналитики CodeReview Разные стандарты качества
41. Особенности процессов backend CodeReview QA BenchMark MonitoringPerformance Особенности процессов аналитики QA CodeReview Разные стандарты качества
42. Особенности процессов backend CodeReview QA BenchMark MonitoringPerformance Особенности процессов аналитики QA BenchMark CodeReview Разные стандарты качества
43. Особенности процессов backend CodeReview QA BenchMark MonitoringPerformance Особенности процессов аналитики QA BenchMark CodeReview MonitoringPerformance Разные стандарты качества
44. Особенности аналити DataFlow
45. Особенности аналити DataFlow Tracker Events
46. Особенности аналити DataFlow Tracker Events ab-test-api user_id,информация опользователей ClickHouse Events with A/B
47. Особенности аналити DataFlow Tracker Events ab-test-api user_id,информация опользователей информация про эксперименты
48. Особенности аналити DataFlow Tracker Events ab-test-api user_id,информация опользователей информация про эксперименты Events with A/B
49. Особенности аналити DataFlow Tracker Events ab-test-api user_id,информация опользователей информация про эксперименты Events with A/B
50. Особенности аналити DataFlow Tracker Events ab-test-api user_id,информация опользователей информация про эксперименты ClickHouse Events with A/B
51. Особенности аналити DataFlow(пост аналитика) PostgreSQL MSSQL API cервиса Произвольный источник данных
52. Особенности аналити DataFlow(пост аналитика) PostgreSQL MSSQL API cервиса Произвольный источник данных AirFlow AirFlow AirFlow AirFlow
53. Особенности аналитики: зависимость данных Вычисление метрик
54. Особенности аналитики: зависимость данных Вычисление метрик
55. Особенности аналитики: зависимость данных Вычисление метрик
56. Особенности аналитики: зависимость данных Вычисление метрик
57. Особенности аналитики: зависимость данных Вычисление метрик
58. Особенности аналитики: зависимость данных Вычисление метрик
59. К чему это я все? Вычисление метрик
60. К чему это я все? Вычисление метрик
61. К чему это я все? Вычисление метрик
62. К чему это я все? Вычисление метрик
63. К чему это я все? Вычисление метрик
64. К чему это я все? Вычисление метрик
65. К чему это я все? Вычисление метрик
66. К чему это я все? Вычисление метрик
67. К чему это я все? Вычисление метрик ClickHouse
68. К чему это я все? Вычисление метрик ClickHouse
69. К чему это я все? Вычисление метрик ClickHouse
70. К чему это ведет? Понедельник
71. К чему это ведет? Понедельник Вторник
72. К чему это ведет? Понедельник Вторник Среда
73. К чему это ведет? Понедельник Вторник Среда Четверг
74. К чему это ведет? Понедельник Вторник Среда Четверг Пятница
75. К чему это ведет? Понедельник Вторник Среда Четверг Пятница Суббота
76. К чему это ведет? Понедельник Вторник Среда Четверг Пятница Суббота Воскресенье
77. Руководитель Что за фигня?
78. Руководитель Что за фигня? Мы реально В ОГНЕ!
80. Мораль Если огонь не избежен, нужно гасить его на самых ранних этапах и расслабиться
81. Мораль 1. На все зависимости ставить SLA и автоматический Alert на отвественных лиц 2. Менять процессы - добавлять CodeReview, QA, Performance Monitoring 3. Требовательность к дьюти аналитики: оперативная реакция, исполнительность 4. Деградировать в рассчетах, огонь не избежен)