Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Евгений Пак — Кринж «Стабильность платформы А/В-тестов vs. расчета метрик»
Search
Ozon Tech
February 01, 2023
Technology
0
110
Евгений Пак — Кринж «Стабильность платформы А/В-тестов vs. расчета метрик»
Ozon Tech
February 01, 2023
Tweet
Share
More Decks by Ozon Tech
See All by Ozon Tech
Анна Мария Попова (Х5 Tech) – Фантастический техпис: может ли опыт создания художественных книг помочь в написании документации
ozontech
0
120
Александр Мачулин (Gramax) – Справочник фантастических тварей из Docs as Code
ozontech
0
26
Мария Смирнова – Дзен и искусство работы с документацией: как использовать принципы буддизма в работе техписа
ozontech
0
25
Сергей Кузнецов – «Эксперименты с нейросетями в рекомендациях»
ozontech
0
54
Артём Нургалиев – «MLOps, автоматизированное обучение и доставка моделей»
ozontech
0
35
Артём Панин – «Автоматическое управление рекламой в Ozon»
ozontech
0
56
Дмитрий Андросов – «Персональные поисковые подсказки»
ozontech
0
69
Константин Ожерельев – CI/CD для проектов, разрабатываемых в конфигураторе
ozontech
0
72
Юрий Гуреев – 5 продвинутых приемов работы с EDT и Git
ozontech
0
63
Other Decks in Technology
See All in Technology
Databricks における 『MLOps』
databricksjapan
2
170
Next'24 事例セッションの紹介とクラウド資格を活用したキャリア形成について語りMuscle
yasumuusan
1
440
KubeConにproposalを送りたい人へのアドバイス
sat
PRO
3
250
ServiceNow Knowledge 24の歩き方 EYストラテジー・アンド・コンサルティング
manarobot
0
190
DevOpsDays History and my DevOps story
kawaguti
PRO
9
2.5k
AOAI をきっかけに 社内の Azure 管理を見直した話
recruitengineers
PRO
1
280
データベース02: データベースの概念
trycycle
0
160
「スニダン」開発組織の構造に込めた意図 ~組織作りはパッションや政治ではない!~
rinchsan
3
560
開発パフォーマンスを最大化するための開発体制
ham0215
2
360
SIEMを用いて、セキュリティログ分析の可視化と分析を実現し、PDCAサイクルを回してみた
coconala_engineer
0
280
プロトタイピングによる不確実性の低減 / Reducing Uncertainty through Prototyping
ohbarye
5
380
ここが嬉しいABAC ここが辛いよABAC #再解説+補足編
masahirokawahara
1
270
Featured
See All Featured
Imperfection Machines: The Place of Print at Facebook
scottboms
260
12k
Documentation Writing (for coders)
carmenintech
60
3.9k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
221
21k
The Art of Programming - Codeland 2020
erikaheidi
42
12k
Principles of Awesome APIs and How to Build Them.
keavy
121
16k
Rebuilding a faster, lazier Slack
samanthasiow
73
8.2k
10 Git Anti Patterns You Should be Aware of
lemiorhan
648
58k
Making the Leap to Tech Lead
cromwellryan
124
8.5k
For a Future-Friendly Web
brad_frost
172
9k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
2
1.3k
In The Pink: A Labor of Love
frogandcode
138
21k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
155
14k
Transcript
Ozon Tech 2023 Евгений Пак, руководитель отдела «Инструменты А/В-тестирования и
стенды метрик»
None
None
None
Ожидание Реальность Понедельник Окончание инцидента
Ожидание Реальность Понедельник Окончание инцидента Понедельник
Ожидание Реальность Понедельник Окончание инцидента Понедельник Вторник
Ожидание Реальность Понедельник Окончание инцидента Понедельник Вторник Среда
Ожидание Реальность Понедельник Окончание инцидента Понедельник Вторник Среда Четверг
Ожидание Реальность Понедельник Окончание инцидента Понедельник Вторник Среда Четверг Пятница
Ожидание Реальность Понедельник Окончание инцидента Понедельник Вторник Среда Четверг Пятница
суббота
Ожидание Реальность Понедельник Окончание инцидента Понедельник Вторник Среда Четверг Пятница
суббота воскресенье
Ожидание Реальность Понедельник Окончание инцидента Понедельник Вторник Среда Четверг Пятница
суббота воскресенье понедельник
Ожидание Реальность Понедельник Окончание инцидента Понедельник Вторник Среда Четверг Пятница
суббота воскресенье понедельник вторник
Ожидание Реальность Понедельник Окончание инцидента Понедельник Вторник Среда Четверг Пятница
суббота воскресенье понедельник вторник
Инсайты 1. Прекрасная команда людей, которые в сложную ситуацию, ночью
когда все устали, сохраняют чувство оптимизма, юмора и профессионализма Андрей Александр Александр Александр Евгения
2. Долгое время исправления ошибок Инсайты Ожидание Реальность backend исправил
ошибку
2. Долгое время исправления ошибок Инсайты Ожидание Реальность backend исправил
ошибку выложил на продакшен
2. Долгое время исправления ошибок Инсайты Ожидание Реальность backend исправил
ошибку выложил на продакшен 5-10 мин увидели эффект
2. Долгое время исправления ошибок Инсайты Ожидание Реальность backend исправил
ошибку выложил на продакшен 5-10 мин увидели эффект backend аналитик исправил ошибку
2. Долгое время исправления ошибок Инсайты Ожидание Реальность backend исправил
ошибку выложил на продакшен 5-10 мин увидели эффект backend аналитик исправил ошибку запустил рассчет
2. Долгое время исправления ошибок Инсайты Ожидание Реальность backend исправил
ошибку выложил на продакшен 5-10 мин увидели эффект backend аналитик исправил ошибку запустил рассчет через 8 часов увидел результат
Через 8 часов, Карл
3. Два разных мира бэкэнд микросервисной архитектуры бэкэнд аналитической архитектуры
3. Особенности бэкэндой микросервисной архитектуры БД Сервис Memcached Изолированность
Конечно изолированность не полная Сервис1
Конечно изолированность не полная Сервис1 Node
Конечно изолированность не полная Сервис1 Сервис2 Сервис3 Node
Конечно изолированность не полная Сервис1 Сервис2 Сервис3 Node Жестко аффектит
CPU, Диск
Конечно изолированность не полная Сервис1 Сервис2 Сервис3 Node Жестко аффектит
CPU, Диск Всем сервисам становиться плохо
Особенности архитектуры аналитики ResourceManager Node Node Node Node NameNode DataNode
DataNode Node Manager Node Manager DataNode DataNode Node Manager Node Manager
Особенности архитектуры аналитики клиент ResourceManager Node Node Node Node NameNode
DataNode DataNode DataNode DataNode Node Manager Node Manager Всем расчетам становится плох о Node Manager Node Manager
Особенности архитектуры аналитики клиент ResourceManager Node Node Node Node NameNode
DataNode DataNode DataNode DataNode Node Manager Node Manager AppMaster Всем расчетам становится плох о
Особенности архитектуры аналитики клиент ResourceManager Node Node Node Node NameNode
Block1 DataNode Block2 DataNode Node Manager Node Manager DataNode DataNode Node Manager Node Manager AppMaster
Особенности архитектуры аналитики клиент ResourceManager Node Node Node Node NameNode
Block1 DataNode Block2 DataNode Node Manager Node Manager DataNode DataNode Node Manager Node Manager AppMaster Worker Worker
Особенности архитектуры аналитики клиент ResourceManager Node Node Node Node NameNode
Block1 DataNode Block2 DataNode Node Manager Node Manager DataNode DataNode Node Manager Node Manager AppMaster Worker Worker Всем расчетам становится плох о IO wait HDD
Особенности архитектуры аналитики клиент ResourceManager Node Node Node Node NameNode
Block1 DataNode Block2 DataNode Node Manager Node Manager DataNode DataNode Node Manager Node Manager AppMaster Worker Worker IO wait HDD
Особенности процессов backend CodeReview QA BenchMark MonitoringPerformance
Особенности процессов backend CodeReview QA BenchMark MonitoringPerformance Особенности процессов аналитики
Особенности процессов backend CodeReview QA BenchMark MonitoringPerformance Особенности процессов аналитики
CodeReview Разные стандарты качества
Особенности процессов backend CodeReview QA BenchMark MonitoringPerformance Особенности процессов аналитики
QA CodeReview Разные стандарты качества
Особенности процессов backend CodeReview QA BenchMark MonitoringPerformance Особенности процессов аналитики
QA BenchMark CodeReview Разные стандарты качества
Особенности процессов backend CodeReview QA BenchMark MonitoringPerformance Особенности процессов аналитики
QA BenchMark CodeReview MonitoringPerformance Разные стандарты качества
Особенности аналити DataFlow
Особенности аналити DataFlow Tracker Events
Особенности аналити DataFlow Tracker Events ab-test-api user_id,информация опользователей ClickHouse Events
with A/B
Особенности аналити DataFlow Tracker Events ab-test-api user_id,информация опользователей информация про
эксперименты
Особенности аналити DataFlow Tracker Events ab-test-api user_id,информация опользователей информация про
эксперименты Events with A/B
Особенности аналити DataFlow Tracker Events ab-test-api user_id,информация опользователей информация про
эксперименты Events with A/B
Особенности аналити DataFlow Tracker Events ab-test-api user_id,информация опользователей информация про
эксперименты ClickHouse Events with A/B
Особенности аналити DataFlow(пост аналитика) PostgreSQL MSSQL API cервиса Произвольный источник
данных
Особенности аналити DataFlow(пост аналитика) PostgreSQL MSSQL API cервиса Произвольный источник
данных AirFlow AirFlow AirFlow AirFlow
Особенности аналитики: зависимость данных Вычисление метрик
Особенности аналитики: зависимость данных Вычисление метрик
Особенности аналитики: зависимость данных Вычисление метрик
Особенности аналитики: зависимость данных Вычисление метрик
Особенности аналитики: зависимость данных Вычисление метрик
Особенности аналитики: зависимость данных Вычисление метрик
К чему это я все? Вычисление метрик
К чему это я все? Вычисление метрик
К чему это я все? Вычисление метрик
К чему это я все? Вычисление метрик
К чему это я все? Вычисление метрик
К чему это я все? Вычисление метрик
К чему это я все? Вычисление метрик
К чему это я все? Вычисление метрик
К чему это я все? Вычисление метрик ClickHouse
К чему это я все? Вычисление метрик ClickHouse
К чему это я все? Вычисление метрик ClickHouse
К чему это ведет? Понедельник
К чему это ведет? Понедельник Вторник
К чему это ведет? Понедельник Вторник Среда
К чему это ведет? Понедельник Вторник Среда Четверг
К чему это ведет? Понедельник Вторник Среда Четверг Пятница
К чему это ведет? Понедельник Вторник Среда Четверг Пятница Суббота
К чему это ведет? Понедельник Вторник Среда Четверг Пятница Суббота
Воскресенье
Руководитель Что за фигня?
Руководитель Что за фигня? Мы реально В ОГНЕ!
None
Мораль Если огонь не избежен, нужно гасить его на самых
ранних этапах и расслабиться
Мораль 1. На все зависимости ставить SLA и автоматический Alert
на отвественных лиц 2. Менять процессы - добавлять CodeReview, QA, Performance Monitoring 3. Требовательность к дьюти аналитики: оперативная реакция, исполнительность 4. Деградировать в рассчетах, огонь не избежен)
None