Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Евгений Пак — Кринж «Стабильность платформы А/В...
Search
Ozon Tech
February 01, 2023
Technology
150
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Евгений Пак — Кринж «Стабильность платформы А/В-тестов vs. расчета метрик»
Ozon Tech
February 01, 2023
Transcript
82 slides
Ozon Tech 2023 Евгений Пак, руководитель отдела «Инструменты А/В-тестирования и
стенды метрик»
None
None
None
Ожидание Реальность Понедельник Окончание инцидента
Ожидание Реальность Понедельник Окончание инцидента Понедельник
Ожидание Реальность Понедельник Окончание инцидента Понедельник Вторник
Ожидание Реальность Понедельник Окончание инцидента Понедельник Вторник Среда
Ожидание Реальность Понедельник Окончание инцидента Понедельник Вторник Среда Четверг
Ожидание Реальность Понедельник Окончание инцидента Понедельник Вторник Среда Четверг Пятница
Ожидание Реальность Понедельник Окончание инцидента Понедельник Вторник Среда Четверг Пятница
суббота
Ожидание Реальность Понедельник Окончание инцидента Понедельник Вторник Среда Четверг Пятница
суббота воскресенье
Ожидание Реальность Понедельник Окончание инцидента Понедельник Вторник Среда Четверг Пятница
суббота воскресенье понедельник
Ожидание Реальность Понедельник Окончание инцидента Понедельник Вторник Среда Четверг Пятница
суббота воскресенье понедельник вторник
Ожидание Реальность Понедельник Окончание инцидента Понедельник Вторник Среда Четверг Пятница
суббота воскресенье понедельник вторник
Инсайты 1. Прекрасная команда людей, которые в сложную ситуацию, ночью
когда все устали, сохраняют чувство оптимизма, юмора и профессионализма Андрей Александр Александр Александр Евгения
2. Долгое время исправления ошибок Инсайты Ожидание Реальность backend исправил
ошибку
2. Долгое время исправления ошибок Инсайты Ожидание Реальность backend исправил
ошибку выложил на продакшен
2. Долгое время исправления ошибок Инсайты Ожидание Реальность backend исправил
ошибку выложил на продакшен 5-10 мин увидели эффект
2. Долгое время исправления ошибок Инсайты Ожидание Реальность backend исправил
ошибку выложил на продакшен 5-10 мин увидели эффект backend аналитик исправил ошибку
2. Долгое время исправления ошибок Инсайты Ожидание Реальность backend исправил
ошибку выложил на продакшен 5-10 мин увидели эффект backend аналитик исправил ошибку запустил рассчет
2. Долгое время исправления ошибок Инсайты Ожидание Реальность backend исправил
ошибку выложил на продакшен 5-10 мин увидели эффект backend аналитик исправил ошибку запустил рассчет через 8 часов увидел результат
Через 8 часов, Карл
3. Два разных мира бэкэнд микросервисной архитектуры бэкэнд аналитической архитектуры
3. Особенности бэкэндой микросервисной архитектуры БД Сервис Memcached Изолированность
Конечно изолированность не полная Сервис1
Конечно изолированность не полная Сервис1 Node
Конечно изолированность не полная Сервис1 Сервис2 Сервис3 Node
Конечно изолированность не полная Сервис1 Сервис2 Сервис3 Node Жестко аффектит
CPU, Диск
Конечно изолированность не полная Сервис1 Сервис2 Сервис3 Node Жестко аффектит
CPU, Диск Всем сервисам становиться плохо
Особенности архитектуры аналитики ResourceManager Node Node Node Node NameNode DataNode
DataNode Node Manager Node Manager DataNode DataNode Node Manager Node Manager
Особенности архитектуры аналитики клиент ResourceManager Node Node Node Node NameNode
DataNode DataNode DataNode DataNode Node Manager Node Manager Всем расчетам становится плох о Node Manager Node Manager
Особенности архитектуры аналитики клиент ResourceManager Node Node Node Node NameNode
DataNode DataNode DataNode DataNode Node Manager Node Manager AppMaster Всем расчетам становится плох о
Особенности архитектуры аналитики клиент ResourceManager Node Node Node Node NameNode
Block1 DataNode Block2 DataNode Node Manager Node Manager DataNode DataNode Node Manager Node Manager AppMaster
Особенности архитектуры аналитики клиент ResourceManager Node Node Node Node NameNode
Block1 DataNode Block2 DataNode Node Manager Node Manager DataNode DataNode Node Manager Node Manager AppMaster Worker Worker
Особенности архитектуры аналитики клиент ResourceManager Node Node Node Node NameNode
Block1 DataNode Block2 DataNode Node Manager Node Manager DataNode DataNode Node Manager Node Manager AppMaster Worker Worker Всем расчетам становится плох о IO wait HDD
Особенности архитектуры аналитики клиент ResourceManager Node Node Node Node NameNode
Block1 DataNode Block2 DataNode Node Manager Node Manager DataNode DataNode Node Manager Node Manager AppMaster Worker Worker IO wait HDD
Особенности процессов backend CodeReview QA BenchMark MonitoringPerformance
Особенности процессов backend CodeReview QA BenchMark MonitoringPerformance Особенности процессов аналитики
Особенности процессов backend CodeReview QA BenchMark MonitoringPerformance Особенности процессов аналитики
CodeReview Разные стандарты качества
Особенности процессов backend CodeReview QA BenchMark MonitoringPerformance Особенности процессов аналитики
QA CodeReview Разные стандарты качества
Особенности процессов backend CodeReview QA BenchMark MonitoringPerformance Особенности процессов аналитики
QA BenchMark CodeReview Разные стандарты качества
Особенности процессов backend CodeReview QA BenchMark MonitoringPerformance Особенности процессов аналитики
QA BenchMark CodeReview MonitoringPerformance Разные стандарты качества
Особенности аналити DataFlow
Особенности аналити DataFlow Tracker Events
Особенности аналити DataFlow Tracker Events ab-test-api user_id,информация опользователей ClickHouse Events
with A/B
Особенности аналити DataFlow Tracker Events ab-test-api user_id,информация опользователей информация про
эксперименты
Особенности аналити DataFlow Tracker Events ab-test-api user_id,информация опользователей информация про
эксперименты Events with A/B
Особенности аналити DataFlow Tracker Events ab-test-api user_id,информация опользователей информация про
эксперименты Events with A/B
Особенности аналити DataFlow Tracker Events ab-test-api user_id,информация опользователей информация про
эксперименты ClickHouse Events with A/B
Особенности аналити DataFlow(пост аналитика) PostgreSQL MSSQL API cервиса Произвольный источник
данных
Особенности аналити DataFlow(пост аналитика) PostgreSQL MSSQL API cервиса Произвольный источник
данных AirFlow AirFlow AirFlow AirFlow
Особенности аналитики: зависимость данных Вычисление метрик
Особенности аналитики: зависимость данных Вычисление метрик
Особенности аналитики: зависимость данных Вычисление метрик
Особенности аналитики: зависимость данных Вычисление метрик
Особенности аналитики: зависимость данных Вычисление метрик
Особенности аналитики: зависимость данных Вычисление метрик
К чему это я все? Вычисление метрик
К чему это я все? Вычисление метрик
К чему это я все? Вычисление метрик
К чему это я все? Вычисление метрик
К чему это я все? Вычисление метрик
К чему это я все? Вычисление метрик
К чему это я все? Вычисление метрик
К чему это я все? Вычисление метрик
К чему это я все? Вычисление метрик ClickHouse
К чему это я все? Вычисление метрик ClickHouse
К чему это я все? Вычисление метрик ClickHouse
К чему это ведет? Понедельник
К чему это ведет? Понедельник Вторник
К чему это ведет? Понедельник Вторник Среда
К чему это ведет? Понедельник Вторник Среда Четверг
К чему это ведет? Понедельник Вторник Среда Четверг Пятница
К чему это ведет? Понедельник Вторник Среда Четверг Пятница Суббота
К чему это ведет? Понедельник Вторник Среда Четверг Пятница Суббота
Воскресенье
Руководитель Что за фигня?
Руководитель Что за фигня? Мы реально В ОГНЕ!
None
Мораль Если огонь не избежен, нужно гасить его на самых
ранних этапах и расслабиться
Мораль 1. На все зависимости ставить SLA и автоматический Alert
на отвественных лиц 2. Менять процессы - добавлять CodeReview, QA, Performance Monitoring 3. Требовательность к дьюти аналитики: оперативная реакция, исполнительность 4. Деградировать в рассчетах, огонь не избежен)
None
More Decks by Ozon Tech
See All by Ozon Tech
Анастасия Писнова, «Текст как проект»
ozontech
0
95
Светлана Каюшина, Автоматизируем документирование и внедряем ИИ
ozontech
0
100
Павел Костромитин, «Что случилось у UXW T-Банка в 2024 »
ozontech
0
190
Сергей Горшенин, «Конвертация данных Ozon»
ozontech
0
99
Юрий Гуреев, «Интеграция 1С с внешними системами. Проблемы и их решения»
ozontech
0
130
Артём Нургалиев, «Кэш на кэш: как ускоряли автобиддеры»
ozontech
0
97
Анна Мария Попова (Х5 Tech) – Фантастический техпис: может ли опыт создания художественных книг помочь в написании документации
ozontech
0
270
Александр Мачулин (Gramax) – Справочник фантастических тварей из Docs as Code
ozontech
0
300
Мария Смирнова – Дзен и искусство работы с документацией: как использовать принципы буддизма в работе техписа
ozontech
0
240
Other Decks in Technology
See All in Technology
2026-11-16 JAWS-UG コンテナ支部 #31 ゆるLT大会 ECR のライフサイクルポリシーを いい感じに設定したい / ECR Lifecycle policy
masasuzu
3
590
クラウドでも使えるNetApp -現場目線での設計とクラウドバックアップの活用
ryutakondo
1
280
「個社」ではなく「業界」の課題を解く AI 対話開発 ー 価値を広げる設計と、価値を守るエンジニアリング ー
ivry_presentationmaterials
4
830
Del vibe coding a un Desarrollo (agéntico) fiable
jcabot
0
200
3文字略語に騙されない! 世界一わかりやすい『EDR』超入門
kamadamakoto
1
320
AI-Ready なデータ基盤ってなに? & 新卒未経験が、いま考えていること
imuta
0
1.1k
おうち環境でも「なるべく止めたくない!」 ― おうち環境の機器冗長化の理想と現実
yuutosi
1
630
E2E Test というハーネス — AI時代の自動テスト民主化
daishukojima
10
5.9k
RAGの改善を速く回すための評価基盤
yosukeyoshida
6
3.5k
さようならSSH鍵、こんにちはゼロトラスト ― AIフレンドリーで快適な自宅鯖SSH
atalie2m
14
7.3k
HTTP QUERY時代の型安全な検索APIをKotlinで設計する
sansantech
PRO
1
120
AIネイティブ組織の作り方。1人のPOとAIから始める、自社での実験
ama_ch
2
1.3k
Featured
See All Featured
Jess Joyce - The Pitfalls of Following Frameworks
techseoconnect
PRO
1
480
How to Align SEO within the Product Triangle To Get Buy-In & Support - #RIMC
aleyda
2
1.9k
Money Talks: Using Revenue to Get Sh*t Done
nikkihalliwell
0
570
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
360
31k
Building Adaptive Systems
keathley
44
3.3k
jQuery: Nuts, Bolts and Bling
dougneiner
66
8.7k
Testing 201, or: Great Expectations
jmmastey
46
8.4k
Raft: Consensus for Rubyists
vanstee
143
7.9k
Are puppies a ranking factor?
jonoalderson
2
4.2k
GitHub's CSS Performance
jonrohan
1033
470k
What the history of the web can teach us about the future of AI
inesmontani
PRO
3
830
Building an army of robots
kneath
307
47k