Deploy on Friday - Progressive Delivery ve Resilient Altyapı Pratikleri

Transcript

1. PLATFORM ENGINEERING · PROGRESSIVE DELIVERY DEPLOY ON FRIDAY Progressive Delivery ve Resilient Altyapı Pratikleri Emin Çimen — Platform Engineer @Trendyol 17 Haziran 2026 · Ankara Tekmer Cumayı bir korku değil, olgunluk göstergesi yap. 01 / COVER
2. 01 / GİRİŞ & MOTİVASYON Neden Cuma Deploy'undan Korkuyoruz? 02 / 23 Risk Algısı 🔴 Geleneksel deployment'ın yarattığı tedirginlik ve belirsizlik On-Call Yükü 📟 Hafta sonu incident'ları ve mühendis tükenmişliği Belirsiz Rollback ⏪ Yavaş ve öngörülemez geri dönüş prosedürleri Beklenmedik Davranış 💥 Production'da sürpriz sorunlar ve cascading failure'lar %42 production incident'ı deployment sonrası ilk 2 saatte ortaya çıkıyor "Friday deployment curse" — Pazartesi sabahı krizleri DevOps Research & Assessment (DORA) · 2024
3. 01 / RİSK PROFİLİ Big-Bang vs Progressive: Risk Eğrisi 03 / 23 Progressive delivery riski deploy anına yığmaz — kademeli açılım blast radius'u küçük tutar ve geri dönüşü kolaylaştırır. 💡
4. 02 02 / PROGRESSIVE DELIVERY Progressive Delivery Nedir? Yazılım değişikliklerinin kontrollü, gözlemlenebilir ve geri alınabilir biçimde kullanıcılara aşamalı sunulması — Continuous Delivery'nin bir sonraki evrimi. Risk Minimizasyonu Sadece küçük bir kullanıcı dilimi etkilenir Blast Radius Kontrolü Hata patladığında etkisi sınırlı kalır Sürekli Gözlem Otomatik metrik analizi ve karar verme İş Değeri Kullanıcı deneyimini koruyarak inovasyon
5. 02.1 / FEATURE FLAGS Feature Flags & A/B Testing 05 / 23 Runtime Feature Kontrolü 01 Runtime'da özellik aç/kapa 02 Code deployment ≠ Feature deployment 03 Kullanıcı segmentasyonu & hedefleme AI Kill-Switch 🤖 Anomali tespitinde otomatik feature flag kapatma Araçlar: LaunchDarkly · Split.io · Unleash · Flipt İstek Geldi user_id: 12345 Flag Değerlendirici Segment kontrolü + rollout % %95 — Eski UI Mevcut deneyim %5 — Yeni UI Canary kullanıcılar Metrik geri beslemesi (CTR, conversion, error ↩ rate)
6. 02.2 / CANARY DEPLOYMENTS Kademeli Trafik Kayması 06 / 23 Internal 30 dk Dogfood Mühendisler %1 1 saat US West İlk bölge %10 2 saat US Region Bölgesel %25 4 saat Global Dünya geneli %100 Başarı ✔ Full Rollout Tüm kullanıcılar GEÇİŞ KRİTERLERİ: Error rate < baseline + %0.5 P95 latency < baseline + 100ms Stream start failures < %0.1 Netflix deployment stratejisi 📍
7. 02.3 / BLUE-GREEN Anlık Geçiş, Sıfır Kesinti 07 / 23 Load Balancer / DNS Traffic router BLUE AKTİF v2.4 %100 trafik Instant switch ⇔ Instant rollback ⇔ GREEN STANDBY v2.5 smoke test Avantajlar Zero-downtime deployment Anlık rollback (< 30 saniye) Tam production testi mümkün DB migration güvenliği Dikkat: Maliyet ⚠️ 2x altyapı kaynağı gerekir. Bulut ortamında spot/reserved instance'larla optimize edilebilir.
8. 02.4 / TRAFFIC SHAPING Çok-Versiyonlu Akıllı Yönlendirme 08 / 23 Mobile v2.0 Mobile v1.9 Web Users Premium Canary (flagged) API Gateway Service Mesh (Istio) Backend v2 %100 trafik Backend v1 %100 trafik v1 %90 / v2 %10 Weighted split Backend v2 Priority routing Backend v3 (beta) Shadow/mirror Header-based routing Weighted routing Request shadowing / mirroring
9. 09 / 23 03 / RESİLİENT ALTYAPI "Assume everything fails, all the time." — Netflix mühendislik felsefesi Resilience: sistemin hatalara, beklenmedik durumlara ve aşırı yüe karşı dayaniklılığı ve kendi kendini iyileştirme kapasitesi. Fail gracefully Design for failure Isolation & containment Observable & debuggable
10. 03.1 / CIRCUIT BREAKERS Cascade Failure'ı Durdurmak 10 / 23 CLOSED Normal akış istekler geçer 5 ardışık hata recovery OPEN Fail-fast istekler engellenir 30sn timeout HALF- OPEN Periodik test isteği Closed Open: → %50 error rate Open Half- → Open: 30sn timeout Half- Open Closed: → test başarılı Half-Open Open: → test başarısız Eşik Parametreleri Failure rate %50 Consecutive failures 5 Half-open interval 30-60sn Kütüphaneler Resilience4j (Java) Polly (.NET) gobreaker (Go) pybreaker (Python)
11. 03.2 / RETRY STRATEGIES Exponential Backoff + Jitter 11 / 23 Jitter: rastgele gecikme eklenerek "thundering herd" problemi önlenir ⚡ RETRY ET ✓ Network timeout ✓ 5xx server error ✓ 429 rate limit ✓ Connection refused RETRY ETME ✗ 4xx client error (400/401/404) ✗ Business logic hataları
12. 03.3 / BULKHEAD PATTERN İzolasyon ile Blast Radius Sınırlama 12 / 23 PROBLEM: Shared Thread Pool 200 thread, ortak havuz 200 THREAD Search + Checkout + Payment + Profile SEARCH BUG → 30sn 200 thread kilitlendi! TAM KESİNTİ 🔴 Checkout, Payment, Profile çalışmıyor ÇÖZÜM: Bulkhead — İzole Pool'lar Her servis kendi havuzunda Search 50 thread ARIZA 🔴 Checkout 50 thread NORMAL 🟢 Payment 50 thread NORMAL 🟢 Other 50 thread NORMAL 🟢 Blast radius: %25 — işin %75'i ayakta! 🟢 Search çökse bile Checkout & Payment çalışıyor
13. 03.4 / CHAOS ENGINEERING Kazadan Önce Bilerek Kır 13 / 23 5 Adımlı Chaos Döngüsü 01 Steady state tanımla (SLI/SLO) 02 Hipotez kur 03 Gerçek-dünya hatası enjekte et 04 Davranışı gözlemle 05 Öğren & iyileştir "Break things on purpose before they break on accident." Netflix Simian Army Chaos Monkey 🐒 Rastgele instance termination Production'da dayaniklılık testi Chaos Kong 🦍 Tüm AWS region failure Cross- region failover testi Latency Monkey 🕸️ Yapay network gecikmesi enjeksiyonu Timeout davranışı test Chaos Gorilla 🦍 Availability zone failure AZ- level dayaniklılık kontrolü Chaos Mesh Gremlin Litmus Toxiproxy
14. 04 04 / AI & MODERN PRATİKLER AI & Modern Pratikler Statik eşiklerden öğrenen sistemlere Boyut Geleneksel Threshold-based ML-based Anomaly Detection Eşikler Statik (CPU > %80) Dinamik baseline, otomatik öğrenme Alerting False-positive bombardimanı Context-aware, noise reduction Tuning Manuel, sürekli bakım Self-learning, otomatik güncelleme Yaklaşım Reaktif (sorun olduktan sonra) Proaktif & prediktif Black Friday'de %3 error normal, normal Pazartesi'de %2 kritik — bağlam fark yaratir. 💡
15. 04.1 / ML ANOMALY DETECTION Uçtan Uca Tespit Pipeline'ı 15 / 23 1 Data Collection Metrics / logs / traces → Data Lake 2 Feature Engineering Time-based features, aggregations 3 Model Training Offline, historical data ARIMA · Prophet · LSTM 4 Deployment Real-time inference Izolation Forest 5 Feedback Loop Alert doğrulama → retraining Feedback Loop: 5. aşama → 3. aşamayı besler (retraining) Araçlar: DataDog Watchdog Dynatrace Davis AWS DevOps Guru Azure Monitor
16. 04.2 / AIOps Incident Tespiti: 60 dk → 5 dk 16 / 23 Geleneksel — 30-60 dk MTTD+MTTR 🕰️ 5dk User şikayet bildirimleri gelmeye başlar 10dk Dashboard inceleme & alert triage 20dk Log grep / trace inceleme 25dk Payment timeout root cause bulundu 30dk Circuit breaker / rollback uygulandı AIOps — 2-5 dk MTTD+MTTR 🤖 30sn Anomaly: payment latency spike otomatik algılandı 1dk Event correlation: 15 alert → 1 root cause 2dk Dependency: v2.3 deploy 3 dk önce bağlantısı 3dk Otomatik circuit breaker + auto-rollback 🤖 5dk Proaktif post-mortem bildirimi hazır 👨‍💻
17. 04.3 / PREDICTIVE SCALING Yük Gelmeden Ölçeklen 17 / 23 Reactive Threshold sonrası → lag, cold start, buffering Predictive Forecast-based → warm instances hazır Modeller: ARIMA/SARIMA · Prophet LSTM · KEDA Cuma akşamları %40 fazla trafik İçerik lansmanı +%300 spike
18. 04.4 / AI-POWERED ROLLBACK Otomatik Geri Dönüş Kararı 18 / 23 Payment Service v2.5.0 — %10 Canary Zaman Metrik Değer Durum Baseline Error / P95 / Conv %0.2 / 180ms / %4.2 Normal 🟢 T+5dk Error rate %0.3 Normal 🟢 T+10dk Error rate %0.8 🟡 Yükseliyor T+12dk Error rate %2.1 Kritik 🔴 T+12dk Conversion %3.1 (-%26) Kritik 🔴 Weighted anomaly score 87/100 HIGH RISK %94 güven AUTOMATIC ROLLBACK T+13dk rollback başladı T+15dk baseline'a döndü ✔ Flagger Argo Rollouts LaunchDarkly
19. 05 / OBSERVABILITY & GOLDEN SIGNALS Observability & Golden Signals Metrics Logs Traces 19 / 23 Payment Gateway v2.5.1 — Golden Signals Dashboard — LIVE Latency %5 trend ↓ p50 120ms p95 250ms p99 480ms Traffic Current 2.450 req/sec Peak today 3.100 req/sec Errors DIKKAT ↑ Error rate %0.8 5xx/dk 15 timeout/dk 5 Saturation CPU %45 Memory %62 Conn Pool %68 Queue 12 SLI = ölçtüğümüz SLO = hedef (%99.9 < 200ms) SLA = müşteri garantisi
20. 05.2 / DISTRIBUTED TRACING Darboğazı Tek Trace'te Bul 20 / 23 Trace ID: abc123xyz — Sipariş Oluştur API Gateway 850ms Auth Service 50ms Order Service 600ms Inventory Check 45ms Payment Service 450ms Fraud Check 180ms Pmt GW API 250ms Notification Svc 150ms ROOT CAUSE: Payment Gateway API spike (normal 80ms → 250ms) 🔍 Temel Kavramlar Trace Uçtan uca yolculuk Span Tek operasyon birimi Context propagation Trace ID header'larda taşınır OpenTelemetry (vendor-agnostic standart) Jaeger · Zipkin · Tempo · AWS X-Ray
21. 06 / CASE STUDIES Gerçek Dünyadan Pratikler 21 / 23 Netflix %99.99 uptime Simian Army + multi-region · cross-region failover < 5dk · 1000+ mikroservis Spotify 1000+ aktif feature flag 500M+ kullanıcı · kademeli rollout · engagement +%12, skip -%8 Amazon 11.6sn deploy başına (2011) Two-pizza teams · Apollo CD · auto canary + auto- rollback Google SRE 43.2dk aylık error budget (%99.9) SRE kültürü · error budget tükenince deployment freeze
22. 07 / EKOŞİSTEM & ROADMAP Araçlar ve Olgunluk Yolculuğu 22 / 23 Araç Ekosistemi Kategori Araçlar Feature Flags LaunchDarkly · Split.io · Unleash Deployment Flagger · Argo Rollouts · Spinnaker Service Mesh Istio · Linkerd · Consul Observability Prometheus · Grafana · DataDog · Jaeger Chaos Chaos Mesh · Gremlin · Litmus AIOps Moogsoft · BigPanda · DevOps Guru Olgunluk Roadmap'i Faz 1 0-3 ay Observability + CI/CD + basit feature flag Faz 2 3-6 ay Canary + distributed tracing + resilience patterns Faz 3 6-12 ay Otomatik canary analizi + chaos + AIOps Faz 4 12+ ay Full observability + continuous verification + kültür
23. KAPANIS Cumayı Güvenle Deploy Et 23 / 23 Friday Deployment Confidence Score 90-100 Cuma deploy, güvenle! ✅ 70-89 Kabul edilebilir risk ⚠️ <50 Blocker, hazırlık eksik 🛑 Checklist ✓ Test coverage %80+ ✓ Monitoring & alerting ✓ Feature flag / kill-switch ✓ Distributed tracing ✓ Canary stratejisi ✓ Circuit breakers ✓ Rollback < 5 dk ✓ On-call hazır Ana Çıkarımlar 01 Progressive Delivery = kontrollü blast radius 02 Resilience = design for failure 03 AI/ML = next-gen operations 04 Observability = sistemini anla 05 Culture > Tools "The best time to deploy was yesterday. The second best is Friday at 5 PM." Emin Çimen · Platform Engineer @Trendyol · 17 Haziran 2026 · Ankara Tekmer · Teşekkürler 🚀