Cirrus

Transcript

1. Cirrus
2. Neden Cirrus?
3. Rakamlar Konuşuyor TLC Input: 11.000.000.000 rows - 0.5 TB Sentinel Input: 15.000.000.000 rows - 2 TB OTT Input: 100.000.000 rows - 70 GB POI Output: 8.000.000.000 rows - 1 TB 10 TB data işleme 4 TB log transfer
4. TLC Abonelerin cell bilgisini kullanarak lokasyonlarını bulup, arşivleme  Segmentasyon  ABS  İl Bazlı Gelir
5. NORDWH  Call drop, call back gibi bilgilerin hesaplanması  Revenue Assurance  Churn Prediction  Network logları (ADR&IUCS) ve bu logların CDRDM transferi  CDRDM
6. Internet Logları Internet loglarınına analiz edilerek domain bilgisinin bulunması 2G: MIEP 3G: SENTINEL  CRC calculation
7. OTT (Over the Top) Internet uygulamaları (Whatsapp, Facebook..vs) kullanan kişilerin analiz edilmesi  Social Media Analysis  BTK Raporlama
8. Teradata Teradata’da oluşan kullanıcı bilgilerinin transferi  Network customer experience  Churn Prediction
9. MM POI Lokasyon ile point of interest (POI) bilgilerinin birleştirilerek analiz edilmesi  Mobile Marketing
10. Projeler • Network cell ve region bilgileri (Mapvision) →Mobil marketing • Servis mesaj bilgileri (E2E) → M2M Servis • Url Anlamlandırma (Clickstream) • Personal hotspot yapan müşteri tespiti (Tethering) • Turkcell websitesi path analizi (Omniture) In Production In Development
11. Bu hıza adapte olmalıyız
12. Cirrus Geçişi Mayıs 2014 Temmuz 2014 Kasım 2014 1 TB 1.5 TB 2 TB İşlenmesi gereken data miktarı hızla artıyor. Data Zaman
13. Cirrus Geçişi Eski Ortam Yeni Ortam Node Sayısı 1M + 4D 1M + 1SM + 16D Disk 15 TB 698 TB CPU 20 Core 224 Core Memory 1024 GB 2560 GB Mapper Sayısı 96 384 Reducer Sayısı 96 192 Versiyon 0.23 1.3.1 Open Source Supported
14. • Aynı sistem parametreleri kullanılarak performans artışı • Bugların tespiti ve çözümü TLC 212dk 104dk Sentinel 423dk 276dk OTT 77dk 18dk MIEP 158dk 28dk Cirrus Geçişi  Extraction 2x  Tranformasyon 2-4x  Load 2-4x
15. Bu miktardaki veriyi depolayabilmeliyiz
16. • Arşivlemede kullanılacak compression algoritmaları için gerekli kurulumlar yapıldı, test edildi. Arşivleme Süre Boyut Flat file 70 dk 1700 GB GZIP 440 dk 60 GB LZO 80 dk 120 GB
17. Kolay development ortamı sağlamalıyız
18. • Metadatanın ortak bir ortamda tutulması • Parametrik giriş ekranı • Kodlama olmaksızın extraction ve loading sağlanması • Lineage kontrollerinin yapılması Tuna
19. Yedekleme?
20. Her gün 10TB datanın deltası replica ortamına yaklaşık 3 saatte transfer ediliyor. Deltasını bulma: 2.5 saat Data transfer: 8 dk Octopus - In development Yedekleme
21. Teşekkürler