Tedarikçi Seçimi Karar Destek Sistemi Haydar Özler | LC Waikiki Veri Analitiği Direktörü Metin Uslu | LC Waikiki Kıdemli Veri Bilimci Teknoloji & Başarılı Deneyim Paylaşımı | LC Waikiki 20.04.2022 Teknoloji ve Başarılı Deneyim Paylaşımı - LC Waikiki 1

Ajanda Teknoloji ve Başarılı Deneyim Paylaşımı - LC Waikiki 2 ▪ Problem ▪ Modelleme Süreçleri ▪ Veri Kaynakları ▪ Modelleme: LightGBM ▪ Performans Metrikleri ▪ Feature Importance ▪ Explainable AI (XAI): SHAP (SHapley Additive exPlanations) ▪ Model Sunumu(Model Serving) ▪ Mimari Yapı (Architecture Blueprint)

Problem ▪ Tedarikçi Seçimi Karar Destek Sistemi projesi ile, Buyerların siparişlerini geçerken doğru tedarikçiye sipariş geçmelerini sağlayacak karar destek yapısı kurmaktır. ▪ Özetle; bir X ürününü Y tedarikçisi zamanında teslim edebilir mi? Yada tersinden düşünürsek buradaki risk ve bu riski açıklayan parametreler nelerdir? Teknoloji ve Başarılı Deneyim Paylaşımı - LC Waikiki 3 Yıl Sezon Tedarikçi Alım Sipariş Sayısı Option Sayısı Net Alım Sipariş Miktarı 2021 S1+W1 868 ~93K ~90K ~506M

Modelleme Süreci ▪ Veri Kaynakları ▪ Temel Tablolar : Tedarikçi Tablosu, Termin Tablosu, Sipariş Tablosu, Ürün Tablosu, … ▪ Aday Input : ~100 [Tarihsel inputlar, Tedarikçiye ait inputlar, Termin ile ilgili inputlar, Sipariş ile ilgili inputlar, ek olarak Aggregate edilerek oluşturulan inputlar] ▪ Final Model Input : 18 + 1 (Target Variable) ▪ Target Variable : SiparisZamanindaTeslimOrani = ZamanindaGirenMiktar / GelmesiGerekenMiktar ▪ Target Value : 0 ile 1 arasında sürekli bir değer alıyor. Ardından [1 if SiparisZamanindaTeslimOrani>=0.90 else 0] ▪ Problem : Binary Classification ▪ Modelleme ▪ LightGBM : Gradient boosting framework’lerinden ağaç tabanlı öğrenme algoritması Teknoloji ve Başarılı Deneyim Paylaşımı - LC Waikiki 4

Modelleme ▪ Performans: Algoritma Performansı Area Under Curve (AUC) Teknoloji ve Başarılı Deneyim Paylaşımı - LC Waikiki 5 Model Metrik TestSet Performans LGBM AUC ~0.72

Modelleme(devam) ▪ Feature Importance (LightGBM Model) Teknoloji ve Başarılı Deneyim Paylaşımı - LC Waikiki 6

Modelleme(devam) ▪ Burada modelin daha iyi performe ettiği bölgelerdeki gücüne baktık. Olasılık uzayının sadece uç bölgeleri ile ilgilendik. (Arada kalan gri alanları ignore ettik); Proba<=0.4 ve Proba>=0.6 olanlar gözlemler için; Sınıfı 0 olan gözlemler için ~%85 ve Sınıfı 1 olan gözlemler için ~%80 başarım sağladık. Teknoloji ve Başarılı Deneyim Paylaşımı - LC Waikiki 7

Modelleme(devam) ▪ SHAP(SHapley Additive exPlanations) Teknoloji ve Başarılı Deneyim Paylaşımı - LC Waikiki 8

Model Serving ▪ Kodlama: Python ▪ Modelleme & Explainability: LightGBM & SHAP ▪ Experiment & Artificact için mlflow ▪ Servis için Python Flask-RESTful ▪ Konteyner Rancher ve CI/CD (Pipeline + Release) için AzureDevOps ▪ Aggregate Data & Api Response MongoDB ▪ Credential & Token Management Vault by HashiCorp Teknoloji ve Başarılı Deneyim Paylaşımı - LC Waikiki 9

Model Serving(devam) Servisimizi parametreler ile call ettiğimizde: { "DateTime": "2022-04-20 06:51:28", "Proba": 0.863, "Top3Features": { "TerminSuresi_MS": 0.385, "CariPerformans": 0.253, "ModelBudgetDate_YilKHafta": 0.19 }, "Bottom3Features": { "SehirRef": -0.879, "UlkeRef": -0.059, "UrunKlasmanRef": -0.029 } } Teknoloji ve Başarılı Deneyim Paylaşımı - LC Waikiki 10 Proba Risk Derecesi <=0.40 Yüksek Risk >0.40 & <0.60 Orta Risk >=0.60 Düşük Risk

Model Serving(devam) Teknoloji ve Başarılı Deneyim Paylaşımı - LC Waikiki 11

Model Serving(devam) Teknoloji ve Başarılı Deneyim Paylaşımı - LC Waikiki 12

Architecture Blueprint Teknoloji ve Başarılı Deneyim Paylaşımı - LC Waikiki 13

Teşekkürler Teknoloji ve Başarılı Deneyim Paylaşımı - LC Waikiki 14