LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı Yapay Zeka & Veri Analitiği Eğitimi Metin Uslu | LC Waikiki Kıdemli Veri Bilimci 24.04.2022

Ajanda LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi 2 ▪ Ben Kimim? ▪ LCW VAYZ ▪ Veri Analitiği/Domaini ▪ Makine Öğrenmesi Nedir? ▪ Sipariş Opt. KDS Sistemi ▪ Modelleme Süreçleri ▪ Veri Kaynakları ▪ Modelleme: LightGBM, Decision Tree, Ensemble Model ▪ Performans Metrikleri ▪ Feature Importance ▪ Shap ▪ Model Sunumu(Model Serving) ▪ Öneriler&Tavsiyeler

merhaba ben metin ✋ 3 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

Özgeçmiş Eğitim ❖Konya NEU – Bilgisayar Müh. | 2017 – … ❖Hacettepe Üniversitesi - İstatistik | 2010 – 2014 ❖İstanbul Üniversitesi - Bilgisayar Programlama | 2006 – 2008 İş Tecrübesi ❖Veri Bilimci @ LC Waikiki| 02.2019 - … ❖Büyük Veri Analisti @ Bilgi Teknolojileri ve İletişim Kurumu (BTK) | 01.2017 - 02.2019 ❖MIS Uzm. Yrd. @ KT Katılım Bankası | 10.2015 - 01.2017 ❖Veri Modelleme Uzmanı (Yarı Zamanlı) @ HiSAM | 01.2014 - 07.2014 ❖Veri Analisti (Yarı Zamanlı) @ Anadolu Araştırma(DataMind) | 10.2013 - 01.2014 ❖Programcı @ Mentis IT | 07.2007 - 01.2010 4 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

Özgeçmiş(Devam) # Blog Yazıyorum ❖kod5.org , veribilimci.org, veribilimiokulu.com, LCW Digital # Sunuyorum/Konuşuyorum 1. Muğla Sıtkı Koçman Üniversitesi | 10th Int. Statistics Student Colloquium - Presentation “Artificial Neural Networks (ANN) Gold (Ons) Price Estimation” 2. Boğaziçi Üniversitesi & Karmaşık Sistemler ve Veri Bilimi(KaVe) | Makine Öğrenmesi Nedir? 3. Hacettepe Üniversitesi ACM - Online Konuşma 4. Hacettepe Üniversitesi İstatistik Topluluğu - Online Konuşma 5. Piri Reis Üniversitesi - Online Konuşma 6. Genç Dergi Teknoloji Sayfası “Veri Bilimi” Yazısı 7. İstanbul DataScience Academy - Online Ekip Sunumu 8. Türkiye Yapay Zeka İnisiyatifi (TRAI) - Tedarikçi Seçimi Karar Destek Sistemi LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi 5

Özgeçmiş(devam) # Datathon Teknik Mentor 1. LC Waikiki Datathon 2019 2. THY Datathon 2019 # Hackathon & Datathon Solo Yarışmacı ❖Bosh, ING, DT Doğuş Grubu, THY # DevNot Yazılım Geliştirici Programı Mentor ❖Mentor & Menti (3 Kişi) Bilgi: https://devnot.com/ & https://kommunity.com/@metinuslu 6 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

Özgeçmiş(Devam) # Organizasyon Paydaşı 1. Uluslararası Teknoloji ve Bilişim Zirvesi 2016 - Düzenleyici Kurul 2. 5. Uluslarası Bulanık Sistemler Sempozyumu (FUZZYSS'17), TOBB Üniversitesi - Organizasyon Takımı http://fuzzyss2017.etu.edu.tr/ 3. BTK & Deep Learning Türkiye 1. DeepCon’18 Yapay Zeka Konferansı (Düzenleyici Kurul) 2. Meetup Ankara Chapter (Organizasyon Takımı) 7 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

Özgeçmiş(Devam) # Peki Neden ? ❖Yeterince yiyeceğiniz varsa ve başınızı sokabileceğiniz bir yuvaya sahip olabildiyseniz artık en önemli şey diğer insanlar için ne yapabileceğinizdir, topluma bir bütün olarak ne verebileceğinizdir. | Donald Ervin Knuth # Peki Nasıl ? ❖Less is more ❖Be simple, do more ❖Durursan uzak, yürürsen yakın :-) 8 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

Veri Analitiği ve Yapay Zeka Müdürlüğü 9 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

Organizasyonel Yapı Bilgi Teknolojileri Planlama Veri Analitiği ve Yapay Zeka Müdürlüğü(VAYZ) Planlama ve Alokasyon Veri Bilimi Müdürlüğü Kadro: 5 + 1 Kadro: 5 + 1 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi 10

Onboarding LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi 11 ❖ LC Waikiki ❖ Kurumsal Yapı & Organizasyon Yapı ❖ Prensipler ❖ Strateji ❖ Vizyon & Misyon ❖ Şirket Genel Oryantasyonu ❖ IT Genel Oryantasyonu ❖ LC Waikiki Akademi ❖ VAYZ ❖ Şirket Temel Süreçleri ❖ Veri Kordinatörlüğü Müdürlük Oryantasyonları ❖ Bussiness ❖ Buying ❖ Planlama ❖ Alokasyon ❖ Mağazacılık ❖ Eticaret ❖ Finans ❖ Agile Scrum/Kanbam Eğitimleri ❖ Gemba

Neler Yaptık? ❖ Mağaza İçi Analitik (In Store Analytics) ❖ Eticaret Müşteri Analitiği (Online Customer Analytics) ❖ Face Detection & Face Blurring ❖ Çeşitli Veri Kaynaklarından Crawling ❖ Görseller üzerinden TrendAnalizi yapıyoruz. ❖ İş Birimlerine Karar Destek Sistemi için veri sağlıyoruz ❖ML & Data Pipeline Oluşturulması ❖Consume Data from API 12 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

Neler Yapıyoruz? ❖Sipariş Opt. KDS ❖Markdown Optimizasyon (İndirim Optimizasyonu) ❖RFM ❖Eticaret & Lojistik AdHoc Çalışmalar ❖GAN, Eticaret Comment, Anomaly Detection 13 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

Architecture Blueprint LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi 14

Veri Analitiği / Domaini 15 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

Veri Analitiği Verilerdeki anlamlı kalıpların keşfi, yorumlanması ve karar vermeye yönelik veri modellerinin uygulanmasını olarak tanımlayabiliriz. 16 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

Veri Analitik Tipleri 1. Descriptive Analytics 2. Diagnostic Analytics 3. Predictive Analytics 4. Prescriptive Analytics 17 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

Veri Ünvanları 1. Veri Analisti 2. Veri Bilimci 3. Veri Mühendisi 4. Makine Öğrenmesi Mühendisi 5. MLOps Eng. + DataOps Eng. 18 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

Makine Öğrenmesi Nedir? 19 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

Yapay Zeka 20 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

Yapay Zeka Testleri 21 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

Yapay Zeka & Makine Öğrenmesi & Derin Öğrenme 22 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

Makine Öğrenmesi 23 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

Makine Öğrenmesi vs Derin Öğrenme 24 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

Peki Makineler Nasıl Öğrenir? Bir problem ile başlayalım; Input Output Adım 1: 0 * k + A = 32 ➔ A=32 Adım 2: 8 * k + A = 46.4 ➔ 8 * k + 32 = 46.4 ➔ k=1.8 Adım 3: 38 * 1.8 + 32 = 100.4 26 32, 46.4, 59, 71.6, 0, 8, 15, 22, 38 100.4 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

Input Output F= C*1.8 + 32 F: Fahrenheit C: Celsius 27 32, 46.4, 59, 71.6, 100.4 0, 8, 15, 22, 38, Peki Makineler Nasıl Öğrenir? LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

Geleneksel Prog. vs Makine Öğrenmesi 28 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

Geleneksel Programlama 29 F = C*1.8 + 32 Python def Cel2Fah(C): F = C * 1.8 + 32 return F print("Celsius to Fahrenheit:", Cel2Fah(100)) LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

Makine Öğrenmesi 30 Python LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

Makine Öğrenmesi 31 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

Python Uyg. (Veri Seti & Kütüphaneler) 32 Python - Jupyter / Google Colab üzerinde, Input(Celsius) ve Output(Fahrenheit) değerlerinden oluşan 50 gözlemli bir veri seti ile Derin Sinir Ağları ve Doğrusal Regresyon kullanarak Makine Öğrenmesi uygulaması gerçekleştireceğim. Kütüphaneler Tensorflow Keras ScikitLearn Pandas Numpy Matplotlib No Input Output 1 -65 -85 2 -52 -61,6 3 -40 -40 4 -26 -14,8 5 -19 -2,2 . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 520 968 47 533 991,4 48 546 1014,8 49 559 1038,2 50 572 1061,6 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

Python Uyg. (Sinir Ağları) 33 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

34 Python Uyg. (Sinir Ağları) LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

35 Python Uyg. (Sinir Ağları) LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

36 Celsius 100 için Fahrenheit : ? ❖Sinir Ağları Modeli => 31.022 + 1.802*Celcius 31.022 + 1.802*100 = 211.269 ❖Cel2Fah => 100*1.8 + 32 = 212 Python Uyg. (Sinir Ağları) LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

37 Python Uyg. (Regresyon) LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

38 Python Uyg. (Regresyon) LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

39 Python Uyg. (Regresyon) LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

40 Python Uyg. (Regresyon) LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

41 Regresyon Modeli y= b0 + b1*x1 == > y= Celcius*1.8 + 31.999 Python Uyg. (Regresyon) LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

42 Celsius 100 için Fahrenheit : ? ❖Regresyon Modeli => y= Celcius*1.8 + 31.999 100*1.8 + 31.999 = 211.999 ❖Cel2Fah => 100*1.8 + 32 = 212 Python Uyg. (Regresyon) LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

43 ❖Cel2Fah => Celsius*1.8 + 32 ❖Sinir Ağı Modeli => Celcius*1.802 + 31.022 ❖Regresyon Modeli => Celcius*1.8 + 31.999 Github Repository : https://github.com/metinuslu/kave2019_machinelearning Modeller LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

Sipariş Opt. KDS Sistemi 44 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

Problem ▪ Tedarikçi Seçimi Karar Destek Sistemi projesi ile, Buyerların siparişlerini geçerken doğru tedarikçiye sipariş geçmelerini sağlayacak karar destek yapısı kurmaktır. ▪ Özetle; bir X ürününü Y tedarikçisi zamanında teslim edebilir mi? Yada tersinden düşünürsek buradaki risk ve bu riski açıklayan parametreler nelerdir? LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi 45 Yıl Sezon Tedarikçi Alım Sipariş Sayısı Option Sayısı Net Alım Sipariş Miktarı 2021 S1+W1 868 ~93K ~90K ~506M

Modelleme Süreci ▪ Veri Kaynakları ▪ Temel Tablolar : Tedarikçi Tablosu, Termin Tablosu, Sipariş Tablosu, Ürün Tablosu, … ▪ Aday Input : ~100 [Tarihsel inputlar, Tedarikçiye ait inputlar, Termin ile ilgili inputlar, Sipariş ile ilgili inputlar, ek olarak Aggregate edilerek oluşturulan inputlar] ▪ Final Model Input : 35 + 1 (Target Variable) ▪ Target Variable : SiparisZamanindaTeslimOrani = ZamanindaGirenMiktar / GelmesiGerekenMiktar ▪ Target Value : 0 ile 1 arasında sürekli bir değer alıyor. Ardından [1 if SiparisZamanindaTeslimOrani>=0.90 else 0] ▪ Problem : Binary Classification ▪ Modelleme ▪ LightGBM : Gradient boosting framework’lerinden ağaç tabanlı öğrenme algoritması ▪ Decision Tree : Ağaç tabanlı öğrenme algoritması ▪ Ensemble Method : LightGBM + Decision Tree algoritmalarını birlikte kullanımı LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi 46

Modelleme ▪ Performans 1: Algoritma Performansı Area Under Curve (AUC) ▪ Performans 2: Model bazlı olmak üzere modellerin daha iyi performe ettiği bölgelerdeki gücüne baktık. Olasılık uzayının sadece uç bölgeleri ile ilgilendik. (Arada kalan gri alanları ignore ettik); Proba<0.30 ve Proba>0.70 olanlar gözlemler için Ensemble Model (LGBM +Decision Tree) %72’lik bir başarım sağladık. LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi 47 Model Metrik TestSet LGBM AUC ~ 0.68 – 0.70 DecisionTree

Modelleme(devam) ▪ Feature Importance (LightGBM Model) LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi 48

Modelleme(devam) ▪ SHAP(SHapley Additive exPlanations) LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi 49

Model Serving ▪ Modelleme için Python ▪ Experiment ve başarımları gözlemlemek için mlflow ▪ Servis için Python Flask-RESTful ▪ Konteyner Rancher ve CI/CD için AzureDevOps (Pipeline + Release) ▪ Credential & Token Management Vault ▪ Aggregate Data & Api Response MongoDB LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi 50

Model Serving(devam) Servisimizi parametreler ile call ettiğimizde Response { "DateTime": "2022-03-15 20:11:28", "Proba": 0.942, "Top3Features": { "CariKlasmanPerformans": 0.906, "TerminSuresi": 0.068, "FiyatOrani": 0.006 }, "Bottom3Features": { "TedarikciSehir": 0.438, "SiparisKHafta": 0.427, "ModelBudgetKHafta": 0.076 } } LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi 51 Proba Risk Derecesi <=0.30 Yüksek Risk >0.30 & <0.70 Orta Risk >=0.70 Düşük Risk

Model Serving(devam) LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi 52

Model Serving(devam) LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi 53

Öneriler&Tavsiyeler 55 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi

Tavsiye / Öneri ❖Computer Science Yetkinlikleri ❖Feature Selection/Extraction/Engineering ❖İçselleştirme ❖Model performans metriği/skoru kadar uygulanabilirliği ❖Explainable AI ❖H2O Framework Lime & Shap ❖MLOps ve DataOps

Teşekkürler LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi 57