Yapay Zeka & Veri Analitiği Eğitimi

Yapay Zeka & Veri Analitiği Eğitimi
LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı
Metin Uslu
24.04.2022

Transcript

1. LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı Yapay Zeka & Veri Analitiği Eğitimi Metin Uslu | LC Waikiki Kıdemli Veri Bilimci 24.04.2022
2. Ajanda LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi 2 ▪ Ben Kimim? ▪ LCW VAYZ ▪ Veri Analitiği/Domaini ▪ Makine Öğrenmesi Nedir? ▪ Sipariş Opt. KDS Sistemi ▪ Modelleme Süreçleri ▪ Veri Kaynakları ▪ Modelleme: LightGBM, Decision Tree, Ensemble Model ▪ Performans Metrikleri ▪ Feature Importance ▪ Shap ▪ Model Sunumu(Model Serving) ▪ Öneriler&Tavsiyeler
3. merhaba ben metin ✋ 3 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
4. Özgeçmiş Eğitim ❖Konya NEU – Bilgisayar Müh. | 2017 – … ❖Hacettepe Üniversitesi - İstatistik | 2010 – 2014 ❖İstanbul Üniversitesi - Bilgisayar Programlama | 2006 – 2008 İş Tecrübesi ❖Veri Bilimci @ LC Waikiki| 02.2019 - … ❖Büyük Veri Analisti @ Bilgi Teknolojileri ve İletişim Kurumu (BTK) | 01.2017 - 02.2019 ❖MIS Uzm. Yrd. @ KT Katılım Bankası | 10.2015 - 01.2017 ❖Veri Modelleme Uzmanı (Yarı Zamanlı) @ HiSAM | 01.2014 - 07.2014 ❖Veri Analisti (Yarı Zamanlı) @ Anadolu Araştırma(DataMind) | 10.2013 - 01.2014 ❖Programcı @ Mentis IT | 07.2007 - 01.2010 4 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
5. Özgeçmiş(Devam) # Blog Yazıyorum ❖kod5.org , veribilimci.org, veribilimiokulu.com, LCW Digital # Sunuyorum/Konuşuyorum 1. Muğla Sıtkı Koçman Üniversitesi | 10th Int. Statistics Student Colloquium - Presentation “Artificial Neural Networks (ANN) Gold (Ons) Price Estimation” 2. Boğaziçi Üniversitesi & Karmaşık Sistemler ve Veri Bilimi(KaVe) | Makine Öğrenmesi Nedir? 3. Hacettepe Üniversitesi ACM - Online Konuşma 4. Hacettepe Üniversitesi İstatistik Topluluğu - Online Konuşma 5. Piri Reis Üniversitesi - Online Konuşma 6. Genç Dergi Teknoloji Sayfası “Veri Bilimi” Yazısı 7. İstanbul DataScience Academy - Online Ekip Sunumu 8. Türkiye Yapay Zeka İnisiyatifi (TRAI) - Tedarikçi Seçimi Karar Destek Sistemi LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi 5
6. Özgeçmiş(devam) # Datathon Teknik Mentor 1. LC Waikiki Datathon 2019 2. THY Datathon 2019 # Hackathon & Datathon Solo Yarışmacı ❖Bosh, ING, DT Doğuş Grubu, THY # DevNot Yazılım Geliştirici Programı Mentor ❖Mentor & Menti (3 Kişi) Bilgi: https://devnot.com/ & https://kommunity.com/@metinuslu 6 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
7. Özgeçmiş(Devam) # Organizasyon Paydaşı 1. Uluslararası Teknoloji ve Bilişim Zirvesi 2016 - Düzenleyici Kurul 2. 5. Uluslarası Bulanık Sistemler Sempozyumu (FUZZYSS'17), TOBB Üniversitesi - Organizasyon Takımı http://fuzzyss2017.etu.edu.tr/ 3. BTK & Deep Learning Türkiye 1. DeepCon’18 Yapay Zeka Konferansı (Düzenleyici Kurul) 2. Meetup Ankara Chapter (Organizasyon Takımı) 7 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
8. Özgeçmiş(Devam) # Peki Neden ? ❖Yeterince yiyeceğiniz varsa ve başınızı sokabileceğiniz bir yuvaya sahip olabildiyseniz artık en önemli şey diğer insanlar için ne yapabileceğinizdir, topluma bir bütün olarak ne verebileceğinizdir. | Donald Ervin Knuth # Peki Nasıl ? ❖Less is more ❖Be simple, do more ❖Durursan uzak, yürürsen yakın :-) 8 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
9. Veri Analitiği ve Yapay Zeka Müdürlüğü 9 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
10. Organizasyonel Yapı Bilgi Teknolojileri Planlama Veri Analitiği ve Yapay Zeka Müdürlüğü(VAYZ) Planlama ve Alokasyon Veri Bilimi Müdürlüğü Kadro: 5 + 1 Kadro: 5 + 1 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi 10
11. Onboarding LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi 11 ❖ LC Waikiki ❖ Kurumsal Yapı & Organizasyon Yapı ❖ Prensipler ❖ Strateji ❖ Vizyon & Misyon ❖ Şirket Genel Oryantasyonu ❖ IT Genel Oryantasyonu ❖ LC Waikiki Akademi ❖ VAYZ ❖ Şirket Temel Süreçleri ❖ Veri Kordinatörlüğü Müdürlük Oryantasyonları ❖ Bussiness ❖ Buying ❖ Planlama ❖ Alokasyon ❖ Mağazacılık ❖ Eticaret ❖ Finans ❖ Agile Scrum/Kanbam Eğitimleri ❖ Gemba
12. Neler Yaptık? ❖ Mağaza İçi Analitik (In Store Analytics) ❖ Eticaret Müşteri Analitiği (Online Customer Analytics) ❖ Face Detection & Face Blurring ❖ Çeşitli Veri Kaynaklarından Crawling ❖ Görseller üzerinden TrendAnalizi yapıyoruz. ❖ İş Birimlerine Karar Destek Sistemi için veri sağlıyoruz ❖ML & Data Pipeline Oluşturulması ❖Consume Data from API 12 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
13. Neler Yapıyoruz? ❖Sipariş Opt. KDS ❖Markdown Optimizasyon (İndirim Optimizasyonu) ❖RFM ❖Eticaret & Lojistik AdHoc Çalışmalar ❖GAN, Eticaret Comment, Anomaly Detection 13 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
14. Architecture Blueprint LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi 14
15. Veri Analitiği / Domaini 15 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
16. Veri Analitiği Verilerdeki anlamlı kalıpların keşfi, yorumlanması ve karar vermeye yönelik veri modellerinin uygulanmasını olarak tanımlayabiliriz. 16 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
17. Veri Analitik Tipleri 1. Descriptive Analytics 2. Diagnostic Analytics 3. Predictive Analytics 4. Prescriptive Analytics 17 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
18. Veri Ünvanları 1. Veri Analisti 2. Veri Bilimci 3. Veri Mühendisi 4. Makine Öğrenmesi Mühendisi 5. MLOps Eng. + DataOps Eng. 18 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
19. Makine Öğrenmesi Nedir? 19 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
20. Yapay Zeka 20 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
21. Yapay Zeka Testleri 21 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
22. Yapay Zeka & Makine Öğrenmesi & Derin Öğrenme 22 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
23. Makine Öğrenmesi 23 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
24. Makine Öğrenmesi vs Derin Öğrenme 24 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
25. Peki Makineler Nasıl Öğrenir? Bir problem ile başlayalım; Input Output Adım 1: 0 * k + A = 32 ➔ A=32 Adım 2: 8 * k + A = 46.4 ➔ 8 * k + 32 = 46.4 ➔ k=1.8 Adım 3: 38 * 1.8 + 32 = 100.4 26 32, 46.4, 59, 71.6, 0, 8, 15, 22, 38 100.4 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
26. Input Output F= C*1.8 + 32 F: Fahrenheit C: Celsius 27 32, 46.4, 59, 71.6, 100.4 0, 8, 15, 22, 38, Peki Makineler Nasıl Öğrenir? LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
27. Geleneksel Prog. vs Makine Öğrenmesi 28 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
28. Geleneksel Programlama 29 F = C*1.8 + 32 Python def Cel2Fah(C): F = C * 1.8 + 32 return F print("Celsius to Fahrenheit:", Cel2Fah(100)) LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
29. Makine Öğrenmesi 30 Python LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
30. Makine Öğrenmesi 31 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
31. Python Uyg. (Veri Seti & Kütüphaneler) 32 Python - Jupyter / Google Colab üzerinde, Input(Celsius) ve Output(Fahrenheit) değerlerinden oluşan 50 gözlemli bir veri seti ile Derin Sinir Ağları ve Doğrusal Regresyon kullanarak Makine Öğrenmesi uygulaması gerçekleştireceğim. Kütüphaneler Tensorflow Keras ScikitLearn Pandas Numpy Matplotlib No Input Output 1 -65 -85 2 -52 -61,6 3 -40 -40 4 -26 -14,8 5 -19 -2,2 . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 520 968 47 533 991,4 48 546 1014,8 49 559 1038,2 50 572 1061,6 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
32. Python Uyg. (Sinir Ağları) 33 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
33. 34 Python Uyg. (Sinir Ağları) LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
34. 35 Python Uyg. (Sinir Ağları) LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
35. 36 Celsius 100 için Fahrenheit : ? ❖Sinir Ağları Modeli => 31.022 + 1.802*Celcius 31.022 + 1.802*100 = 211.269 ❖Cel2Fah => 100*1.8 + 32 = 212 Python Uyg. (Sinir Ağları) LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
36. 37 Python Uyg. (Regresyon) LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
37. 38 Python Uyg. (Regresyon) LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
38. 39 Python Uyg. (Regresyon) LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
39. 40 Python Uyg. (Regresyon) LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
40. 41 Regresyon Modeli y= b0 + b1*x1 == > y= Celcius*1.8 + 31.999 Python Uyg. (Regresyon) LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
41. 42 Celsius 100 için Fahrenheit : ? ❖Regresyon Modeli => y= Celcius*1.8 + 31.999 100*1.8 + 31.999 = 211.999 ❖Cel2Fah => 100*1.8 + 32 = 212 Python Uyg. (Regresyon) LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
42. 43 ❖Cel2Fah => Celsius*1.8 + 32 ❖Sinir Ağı Modeli => Celcius*1.802 + 31.022 ❖Regresyon Modeli => Celcius*1.8 + 31.999 Github Repository : https://github.com/metinuslu/kave2019_machinelearning Modeller LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
43. Sipariş Opt. KDS Sistemi 44 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
44. Problem ▪ Tedarikçi Seçimi Karar Destek Sistemi projesi ile, Buyerların siparişlerini geçerken doğru tedarikçiye sipariş geçmelerini sağlayacak karar destek yapısı kurmaktır. ▪ Özetle; bir X ürününü Y tedarikçisi zamanında teslim edebilir mi? Yada tersinden düşünürsek buradaki risk ve bu riski açıklayan parametreler nelerdir? LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi 45 Yıl Sezon Tedarikçi Alım Sipariş Sayısı Option Sayısı Net Alım Sipariş Miktarı 2021 S1+W1 868 ~93K ~90K ~506M
45. Modelleme Süreci ▪ Veri Kaynakları ▪ Temel Tablolar : Tedarikçi Tablosu, Termin Tablosu, Sipariş Tablosu, Ürün Tablosu, … ▪ Aday Input : ~100 [Tarihsel inputlar, Tedarikçiye ait inputlar, Termin ile ilgili inputlar, Sipariş ile ilgili inputlar, ek olarak Aggregate edilerek oluşturulan inputlar] ▪ Final Model Input : 35 + 1 (Target Variable) ▪ Target Variable : SiparisZamanindaTeslimOrani = ZamanindaGirenMiktar / GelmesiGerekenMiktar ▪ Target Value : 0 ile 1 arasında sürekli bir değer alıyor. Ardından [1 if SiparisZamanindaTeslimOrani>=0.90 else 0] ▪ Problem : Binary Classification ▪ Modelleme ▪ LightGBM : Gradient boosting framework’lerinden ağaç tabanlı öğrenme algoritması ▪ Decision Tree : Ağaç tabanlı öğrenme algoritması ▪ Ensemble Method : LightGBM + Decision Tree algoritmalarını birlikte kullanımı LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi 46
46. Modelleme ▪ Performans 1: Algoritma Performansı Area Under Curve (AUC) ▪ Performans 2: Model bazlı olmak üzere modellerin daha iyi performe ettiği bölgelerdeki gücüne baktık. Olasılık uzayının sadece uç bölgeleri ile ilgilendik. (Arada kalan gri alanları ignore ettik); Proba<0.30 ve Proba>0.70 olanlar gözlemler için Ensemble Model (LGBM +Decision Tree) %72’lik bir başarım sağladık. LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi 47 Model Metrik TestSet LGBM AUC ~ 0.68 – 0.70 DecisionTree
47. Modelleme(devam) ▪ Feature Importance (LightGBM Model) LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi 48
48. Modelleme(devam) ▪ SHAP(SHapley Additive exPlanations) LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi 49
49. Model Serving ▪ Modelleme için Python ▪ Experiment ve başarımları gözlemlemek için mlflow ▪ Servis için Python Flask-RESTful ▪ Konteyner Rancher ve CI/CD için AzureDevOps (Pipeline + Release) ▪ Credential & Token Management Vault ▪ Aggregate Data & Api Response MongoDB LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi 50
50. Model Serving(devam) Servisimizi parametreler ile call ettiğimizde Response { "DateTime": "2022-03-15 20:11:28", "Proba": 0.942, "Top3Features": { "CariKlasmanPerformans": 0.906, "TerminSuresi": 0.068, "FiyatOrani": 0.006 }, "Bottom3Features": { "TedarikciSehir": 0.438, "SiparisKHafta": 0.427, "ModelBudgetKHafta": 0.076 } } LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi 51 Proba Risk Derecesi <=0.30 Yüksek Risk >0.30 & <0.70 Orta Risk >=0.70 Düşük Risk
51. Model Serving(devam) LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi 52
52. Model Serving(devam) LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi 53
53. Öneriler&Tavsiyeler 55 LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi
54. Tavsiye / Öneri ❖Computer Science Yetkinlikleri ❖Feature Selection/Extraction/Engineering ❖İçselleştirme ❖Model performans metriği/skoru kadar uygulanabilirliği ❖Explainable AI ❖H2O Framework Lime & Shap ❖MLOps ve DataOps
55. Teşekkürler LC Waikiki Akademi Teknoloji ve Dijitalleşmeye Giriş Programı | Yapay Zeka & Veri Analitiği Eğitimi 57