Dicoding Sharing Session: Unlocking the Machine Learning Workflow

Transcript

1. Unlocking the Machine Learning Workflow Angel Metanosa Afinda Curriculum Developer at Dicoding Indonesia
2. Pengenalan Artificial Intelligence
4. Penggunaan AI di industri meningkat dua kali lipat dari 20% 2017 menjadi 50% 2022 McKinsey, The State of AI in 2022.
5. Sebanyak 65% konsumen memiliki kepercayaan terhadap bisnis yang menggunakan teknologi AI.
6. Simulasi kecerdasan manusia dalam sistem komputer yang dirancang untuk meniru proses berpikir manusia seperti belajar, menganalisis, dan membuat keputusan. Artificial Intelligence
7. Taksonomi AI
9. Nice to know you, Machine Learning!
11. Bayangkan Anda diberi tugas untuk membuat aturan berdasarkan data ini. Index(['baseline_value', 'accelerations', 'fetal_movement','uterine_contractions', 'light_decelerations', 'severe_decelerations','prolongued_decelerations', 'abnormal_short_term_variability','mean_value_of_short_term_variability','percentage_of_time_with_abnormal_l ong_term_variability','mean_value_of_long_term_variability', 'histogram_width','histogram_min', 'histogram_max', 'histogram_number_of_peaks','histogram_number_of_zeroes', 'histogram_mode', 'histogram_mean','histogram_median', 'histogram_variance', 'histogram_tendency','fetal_health'],dtype='object') Target 10 rows × 22 columns
12. Traditional Programming Computation Data Rules Solusi
13. Modern Programming Machine Learning Data Solusi Rules
15. Cabang dari artificial intelligence yang memungkinkan sistem atau mesin untuk belajar dari data, mengenal pola, dan membuat keputusan dengan sedikit bahkan tanpa intervensi manusia. Machine Learning
16. Kenapa Kita Butuh Machine Learning?
17. Supervised Learning Unsupervised Learning Reinforcement Learning Semi- Supervised Learning Tipe-Tipe Machine Learning
18. Supervised Learning Supervised learning adalah salah satu pendekatan dalam machine learning, yakni model dilatih menggunakan dataset yang berisi pasangan input-output yang diketahui. Supervised Learning Data Label Rules
19. Contoh Supervised Learning
21. Tipe-Tipe Supervised Learning Kasus penggunaan yang paling umum untuk supervised learning adalah regresi dan klasifikasi. • Model regresi memprediksi nilai angka dari banyak kemungkinan angka. • Model klasifikasi memprediksi kemungkinan bahwa sesuatu termasuk dalam kategori tertentu.
22. Algoritma Supervised Learning Regresi Klasifikasi 1. Linear Regression 2. Polynomial Regression 3. Ridge Regression 4. Lasso Regression 5. Support Vector Regression SVR 1. KNearest Neighbors KNN 2. Decision Tree 3. Random Forest 4. Support Vector Machine SVM 5. Naive Bayes
23. Unsupervised Learning Unsupervised learning adalah salah satu pendekatan dalam machine learning, yaitu model dilatih menggunakan data yang tidak memiliki label atau target output yang sudah ditentukan sebelumnya. Unsupervised Learning Data Algoritma Meaningful patterns
24. Contoh Unsupervised Learning
26. Tipe-Tipe Unsupervised Learning Unsupervised Learning Recommendation System (memprediksi preferensi pengguna) Clustering (dibagi berdasarkan kesamaan) Association (menemukan hubungan yang menarik) Dimensionality Reduction (kompres kumpulan data besar) Anomaly Detection (mendeteksi kejadian yang tidak biasa)
27. Semi-supervised Learning Semi-supervised learning SSL) adalah pendekatan dalam machine learning yang menggabungkan elemen dari supervised learning dan unsupervised learning.
28. Reinforcement Learning Salah satu cabang machine learning yang berfokus pada cara agen belajar mengambil tindakan dalam lingkungan tertentu agar memaksimalkan hadiah (reward) yang diterima lingkungan itu sendiri.
29. Mengenal Machine Learning Workflow
30. Machine Learning Workflow 1. Data Collecting 2. Data Cleaning dan Transformation 3. EDA 4. Data Splitting dan Modelling 5. Evaluasi dan Monitoring Model Machine Learning Workflow
31. Data Collecting Data Collecting Data Cleaning dan Transformation EDA Data Splitting dan Modelling Evaluasi dan Monitoring Model 1 Proses pengumpulan data dari berbagai sumber untuk menjawab semua masalah yang ingin diselesaikan. Data yang dibutuhkan mungkin terdapat dalam berbagai sumber dan memiliki format yang berbeda-beda.
32. Data Collecting Data Collecting Data Cleaning dan Transformation EDA Data Splitting dan Modelling Evaluasi dan Monitoring Model 1
33. Data Cleaning Data Collecting Data Cleaning dan Transformation EDA Data Splitting dan Modelling Evaluasi dan Monitoring Model 2 Proses ini dilakukan untuk menilai kualitas dan struktur dari sebuah data. Selain itu, proses ini juga bertujuan untuk mengidentifikasi berbagai masalah yang terdapat dalam data.
34. Data Cleaning Data Collecting Data Cleaning dan Transformation EDA Data Splitting dan Modelling Evaluasi dan Monitoring Model 2
35. Data Cleaning Data Collecting Data Cleaning dan Transformation EDA Data Splitting dan Modelling Evaluasi dan Monitoring Model 2 Data Cleaning Define Membuat rancangan tahapan serta metode pembersihan data berdasarkan masalah yang ditemukan dalam proses assessing data. Code Mengonversi hal tersebut menjadi sebuah kode program yang dapat dijalankan. Test Memeriksa kembali data yang telah dibersihkan tersebut. 03 01 02
36. Data Collecting Data Cleaning dan Transformation EDA Data Splitting dan Modelling Evaluasi dan Monitoring Model 2 Test Memeriksa kembali data yang telah dibersihkan tersebut. Data Transformation Normalisasi dan Standardisasi Data
37. Data Collecting Data Cleaning dan Transformation EDA Data Splitting dan Modelling Evaluasi dan Monitoring Model 2 Test Memeriksa kembali data yang telah dibersihkan tersebut. Data Transformation Normalisasi dan Standardisasi Data
38. Data Collecting Data Cleaning dan Transformation EDA Data Splitting dan Modelling Evaluasi dan Monitoring Model 2 Test Memeriksa kembali data yang telah dibersihkan tersebut. Data Transformation Encoding Variabel Kategorikal Encoding variabel kategorikal adalah proses mengubah data kategorikal (yaitu data yang terdiri dari label atau kategori) menjadi bentuk numerik agar dapat digunakan oleh algoritma machine learning.
39. Data Collecting Data Cleaning dan Transformation EDA Data Splitting dan Modelling Evaluasi dan Monitoring Model 3 Test Memeriksa kembali data yang telah dibersihkan tersebut. Exploratory Analysis Proses analisis data yang bertujuan untuk mengeksplorasi dan mengenal sebuah data. Explanatory Analysis Proses analisis data yang bertujuan untuk membagikan beberapa insight yang menarik dari sebuah data. Exploratory Data Analysis
40. Data Collecting Data Cleaning dan Transformation EDA Data Splitting dan Modelling Evaluasi dan Monitoring Model 3 Test Memeriksa kembali data yang telah dibersihkan tersebut. Bagaimana cara mendefinisikan pertanyaan untuk EDA? Problem solving Membuat pertanyaan yang efektif (effective question) Mengeksplorasi parameter statistik (stats parameter) dari data Mengelompokkan data (data grouping)
41. Data Collecting Data Cleaning dan Transformation EDA Data Splitting dan Modelling Evaluasi dan Monitoring Model 3 EDA Problem Solving
42. Data Collecting Data Cleaning dan Transformation EDA Data Splitting dan Modelling Evaluasi dan Monitoring Model 3 EDA: Effective Question Measurable Dapat dinilai atau diukur dengan data kuantitatif atau kualitatif. Specific Pertanyaannya harus jelas dan fokus pada satu area. Achievable Realistis dan bisa dicapai berdasarkan sumber daya yang tersedia. Time-bound Memiliki batas waktu yang jelas untuk pencapaian hasil. Relevant Sesuai dengan tujuan atau kebutuhan bisnis.
43. Data Collecting Data Cleaning dan Transformation EDA Data Splitting dan Modelling Evaluasi dan Monitoring Model 3 Relevant Sesuai dengan tujuan atau kebutuhan bisnis. Cara kita dalam menyajikan data dalam bentuk visual untuk mempermudah kita dan orang lain dalam memahami data. EDA: Visualisasi
44. Data Collecting Data Cleaning dan Transformation EDA Data Splitting dan Modelling Evaluasi dan Monitoring Model 4 Relevant Sesuai dengan tujuan atau kebutuhan bisnis. Data Splitting Data Splitting adalah proses membagi dataset menjadi beberapa subset yang terpisah untuk tujuan pelatihan, validasi, dan pengujian model machine learning.
45. Data Collecting Data Cleaning dan Transformation EDA Data Splitting dan Modelling Evaluasi dan Monitoring Model 4 Relevant Sesuai dengan tujuan atau kebutuhan bisnis. Modelling Data modeling adalah proses ketika memilih, melatih, dan mengevaluasi model machine learning untuk memprediksi atau mengklasifikasikan data berdasarkan fitur/variabel yang tersedia.
46. Data Collecting Data Cleaning dan Transformation EDA Data Splitting dan Modelling Evaluasi dan Monitoring Model 4 Relevant Sesuai dengan tujuan atau kebutuhan bisnis.
47. Data Collecting Data Cleaning dan Transformation EDA Data Splitting dan Modelling Evaluasi dan Monitoring Model 4 Relevant Sesuai dengan tujuan atau kebutuhan bisnis.
48. Data Collecting Data Cleaning dan Transformation EDA Data Splitting dan Modelling Evaluasi dan Monitoring Model 5 Relevant Sesuai dengan tujuan atau kebutuhan bisnis. Evaluation Model pada Klasifikasi Proporsi dari prediksi yang benar terhadap total prediksi yang dibuat. Proporsi prediksi positif yang benar dibandingkan dengan total prediksi positif. Proporsi data positif yang berhasil diprediksi dengan benar oleh model. Harmonik rata-rata dari precision dan recall, berguna ketika ada ketidakseimbangan antara kelas.
49. Data Collecting Data Cleaning dan Transformation EDA Data Splitting dan Modelling Evaluasi dan Monitoring Model 5 Relevant Sesuai dengan tujuan atau kebutuhan bisnis. Evaluation Model pada Regresi Rata-rata dari selisih absolut antara nilai prediksi dan nilai aktual. Rata-rata dari kuadrat selisih antara nilai prediksi dan nilai aktual.
50. \ Data Collecting Data Cleaning dan Transformation EDA Data Splitting dan Modelling Evaluasi dan Monitoring Model 5 Relevant Sesuai dengan tujuan atau kebutuhan bisnis. Model Deployment
51. Ngoding Tipis-Tipis~
52. Mari Diskusi!
53. Hatur Nuhun ^^
54. Feedback! dicoding.id/DSSfeedback