DevCoach 168: ML in Google Cloud | Training dan Deployment Model Machine Learning dengan Google Cloud

Transcript

1. Machine Learning in Google Cloud Training dan Deployment Model Machine Learning dengan Google Cloud Ridha Ginanjar Curriculum Developer
2. Machine Learning Series Series Machine Learning berfokus pada: - Mempelajari dasar Machine Learning hingga Deep Learning - Membuat dan mengoptimalkan model Machine Learning hingga Deep Learning - Mempelajari berbagai algoritma Machine Learning hingga Deep learning Machine Learning in Google Cloud Series Series Machine Learning in Google Cloud berfokus pada: - Machine Learning di lingkungan produksi - Membuat model machine learning dengan bantuan Cloud Computing - Belajar melakukan deployment model Machine Learning dengan menjadikannya sebagai API Selamat Datang di Series Machine Learning in Google Cloud
3. The Agenda • Machine Learning Workflow • Strategi Pengembangan Sistem Machine Learning di Lingkungan Produksi • Strategi Training Model Machine Learning di Google Cloud • Model Deployment dengan bantuan Google Cloud
4. Machine Learning Workflow ML in Google Cloud
5. Machine Learning Workflow Data Preparation Model Development Model Serving
6. Machine Learning Workflow Data Preparation Model Development Model Serving - Data Uploading
7. Machine Learning Workflow Data Preparation Model Development Model Serving - Data Uploading - Feature Engineering
8. Machine Learning Workflow - Feature Engineering Customer ID Customer Name Country Subscription 1 Firman Indonesia Yes 2 Dadang Indonesia 1 3 Gabriel Singapore 0 4 Aceng 1 5 Dadang Indonesia 1 6 Robin Japan 0 Membutuhkan Encoding Membutuhkan Formatting Duplicate Missing
9. Machine Learning Workflow Data Preparation Model Development Model Serving Training - Static - Dynamic
10. Machine Learning Workflow Data Preparation Model Development Model Serving Training Evaluasi - Static - Dynamic - Metrics Evaluasi - Feature importance
11. Machine Learning Workflow Data Preparation Model Development Model Serving 1. Model Deployment 2. Model Monitoring
12. Strategi Pengembangan ML di Production ML in Google Cloud
13. Introduction to MLOps Machine Learning Operations MLOps adalah kombinasi kultur dan praktik dalam mengelola dan melakukan standarisasi terhadap keseluruhan proses pengembangan machine learning serta pengoperasiannya di sistem produksi.
14. Continuous Integration CI 1 2 3 4 5 1 2 3 1 2 3 4 1. Checkout the code 2. Complete the task 3. Validate against the code base 4. Perform unit testing 5. Merge the code Continuous Deployment CD 1. Build 2. Test 3. Release Continuous Training CT 1. Monitor 2. Measure 3. Retrain 4. Serve
15. ML System Google Cloud X TensorFlow) Dalam lingkungan produksi, setiap komponen di sistem ML harus berjalan dalam skala besar pada platform yang scalable. Gambar di samping adalah contoh alur kerja sistem ML dengan bantuan layanan-layanan Google Cloud dan TensorFlow Extended TFX.
16. ML in Google Cloud Strategi Training Model di Production
17. Static Training Static training artinya hanya melatih model sekali. Kemudian menggunakan modelnya untuk beberapa saat. Dynamic Training Dynamic training artinya hanya melatih model terus-menerus atau setidaknya sering. Kemudian menggunakan model terbaru untuk inference.
18. Static Training Dynamic Training Advantages Sederhana. Adaptable Disadvantages Terkadang usang. Jika relationship antara fitur dan label berubah seiring waktu, prediksi model akan menurun. Membutuhkan kerja lebih karena perlu build, test, dan rilis model terbaru terus menerus. Sefruit Perbedaan
19. Sefruit Perbedaan Acquire data Transform data Train model Test model Deploy model Acquire data Transform data Train model Test model Deploy model Static Training Dynamic Training
20. Layanan Google Cloud Static Training Dynamic Training Cloud Function App Engine Dataflow
21. ML in Google Cloud Model Deployment dengan Google Cloud
22. Dynamic inference artinya model hanya melakukan prediksi jika adanya permintaan (on-demand). Static Inference artinya model akan melakukan prediksi terhadap sekumpulan data dalam satu waktu. Setelah itu, hasil prediksi akan di-cache. Static Inference Dynamic Inference * Dalam beberapa literasi, terdapat perbedaan istilah: - Static: Batch atau offline predictions - Dynamic: Online predictions
23. Static Inference Dynamic Inference Advantages Tidak khawatir biaya inference Dapat melakukan prediksi secara langsung. Disadvantages Terdapat kemungkinan sistem tidak dapat melakukan prediksi dari uncommon input. Sensitif terhadap komputasi dan latensi. Sefruit Perbedaan
24. Tapi, Kamu tidak bisa melakukan deployment model hanya di Google Cloud Android Raspberry pi TPU On-premise Cloud iOS
25. Layanan Google Cloud Untuk Deployment Model → Compute Services Cloud Function App Engine Compute Engine Google Kubernetes Engine Cloud Run
26. Cara melakukan online prediction Dengan Google Cloud
27. Cara melakukan online prediction Dengan Google Cloud 1. Konversi model TensorFlow dari SavedModel ke TensorFlow.js, 2. Menyimpan model di Cloud Storage, 3. Membuat web service (endpoint) menggunakan Node.js, 4. Deploy ke Virtual Machine Compute Engine, 5. Testing dengan Postman API Source Code (Branch MLWebServer-lab): https://github.com/dicodingacademy/a658-machine-learning -googlecloud.git
28. Konversi Model Dari SavedModel ke TF.js Source Code (Branch MLWebServer-lab): https://github.com/dicodingacademy/a658-machine-learning -googlecloud.git Save model to SavedModel format Convert model from SavedModel format to TensorFlow.js web format
29. Menyimpan model Ke Cloud Storage Source Code (Branch MLWebServer-lab): https://github.com/dicodingacademy/a658-machine-learning -googlecloud.git
30. Membuat Web Service Source Code (Branch MLWebServer-lab): https://github.com/dicodingacademy/a658-machine-learning -googlecloud.git 1. Menggunakan Hapi Framework 2. Menggunakan Node.js
31. Deploy Ke Virtual Machine Compute Engine Source Code (Branch MLWebServer-lab): https://github.com/dicodingacademy/a658-machine-learning -googlecloud.git
32. Testing Dengan Postman Source Code (Branch MLWebServer-lab): https://github.com/dicodingacademy/a658-machine-learning -googlecloud.git
33. Terima Kasih. Eitss … Kita punya informasi khusus untuk series ML in Google Cloud selanjutnya
34. Remember this little guy?
36. Feedback! Hadiah: • 1 Token Langganan Academy 30 Hari) *untuk pengisi feedback terpilih! dicoding.id/devcoachfeedback