ML Engineering: from model to production

ML Engineering: from model to production
By Fon, Kamolphan Liwprasert

Presented at Data Day 2023 online event on Sep 23rd, 2023

Note: some part of the slide is in Thai language.

Transcript

1. ML ENGINEERING : FROM MODEL TO PRODUCTION FON Kamolphan Liwprasert
2. แนะนําตัว Fon Kamolphan Liwprasert Senior Software Engineer at Agoda Women Techmakers Ambassador Google Developer Experts - Cloud
3. Agenda 🐤 ทําความรู้จักกับ Machine Learning Engineering 🐤 รูปแบบการนํา model ไปประยุกต์ใช้ 🐤 ML in Production 🐤 Tech Stack ที่น่าสนใจ 🐤 แหล่งเรียนรู้ที่น่าสนใจเกี่ยวกับ MLE
4. AI in Real life https://chat.openai.com/chat https://www.midjourney.com/ https://github.com/features/copilot
5. ทําความรู้จักกับ Machine Learning Engineering
6. https://cloud.google.com/solutions/machine-learning/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning Hidden Technical Debt in Machine Learning Systems Elements for ML systems
7. นิยาม AI System แบบง่าย https://youtu.be/VfcY0edoSLU AI System = * Software Engineering DevOps Data Engineering Data Science ML/AI Research ML Engineering Software + Model + DATA
8. High-level of ML Systems 1. Data ▸ Data Engineering Pipelines ▸ Data Quality is a key 🔑 2. Model ▸ Machine Learning Pipelines ▸ Train, Evaluate, Test 󰙤 3. Software ▸ Model Serving & Predictions ▸ Deployment strategies & Infra 🐳☁
9. Machine Learning Engineers are technically proficient programmers who research, build, and design self-running software to automate predictive models. An ML Engineer builds artificial intelligence (AI) systems that leverage huge data sets to generate and develop algorithms capable of learning and eventually making predictions. - Brainstation.io ML Engineer Machine Learning Engineer คือ นักพัฒนาโปรแกรมที่วิจัย สราง และออกแบบ ซอฟตแวรที่สามารถรันโมเดลทำนายผลได และสรางระบบ AI โดยใชประโยชนจากขอมูลจำนวนมาก
10. หน้าที่ของ MLE Machine Learning Engineer
11. Machine Learning Engineer / Software Engineer Model training pipelines / tools work with DS / AI Automate the process of model training using pipelines and tools. (MLOps) Deploy ML model in production & monitoring Productionize the ML models including model versioning and optimization. Online prediction / API High performance model serving with low latency and high availability. Monitor the model prediction and performance for improvement. Integrate ML into application & monitoring
12. MLOps คืออะไร
13. Launching is easy, Operating is hard. ปญหาของ ML คือ ทำยังไงให จัดการดูแลระบบไดในระยะยาว ทําไมต้องมี MLOps CC0 images from pixabay.com
14. MLOps Continuous Training Continuous Monitoring CI/CD Concept drift Logging Canary Deployment A/B Testing Data-Centric AI vs Model-Centric AI Monitoring Healthcheck Testing Data Version Control Experiment Tracking Data Lineage Lifecycle Automation Data Quality Data Labeling Data Augmentation Train & Evaluate Model Versioning Model Serving & Deployment Optimization Error Reporting
15. 1 2 3 4 Benefit of MLOps Automate process ชวยลด Technical Debt ในระยะยาว ได Pipeline ที่ดี ทำให data scientist ทำงานรวมกันไดงาย ชวยลดความเสี่ยง และขอผิด พลาด human error ปรับปรุง และ Maintain ได งาย สามารถ scale ได
16. รูปแบบการนํา model ไปประยุกต์ใช้
17. Deep RL ML models Classification / Regression รูปแบบของ Model Computer Vision Object Detection / Image Classification / Face Recognition NLP Translation / Sentiment Analysis / Chatbot / LLM ตัวอยาง RL Robotics / Simulation Controlling problems (Large Language Model) Deep Learning
18. Process: Machine Learning Lifecycle https://ubuntu.com/engage/mlops-guide
19. Process : ML + Dev + Ops ⇒ MLOps https://ubuntu.com/engage/mlops-guide
20. เอา model ไปใช้อย่างไรได้บ้าง https://www.newsletter.swirlai.com/p/sai-03-machine-learning-deployment Batch Prediction ไมตอง real time Streaming มีขอมูลเขามาตลอดเวลา near-real time API Online prediction ในลักษณะ request/response Edge computing ประมวลผลที่ device ปลายทาง a.k.a Deployment
21. 1. Batch prediction: ทํางานแบบ batch @aurimas_gr https://www.newsletter.swirlai.com/p/sai-03-machine-learning-deployment
22. 2. Streaming: ทํางานตามลําดับใน queue @aurimas_gr https://www.newsletter.swirlai.com/p/sai-03-machine-learning-deployment
23. 3. API: Online prediction - model serving @aurimas_gr https://www.newsletter.swirlai.com/p/sai-03-machine-learning-deployment
24. 4. Edge computing: ใช้ device ปลายทาง @aurimas_gr https://www.newsletter.swirlai.com/p/sai-03-machine-learning-deployment Edge devices
25. Recap: ML Deployment https://www.newsletter.swirlai.com/p/sai-03-machine-learning-deployment Batch Prediction ไมตอง real time Streaming มีขอมูลเขามาตลอดเวลา near-real time API Online prediction ในลักษณะ request/response Edge computing ประมวลผลที่ device ปลายทาง
26. ML in Production
27. Batch Production Centralized Decentralized On-device “Edge” Edge computing Web Mobile Embedded On-Cloud / On-Premise Direct Model serving Streaming API Edge
28. ตัวอยาง Model Serving Centralized: Model Serving https://ubuntu.com/blog/guide-to-ml-model-serving https://www.anyscale.com/blog/serving-ml-models-in-production-common-patterns
29. Edge: Web ML & MediaPipe ❤
30. Demo: MediaPipe https://mediapipe-studio.webapps.google.com/
31. Model Optimization
32. Bonus: PoC & Demo ? Proof of Concept
33. Tech stack ที่น่าสนใจ
34. Update: ML, AI, Data Landscape 2023
35. สรุป Tech stack ที่น่าสนใจ
36. Tools DVC (Data Version Control)
37. For beginner: เริ่มต้นอย่างไร ?
38. ML Engineering = Software Engineering + ML Git: Version Control Docker Kubernetes CI/CD Programming!
39. Things to consider 🎯 การออกแบบระบบ ขึ้นอยูกับ use case และความตองการ ควรพิจารณาอยางถี่ถวน กอนตัดสินใจใช tool ที่เหมาะสม ⚒ 🎯 Pricing 💲: บาง tool มีคาใชจายคอนขางสูง 💸 ตองดูความคุมคาระยะยาว 🎯 Over-engineering : Perfect is the enemy of good xkcd by Randall Munroe. Automation takes a life of its own.
40. https://cloud.google.com/solutions/machine-learning/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning Hidden Technical Debt in Machine Learning Systems Elements for ML systems
41. Rule of Machine Learning Martin Zinkevich https://developers.google.com/machine-learning/guides/rules-of-ml
42. To make great products: do machine learning like the great engineer you are, not like the great machine learning expert you aren’t. Martin Zinkevich https://developers.google.com/machine-learning/guides/rules-of-ml
43. Resource
44. Made With ML https://madewithml.com/
45. AI Engineering Club https://ai-engineering.club/
46. MLOps Zoomcamp https://github.com/DataTalksClub/mlops-zoomcamp
47. Chip Huyen อาจารยวิชา Machine Learning Systems Design มหาวิทยาลัย Stanford (https://stanford-cs329s.github.io/) และผูเขียนหนังสือ Blog: Chip Huyen https://huyenchip.com/blog/
48. Books
49. Q & A
50. Thank You :) FON Kamolphan Liwprasert