Share
Embed
ML Engineering & MLOps - Data Cafe
30 May 2024 at Data Cafe Thailand
Kamolphan Liwprasert
May 30, 2024
Transcript
58 slides
-
แนะนําตัว Fon Kamolphan Liwprasert PhD Student at Chula MLOps Consultant
at AIMET Google Developer Experts - Cloud Women Techmakers Ambassador -
Agenda ▸ ทําความรู้จักกับ Machine Learning Engineering ▸ รูปแบบการนํา model ไปประยุกต์ใช้
▸ ML in Production ▸ Tech Stack ที่น่าสนใจ ▸ แหล่งเรียนรู้ที่น่าสนใจเกี่ยวกับ MLE -
นิยาม AI System แบบง่าย https://youtu.be/VfcY0edoSLU AI System = * Software
Engineering DevOps Data Engineering Data Science ML/AI Research ML Engineering Software + Model + DATA -
นิยาม AI System แบบง่าย https://youtu.be/VfcY0edoSLU AI System = * Software
Engineering DevOps Data Engineering Data Science ML/AI Research ML Engineering Software -
High-level of ML Systems 1. Data ▸ Data Engineering Pipelines
▸ Data Quality is a key 🔑 2. Model ▸ Machine Learning Pipelines ▸ Train, Evaluate, Test 3. Software ▸ Model Serving & Predictions ▸ Deployment strategies & Infra 🐳☁ -
Machine Learning Engineers are technically proficient programmers who research, build,
and design self-running software to automate predictive models. An ML Engineer builds artificial intelligence (AI) systems that leverage huge data sets to generate and develop algorithms capable of learning and eventually making predictions. - Brainstation.io ML Engineer Machine Learning Engineer คือ นักพัฒนาโปรแกรมที่วิจัย สราง และออกแบบ ซอฟตแวรที่สามารถรันโมเดลทำนายผลได และสรางระบบ AI โดยใชประโยชนจากขอมูลจำนวนมาก -
Machine Learning Engineer / Software Engineer Model training pipelines /
tools work with DS / AI Automate the process of model training using pipelines and tools. (MLOps) Deploy ML model in production & monitoring Productionize the ML models including model versioning and optimization. Online prediction / API High performance model serving with low latency and high availability. Monitor the model prediction and performance for improvement. Integrate ML into application & monitoring -
Launching is easy, Operating is hard. ปญหาของ ML คือ ทํายังไงให
จัดการดูแลระบบไดในระยะยาว ทําไมต้องมี MLOps CC0 images from pixabay.com -
Process in Machine Learning Intro to Machine Learning in Production
- Andrew Ng Deeplearning.ai -
MLOps Continuous Training Continuous Monitoring CI/CD Concept drift Logging Canary
Deployment A/B Testing Data-Centric AI vs Model-Centric AI Monitoring Healthcheck Testing Data Version Control Experiment Tracking Data Lineage Lifecycle Automation Data Quality Data Labeling Data Augmentation Train & Evaluate Model Versioning Model Serving & Deployment Optimization Error Reporting -
MLOps = Continuous delivery and automation pipelines in machine learning
MLOps: สร้าง automate pipeline ให้ ML System CI Continuous Integration CD Continuous Delivery CT Continuous Training CM Continuous Monitoring -
1 2 3 4 Benefit of MLOps Automate process ชวยลด
Technical Debt ในระยะยาว ได Pipeline ที่ดี ทำให data scientist ทำงานรวมกันไดงาย ชวยลดความเสี่ยง และขอผิด พลาด human error ปรับปรุง และ Maintain ได งาย สามารถ scale ได -
ML System Business Requirements ML System Developers ML System Users
ML System Deployment, monitoring, updating of logics Feature engineering ML algorithms Designing Machine Learning Systems -- Chip Huyen Evaluation Data Infrastructure MLOps: Continuous process Deployment, monitoring, updating of logics Data -
Deep RL ML models Classification / Regression รูปแบบของ Model Computer
Vision Object Detection / Image Classification / Face Recognition NLP Translation / Sentiment Analysis / Chatbot / LLM ตัวอยาง RL Robotics / Simulation Controlling problems (Large Language Model) Deep Learning -
เอา model ไปใช้อย่างไรได้บ้าง https://www.newsletter.swirlai.com/p/sai-03-machine-learning-deployment Batch Prediction ไมตอง real time Streaming
มีขอมูลเขามาตลอด เวลา near-real time API Online prediction ในลักษณะ request/response Edge computing ประมวลผลที่ device ปลายทาง a.k.a Deployment -
Recap: ML Deployment https://www.newsletter.swirlai.com/p/sai-03-machine-learning-deployment Batch Prediction ไมตอง real time Streaming
มีขอมูลเขามาตลอด เวลา near-real time API Online prediction ในลักษณะ request/response Edge computing ประมวลผลที่ device ปลายทาง -
Batch Production Centralized Decentralized On-device “Edge” Edge computing Web Mobile
Embedded On-Cloud / On-Premise Direct Model serving Streaming API Edge -
ML Engineering = Software Engineering + ML Git: Version Control
Docker Kubernetes CI/CD Programming! -
Things to consider 🎯 การออกแบบระบบ ขึ้นอยูกับ use case และความตองการ ควรพิจารณาอยางถี่ถวน
กอนตัดสินใจใช tool ที่เหมาะสม ⚒ 🎯 Pricing 💲: บาง tool มีคาใชจายคอนขางสูง 💸 ตองดูความคุมคาระยะยาว 🎯 Over-engineering : Perfect is the enemy of good xkcd by Randall Munroe. Automation takes a life of its own. -
To make great products: do machine learning like the great
engineer you are, not like the great machine learning expert you aren’t. Martin Zinkevich https://developers.google.com/machine-learning/guides/rules-of-ml -
Chip Huyen อาจารยวิชา Machine Learning Systems Design มหาวิทยาลัย Stanford (https://stanford-cs329s.github.io/)
และผูเขียนหนังสือ Blog: Chip Huyen https://huyenchip.com/blog/