AI Backend Introduction

세션내용:
어떻게 AI Backend를 구축해야 하는가? 에 대한 고려사항과 동향

Transcript

1. AI Backend 구축 방향 컨테이너솔루션개발팀 안승규
2. 1 MLOps 의미 • ML 모델을 개발 / Training 하고, 이를 운영 환경으로 배포하는 프로세스를 자동화하여, 지속적으로 모델을 유지관리하고 모니터링할 수 있게 한 Machine Learning Engineering • Data Scientist 와 ML Engineer 간 유기적 협력 지원
3. 2 Why? MLOps Ø 빠른 실험과 모델 개발 Ø 운영 환경에 신속/안정적 모델 배포 및 업데이트 Ø 정확한 검증
4. 3 Machine Learning Pipeline 데이터 수집 training 데이터 준비 ML 알고리즘 최적화 Training 준비 환경 셋업 Train & Tune model deploy model Manage production
5. 4 단계별 ML pipeline https://www.kubeflow.org/docs/images/kubeflow-overview-workflow-diagram-1.svg
6. 5 우리가 집중하는 영역 데이터 수집 training 데이터 준비 ML 알고리즘 최적화 training 준비 환경 셋업 train & tune model deploy model Manage production
7. 6 Why Model Serving ? • Cost 인스턴스 갯수는 적절한가? 리소스는 효율적으로 할당되어 있나? • Monitoring 서비스는 잘 동작하는가? 최적의 성능을 내는 설정은? Request Tracing 은? • Rollout 배포는 안정적으로 배포되었나? 롤백은 어떻게? 트래픽 변경없이 변경사항 테스트 가능? • Protocol Standard Prediction 을 어떻게 만들까? gRPC? HTTP? • Framework Tensorflow 를 어떻게 Serving 할까? XGBoost? Scikit Learn? Pytorch? Custom Code? • Features Prediction 을 어떻게 설명하지? outlier, skew 탐지는?, custom pre/post processing 은 어떻게?
8. 7 KServe Architecture https://www.kubeflow.org/docs/external-add-ons/kserve/pics/kserve.png
9. 8 Model Serving (KServe) https://blog.kubeflow.org/images/2021-03-08-kfserving-0.5/image5.png
10. 9 MRM (Model Risk Management) 잘못된 모델이나 잘못 사용된 모델을 근거로 한 의사 결정으로 인한 잠재적인 나쁜 결과에서 발생 하는 리스크를 감독 관리 모델 오류나 잘못된 모델 사용 가능성을 알아내어 방지 MRM 을 위한 공통의 플랫폼이 필요 -> Open MRM • Frameworks Tensorflow, Keras, PyTorch, Logistic Regression, Support Vector Machine, Sklearn, XGBoost, Catboost, Mx Net • Activation functions Binary Step Function, Linear Function, Sigmoid, Tanh, ReLU, Leaky ReLU, Parameterised ReLU, Exponentia l Linear Unit • Notebooks and Integrated Development Environments (IDEs) JupyterLab, R-Studio. VSCode, NetBeans, Eclipse, Pycharm, RStudio • ML Platforms & managed services Kubeflow, MLFlow, H2O, Seldon, KServe, Sagemaker, Databricks, AzureML, Vertex 다양한 Platform, language, Tool 들 (예시)
11. 감사합니다