KRSH: 선언형 Kubeflow, Terraform처럼 파이프라인 관리하기(김완수)

MLOps KR(https://www.facebook.com/groups/mlopskr)에서 주최한 1회 온라인 이벤트 발표 자료입니다

Transcript

1. ML Engineer, AIOps HyperOpt, Maintainer
2. KubeFlow Pipeline Declarative Kubeflow, KRSH
3. KubeFlow Pipeline
4. “ Kubernetes 위에서 Container 기반으로 ML Workflow를 구축하고 배포하기 위한 도구 ”
7. 조합가능성 이식성 확장성
8. 조합가능성 공통 컴포넌트 컴포넌트 컴포넌트 컴포넌트 컴포넌트 PIPE1 PIPE2
9. 이식성 Kubernetes KubeFlow
10. Big Storage High Memory High CPU Many GPU Big Storage High Memory High CPU No GPU Big Storage High Memory High CPU No GPU Big Storage High Memory High CPU Many GPU Small Storage Low Memory Low CPU No GPU Big Storage Low Memory Low CPU No GPU Data Ingestion Data Process Data Validate Model Training Model Validate Model Deploy 확장성
11. Container Op Container Op Container Op Container Op Pipeline VolumeOp VolumeOp VolumeOp Artifact User Input
12. @kfp.dsl.pipeline PIPELINE COMPONENT kfp.dsl.BaseOp DOCKER IMAGE OPTIONAL VOLUME OTHER COMPONENTS
13. Pipeline 작성 DSL Compile Pipeline Version 작성 KF UI에서 Upload
15. 첫번째 문제, 형상관리가 어려움
16. 두번째 문제, 업로드 과정이 불편함
17. 세번째 문제, CI/CD가 불편함
18. Declarative KubeFlow, KRSH
19. Write Plan Apply
20. “ KRSH는 Kubeflow Pipeline을 선언적으로 관리하며, Pipeline의 개발, 배포 주기를 단축시킬 수 있다 ”
22. $ pip install krsh
23. components/ dockerfiles/ pipelines/
32. 첫번째 문제, 형상관리가 어려움 Repository를 기반으로 동작하기 때문에 Git으로 형상관 리를 할 수 있게됨
33. 두번째 문제, 업로드 과정이 불편함 Apply를 기반으로 자동으로 Repository에 기반하여 업로드
34. 세번째 문제, CI/CD가 불편함 GitHub Action에 KRSH CLI를 통합하여 쉽게 CI/CD 구축 가능
35. github.com/riiid/krsh Release 1.0.0-alpha
36. Declarative Continuous Training Declarative AutoML Schedule Automated Docker Build Roadmap
37. loves OpenSource
38. company.riiid.co/ko/career
39. github.com/riiid/krsh