Upgrade to Pro — share decks privately, control downloads, hide ads and more …

KRSH: 선언형 Kubeflow, Terraform처럼 파이프라인 관리하기(김완수)

13824f545937c1ae0a80739aea2e396c?s=47 MLOpsKR
June 05, 2021
310

KRSH: 선언형 Kubeflow, Terraform처럼 파이프라인 관리하기(김완수)

MLOps KR(https://www.facebook.com/groups/mlopskr)에서 주최한 1회 온라인 이벤트 발표 자료입니다

13824f545937c1ae0a80739aea2e396c?s=128

MLOpsKR

June 05, 2021
Tweet

Transcript

  1. ML Engineer, AIOps HyperOpt, Maintainer

  2. KubeFlow Pipeline Declarative Kubeflow, KRSH

  3. KubeFlow Pipeline

  4. “ Kubernetes 위에서 Container 기반으로 ML Workflow를 구축하고 배포하기 위한

    도구 ”
  5. None
  6. None
  7. 조합가능성 이식성 확장성

  8. 조합가능성 공통 컴포넌트 컴포넌트 컴포넌트 컴포넌트 컴포넌트 PIPE1 PIPE2

  9. 이식성 Kubernetes KubeFlow

  10. Big Storage High Memory High CPU Many GPU Big Storage

    High Memory High CPU No GPU Big Storage High Memory High CPU No GPU Big Storage High Memory High CPU Many GPU Small Storage Low Memory Low CPU No GPU Big Storage Low Memory Low CPU No GPU Data Ingestion Data Process Data Validate Model Training Model Validate Model Deploy 확장성
  11. Container Op Container Op Container Op Container Op Pipeline VolumeOp

    VolumeOp VolumeOp Artifact User Input
  12. @kfp.dsl.pipeline PIPELINE COMPONENT kfp.dsl.BaseOp DOCKER IMAGE OPTIONAL VOLUME OTHER COMPONENTS

  13. Pipeline 작성 DSL Compile Pipeline Version 작성 KF UI에서 Upload

  14. None
  15. 첫번째 문제, 형상관리가 어려움

  16. 두번째 문제, 업로드 과정이 불편함

  17. 세번째 문제, CI/CD가 불편함

  18. Declarative KubeFlow, KRSH

  19. Write Plan Apply

  20. “ KRSH는 Kubeflow Pipeline을 선언적으로 관리하며, Pipeline의 개발, 배포 주기를

    단축시킬 수 있다 ”
  21. None
  22. $ pip install krsh

  23. components/ dockerfiles/ pipelines/

  24. None
  25. None
  26. None
  27. None
  28. None
  29. None
  30. None
  31. None
  32. 첫번째 문제, 형상관리가 어려움 Repository를 기반으로 동작하기 때문에 Git으로 형상관

    리를 할 수 있게됨
  33. 두번째 문제, 업로드 과정이 불편함 Apply를 기반으로 자동으로 Repository에 기반하여

    업로드
  34. 세번째 문제, CI/CD가 불편함 GitHub Action에 KRSH CLI를 통합하여 쉽게

    CI/CD 구축 가능
  35. github.com/riiid/krsh Release 1.0.0-alpha

  36. Declarative Continuous Training Declarative AutoML Schedule Automated Docker Build Roadmap

  37. loves OpenSource

  38. company.riiid.co/ko/career

  39. github.com/riiid/krsh