Upgrade to Pro — share decks privately, control downloads, hide ads and more …

KRSH: 선언형 Kubeflow, Terraform처럼 파이프라인 관리하기(김완수)

MLOpsKR
June 05, 2021
770

KRSH: 선언형 Kubeflow, Terraform처럼 파이프라인 관리하기(김완수)

MLOps KR(https://www.facebook.com/groups/mlopskr)에서 주최한 1회 온라인 이벤트 발표 자료입니다

MLOpsKR

June 05, 2021
Tweet

Transcript

  1. ML Engineer, AIOps
    HyperOpt, Maintainer

    View full-size slide

  2. KubeFlow Pipeline
    Declarative Kubeflow, KRSH

    View full-size slide

  3. KubeFlow Pipeline

    View full-size slide

  4. “ Kubernetes 위에서 Container 기반으로
    ML Workflow를 구축하고 배포하기 위한 도구 ”

    View full-size slide

  5. 조합가능성
    이식성
    확장성

    View full-size slide

  6. 조합가능성
    공통 컴포넌트
    컴포넌트
    컴포넌트 컴포넌트
    컴포넌트
    PIPE1
    PIPE2

    View full-size slide

  7. 이식성
    Kubernetes
    KubeFlow

    View full-size slide

  8. Big Storage
    High Memory
    High CPU
    Many GPU
    Big Storage
    High Memory
    High CPU
    No GPU
    Big Storage
    High Memory
    High CPU
    No GPU
    Big Storage
    High Memory
    High CPU
    Many GPU
    Small Storage
    Low Memory
    Low CPU
    No GPU
    Big Storage
    Low Memory
    Low CPU
    No GPU
    Data
    Ingestion
    Data
    Process
    Data
    Validate
    Model
    Training
    Model
    Validate
    Model
    Deploy
    확장성

    View full-size slide

  9. Container
    Op
    Container
    Op
    Container
    Op
    Container
    Op
    Pipeline
    VolumeOp VolumeOp VolumeOp
    Artifact
    User Input

    View full-size slide

  10. @kfp.dsl.pipeline
    PIPELINE
    COMPONENT
    kfp.dsl.BaseOp
    DOCKER IMAGE
    OPTIONAL VOLUME
    OTHER COMPONENTS

    View full-size slide

  11. Pipeline 작성
    DSL Compile
    Pipeline Version 작성
    KF UI에서 Upload

    View full-size slide

  12. 첫번째 문제, 형상관리가 어려움

    View full-size slide

  13. 두번째 문제, 업로드 과정이 불편함

    View full-size slide

  14. 세번째 문제, CI/CD가 불편함

    View full-size slide

  15. Declarative KubeFlow, KRSH

    View full-size slide

  16. Write
    Plan
    Apply

    View full-size slide

  17. “ KRSH는 Kubeflow Pipeline을 선언적으로 관리하며,
    Pipeline의 개발, 배포 주기를 단축시킬 수 있다 ”

    View full-size slide

  18. $ pip install krsh

    View full-size slide

  19. components/
    dockerfiles/
    pipelines/

    View full-size slide

  20. 첫번째 문제, 형상관리가 어려움
    Repository를 기반으로 동작하기 때문에 Git으로 형상관
    리를 할 수 있게됨

    View full-size slide

  21. 두번째 문제, 업로드 과정이 불편함
    Apply를 기반으로 자동으로 Repository에 기반하여 업로드

    View full-size slide

  22. 세번째 문제, CI/CD가 불편함
    GitHub Action에 KRSH CLI를 통합하여
    쉽게 CI/CD 구축 가능

    View full-size slide

  23. github.com/riiid/krsh
    Release 1.0.0-alpha

    View full-size slide

  24. Declarative Continuous Training
    Declarative AutoML Schedule
    Automated Docker Build
    Roadmap

    View full-size slide

  25. loves
    OpenSource

    View full-size slide

  26. company.riiid.co/ko/career

    View full-size slide

  27. github.com/riiid/krsh

    View full-size slide