What's new on FastTrack MLOps

Transcript

2. What’s new on FastTrack MLOps Backend.AI FastTrack부터 Lablup Finetun.ing까지
3. 발표자 소개  이름: 강정석  소속: 래블업 주식회사 | DevOps 이미지 출처: https://spelunky.fandom.com/wiki/Spelunky_2
4. Backend.AI 용어 설명 (Glossary)  커널 (Kernel): 실제로 자원이 할당되어 연산을 수행하는 격리된 계산 단위 (e.g. Docker 컨테이너, Kubernetes 포드 등)  세션 (Session): 다양한 계산 작업을 수행하기 위해 컴퓨팅 자원을 할당받는 실행 단위 (하나 이상의 커널을 포함)  태스크 (Task): 파이프라인에서의 최소 실행 단위 (e.g. 세션, 사용자 정의 동작 등)  파이프라인 (Pipeline): 하나 이상의 태스크로 구성된 실행 단위 https://docs.backend.ai/en/latest/concepts/computing.html
5. #1. Backend.AI FastTrack
6. Backend.AI FastTrack이란?  Backend.AI 플랫폼의 MLOps 파이프라인 서비스  2023년 9월 정식 버전 출시 (최신 버전: 24.03.9)
7. Backend.AI FastTrack이란? 이미지 출처: https://blogs.nvidia.com/blog/what-is-mlops/
8. Backend.AI FastTrack이란? 이미지 출처: https://blogs.nvidia.com/blog/what-is-mlops/
9. Backend.AI FastTrack (23.03) Backend.AI FastTrack (Cloud Demo): https://cloud-mlops.backend.ai
10. Backend.AI FastTrack (24.03) Backend.AI FastTrack (Cloud Demo): https://cloud-mlops.backend.ai
11. What's New #1 - 프로젝트 파이프라인  Q. 프로젝트 구성원 간 파이프라인을 공유하고 싶습니다.  현재 구조 – Backend.AI는 멀티 테넌시 구조로 설계됨 (도메인, 프로젝트/그룹) – VFolder, Resource Group, …  한계 – 그러나 세션은 현재 사용자의 것만 접근할 수 있음  RBAC 적용을 통해 세션 공유 기능 제공 예정 (24.09)
12. What's New #1 - 프로젝트 파이프라인  Backend.AI는 프로젝트 구성원 간의 세션 공유를 지원하지 않습니다. (24.03 버전 기준) Bob Alice
13. What's New #1 - 프로젝트 파이프라인 Project Charlie Alice Bob
14. What's New #1 - 프로젝트 파이프라인
15. What's New #1 - 프로젝트 파이프라인  Q. 프로젝트 파이프라인의 실행 로그를 확인하려면?  제약: 코어의 API는 해당 세션의 소유자만 조회 가능하도록 허용하고 있음
16. What's New #1 - 프로젝트 파이프라인  Q. 프로젝트 파이프라인의 실행 로그를 확인하려면?  해결: 중간 레이어를 추가하여 소유자의 권한으로 대체하여 로그 요청하도록 변경함
17. What's New #1 - 프로젝트 파이프라인
18. What's New #2 – 다단계(Multi-level) 환경 변수  모델을 실행할 때 수많은 환경 변수 입력을 관리해 주어야 합니다.
19. What's New #2 – 다단계(Multi-level) 환경 변수  단일 세션이라면?
20. What's New #2 – 다단계(Multi-level) 환경변수  여러 태스크로 구성된 파이프라인이라면?
21. What's New #2 – 다단계(Multi-level) 환경변수  여러 태스크로 구성된 파이프라인이라면? Pipeline-level 환경 변수 Task-level 환경 변수 Task-level 환경 변수 One-shot 환경 변수
22. What's New #2 – 다단계(Multi-level) 환경변수  Pipeline-level 환경 변수: 모든 태스크가 공통적으로 사용하는 값을 설정
23. What's New #2 – 다단계(Multi-level) 환경변수  Task-level 환경 변수: 각 태스크마다 특정적으로 사용하는 환경 변수
24. What's New #2 – 다단계(Multi-level) 환경변수  One-shot 환경 변수: 실행 시점에 일회성으로 덮어쓰기 되는 환경 변수
25. What's New #2 – 다단계(Multi-level) 환경변수  요약 A B C Pipeline-level 1 2 3 Task-level 4 5 One-shot 9 최종 9 5 3
26. #2. Lablup Finetun.ing
27. Lablup Finetun.ing이란?  Backend.AI 플랫폼의 노코드 파인튜닝 서비스  Waiting list >> https://finetun.ing
29. #3. 앞으로의 FastTrack MLOps
30. Future #1 – Pipeline-level priority scheduler  현재: 태스크(세션) 단위의 스케줄링 지원 Scheduling Queue Pipeline Job #1 Pipeline Job #2 Task-1A Task-1B Task-2A Task-2B Task-1A Task-1B Task-2A Task-2B
31. Future #1 – Pipeline-level priority scheduler  미래: 파이프라인 단위 우선 순위 스케줄링 지원 Scheduling Queue Pipeline Job #1 Pipeline Job #2 Task-1A Task-1B Task-2A Task-2B Pipeline Job #1 Task-1A Task-1B Pipeline Job #2 Task-2A Task-2B
32. Future #2 – Extensible Pipeline Service  GitHub/GitLab(/Bitbucket)을 통한 파이프라인 버전 관리 및 자동화 -> API 및 SDK 지원 강화
33. Q & A
35. 안내사항 • 권장이지만 꼭 이렇게 맞춰야 하는 것은 아닙니다. • 글꼴 : Pretendard (한글/영문) 및 Inter (영문 이탤릭용) Prentendard는 이 파일에 포함되어 있지만, 아래 주소에서 직접 다운로드하여 활용하셔도 무방합니다. https://cactus.tistory.com/306 https://fonts.google.com/specimen/Inter • 코딩 글꼴 : JetBrains Mono https://www.jetbrains.com/lp/mono/
39. Backend.AI FastTrack이란?  Backend.AI 플랫폼의 MLOps 서비스 Backend.AI FastTrack (Cloud Demo): https://cloud-mlops.backend.ai