Take the FastTrack 3: A Backend.AI approach to LLMOps

Track 1_1615_Lablup Conf 2025_강정석_황은진_송영숙

Transcript

2. 3 2 Take the FastTrack : A Backend.AI approach to LLMOps 래블업 주식회사 황은진, 강정석, 송영숙
3. 래래래 래래래래 Chief Researcher Gen AI team leader 래래래 래래래래 Researcher 래래래 래래래래 Software engineer 발표자 소개 황은진 강정석 송영숙
4. 목차 Why? o 2025 래래 래래래래래 래래래 래래래래래래 래래래 래래래래 ? o 래래래래래 래래래 래래래 래래래 래래 래래 래래래 래래 o 래래래 래래 Pain point 래 래래 래래 o 2025 래 래래래래래 래래 래래 래래 How! o 래래래 : What’s new in Backend.AI FastTrack o Backend.AI FastTrack 3 래래 래래 : 래래 래래래 래래
5. 2025 년년 년년년년년 년년 래래래래래 래래 (래래 래래 ) • 래래래래 래래 래래래 래래래 래 래래래 래래래래 래래래래 래래 래래래 래래 래래 래래 래 래래 래래 • ChatGPT 래래 래래래 래래 래래래 래래 래래래 래래래래래 래래래래 래래래래래 래래 • 래래래래 래래 래래 래래 래래 래래래 (HAI) 래 래래래래래 래래 래래 래래 (CRFM) 래 래 래래래 래래래 래래래래 AI 래래래 래래래래래 래래 • 래래래 래래 래래래래래래 래래 • 래래 , 래래래래 래래 AI 래 래래 래래래래 래래래 래래래 래래래래 래래래래 래래래 • 래래래래 래래래 래래래 래래래 래래래래래 래래
6. 연산 자원의 투입만 많으면 충분할까?
7. 년년년년년 년년 년 년년년 년년년 년년 년년년 래래래 래래 래 래래 래래래래래 래래래 래래 래래 : https://ko.wikipedia.org /wiki/%ED%8C%8C%EC%9A%B4%EB%8D%B0%EC%9D%B4%EC%85%98_%EB%AA%A8%EB%8D%B8 래래래 래래 : https://proceedings.neurips.cc /paper_files /paper/2015/file/86df7dcfd896fcaf2674f757a2463eba -Paper.pd f • 래래래 래래 - 래래 래래 - 래래 래래래래 래래래 • 래래래래 래래래 래래래래 래래 래래 • 래래래 래 래래 래래래 래래래래래 래래래래 래래 래래래래 래래래래 래래래 래 래 래래래래 래래 래래래래 래래래 래래
8. 우리가 직면한 Pain Point 래래래래 래래래래래래 ... 래래래 래래래래래 래래래래래 래래래 래래래래 래 래래 래 래래 • 래래래 래래래래 래래래 래래 래래래래 래래 IO 래래래 • 래래래래 래래래래 GPU 래래 래래래래 래 래래 래래래 • 래래래 래래래래 래래래래 래래 래래래 래래래래래 래래 래래래 래래래 래래 o Blackwell o MoE 래래 래래래 래래래래 래래 래래래 래래래래래
9. 2025년 파운데이션 모델 개발 전략 1. 비용 최적화 중심 접근 • 래래 래래래 래래래 래래 래래래 래래래 LLMOps 래래래 래래 래래 래래래 → 래래 래래래 래래 • MoE , mixed precision, parallelism • 래래 래래래 래래 → 래래래 래래 래래 래래 <FastTrack 래래 래래래래래 래래 래래래래 래래래래 래래 래래래 >
10. 2025년 파운데이션 모델 개발 전략 2. 협업과 생태계 구축 • 래래 래래 래래래래 래래 래래 래래래 래래 래래 래 래래 래래 래래 래래 래래 • 래래래래 래래래래 래래 : 래래래 래래 래래래 래래 • 래래래 래래 래래 : 래래래래 래래래 래래 2025 PyCon KR
11. What’s new in Backend.AI FastTrack 3
12. 23.03 24.03 25.14 Backend.AI FastTrack
13. Backend.AI FastTrack 3
14. Backend.AI FastTrack 3 래래 래래래래래 래래 래래 래래래래래 래래 래래 래래래래래 (e.g. 래래래 래래 )
15. • 래래 LLMOps 래래래래 래래래래 Backend.AI 래래래래 MLOps 래래 래래 • 래래래래 래래래 래래래 래래 래래 래래 래래래 래래 • 래래 래래래 래 래래래 래래래 래래 래래래래 래래래래래 래래 LLMOps 년년년 FastTrack 3 년년 년년
16. MLOps 방식의 변화 LLMOps (by. databricks ) (https://www.databricks.com/glossary/llmops ) • LLM 래래 래 래래래래래 래래래래 래래래래 래래래 래래래래 래래래 • 래래래래래 래래래 래래래 래래 래래 래래래 래래래 래래 : https://aws.amazon.com/ko/blogs/machine -learning/fmops -llmops -operationalize -generative -ai-and-differences -with-mlops/
17. MLOps 년년년 년년 – 프롬프트 관리 기존의 프롬프트 관리 체계 → 파일 쌓기 Backend.AI Approach → 프롬프트 관리 기능 래래래 래래래 래래래 래래래래 래래래래래 래래 |래래 |래래 |래래래 래래래 래 래래 래 래래 래래래래 래래래래 래래 래래 래래래래래래 래래
18. MLOps 년년년 년년 – 프롬프트 관리
19. MLOps 년년년 년년 – 프롬프트 관리
20. • 래래래 래래래래 래래래 래래래래 래래래래 래래 래래 • 래래래 래 래래 래래래 래래래 래래래래 래 래 배포 승인
21. 래래 래 래래래래 래래 래래 래래 래래 래래 배포 승인 – 수동 승인
22. 모니터링 10:33 - create_venv 시작 → "환경 준비 중..." 10:33:12 - create_venv 완료 10:34 - download-dataset 완료 10:34:01 - finetuning 시작 10:40:06 - finetuning
23. 모니터링 – 에러 발생 시
24. 모니터링 – 자동 재실행
25. 모니터링 – 자동 재실행
26. Backend.AI FastTrack 3 운용 예시: 합성 데이터 생성
27. FastTrack 3 래 래래래래래 래래 ￮ YAML 래래 래래래래래 래래 ￮ 래래래 래래 래래래래 ￮ 래 래래 래래래래래래 래래래 래래 ￮ 래래래 래래래래래 래래래 ￮ 래래래 래래래래래 AI 래래래래래래 래래 래 래래 ￮ Delete 래 래래 래래래 래래래 래래래래 래래 래래 FastTrack 3 운용 예시: 합성 데이터 생성
28. llm-serving ￮ LLM 래래 래래 래래 download-dataset ￮ 래래래래 래래래래 래래 ￮ 래래 래래래 gen-synth-variants ￮ 래래 래래래 래래 래래 ￮ 래래래 래래래래 래래래 래래 evaluate ￮ 래래래 래래래 래래 래래 ￮ 래래래래 래래 래래래 래래 summarize ￮ 래래 래래 래 래래래 래래 ￮ 래래 래래래 래래 FastTrack 3 운용 예시: 합성 데이터 생성
29. 래래래 래래 래 래래래 래래 래래 , API 래래 , 래래 래래 래래 래래 1. 래래래 래래 ￮ 래래래래래래래래 래래 래래 래래 (e.g. 래래 , 래래래 래래 래래 래 ) ￮ 래래 래래래 래래래 래래래 2. 래래 래래 래래 ￮ API 래래 래래 래래래 래래래 래래래래 래래래래 래래 래래 3. 래래 래래래 래래 ￮ 래래래 래래 , 래래 래래 , 래래래래 , 래래래래 래래래 (e.g. vLLM , Python, etc.) 4. 래래 래래 ￮ 래래 /래래 래 래래래 래래 FastTrack 3 운용 예시: 합성 데이터 생성
30. GUI 래래 래래 래래 래래래래 래래 래래래래래 래래 래래 래래래 래래 ￮ 래래래 래래 : llm-service ￮ 모델 공개 설정: 래래 ON ( 래래래 래래 ) ￮ 임시 실행 (Ephemeral): 래래래래래 래래 래래 래래래 래래 래래래래 래래 래래 FastTrack 3 운용 예시: 합성 데이터 생성
31. 임시 실행(Ephemeral) 모델 서빙 FastTrack 3 운용 예시: 합성 데이터 생성
32. 컴퓨팅 리소스와 실행 환경 설정 ￮ LLM 래래 래래래 래래래 래래래 래래 래래 ￮ GPU/CPU/ 래래래래 래래 래래래 래래 래래래 ￮ 래래래 래래래래 래래 래래래래 래래 ￮ 래래 래래래 래래래 래래 래래 래래 래래 래래 FastTrack 3 운용 예시: 합성 데이터 생성
33. 병렬 실행 (Parallel Runs) 래래래 래래래래래래 래래래 래래 래 래래래래 래래래래 래래 ￮ 래래 래래 래래 래래 래래 래래 ￮ 래 래래래래래 래래래 LLM 래 래래 래래 래래래 래래래 FastTrack 3 운용 예시: 합성 데이터 생성
34. 병렬 실행 (Parallel Runs) 래래래래래 래래 래래 래래 래래 래래래 래 래래래 래 래래 래래래래래래 래래래래 래 래래 래래래 래 래래 ￮ Gemma -3-27b -it ￮ Llama -3.2 -3B -Instruct ￮ Qwen3 -4B -Instruct FastTrack 3 운용 예시: 합성 데이터 생성
35. • 래래래 래래래 래래래래 래래래 래래 래래래 래래래래 래래 /래래 • 래 : 래래래래 래래 래래 래래래래 래래 (GPU) 래 래래래래 , 래래래 래래래 래래 래래 • 래래 래래래 • 래래래 래래 래래래래래래 래래래 래래래 래래래래 , 래래래래 래래래 래래래 래래래래 래래 래 래래 래래래래래 래래 래래 래래래 래래 래래 FastTrack 3 운용 예시: 합성 데이터 생성
36. 결론 요약 - 기술 고도화: 래래 래래래래 래래 래 래래래래 end -to-end 래 래래 - 편이성 확산: GPU 래래 래래래 래래래래 래래 래래래 래래래 래래 래래 래래 래래래 래래래래 래래래 래래래래 래래 앞으로 나아갈 방향 - 안정성 개선: 래래 래래래 래래 래래래 래래래 래래래래 래래래 래래 래래 - 사용성 개선: 래래래래 래 래래래래 래래래 래래래 - 생태계 확장: 래래래래 래래래래 래래 래 래래래 래래 래래래래 래래