[Keynote] AAA: Agentic, Autonomous, Adaptive Intelligence

20250925 Keynote 신정규

Transcript

1. Intro / Keynote
2. Democratizing intelligence for humanity .
3. 웰 컴 백
6. “Make AI Accessible” 15 AI를 모두에게
7. “Make AI Scalable” 16 AI를 널리널리
8. Scaling Acceleration Inference made easy
9. AI made easy
15. 측정과 평가
24. ”지능 요구량” 그리고 “지능 소비량”
25. 래블업의 향후 10년 비전: 지능 수요를 정량적으로 공급하는 기업으로의 변혁 .
26. 래블업은 지능을 공급하는 회사가 되고자 합니다. 래블업의 향후 10년 비전: 지능 수요를 정량적으로 공급하는 기업으로의 변혁 Democratizing intelligence for humanity .
28. Intel Gaudi Gaudi 2/3 NVIDIA Grace GH200 / GB200 NVIDIA Ampere A10 / A40 / A100 NVIDIA Blackwell B200 / RTX Pro 6000 NVIDIA Hopper H100 / H100 NVL / H200 AMD Instinct MI250 / MI300 / MI325 Rebellion ATOM / + / Max FuriosaAI Warboy / RNGD Google TPU TPU 4/5/6 Amazon Inferentia / Trainium NVIDIA Turing Titan RTX / RTX 8000 NVIDIA Volta V100 X64 High performance, widely used in PC & HPC Armv9 Energy-efficient, dominates mobile devices RISC-V Open-source, highly customizable Jetson TX / Xavier / Orin / Thor Coral EdgeTPU Groq GroqCard GraphCore IPU / BOW AMD RDNA RDNA2
29. 110+ and Growing!
30. PALI 추론을 위한 고성능 AI 런처 PALI2 확장 가능한 AI 하드웨어 인프라스트럭처 PALANG 종합 언어 모델 플랫폼
31. NIM Player Stack (based on Backend.AI) Model Importer PALI Stack App Proxy Auto-scaling, Failover, Routing NVIDIA NIM Containers Backend.AI Containers fGPU auto-configurator Curated model profile catalog NVIDIA Platform Standard APIs NVIDIA Triton Inference Server, vLLM NVIDIA NIM Runtime Stack NVIDIA TensorRT, TensorRT-LLM cuBLAS, cuDNN, ... Optimized NVIDIA NIM Models Backend.AI Open Platform Enterprise Management Policy-based resource quota, RBAC, Hybrid Scheduling, Healthcheck, Monitoring Backend.AI Kernel Runner Linux Container NVIDIA Driver Stack NVML, NCCL, GDS Backend.AI Fractional GPU Virtualizer Partner Storage DELL, WEKA, VAST, NetApp, PureStorage, ... Backend.AI GDS (GPUDirect Storage) Enabler Plugin NVIDIA Hardware Lablup's "NIM Player" Based on https://github.com/lablup/backend.ai PALI 추론을 위한 고성능 AI 런처
32. PALI 추론을 위한 고성능 AI 런처 PALI2 확장 가능한 AI 하드웨어 인프라스트럭처 PALANG 종합 언어 모델 플랫폼 Continuum 인텔리전트 페일오버 및 지능적 라우팅 시스템
33. Microservice LB LLM-Aware LB Continuum 인텔리전트 페일오버 및 지능적 라우팅 시스템
34. PALI 추론을 위한 고성능 AI 런처 PALI2 확장 가능한 AI 하드웨어 인프라스트럭처 PALANG 종합 언어 모델 플랫폼 Continuum 인텔리전트 페일오버 및 지능적 라우팅 시스템
35. PALI 추론을 위한 고성능 AI 런처 PALI2 확장 가능한 AI 하드웨어 인프라스트럭처 PALANG 종합 언어 모델 플랫폼 Continuum 인텔리전트 페일오버 및 지능적 라우팅 시스템 AI:DOL 멀티모달 창작 플랫폼
36. AI:DOL 멀티모달 창작 플랫폼
37. PALI 추론을 위한 고성능 AI 런처 PALI2 확장 가능한 AI 하드웨어 인프라스트럭처 PALANG 종합 언어 모델 플랫폼 Continuum 인텔리전트 페일오버 및 지능적 라우팅 시스템 AI:DOL 멀티모달 창작 플랫폼 FastTrack 프로젝트 기반 파이프라인 관리 MLOps / LLMOps finetun.ing 합성데이터 생성 기반 모델 얼라인먼트 플랫폼 Backend.AI Doctor 케이스 단위 문제 파악 및 자동 복구 솔루션
38. CORE 25.14 Hardening from the Ground Up ION Open Model Recpies for AI Inference BNDEV DevStack manager FastTrack MLOps 3 MLOps/LLMOps revamped Doctor Self-healing and recovery system Continuum Intelligent Failover / Smart Router Helmsman Conversional Backend.AI management UX PALI Performant AI Launcher for Inference PALI2 PALI Appliance PALANG Language model-oriented AI Inference platform GARNET LLM family to provide diverse features Next-gen Sokovan Also with Kubernetes finetun.ing Model tuning with synthetic data WebUI 3 Neo AI:DOL Deployable Omnimedia Lab.