[Track 2] Composable, But Designed.

AI가 코드를 무한히 만들어낼 수 있는 시대, 소프트웨어 개발의 가치는 '구현'에서 '설계'로 이동하고 있습니다. 무엇을 만들 것인가를 넘어, 얼마나 잘 동작하고 지속 가능하며 가치 있게 만들 것인가가 중요해집니다. 이미 다가온 AGI 시대에 설계의 본질을 통해 개발자의 역할을 다시 생각해봅니다.

Transcript

1. AI Factory를 성공으로 이끄는 5가지 핵심 원칙 홍준혁 VAST DATA / Sr, System Engineer
2. 1 AI Factory도 ‘공장’이라면 무엇을 측정해야 하는가? 2 AI Factory, 유효한 지능 생산성을 높이는 5가지 원칙 3 VAST DATA를 활용한 AI Factory 5가지 원칙 구현
3. AI Factory도 ‘공장’이라면 무엇을 측정해야 하는가?
4. AI Factory Overall Equipment Effectiveness OEE (Overall Equipment Effectiveness) = Availability x Performance x Quality “설비가 계획된 시간 안에서 얼마나 제대로, 얼마나 빠르게, 얼마나 양품 위주로 생산했는지”
5. AI Factory가 Production 단계로 가는 과정에서 마주치는 구조적 문제들 Petabytes AI Factory Data Movement Vector DB Sprawl GPU Starvation Governance Gaps Operational Complexity Production
6. AI Factory Overall Equipment Effectiveness “좋은 데이터를 원료로, GPU를 멈추지 않고, 경 험과 계산을 재사용하며, 예측 가능하게 확장해, 더 많은 유효한 지능을 생산하는 것”
7. AI Factory, 유효한 지능 생산성을 높이는 5가지 원칙
8. 원칙 #1 데이터를 생산 원료로 저장보다, 활용 및 재활용을 먼저 설계 AI 이니셔티브 운영 현황 97% 데이터가 준비 되지 않는 이유 : 저장 중심 설계 원본 전처리 사본 학습용 사본 벡터 인덱스 추론 캐시 데이터 레이크 분석 클러스터 고성능 FS 벡터DB 캐시 레이어 계층마다 데이터 중복과 비용 증가 AI를 위한 데이터 준비 현황 5% * D&B, AI Momentum Survey 용량 중복 저장 비용 이동시간 정합성 데이터 이동 비용 권한설정 데이터 관리 비용
9. 원칙 #1 데이터를 생산 원료로 저장보다, 활용 및 재활용을 설계의 원칙으로 01 데이터 복제와 이동을 최소화 02 03 04 단일 소스로 학습, 추론,검색, 분석 반복 활용 정형, 비정형데이터 즉시 활용 권한이 분산되지 않도록
10. 원칙 #2 GPU가 기다리지 않게 GPU를 보유하는 것보다 일하게 만드는 것이 중요 Utilization/Effective training 90% Job Interruption 10% 10% Loss = 8M GPU Hour Loss/년 (1만개 GPU 가정시) * GTC 2026 Build Fault-Tolerant Distributed AI Training at Scale 손실금액(가정) $28M/년(8M x $3.5) * GPU index Price trends by GPU generation
11. 원칙 #2 GPU가 기다리지 않게 GPU를 보유하는 것보다 일하게 만드는 것이 중요 01 고속 병렬 데이터 공급 02 03 04 데이터 이동, 복제 최소화 빠른 Checkpoint 와 빠른 복구 대규모 동시 접속 수용
12. 원칙 #3 학습과 추론을 하나의 루프로 학습에서는 경험, 추론에서는 계산 결과를 재사용 데이터 경험의 재사용 실제 사용에서 얻은 데이터를 학습으로 연결하는 구조 학습 Feedback 피드백기반 가공데이터 강화된 학습데이터 추론에서 수집된 데이터 행동데이터 배포 추론 저장 (K,V) *AgenticQwen Dual Data Flywheel 컨텍스트 재사용 재사용 (K,V) KV Cache 실제 사용에서 얻은 계산결과를 다시 추 론에서 활용하는 연결 구조 반복 컨텍스트 재사용 추가 prefill 최소화 *KV Cache offloading w/BackendAI & VAST DATA
13. 원칙 #3 학습과 추론을 하나의 루프로 학습에서는 경험, 추론에서는 계산 결과를 재사용 01 추론 경험의 학습 재투입 02 03 04 계산 결과(KV) 보존과 재사용 학습, 추론 단일 데이터 기반 대용량 캐시 저장 효율화
14. 원칙 #4 확장할수록 단순하고 예측 가능하게 자원은 분리해 활용률을 높이고, 운영은 하나로 단순하게 “시스템 구성을 표준화하여 사용자 오류를 줄이고 새로운 작업 부하에 대한 준비 시간을 단축” “Disaggregated 아키텍쳐는 컴퓨팅 활용률을 41% 향상시키고 메모리 활용률을 49% 향상시킵니다.” “ROI 분석 결과, 총소유비용(TCO)이 22% 절감” 65% “AI 인프라가 너무 복잡” 인프라 복잡성으로 “TTV” 지연 * 2026 State of AI Infrastructure Report * AI Accelerators for Large Language Model In-ference: Architecture Analysis and Scaling Strategies
15. 원칙 #4 확장할수록 단순하고 예측 가능하게 자원은 분리해 활용률을 높이고, 운영은 하나로 단순하게 01 연산과 저장의 독립 확장 02 03 04 혼합 워크로드 예측 가능한 성능 표준 구성과 단일 운영 체계 무중단 확장과 업그레이드
16. 원칙 #5 지능 생산성으로 측정 GPU 수가 아니라 GPU가 만들어내는 지능을 측정 More GPUs ≠ More Intelligence 1GW AI 데이터센터 전력 소비 (GB200, Peak) 얼마나 빠르게 생산하는가? Tokens/sec 얼마나 많이 생산하는가? Tokens/Watt 얼마의 비용으로 생산하는가? Cost/Token 얼마나 많은 유효한 지능을 생산하는가? Useful Intelligence/Watt GPU 전력 비용 $ 73M/Y (410MW x $180/kw/M x 12) *EPOCH AI “Compute is Revenue”
17. 원칙 #5 지능 생산성으로 측정 GPU 수가 아니라 GPU가 만들어내는 지능을 측정 01 GPU 유휴 시간을 전력 손실로 관리 02 03 04 재계산 제거로 토큰당 비용 절감 비GPU 자원의 전력, 공간 최소화 워크로드별 생산성 측정
18. VAST DATA를 활용한 AI Factory 5가지 원칙 구현
19. VAST Data Platform으로 구현하는 AI Factory 좋은 데이터를 준비하고, GPU 생산시간을 늘리고, Context를 재사용하고, 예측 가능하게 확장해서 유효한 지능 생산성을 극대화 원칙 #1 Data Foundation 데이터를 생산 원료로 VAST Data 주요 기능 § Global Single Namespace § Multi-Protocol NFS/SMB/S3/Block § Zero-copy Snapshot / Clone § File / Table / Vector 통합 ▶ 원칙 #2 GPU DATA Path GPU가 기다리지 않게 ▶ 원칙 #3 Context + Feedback 학습과 추론을 하나의 루프로 ▶ 원칙 #4 Predictable Scale 확장할수록 단순하고 예측 가능하게 ▶ 원칙 #5 Intelligence Productivity 지능 생산성 측정 VAST Data 주요 기능 VAST Data 주요 기능 VAST Data 주요 기능 VAST Data 주요 기능 § GPUDirect Storage – NFS, S3 § Parallel I/O Multi-path § High-bandwidth Checkpoint § NVIDIA CMX, STX 연계 § KV Cache Offload & Reuse § Inference Log → Event 기반 파이프라인 Feedback 루프 § Disaggregated Compute & Capacity 독 립된 확장 § Single Management Plane § QoS 혼합 워크로드 격리 § Tenant / Workload 별 Metering § Unified Monitoring (Capacity I/O, Query Metrics) § Data 비용 효율화 DataStore | DataBase | DataEngine | SyncEngine | InsightEngine | AgentEngine | PolicyEngine | TuningEngine
20. VAST Data와 함께 AI Factory를 완성하세요!!! VAST AI APPLICATIONS & MODELS VAST LLM Inference Agentic Workflows RAG / InsightEngine Verticalized Applications vLLM · NIMs · LMCache LangChain · CrewAI AI-Powered Workflows FSI · Public Safety · HCLS DATA SERVICES VAST VAST VAST VAST Event Broker DataEngine VastDB + Vector AgentEngine Kafka-compatible Serverless · event-driven arch Storage · vectors Agent runtime · orchestration VAST GPU COMPUTE INFRASTRUCTURE GPU Accelerators HBM / System RAM NVLink / NVSwitch Kubernetes H100 · H200 · GB200 · GB300 Active KV cache (G1–G2) GPU-to-GPU interconnect Multi-tenant scheduling ENTERPRISE DATA VAST VAST VAST VAST Universal Storage Databases Streaming Data External APIs NFS · SMB · S3 SQL · Lakes Multimodal Data MCP · SaaS
21. 감사합니다.