AI를 위한 반도체를 만든다는 것

Track 1_1545_Lablup Conf 2025_이진원

Transcript

2. AI를 위한 반도체를 만든다는 것
3. 늦지 않았습니다
6. Scaling Law (x 108)
7. Scaling Law – Test-Time Compute
8. Benchmark…
9. 고양이 인식하기 – ML vs DL <특징> • 귀가 삼각형 모양이다 • 털이 많다 • 몸에 비해 꼬리가 길다 • 다리가 4개다 • …
10. 고양이 인식하기 – CNN vs ViT
11. 언어능력
12. 지식습득 •한 점과 한 직선에서 같은 거리에 있는 점들의 집합은 ______ •열역학 제 1법칙은 _______________ •물질 1 몰을 구성하는 원자의 수를 나타내는 아보가드로 수는 ______________ •한국전쟁이 일어난 년도는 _________ •삼성전자 주가는 어제 10만원으로 마감했고, 오늘 5% 상승하였다. 그래서 오늘 주가는 ___________
13. Reasoning Model – DeepSeek-R1 • Reinforcement learning(GRPO) only • Reward modeling • Accuracy rewards • evaluates whether the response is correct • Format rewards • enforces the model to put its thinking process between ‘<think>’ and ‘</think>’ tags
14. 2025 IMO Gold Medal
16. The Age of Inference slide from AI Infra Summit 2025
17. A Generic AI Accelerator
18. 빠른 응답, 낮은 전력소모 🡪 Less Memory Access
19. Parallel Processing for GEMM/GEMV
20. Convolution
21. Compute-bound, Memory-bound FF N Convolutio n
22. Samsung Mobile NPU(3rd gen, Galaxy S21)
23. Convolution
24. Recurrent Neural Network
25. Compute-bound, Memory-bound RNN
26. Transformers – GEMM/GEMV
27. Very Large Matmul
28. Large Language Model Inference
29. Arithmetic Intensity • # of Operation • Matrix-matrix multiplication – 2 x n^3 🡪 Arithmetic intensity – 2n • Matrix-vector multiplication – 2 x n^2 🡪 Arithmetic intensity – 2 Is tomat o a fruit? Weight(paramet er) Yes
30. Compute-bound, Memory-bound Generation Phase Prompt Phase
31. KV Cache Llama3-8B 16 batch Is tomato a fruit? Is tomato a fruit? Is tomato a fruit? Yes Y e s Y e s Is tomato a fruit? Is tomato a fruit?
32. Splitwise
33. Disaggregation
34. Prefill Dedicated GPU slide from AI Infra Summit 2025
35. I/O is not Enough slide from AI Infra Summit 2025
36. I/O vs Compute Scaling slide from AI Infra Summit 2025
37. Interconnect is too Slow slide from AI Infra Summit 2025
38. GB200
39. GW-Scale Datacenter is Rising slide from AI Infra Summit 2025
40. Implication for Data Center Design • GB200 racks (up to 130kW) delivered and turned up today • GB300 racks (up to 250kW) scheduled to deliver second half of 2025/early 2026 • Vera Rubin (scaling to 1MW) estimated to deliver second half of 2026/early 2027 slide from AI Infra Summit 2025
41. slide from AI Infra Summit 2025
42. Reliability… slide from AI Infra Summit 2025
43. Reliability & Consistency - Revisiting Reliability in Large-Scale Machine Learning Research Clusters(Meta, 2024)
44. slide from AI Infra Summit 2025
45. slide from AI Infra Summit 2025
47. 템플릿 안내사항 • 권장이지만 꼭 이렇게 맞춰야 하는 것은 아닙니다. • 글꼴 : Pretendard (한글/영문) 및 Inter (영문 이탤릭용) Prentendard는 이 파일에 포함되어 있지만, 아래 주소에서 직접 다운로드하여 활용하셔도 무방합니다. • https://cactus.tistory.com/306 • https://fonts.google.com/specimen/Inter • 코딩 글꼴 : JetBrains Mono • https://www.jetbrains.com/lp/mono/