Дотянуться до кремния. HighLoad Python: SIMD, GPU – Пётр Андреев, PythoNN

Transcript

1. МФТИ - ФОПФ’19, ФПМИ’21: - CPython Internals - classic ML (sems) tech-проекты фин.сектор ВШЭ, Иннополис CPython music
4. October: • Finland • Sweden December: Indonesia September: Ghana November: Ireland
5. автор tg: @PyotrAndreev 5 Marketing Internals Each year: faster: 20% energy: less consumption
6. автор tg: @PyotrAndreev 6 Marketing Internals Each year: faster: 20% energy: less consumption
7. автор tg: @PyotrAndreev 7 Marketing Internals Each year: faster: 20% energy: less consumption
8. автор tg: @PyotrAndreev 8 Transistor Internals silicon wafer / crystal manufacturing Что сегодня на обед ?
9. автор tg: @PyotrAndreev 9 Transistor Internals silicon wafer / crystal manufacturing Что сегодня на обед ?
10. автор tg: @PyotrAndreev 10 Transistor Internals silicon wafer / crystal manufacturing Что сегодня на обед ?
11. автор tg: @PyotrAndreev 11 Transistor Internals silicon wafer / crystal manufacturing SMT / SIMD GPU +industry +future Что сегодня на обед ?
12. автор tg: @PyotrAndreev 12 Transistor Internals silicon wafer / crystal manufacturing / sand -> wafer
13. автор tg: @PyotrAndreev 13 Transistor Internals silicon wafer / crystal manufacturing / sand -> wafer
14. автор tg: @PyotrAndreev 14 Transistor Internals silicon wafer / crystal manufacturing / sand -> wafer
15. автор tg: @PyotrAndreev 15 Transistor Internals silicon wafer / crystal manufacturing / sand -> wafer
16. автор tg: @PyotrAndreev 16 Transistor Internals silicon wafer / crystal manufacturing / sand -> wafer / time / crystalline silicon • Time: days-month • 1420°C • 265kg ≈ 300mm x 2m
17. автор tg: @PyotrAndreev 17 Transistor Internals silicon wafer / crystal manufacturing / sand -> wafer / time / crystalline silicon to Instagram: • Time: days-month • 1420°C • 265kg ≈ 300mm x 2m
18. автор tg: @PyotrAndreev 18 Transistor Internals silicon wafer / crystal manufacturing / sand -> wafer / time / crystalline silicon to Instagram: • Time: days-month • 1420°C • 265kg ≈ 300mm x 2m
19. автор tg: @PyotrAndreev 19 Transistor Internals silicon wafer / crystal manufacturing / sand -> wafer
20. автор tg: @PyotrAndreev 20 Transistor Internals silicon wafer / crystal manufacturing / sand -> wafer
21. автор tg: @PyotrAndreev 21 Transistor Silicon wafer: • ultra clean, выращенная • 30 sm • ≈$100 buy here Internals making micro-chip
22. автор tg: @PyotrAndreev 22 Transistor Silicon wafer: • ultra clean, выращенная • 30 sm • ≈$100 buy here Internals making micro-chip
23. автор tg: @PyotrAndreev 23 Transistor Silicon wafer: • ultra clean, выращенная • 30 sm • ≈$100 buy here Internals making micro-chip
24. автор tg: @PyotrAndreev 24 Transistor Silicon wafer: • ultra clean, выращенная • 30 sm • ≈$100 buy here Internals making micro-chip
25. автор tg: @PyotrAndreev 25 Photo-lithograph Internals making micro-chip TSMC Taiwan $170M
26. автор tg: @PyotrAndreev 26 Photo-lithograph Internals making micro-chip TSMC Netherlands Taiwan $170M <- ASML: EUV-сканеры
27. автор tg: @PyotrAndreev 27 Photo-lithograph Internals making micro-chip TSMC Netherlands Germany Taiwan $170M <- ASML: EUV-сканеры <- Carl Zeiss SMT: оптика
28. автор tg: @PyotrAndreev 28 Photo-lithograph Internals making micro-chip / chip manufacturing • 13nm – EUV • $300th – photo mask cost • ≈25kW - light energy (initial)
29. автор tg: @PyotrAndreev 29 Photo-lithograph Internals making micro-chip / chip manufacturing • 13nm – EUV • $300th – photo mask cost • ≈25kW - light energy (initial)
30. автор tg: @PyotrAndreev 30 Photo-lithograph Internals making micro-chip / chip manufacturing • 13nm – EUV • $300th – photo mask cost • ≈25kW - light energy (initial)
31. автор tg: @PyotrAndreev 31 Photo-lithograph Internals making micro-chip / chip manufacturing • 13nm – EUV • $300th – photo mask cost • ≈25kW - light energy (initial)
32. автор tg: @PyotrAndreev 32 Photo-lithograph Internals making micro-chip / chip manufacturing • 13nm – EUV • $300th – photo mask cost • ≈25kW - light energy (initial)
33. автор tg: @PyotrAndreev 33 Photo-lithograph Internals making micro-chip / chip manufacturing • 13nm – EUV • $300th – photo mask cost • ≈25kW - light energy (initial) chips on 300mm wafer: (in the end) • or ≈100 GPUs • or ≈200 CPUs • or ≈1000 DRAM
34. автор tg: @PyotrAndreev 34 Photo-lithograph Internals
35. автор tg: @PyotrAndreev 35 Photo-lithograph Internals
36. автор tg: @PyotrAndreev 36 Photo-lithograph Internals ≈ 100$ 3 months ≈1000steps
37. автор tg: @PyotrAndreev 37 Photo-lithograph Internals ≈ 100$ ≈ 150 000$ 3 months ≈1000steps ≈200 CPUs 1 CPU: ≈26B transistors
38. автор tg: @PyotrAndreev 38 Photo-lithograph Internals ≈ 100$ ≈ 150 000$ wafer 125 gram ≈ gold gram x10 ≈ 1kg of gold PRICE: 3 months ≈1000steps ≈200 CPUs 1 CPU: ≈26B transistors
39. автор tg: @PyotrAndreev 39 Photo-lithograph Internals ≈ 100$ ≈ 150 000$ wafer 125 gram ≈ gold gram x10 ≈ 1kg of gold PRICE: 3 months ≈1000steps ≈200 CPUs 1 CPU: ≈26B transistors monthly: 50th wafers ≈ $7.5B
40. автор tg: @PyotrAndreev 40 Transistor Internals silicon wafer / crystal manufacturing
41. автор tg: @PyotrAndreev 41 Transistor Internals silicon wafer / crystal manufacturing
42. автор tg: @PyotrAndreev 42 Transistor Internals silicon wafer / crystal manufacturing
43. автор tg: @PyotrAndreev 43 Transistor Internals silicon wafer / crystal manufacturing
44. автор tg: @PyotrAndreev 44 TSMC In time infestor report / A14 process / specialty technology / 3D fabric И куда мы движемся?
45. автор tg: @PyotrAndreev 45 TSMC In time infestor report / A14 process / specialty technology / 3D fabric Technology: • tech-process И куда мы движемся?
46. автор tg: @PyotrAndreev 46 TSMC History TSMC Tech Symposium Produce chips ≥ min тех.процесс Страшный график:
47. автор tg: @PyotrAndreev 47 TSMC History TSMC Tech Symposium Produce chips ≥ min тех.процесс Страшный график:
48. автор tg: @PyotrAndreev 48 TSMC RoadMap TSMC Tech Symposium Source маркетинга: Each year: faster: 20% energy: less consumption
49. автор tg: @PyotrAndreev 49 TSMC RoadMap TSMC Tech Symposium Source маркетинга: Each year: faster: 20% energy: less consumption
50. автор tg: @PyotrAndreev 50 TSMC RoadMap TSMC Tech Symposium Source маркетинга: Each year: faster: 20% energy: less consumption
51. автор tg: @PyotrAndreev 51 TSMC RoadMap TSMC Tech Symposium Source маркетинга: Each year: faster: 20% energy: less consumption
52. автор tg: @PyotrAndreev 52 Transistor Sizes image Когда вы купили свой компьютер?
53. автор tg: @PyotrAndreev 53 Transistor Sizes image Когда вы купили свой компьютер?
54. автор tg: @PyotrAndreev 54 Transistor Sizes CPU inners Transisor vs. daily objects
55. автор tg: @PyotrAndreev 55 Transistor Sizes CPU inners Transisor vs. daily objects
56. автор tg: @PyotrAndreev 56 Transistor Sizes CPU inners Transisor vs. daily objects
57. автор tg: @PyotrAndreev 57 Transistor Sizes CPU inners Transisor vs. daily objects
58. автор tg: @PyotrAndreev 58 Transistor Principles transistors in CPU
59. автор tg: @PyotrAndreev 59 Transistor Principles transistors in CPU
60. автор tg: @PyotrAndreev 60 Transistor Principles transistors in CPU
61. автор tg: @PyotrAndreev 61 Transistor Principles transistors in CPU
62. автор tg: @PyotrAndreev 62 Transistor Principles transistors in CPU
63. автор tg: @PyotrAndreev 63 Transistor Principles transistors in CPU
64. автор tg: @PyotrAndreev 64 Transistor Architectures transistor evolution / GAA FET types / <10nm / CFET
65. автор tg: @PyotrAndreev 65 Transistor Architectures transistor evolution / GAA FET types / <10nm / CFET
66. автор tg: @PyotrAndreev 66 Transistor Architectures transistor evolution / GAA FET types / <10nm / CFET
67. автор tg: @PyotrAndreev 67 Transistor Architectures transistor evolution / GAA FET types / <10nm / CFET
68. автор tg: @PyotrAndreev 68 Transistor Architectures transistors in CPU / simple CPU Transistors:
69. Logic Gates: transistor combinations автор tg: @PyotrAndreev 69 Transistor Architectures transistors in CPU / simple CPU Transistors:
70. Logic Gates: transistor combinations автор tg: @PyotrAndreev 70 Transistor Architectures transistors in CPU / simple CPU Transistors: elementary Math: sum, mul, … Units: logic gate combinations IP Core: unit combinations Core: IP Core combinations
71. Logic Gates: transistor combinations автор tg: @PyotrAndreev 71 Transistor Architectures transistors in CPU / simple CPU Transistors: Chip: elementary Math: sum, mul, … Units: logic gate combinations IP Core: unit combinations Core: IP Core combinations
72. Logic Gates: transistor combinations автор tg: @PyotrAndreev 72 Transistor Architectures transistors in CPU / simple CPU Transistors: Chip: elementary Math: sum, mul, … Units: logic gate combinations IP Core: unit combinations Core: IP Core combinations Всё для чего?
73. Logic Gates: transistor combinations автор tg: @PyotrAndreev 73 Transistor Architectures transistors in CPU / simple CPU Transistors: Chip: elementary Math: sum, mul, … Units: logic gate combinations IP Core: unit combinations Core: IP Core combinations Всё для чего?
74. автор tg: @PyotrAndreev 74 Transistor Future <A10: 2D materials / transistor roadmap / Interuniversity Microelectronics Centre Сложное будущее:
75. автор tg: @PyotrAndreev 75 Transistor Future <A10: 2D materials / transistor roadmap / Interuniversity Microelectronics Centre Сложное будущее:
76. автор tg: @PyotrAndreev 76 Marketing Internals Each year: faster: 20% energy: less consumption Простой слайд:
77. автор tg: @PyotrAndreev 77 processing units Internals CPU architecture / CPU works / G/CPU schemes GPU: много, просто, одновременно CPU: мало, сложно, быстро
78. автор tg: @PyotrAndreev 78 processing units Internals • ≤ 128 ядер – решение общих задача • сильные ядра + предсказание ветвлений, большие кеши • параллельность: ядра + векторизация + … • лучше для: одной большой задачи за раз CPU architecture / CPU works / G/CPU schemes GPU: много, просто, одновременно CPU: мало, сложно, быстро
79. автор tg: @PyotrAndreev 79 processing units Internals • ≤ 128 ядер – решение общих задача • сильные ядра + предсказание ветвлений, большие кеши • параллельность: ядра + векторизация + … • лучше для: одной большой задачи за раз CPU architecture / CPU works / G/CPU schemes • ~ 100 спец.ядер: • оптимизация: пропускная способность • параллельность: ~ 10th потоков • лучше для: many the same independent simple tasks GPU: много, просто, одновременно CPU: мало, сложно, быстро
80. автор tg: @PyotrAndreev 80 CPU Internals $ python3 -c 'print(1+1)' 2 $ python3 -m timeit -s '1000' -c 1000 50000000 loops, best of 5: 5.31 nsec per loop
81. автор tg: @PyotrAndreev 81 CPU Internals elementary Math: sum, mul, … Units: logic gate combinations IP Core: unit combinations Core: IP Core combinations $ python3 -c 'print(1+1)' 2 $ python3 -m timeit -s '1000' -c 1000 50000000 loops, best of 5: 5.31 nsec per loop
82. автор tg: @PyotrAndreev 82 CPU Internals elementary Math: sum, mul, … Units: logic gate combinations IP Core: unit combinations Core: IP Core combinations $ python3 -c 'print(1+1)' 2 $ python3 -m timeit -s '1000' -c 1000 50000000 loops, best of 5: 5.31 nsec per loop Byte-codes C compiled CPython for CPU
83. автор tg: @PyotrAndreev 83 CPU Internals elementary Math: sum, mul, … Units: logic gate combinations IP Core: unit combinations Core: IP Core combinations $ python3 -c 'print(1+1)' 2 $ python3 -m timeit -s '1000' -c 1000 50000000 loops, best of 5: 5.31 nsec per loop Byte-codes ISA Instruction Set Architecture = CPU language micro-ops CPU decodes ISA to µ-ops C compiled CPython for CPU
84. автор tg: @PyotrAndreev 84 CPU SMT/Hyper-Threading in core 1 core – many logical cores. Each logical has independent: • счётчики команд, физ.регистры но общие: • исполнительные блоки, кэши, буферы Площадь кристалла ограничена: -дублирование и межъядерная инфра энергопотребление/выделение тепла в рамках logical cores is 10–40% compute power: • L2/L3-miss, TLB-miss, mispredict, … Оба лог.ядра конкурируют за общие ресурсы. два аппаратных контекста и общий исполнительный тракт SMT — физически реализованная многопоточность внутри одного ядра logic core SP: указатель стека IP: счётчик команд GPR, флаги/статус, контекст предсказателя, … core logic core SP: указатель стека IP: счётчик команд GPR, флаги/статус, контекст предсказателя, … scheduler, branch predictor, TLB, блоки исполнения, кэши, шины, частота, термобюджет, Load/Store Unit, SIMD* cache-miss
85. автор tg: @PyotrAndreev 85 CPU: SIMD AVX/SVE Сколько «чисел» влезает в вектор (примерно, зависит от выбранного формата) • 128 бит (NEON/XMM): 16×int8, 8×int16, 4×float32, 2×float64 • 256 бит (YMM): 32×int8, 16×int16, 8×float32, 4×float64 • 512 бит (ZMM): 64×int8, 32×int16, 16×float32, 8×float64 • SVE 2048 бит: 256×int8 или 32×float64. где SIMD упирается в память и когда стоит идти в кластер/шардинг
86. автор tg: @PyotrAndreev 86 GPU Internals
87. автор tg: @PyotrAndreev 87 GPU Internals
88. автор tg: @PyotrAndreev 88 Benchmarks maths out = sin(a*b + c) + sqrt(|a-b|) pure_python.py 0.043s / N=2*105 / float32 numba_simd.py 0.012s / N=107 / float32
89. автор tg: @PyotrAndreev 89 CuPy High performance with GPU doc: cupy.dev out = sin(a*b + c) + sqrt(|a-b|)
90. автор tg: @PyotrAndreev 90 PyCuda Internals 1. от сообщества: А.Клекнер 2. питонячая обёртка над CUDA -> верхнеуровневый доступ к API CUDA pycuda: github / doc
91. автор tg: @PyotrAndreev 91 t.me/py_up Python Powers Global Code