[GSF Japan] AIとSustainabilityの不思議な関係

GPUをヘビーに使うAIのワークロード。そこでの大量のカーボンなどの排出は気になるところです。
ここでは、Microsoft Build 2024 で公開された情報から、最新のDatacenterやDeviceでの、トータルでのAIとSustainabilityの付き合い方を見ていきます。いずれも、イノベーション無くしては、イノベーティブなモデルの利用が難しいコトが見えてきます。

Green Software Japan の Meetup イベントの登壇資料です。
https://connpass.com/event/318642/

Transcript

1. AI と Sustainability の 不思議な関係 Daiyu Hatakeyama | 畠山 大有 @dahatake Microsoft Japan
2. 100% 再生可能エネルギー 2025年 (来年) までに
3. GPU
4. モデルの学習に必要なコンピューターリソース GPU compute Llama-3-70B 6.4M GPU 時間 (H100) AI supercomputer 2020年5月 10,000 V100 GPUs #5 supercomputer 2023年11月 14,400 H100 GPUs #3 in TOP500 730 年 1台の GPU 27 日くらい 10,000 H100 GPUs 2024年5月 30x supercomputers
5. GPU ワット数 0 300 750 GPU 処理能力 – ワット数 600 150 450 Nvidia P40 Nvidia V100 Nvidia A100 Nvidia H100/H200 AMD MI300X Nvidia GB200 900 1050 1300 1,200W 750W 700W 300W 250W 250W
6. Datacenter での GPU 冷却問題 H100 処理時の 温度
7. Maia 液冷
9. Job Scheduler
10. Project Forge 高い使用率の推進によるコスト 効率の高いインフラストラクチャ 信頼性と耐障害性に優れた AIインフラ ワークロードのインフラストラクチャ と環境の抽象化 Azure Machine Learning AI accelerator abstraction Reliability system Global scheduler Training Inferencing CPU GPU FPGA ASIC Failover Transparent checkpointing Suspend Resume Migrate Scaling Auto repair
11. Global scheduler 先取りでの透過的な, スケールアップ、スケールダウン、実行
12. One Pool A F T E R Standard レベルと Basic レベルによるオーバーサブスクリプション 予約による One Pool – Premium Tier B E F O R E Department 1 Department 2 各チームは、自分のキャパシティのみを使用できます Team 1 Team 2 Team 3 Team 4 Team 5 私の “宝物” GPU + オーバーサブスクリプションによる より多くの GPU へのアクセス
13. 全体的な使用率 Team-A Team-B Team-C 100% One Pool 100% 100% 100%
14. Prediction at Local
16. Windows Copilot Runtime Applications + Experiences Windows Copilot Library + On-device models AI frameworks + Toolchains Silicon
17. Applications + Experiences AI frameworks + Toolchains Windows Copilot Library + On-device models Announcing Phi-Silica SOTA SLMをすべてのCopilot+PCに搭載
18. AI frameworks + Toolchains Developer preview PyTorch now native on Windows powered by DirectML Developer preview Web Neural Network on Windows powered by DirectML Windows Copilot Library + On-device models
19. Phi-3 Phi-3-mini 3.8B parameters Available on MaaS Phi-3-vision 4.2B parameters New Phi-3-small 7B parameters New Phi-3-medium 14B parameters Available on MaaS New aka.ms/Phi3
20. NPU: Windows パソコンの次世代を実現 CPU (Central Processing Unit) 中央演算装置 コンピュータの「頭脳」として、プログラムの実行、データの計算・処理等を 行う。 GPU (Graphics Processing Unit) 画像処理装置 3D グラフィックスなどの画像を描写する際に必要となる計算処理を行う。「大量 の計算を並列処理する」という操作を得意としていることから、CPU と比べて高 速な AI 処理が可能だが、ゲームや CG 処理などにも活用できる汎用チップであ るため、NPU と比べると効率が劣る NPU (Neural Processing Unit) ニューラル処理装置 GPU 同様「大量の計算を並列処理する」ことに特化しているが、主に機 械学習向け専用に設計されているため、AI 処理（画像認識、音声認 識、自然言語処理等の新しい AI 体験）を非常に高速に実行可能 SoC (System on Chip) 一つの半導体チップに、システムの動作に必要な機能をすべて組み込む方式で、シ リコンの中に CPU, GPU, NPU などを一つにまとめたもの。 マザーボード上に各種コンポーネントを配置するよりも、一つのチップに統合することで、 スペースの最適化、電力効率の向上、高いパフォーマンス等が得られる 次世代 AI PC 用のチップ CPU GPU NPU
21. AI Solution の適用場所
22. Sustainability への技術とし てのAIの利用 Source: Microsoft | PwC Paper 2030年までに、農業、エネルギー、輸送、 水におけるAIの環境応用は、... GDP +4.4% ($ 5.2Tr) GHGs: -4.0% (-2.4Gt)
23. 可能性のある分野 1. 電気システム 2. 運輸 3. 建物と都市 4. 産業 5. 農場と森林 6. CO2除去 7. 気候予測 8. 社会的影響 9. 太陽地球工学 10. 個々のアクション 11. 集団的決定 12. 教育 13. 金融 * 2022年6月更新後に開始された新しいイニシアチブ Source: Climate Change AI Source: IPCC
24. さいごに
25. Innovation の 現場が、 Innovation を 作る
26. ご参考  Inside Microsoft AI innovation with Mark Russinovich  https://build.microsoft.com/en-US/sessions/984ca69a-ffca-4729-bf72-72ea0cd8a5db  https://www.youtube.com/watch?v=ntKZ5CibuIQ  Use AI for “Real Things” in Your Windows Apps  https:/build.microsoft.com/en-US/sessions/78618df5-6b18-401c-8df0-550263168f39
27. © Copyright Microsoft Corporation. All rights reserved.