Tweet
Tweet

Slide 1

Slide 1 text

AI と Sustainability の 不思議な関係 Daiyu Hatakeyama | 畠山 大有 @dahatake Microsoft Japan

Slide 2

Slide 2 text

100% 再生可能エネルギー 2025年 (来年) までに

Slide 3

Slide 3 text

GPU

Slide 4

Slide 4 text

モデルの学習に必要なコンピューターリソース GPU compute Llama-3-70B 6.4M GPU 時間 (H100) AI supercomputer 2020年5月 10,000 V100 GPUs #5 supercomputer 2023年11月 14,400 H100 GPUs #3 in TOP500 730 年 1台の GPU 27 日くらい 10,000 H100 GPUs 2024年5月 30x supercomputers

Slide 5

Slide 5 text

GPU ワット数 0 300 750 GPU 処理能力 – ワット数 600 150 450 Nvidia P40 Nvidia V100 Nvidia A100 Nvidia H100/H200 AMD MI300X Nvidia GB200 900 1050 1300 1,200W 750W 700W 300W 250W 250W

Slide 6

Slide 6 text

Datacenter での GPU 冷却問題 H100 処理時の 温度

Slide 7

Slide 7 text

Maia 液冷

Slide 8

Slide 8 text

No content

Slide 9

Slide 9 text

Job Scheduler

Slide 10

Slide 10 text

Project Forge 高い使用率の推進によるコスト 効率の高いインフラストラクチャ 信頼性と耐障害性に優れた AIインフラ ワークロードのインフラストラクチャ と環境の抽象化 Azure Machine Learning AI accelerator abstraction Reliability system Global scheduler Training Inferencing CPU GPU FPGA ASIC Failover Transparent checkpointing Suspend Resume Migrate Scaling Auto repair

Slide 11

Slide 11 text

Global scheduler 先取りでの透過的な, スケールアップ、スケールダウン、実行

Slide 12

Slide 12 text

One Pool A F T E R Standard レベルと Basic レベルによるオーバーサブスクリプション 予約による One Pool – Premium Tier B E F O R E Department 1 Department 2 各チームは、自分のキャパシティのみを使用できます Team 1 Team 2 Team 3 Team 4 Team 5 私の “宝物” GPU + オーバーサブスクリプションによる より多くの GPU へのアクセス

Slide 13

Slide 13 text

全体的な使用率 Team-A Team-B Team-C 100% One Pool 100% 100% 100%

Slide 14

Slide 14 text

Prediction at Local

Slide 15

Slide 15 text

No content

Slide 16

Slide 16 text

Windows Copilot Runtime Applications + Experiences Windows Copilot Library + On-device models AI frameworks + Toolchains Silicon

Slide 17

Slide 17 text

Applications + Experiences AI frameworks + Toolchains Windows Copilot Library + On-device models Announcing Phi-Silica SOTA SLMをすべてのCopilot+PCに搭載

Slide 18

Slide 18 text

AI frameworks + Toolchains Developer preview PyTorch now native on Windows powered by DirectML Developer preview Web Neural Network on Windows powered by DirectML Windows Copilot Library + On-device models

Slide 19

Slide 19 text

Phi-3 Phi-3-mini 3.8B parameters Available on MaaS Phi-3-vision 4.2B parameters New Phi-3-small 7B parameters New Phi-3-medium 14B parameters Available on MaaS New aka.ms/Phi3

Slide 20

Slide 20 text

NPU: Windows パソコンの次世代を実現 CPU (Central Processing Unit) 中央演算装置 コンピュータの「頭脳」として、プログラムの実行、データの計算・処理等を 行う。 GPU (Graphics Processing Unit) 画像処理装置 3D グラフィックスなどの画像を描写する際に必要となる計算処理を行う。「大量 の計算を並列処理する」という操作を得意としていることから、CPU と比べて高 速な AI 処理が可能だが、ゲームや CG 処理などにも活用できる汎用チップであ るため、NPU と比べると効率が劣る NPU (Neural Processing Unit) ニューラル処理装置 GPU 同様「大量の計算を並列処理する」ことに特化しているが、主に機 械学習向け専用に設計されているため、AI 処理（画像認識、音声認 識、自然言語処理等の新しい AI 体験）を非常に高速に実行可能 SoC (System on Chip) 一つの半導体チップに、システムの動作に必要な機能をすべて組み込む方式で、シ リコンの中に CPU, GPU, NPU などを一つにまとめたもの。 マザーボード上に各種コンポーネントを配置するよりも、一つのチップに統合することで、 スペースの最適化、電力効率の向上、高いパフォーマンス等が得られる 次世代 AI PC 用のチップ CPU GPU NPU

Slide 21

Slide 21 text

AI Solution の適用場所

Slide 22

Slide 22 text

Sustainability への技術とし てのAIの利用 Source: Microsoft | PwC Paper 2030年までに、農業、エネルギー、輸送、 水におけるAIの環境応用は、... GDP +4.4% ($ 5.2Tr) GHGs: -4.0% (-2.4Gt)

Slide 23

Slide 23 text

可能性のある分野 1. 電気システム 2. 運輸 3. 建物と都市 4. 産業 5. 農場と森林 6. CO2除去 7. 気候予測 8. 社会的影響 9. 太陽地球工学 10. 個々のアクション 11. 集団的決定 12. 教育 13. 金融 * 2022年6月更新後に開始された新しいイニシアチブ Source: Climate Change AI Source: IPCC

Slide 24

Slide 24 text

さいごに

Slide 25

Slide 25 text

Innovation の 現場が、 Innovation を 作る

Slide 26

Slide 26 text

ご参考  Inside Microsoft AI innovation with Mark Russinovich  https://build.microsoft.com/en-US/sessions/984ca69a-ffca-4729-bf72-72ea0cd8a5db  https://www.youtube.com/watch?v=ntKZ5CibuIQ  Use AI for “Real Things” in Your Windows Apps  https:/build.microsoft.com/en-US/sessions/78618df5-6b18-401c-8df0-550263168f39

Slide 27

Slide 27 text

© Copyright Microsoft Corporation. All rights reserved.