Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

[GSF Japan] AIとSustainabilityの不思議な関係

[GSF Japan] AIとSustainabilityの不思議な関係

GPUをヘビーに使うAIのワークロード。そこでの大量のカーボンなどの排出は気になるところです。
ここでは、Microsoft Build 2024 で公開された情報から、最新のDatacenterやDeviceでの、トータルでのAIとSustainabilityの付き合い方を見ていきます。いずれも、イノベーション無くしては、イノベーティブなモデルの利用が難しいコトが見えてきます。

Green Software Japan の Meetup イベントの登壇資料です。
https://connpass.com/event/318642/

More Decks by Daiyu Hatakeyama | @dahatake | 畠山 大有

Other Decks in Technology

Transcript

  1. GPU

  2. モデルの学習に必要なコンピューターリソース GPU compute Llama-3-70B 6.4M GPU 時間 (H100) AI supercomputer

    2020年5月 10,000 V100 GPUs #5 supercomputer 2023年11月 14,400 H100 GPUs #3 in TOP500 730 年 1台の GPU 27 日くらい 10,000 H100 GPUs 2024年5月 30x supercomputers
  3. GPU ワット数 0 300 750 GPU 処理能力 – ワット数 600

    150 450 Nvidia P40 Nvidia V100 Nvidia A100 Nvidia H100/H200 AMD MI300X Nvidia GB200 900 1050 1300 1,200W 750W 700W 300W 250W 250W
  4. Project Forge 高い使用率の推進によるコスト 効率の高いインフラストラクチャ 信頼性と耐障害性に優れた AIインフラ ワークロードのインフラストラクチャ と環境の抽象化 Azure Machine

    Learning AI accelerator abstraction Reliability system Global scheduler Training Inferencing CPU GPU FPGA ASIC Failover Transparent checkpointing Suspend Resume Migrate Scaling Auto repair
  5. One Pool A F T E R Standard レベルと Basic

    レベルによるオーバーサブスクリプション 予約による One Pool – Premium Tier B E F O R E Department 1 Department 2 各チームは、自分のキャパシティのみを使用できます Team 1 Team 2 Team 3 Team 4 Team 5 私の “宝物” GPU + オーバーサブスクリプションによる より多くの GPU へのアクセス
  6. Windows Copilot Runtime Applications + Experiences Windows Copilot Library +

    On-device models AI frameworks + Toolchains Silicon
  7. Applications + Experiences AI frameworks + Toolchains Windows Copilot Library

    + On-device models Announcing Phi-Silica SOTA SLMをすべてのCopilot+PCに搭載
  8. AI frameworks + Toolchains Developer preview PyTorch now native on

    Windows powered by DirectML Developer preview Web Neural Network on Windows powered by DirectML Windows Copilot Library + On-device models
  9. Phi-3 Phi-3-mini 3.8B parameters Available on MaaS Phi-3-vision 4.2B parameters

    New Phi-3-small 7B parameters New Phi-3-medium 14B parameters Available on MaaS New aka.ms/Phi3
  10. NPU: Windows パソコンの次世代を実現 CPU (Central Processing Unit) 中央演算装置 コンピュータの「頭脳」として、プログラムの実行、データの計算・処理等を 行う。

    GPU (Graphics Processing Unit) 画像処理装置 3D グラフィックスなどの画像を描写する際に必要となる計算処理を行う。「大量 の計算を並列処理する」という操作を得意としていることから、CPU と比べて高 速な AI 処理が可能だが、ゲームや CG 処理などにも活用できる汎用チップであ るため、NPU と比べると効率が劣る NPU (Neural Processing Unit) ニューラル処理装置 GPU 同様「大量の計算を並列処理する」ことに特化しているが、主に機 械学習向け専用に設計されているため、AI 処理(画像認識、音声認 識、自然言語処理等の新しい AI 体験)を非常に高速に実行可能 SoC (System on Chip) 一つの半導体チップに、システムの動作に必要な機能をすべて組み込む方式で、シ リコンの中に CPU, GPU, NPU などを一つにまとめたもの。 マザーボード上に各種コンポーネントを配置するよりも、一つのチップに統合することで、 スペースの最適化、電力効率の向上、高いパフォーマンス等が得られる 次世代 AI PC 用のチップ CPU GPU NPU
  11. 可能性のある分野 1. 電気システム 2. 運輸 3. 建物と都市 4. 産業 5.

    農場と森林 6. CO2除去 7. 気候予測 8. 社会的影響 9. 太陽地球工学 10. 個々のアクション 11. 集団的決定 12. 教育 13. 金融 * 2022年6月更新後に開始された新しいイニシアチブ Source: Climate Change AI Source: IPCC
  12. ご参考  Inside Microsoft AI innovation with Mark Russinovich 

    https://build.microsoft.com/en-US/sessions/984ca69a-ffca-4729-bf72-72ea0cd8a5db  https://www.youtube.com/watch?v=ntKZ5CibuIQ  Use AI for “Real Things” in Your Windows Apps  https:/build.microsoft.com/en-US/sessions/78618df5-6b18-401c-8df0-550263168f39