社内LT re:Cap copmute!

ざっくり compute キャッチアップ

Transcript

1. 社内LT re:Cap copmute! 稲村鉄平 2024/12/21 ざっくりキャッチアップ
2. LTの目的 目的: re:Invent の computeについてのキャッチアップ！ 対象： 「compute 関連わからないよ！」という方向け 話さない事： 各アップデートの詳細
3. $whoami 名前：稲村鉄平(いなむら てっぺい) X :@t9z_a(てつてつ) 経歴：2021年3月 協栄情報 入社 エンジニア歴3年9か月 経験：クラウドアーキテクチャ 要件定義-運用まで対応。 現在、生成AIの要件・構築。 興味：クラウド・DevOps 趣味：サウナ 夢 ：平等に機会がある世界をつくる
4. 目次 1.computeについて 2.re:Cap ～Nitro Systems～ 3.re:Cap ～カスタムシリコン～ 4.re:Cap ～GPU～
5. 1.computeについて compute storage database inference
6. 1.computeについて Compute Amazon EC2 AWS Elastic Beanstalk AWS Lambda Amazon Lightsail AWS Outposts family AWS Wavelength Amazon EKS Amazon ECS AWS Fargate etc…
7. 1.computeについて 850 + 種類を超えるインスタンス あらゆるワークロードや ビジネスニーズに対応できる Amazon Elastic Compute Cloud (EC2)
8. 1.computeについて Amazon Elastic Compute Cloud (EC2) 1.3億 instances/day (average) がデプロイされている =日本の人口 1.2億人
9. 専用ハードウェアと 軽量ハイパーバイザーを組合わせ イノベーションを迅速化し、 セキュリティを強化 2.re:Cap ~Nitro Systems~ ハードウェアとソフトウェア を分割し、サーバのほぼすべて のリソースを利用可能 ▪Nitro Systemsとは？
10. 2.re:Cap ~Nitro Systems~ AWS(Nitro)仮想化 従来の仮想化 アプリ処理と仮想化処理の道路を分け処理速度UP ▪ざっくりNitro Systems 仮想専用道 アプリ専用道 混合車線 青車： アプリ処理 緑車： 仮想化処理
11. 2.re:Cap ~Nitro Systems~ 従来の仮想化では Hypervisor(ソフトウェア処理)を利用するため 「利用可能リソース」に制限があった。 Nitro Systemsを導入することで、従来のHypervisor部分を ハードウェアで処理し、ベアメタル同等のリソース実現する。 (従来の)仮想サーバ ベアメタルサーバ Hardware Hypervisor 利用可能 リソース 利用可能 リソース Hardware Nitro Systems 利用可能 リソース Hardware Nitro Systems ▪従来との比較
12. Hardware 2.re:Cap ~Nitro Systems~ 参考：https://www.awsgeek.com/AWS-re-Invent-2020/The-Evolution-of-the-EC2-Host/ Hardware 2013以前 2013(C3) 2014(C4) 2017(C5) 2019 Nitro Hypervisor 利用可能リソース ネット ワーク スト レージ MGMT, セキュ リティ, モニタ ネット ワーク スト レージ MGMT, セキュ リティ, モニタ Hardware Hardware Hardware Hardware Nitro ネット ワーク スト レージ MGMT, セキュ リティ, モニタ Nitro ネット ワーク スト レージ Nitro ネット ワーク Hypervisor ネット ワーク スト レージ MGMT, セキュ リティ, モニタ Hypervisor スト レージ MGMT, セキュ リティ, モニタ MGMT, セキュ リティ, モニタ Nitro Hypervisor rvisor 利用可能リソース 利用可能リソース 利用可能リソース 利用可能リソース >> >> >> >> Nitro Hype ▪Nitro Systemsのこれまでの過程
13. 3.re:Cap ~カスタムシリコン~ 2018年からGAされた Armベースのプロセッサファミリー 40% 高いコスト性能と 最大60% 少ない消費電力 ※同等 x86ベースと比較 グローバルのTop 1000の企業の 90%が Gravitonを採用 AWS Graviton4 ▪Gravitonとは？
14. Nitro Systemsにより道路が拡張されたおかげで、 すごい速度で処理性能がUP ▪ざっくりGraviton すごい赤車： アプリ処理 緑車： 仮想化処理 3.re:Cap ~カスタムシリコン~
15. AIに特化したGUIインスタンス 学習： Tranium 推論： Inferentia Inferentia は Alexaにも活用。 Tranium2 が GAされました。 そして Traniumの2倍の性能の Tranium3の発表がされました。 AWS TRAINIUM AWS INFERENTIA 4.re:Cap ~GPU~ ▪Gravitonとは？
16. ・学習とは？ モデルが知識を獲得するプロセス。 →ディープラーニング 大量計算 ・推論とは？ 学習モデルを使って、知識を活用するプロセス。 →リアルタイム回答 低リソースでの稼働 求められるものが異なるので、チップも異なる。 ▪ざっくりチップの使用方法 4.re:Cap ~GPU~
17. Amazon EC2 Trn2 UltraServersを 発表(Preview) ４つのTrainim2 を接続し(64基)、 インスタンス単体の4倍の性能 Anthoropic社と共同Projectの 「Project Rainier」 は、 世界最大規模の学習環境で実行 ▪re:Inventでの発表 4.re:Cap ~GPU~
18. Thank you!