Slide 1

Slide 1 text

社内LT re:Cap copmute! 稲村鉄平 2024/12/21 ざっくりキャッチアップ

Slide 2

Slide 2 text

LTの目的 目的: re:Invent の computeについてのキャッチアップ! 対象: 「compute 関連わからないよ!」という方向け 話さない事: 各アップデートの詳細

Slide 3

Slide 3 text

$whoami 名前:稲村鉄平(いなむら てっぺい) X :@t9z_a(てつてつ) 経歴:2021年3月 協栄情報 入社 エンジニア歴3年9か月 経験:クラウドアーキテクチャ 要件定義-運用まで対応。 現在、生成AIの要件・構築。 興味:クラウド・DevOps 趣味:サウナ 夢 :平等に機会がある世界をつくる

Slide 4

Slide 4 text

目次 1.computeについて 2.re:Cap ~Nitro Systems~ 3.re:Cap ~カスタムシリコン~ 4.re:Cap ~GPU~

Slide 5

Slide 5 text

1.computeについて compute storage database inference

Slide 6

Slide 6 text

1.computeについて Compute Amazon EC2 AWS Elastic Beanstalk AWS Lambda Amazon Lightsail AWS Outposts family AWS Wavelength Amazon EKS Amazon ECS AWS Fargate etc…

Slide 7

Slide 7 text

1.computeについて 850 + 種類を超えるインスタンス あらゆるワークロードや ビジネスニーズに対応できる Amazon Elastic Compute Cloud (EC2)

Slide 8

Slide 8 text

1.computeについて Amazon Elastic Compute Cloud (EC2) 1.3億 instances/day (average) がデプロイされている =日本の人口 1.2億人

Slide 9

Slide 9 text

専用ハードウェアと 軽量ハイパーバイザーを組合わせ イノベーションを迅速化し、 セキュリティを強化 2.re:Cap ~Nitro Systems~ ハードウェアとソフトウェア を分割し、サーバのほぼすべて のリソースを利用可能 ■Nitro Systemsとは?

Slide 10

Slide 10 text

2.re:Cap ~Nitro Systems~ AWS(Nitro)仮想化 従来の仮想化 アプリ処理と仮想化処理の道路を分け処理速度UP ■ざっくりNitro Systems 仮想専用道 アプリ専用道 混合車線 青車: アプリ処理 緑車: 仮想化処理

Slide 11

Slide 11 text

2.re:Cap ~Nitro Systems~ 従来の仮想化では Hypervisor(ソフトウェア処理)を利用するため 「利用可能リソース」に制限があった。 Nitro Systemsを導入することで、従来のHypervisor部分を ハードウェアで処理し、ベアメタル同等のリソース実現する。 (従来の)仮想サーバ ベアメタルサーバ Hardware Hypervisor 利用可能 リソース 利用可能 リソース Hardware Nitro Systems 利用可能 リソース Hardware Nitro Systems ■従来との比較

Slide 12

Slide 12 text

Hardware 2.re:Cap ~Nitro Systems~ 参考:https://www.awsgeek.com/AWS-re-Invent-2020/The-Evolution-of-the-EC2-Host/ Hardware 2013以前 2013(C3) 2014(C4) 2017(C5) 2019 Nitro Hypervisor 利用可能リソース ネット ワーク スト レージ MGMT, セキュ リティ, モニタ ネット ワーク スト レージ MGMT, セキュ リティ, モニタ Hardware Hardware Hardware Hardware Nitro ネット ワーク スト レージ MGMT, セキュ リティ, モニタ Nitro ネット ワーク スト レージ Nitro ネット ワーク Hypervisor ネット ワーク スト レージ MGMT, セキュ リティ, モニタ Hypervisor スト レージ MGMT, セキュ リティ, モニタ MGMT, セキュ リティ, モニタ Nitro Hypervisor rvisor 利用可能リソース 利用可能リソース 利用可能リソース 利用可能リソース >> >> >> >> Nitro Hype ■Nitro Systemsのこれまでの過程

Slide 13

Slide 13 text

3.re:Cap ~カスタムシリコン~ 2018年からGAされた Armベースのプロセッサファミリー 40% 高いコスト性能と 最大60% 少ない消費電力 ※同等 x86ベースと比較 グローバルのTop 1000の企業の 90%が Gravitonを採用 AWS Graviton4 ■Gravitonとは?

Slide 14

Slide 14 text

Nitro Systemsにより道路が拡張されたおかげで、 すごい速度で処理性能がUP ■ざっくりGraviton すごい赤車: アプリ処理 緑車: 仮想化処理 3.re:Cap ~カスタムシリコン~

Slide 15

Slide 15 text

AIに特化したGUIインスタンス 学習: Tranium 推論: Inferentia Inferentia は Alexaにも活用。 Tranium2 が GAされました。 そして Traniumの2倍の性能の Tranium3の発表がされました。 AWS TRAINIUM AWS INFERENTIA 4.re:Cap ~GPU~ ■Gravitonとは?

Slide 16

Slide 16 text

・学習とは? モデルが知識を獲得するプロセス。 →ディープラーニング 大量計算 ・推論とは? 学習モデルを使って、知識を活用するプロセス。 →リアルタイム回答 低リソースでの稼働 求められるものが異なるので、チップも異なる。 ■ざっくりチップの使用方法 4.re:Cap ~GPU~

Slide 17

Slide 17 text

Amazon EC2 Trn2 UltraServersを 発表(Preview) 4つのTrainim2 を接続し(64基)、 インスタンス単体の4倍の性能 Anthoropic社と共同Projectの 「Project Rainier」 は、 世界最大規模の学習環境で実行 ■re:Inventでの発表 4.re:Cap ~GPU~

Slide 18

Slide 18 text

Thank you!