Share
Embed
AI アクセラレータチップ AWS Trainium/Inferentia に 今こそ入門
【re:Invent 2025アップデート紹介】AI アクセラレータチップAWS Trainium/Inferentia に今こそ入門
yoshimi0227
January 16, 2026
Transcript
20 slides
-
TRAINIUM AWS re:Invent 2025 re:Cap OpsJAWS#38 2026/1/16 Yoshimi Maehara NEURON
【re:Invent ���� アップデート紹介】 AI アクセラレータチップ AWS Trainium/Inferentia に 今こそ入門 -
TRAINIUM NEURON はじめに re:Invent ���� - Keynote with CEO Matt
Garman Amazon Bedrock での推論の多くは Trainium によって実行されています -
TRAINIUM NEURON AI チップが、今の生成 AI ブームを支えている 何かのサービスに賭けるのであれば、そのサービス自体の持続可能性を見るべし 裏側で動いている Trainium を知ることで、
より Amazon Bedrock や Claude に賭けられるようになる -
TRAINIUM NEURON 【補足】 深層学習(DeepLearning)とは 人間の脳の神経細胞(ニューロン)の仕組みを利用した AI であり、大量に学習を行う ことで精度の高い推論を可能にする 本題に入る前に 推論
未学習データ ??? 学習済モデルに未学習データを 投入し、回答を得る 学習済モデル 学習 学習データ ケーキ モデル 学習データを何度も投入し、 モデルの回答精度をあげる 回答をもとに微修正 -
TRAINIUM NEURON まず、AI チップとは? 深層学習(例:生成 AI モデルの構築)に必要な「膨大な量の演算処理」が高速で可能なチップ CPU start end
順番にソフトウェアの 処理を実施 AI チップ start end 並列でソフトウェア の処理を実施 (=処理時間を短縮) 例:GPU 例:FPGA ハードウェア記述言語 (HDL)を活用 (=ソフトウェアの指示を 実行するより高速) start end -
TRAINIUM INFERENTIA NEURON Trainium/Inferentia とは 深層学習(例:生成 AI モデルの構築)の学習・推論をする際の AI チップの選択肢
AWS Inferentia AWS Trainium NVIDIA GPU Intel Gaudi AMD GPU AMD UltraScale+ FPGA Qualcomm Cloud AI • DL�q AI チップ一覧 搭載している EC� インスタンスタイプの例 • Inf� • Inf� • Trn� • Trn�n • Trn� • G�ad • G�dn • G�,G�,G�e, • P�,P� • P�,P�e • P�,P�e • F� • F� • DL� -
TRAINIUM NEURON Trainium/Inferentia とは Trainium は学習に向いている AI チップ、Inferentia は推論に向いている AI
チップ として登場 推論 未学習データ ??? 学習済モデルに未学習データを 投入し、回答を得る 学習済モデル 学習 学習データ ケーキ モデル 学習データを何度も投入し、 モデルの回答精度をあげる 回答をもとに微修正 -
TRAINIUM NEURON Trainium� 搭載 UltraServer の提供開始 re:invent ���� アップデート https://www.aboutamazon.com/news/aws/trainium-�-ultraserver-faster-ai-training-lower-cost
Trainium� のバージョンアップ版である Trainium� を搭載した UltraServer が登場 -
TRAINIUM NEURON Trainium� 搭載 UltraServer の提供開始 re:invent ���� アップデート https://awsdocs-neuron.readthedocs-hosted.com/en/latest/about-neuron/arch/neuron-hardware/trainium�.html
Trainium� は Trainium� からさらにコアやメモリ、帯域をスペックアップ -
TRAINIUM NEURON Trainium� 搭載 UltraServer の提供開始 re:invent ���� アップデート Trainium�
搭載の UltraServer は、Trainium� 搭載の UltraServer と比べて、下記の通り • コンピューティングの性能が �.� 倍 • AI チップあたりのスループットが � 倍 • 応答時間が � 倍高速化 また、Trainium� は Trainium� と比べて、エネルギー効率が ��% 向上 ⇒ 利用する UltraServer を Trainium� 搭載版から Trainium� 搭載版に変更するだけで 様々な性能があがる https://www.aboutamazon.com/news/aws/trainium-�-ultraserver-faster-ai-training-lower-cost -
TRAINIUM NEURON Trainium� 搭載 UltraServer の提供開始 re:invent ���� アップデート OpenAI
社の GPT-OSS モデルにて、UltraServer を Trainium� 搭載版から Trainium� 搭載版に変更するだけでトークン出力効率が � 倍に性能向上 -
TRAINIUM NEURON 【補足】 Pytorch とは 深層学習(例:生成 AI モデルの構築)でモデルを学習・推論するときに便利な Python ライブラリ
本題に入る前に https://docs.pytorch.org/tutorials/beginner/basics/quickstart_tutorial.html モデル 例:学習を開始するにあたり、 まずモデルを作成 -
TRAINIUM NEURON Trainium が PyTorch をネイティブサポート開始 re:invent ���� アップデート CPU
や GPU 上で実行できる PyTorch のソースコードを、Trainium/Inferentia 上でも そのまま利用できるように(※一箇所 cuda を neuron に変える程度で動く) https://awsdocs-neuron.readthedocs-hosted.com/en/latest/frameworks/torch/pytorch-native-overview.html -
TRAINIUM NEURON さいごに 他にも、オブザーバビリティツールとして Neuron Explorer や、パフォーマンス最適化の ためのツールとして Neuron Kernel
Interface(NKI)が登場しました。 AI チップ開発にここまで力をいれてくれているからこそ、私たちは安心してガンガン AI を活用できます。 これからも、Trainium/Infrentia を信じて、関連 AI サービスにも賭けていきましょう!