AI アクセラレータチップ AWS Trainium/Inferentia に 今こそ入門

【re:Invent 2025アップデート紹介】AI アクセラレータチップAWS Trainium/Inferentia に今こそ入門

Transcript

1. TRAINIUM AWS re:Invent 2025 re:Cap OpsJAWS#38 2026/1/16 Yoshimi Maehara NEURON 【re:Invent ���� アップデート紹介】 AI アクセラレータチップ AWS Trainium/Inferentia に 今こそ入門
2. TRAINIUM NEURON 自己紹介 前原 良美（まえはら よしみ） 自社サービスの UIUX 刷新や 運用システム新規整備をしています。
3. TRAINIUM NEURON はじめに re:Invent ���� - Keynote with CEO Matt Garman Amazon Bedrock での推論の多くは Trainium によって実行されています
4. TRAINIUM NEURON AI チップが、今の生成 AI ブームを支えている 何かのサービスに賭けるのであれば、そのサービス自体の持続可能性を見るべし 裏側で動いている Trainium を知ることで、 より Amazon Bedrock や Claude に賭けられるようになる
5. TRAINIUM NEURON 【補足】 深層学習（DeepLearning）とは 人間の脳の神経細胞（ニューロン）の仕組みを利用した AI であり、大量に学習を行う ことで精度の高い推論を可能にする 本題に入る前に 推論 未学習データ ？？？ 学習済モデルに未学習データを 投入し、回答を得る 学習済モデル 学習 学習データ ケーキ モデル 学習データを何度も投入し、 モデルの回答精度をあげる 回答をもとに微修正
6. TRAINIUM NEURON まず、AI チップとは？ 深層学習（例：生成 AI モデルの構築）に必要な「膨大な量の演算処理」が高速で可能なチップ CPU start end 順番にソフトウェアの 処理を実施 AI チップ start end 並列でソフトウェア の処理を実施 （＝処理時間を短縮） 例：GPU 例：FPGA ハードウェア記述言語 （HDL）を活用 （＝ソフトウェアの指示を 実行するより高速） start end
7. TRAINIUM INFERENTIA NEURON Trainium/Inferentia とは 深層学習（例：生成 AI モデルの構築）の学習・推論をする際の AI チップの選択肢 AWS Inferentia AWS Trainium NVIDIA GPU Intel Gaudi AMD GPU AMD UltraScale+ FPGA Qualcomm Cloud AI • DL�q AI チップ一覧 搭載している EC� インスタンスタイプの例 • Inf� • Inf� • Trn� • Trn�n • Trn� • G�ad • G�dn • G�,G�,G�e, • P�,P� • P�,P�e • P�,P�e • F� • F� • DL�
8. TRAINIUM NEURON Trainium/Inferentia とは Trainium は学習に向いている AI チップ、Inferentia は推論に向いている AI チップ として登場 推論 未学習データ ？？？ 学習済モデルに未学習データを 投入し、回答を得る 学習済モデル 学習 学習データ ケーキ モデル 学習データを何度も投入し、 モデルの回答精度をあげる 回答をもとに微修正
9. TRAINIUM NEURON Trainium/Inferentia とは Trainium は推論に対しても非常に有用な AI チップであり、実際に推論で使われている
10. TRAINIUM NEURON Trainium とは 初代 Trainium と Inferentia� は、チップのアーキテクチャ構成はほぼ一緒 https://awsdocs-neuron.readthedocs-hosted.com/en/latest/about-neuron/arch/neuron-hardware/inferentia�.html
11. TRAINIUM NEURON Trainium とは 学習には特に強いスペックが必要なため、Trainium� にてコアやメモリ、帯域を強化 https://awsdocs-neuron.readthedocs-hosted.com/en/latest/about-neuron/arch/neuron-hardware/trainium.html
12. TRAINIUM NEURON Trainium とは Trainium� は業界でも高く評価され、Anthropic 社との共同プロジェクト「Project Rainier」で、数十万個が稼働（※UltraServer を用いて稼働） https://www.aboutamazon.com/news/aws/aws-project-rainier-ai-trainium-chips-compute-cluster Claude の裏でも、Trainium� は活用されている
13. TRAINIUM NEURON Trainium� 搭載 UltraServer の提供開始 re:invent ���� アップデート https://www.aboutamazon.com/news/aws/trainium-�-ultraserver-faster-ai-training-lower-cost Trainium� のバージョンアップ版である Trainium� を搭載した UltraServer が登場
14. TRAINIUM NEURON Trainium� 搭載 UltraServer の提供開始 re:invent ���� アップデート https://awsdocs-neuron.readthedocs-hosted.com/en/latest/about-neuron/arch/neuron-hardware/trainium�.html Trainium� は Trainium� からさらにコアやメモリ、帯域をスペックアップ
15. TRAINIUM NEURON Trainium� 搭載 UltraServer の提供開始 re:invent ���� アップデート Trainium� 搭載の UltraServer は、Trainium� 搭載の UltraServer と比べて、下記の通り • コンピューティングの性能が �.� 倍 • AI チップあたりのスループットが � 倍 • 応答時間が � 倍高速化 また、Trainium� は Trainium� と比べて、エネルギー効率が ��% 向上 ⇒　利用する UltraServer を Trainium� 搭載版から Trainium� 搭載版に変更するだけで 　　様々な性能があがる https://www.aboutamazon.com/news/aws/trainium-�-ultraserver-faster-ai-training-lower-cost
16. TRAINIUM NEURON Trainium� 搭載 UltraServer の提供開始 re:invent ���� アップデート OpenAI 社の GPT-OSS モデルにて、UltraServer を Trainium� 搭載版から Trainium� 搭載版に変更するだけでトークン出力効率が � 倍に性能向上
17. TRAINIUM NEURON Trainium/Inferentia がなんとなくわかったところで どう使えば良いのか、気になりませんか？ EC� や SageMaker で該当インスタンスを起動後、 深層学習用のソースコードを実装する必要があります。
18. TRAINIUM NEURON 【補足】 Pytorch とは 深層学習（例：生成 AI モデルの構築）でモデルを学習・推論するときに便利な Python ライブラリ 本題に入る前に https://docs.pytorch.org/tutorials/beginner/basics/quickstart_tutorial.html モデル 例：学習を開始するにあたり、 まずモデルを作成
19. TRAINIUM NEURON Trainium が PyTorch をネイティブサポート開始 re:invent ���� アップデート CPU や GPU 上で実行できる PyTorch のソースコードを、Trainium/Inferentia 上でも そのまま利用できるように（※一箇所 cuda を neuron に変える程度で動く） https://awsdocs-neuron.readthedocs-hosted.com/en/latest/frameworks/torch/pytorch-native-overview.html
20. TRAINIUM NEURON さいごに 他にも、オブザーバビリティツールとして Neuron Explorer や、パフォーマンス最適化の ためのツールとして Neuron Kernel Interface（NKI）が登場しました。 AI チップ開発にここまで力をいれてくれているからこそ、私たちは安心してガンガン AI を活用できます。 これからも、Trainium/Infrentia を信じて、関連 AI サービスにも賭けていきましょう！