Slide 31
Slide 31 text
© 2021, Amazon Web Services, Inc. or its Affiliates.
Amazon サービス内での Inf1 インスタンス活⽤事例
AWS Inferentia ベースの Inf1 インスタンスでは、物体分類などの Rekognition
モデルを実⾏すると、GPU でこれらのモデルを実⾏する場合と⽐較して、レイテ
ンシーが 8 倍低くなり、スループットが 2 倍になります。
– Rajneesh Singh, Director, SW Engineering, Rekognition and Video
https://aws.amazon.com/ec2/instance-types/inf1/#Customer_Testimonials
Amazon SageMaker を使⽤してモデルを Inf1 インスタンスにデプロイすること
で、スケーラブルかつ管理が容易になりました。これらのモデルでは、同等の
GPU ベースのインスタンスと⽐較して、すでに 30% 低レイテンシーと 71% の
コスト削減を達成しています。
- Yashal Kanungo, Applied Scientist, Amazon Advertising
ウェブベースの質問回答 (WBQA) ワークロードを GPU ベースの P3 インスタン
スから AWS 推論ベースの Inf1 インスタンスに移⾏することで、推論コストを
60% 削減できただけでなく、エンドツーエンドのレイテンシーを 40% 以上改
善し、お客様の Q&A エクスペリエンスの向上に貢献しています。
- Eric Lind, Software Development Engineer, Alexa AI.
Amazon Rekognition