第8世代M8はLLMの夢を見るか？

AWS第8世代CPUインスタンスのLLM性能比較の発表スライドです

Transcript

1. 株式会社ギークフォース 齊藤 貴義
2. AWSのCPUを雰囲気で選んでいませんか？ ？？？？？？？？？？？
3. クラウドのCPUを雰囲気で選んでいませんか？ AWSにおける第8世代AMDとIntel CPUの位置づけ 公式サイトを見る限りでは24xlargeのカタログスペックは同一に見えます 末尾にaと付いていたらAMD、iと付いていたらIntel CPUです
4. AWSのCPUを雰囲気で選んでいませんか？ 東京リージョンにおける価格。AMDの方が15%ほど高いです。 AMDの方がコスパが悪いのでしょうか？
5. AWSのCPUを雰囲気で選んでいませんか？ （実は、お、値段以上案件です）
6. AWSのCPUを雰囲気で選んでいませんか？ 本発表では24xlarge（96コア）インスタンスで CPUのみによるLLM推論を実行し、 限界環境における両CPUの差を検証します。 LLMの夢を見るのはどちらのCPUでしょうか？ GPUを用いずにCPUのみによるLLM推論は可能です GPUより遅いですが、CPUの性能がフル稼働する状態を創り出せます