【拡張版】第8世代M8はLLMの夢を見るか？

Transcript

1. 株式会社ギークフォース 齊藤 貴義
2. 自己紹介 齊藤貴義 株式会社ギークフォース 代表 サイバーメガネ 商業本出版：3冊 自称：歩くインシデント 趣味：こたつでインターネット インプレス PEAKS出版社 インプレス 戦場カメラマン 検閲ウォッチャー ディープフェイク研究者
3. AWSのCPUを雰囲気で選んでいませんか？ ？？？？？？？？？？？
4. クラウドのCPUを雰囲気で選んでいませんか？ AWSにおける第8世代AMDとIntel CPUの位置づけ 公式サイトを見る限りでは24xlargeのカタログスペックは同一に見えます 末尾にaと付いていたらAMD、iと付いていたらIntel CPUです
5. AWSのCPUを雰囲気で選んでいませんか？ 東京リージョンにおける価格。AMDの方が15%ほど高いです。 AMDの方がコスパが悪いのでしょうか？
6. AWSのCPUを雰囲気で選んでいませんか？ ご安心ください。お、ねだん以上です。
7. AWSのCPUを雰囲気で選んでいませんか？ 本発表では24xlarge（96コア）インスタンスで CPUのみによるLLM推論を実行し、 限界環境における両CPUの差を検証します。 LLMの夢を見るのはどちらのCPUでしょうか？ GPUを用いずにCPUのみによるLLM推論は可能です GPUより遅いですが、CPUの性能がフル稼働する状態を創り出せます