Amazon Novaのすゝめ ~基盤モデルの性能比較を添えて~ / Recommendations of Amazon Nova

性能比較時の各モデルの回答全文は以下よりご覧いただけます。
https://zenn.dev/zozotech/articles/21ef93e22f689e

Transcript

1. Amazon Novaのすゝめ ~基盤モデルの性能比較を添えて~ 株式会社ZOZO
 計測プラットフォーム本部 計測システム部
 SREブロック
 土田 悠輝 Copyright © ZOZO, Inc. 1
2. © ZOZO, Inc. 株式会社ZOZO 計測プラットフォーム本部 計測システム部 SREブロック 土田 悠輝 2024年5月入社 ZOZOMATやZOZOMETRYのSRE業務を担当 マイブーム: 自宅サーバーの監視構築/Difyでアプリ作り 2
3. © ZOZO, Inc. 3 本日話すこと • Amazon Novaについて ◦ Amazon Novaとは ◦ Amazon Novaのモデル ◦ Amazon Novaのメリット • 基盤モデルの性能比較 ◦ 今回使うモデルの紹介 ◦ 知識問題 ◦ 計算問題 ◦ Pythonコーディング • まとめ • re:inventの感想
4. © ZOZO, Inc. 4 Amazon Novaについて
5. © ZOZO, Inc. 5 Amazon Novaとは • 2日目のCEO KeynoteでAndyが登場し、 発表したAmazonの新しい基盤モデルシリーズ • Bedrockで使用できる • us-east-1で使用できる 基盤モデルとは: 大規模なデータセットで事前訓練され、言語に留まら ない幅広いタスクに適用可能な汎用的なAIモデル 引用元：Amazon Web Services - AWS re:Invent 2024 - CEO Keynote with Matt Garman - YouTube https://www.youtube.com/watch?v=LY7m5LQliAo&t=6722s
6. © ZOZO, Inc. 6 Amazon Novaのモデル • Amazon Nova Micro　 低コストかつ小さなレイテンシでテキストのみを処理するモデル • Amazon Nova Lite　　 低コストかつ高速な、画像、動画、テキストによる入力に対応したマルチモーダルなモデル • Amazon Nova Pro 精度、スピード、コストの最適な組み合わせで幅広いタスクに対応する高性能な マルチモーダルモデル • Amazon Nova Canvas テキストから画像を生成するモデル • Amazon Nova Reel テキストから映像を生成するモデル(現状6秒まで)
7. © ZOZO, Inc. 7 Amazon Novaのメリット ・性能がいい！！！ 引用元：Text, Image and Video Understanding Model - Amazon Nova Understanding Models - AWS　https://aws.amazon.com/jp/ai/generative-ai/nova/understanding/
8. © ZOZO, Inc. 8 Amazon Novaのメリット ・コスパがいい！！！ モデル名 1M 入力トークン 1M 出力トークン Amazon Nova Micro $0.035 $0.14 Amazon Nova Lite $0.06 $0.24 GPT-4o mini $0.15 $0.6 Amazon Nova Pro $0.8 $3.2 Claude 3.5 Haiku $0.8 $4 GPT-4o $2.5 $10 Claude 3.5 Sonnet V2 $3 $15 (2024/12/13時点)
9. © ZOZO, Inc. 9 Amazon Novaのメリット • Bedrockの様々な機能でこのモデルが使用できる ◦ Bedrockを通じたファインチューニング ◦ Bedrock Knowledge Basesを用いたRAGの作成 • 来年には以下のようなモデルもローンチ予定 ◦ Amazon Nova Premire ◦ speech-to-speech model ◦ multimodal-to-multimodal model
10. © ZOZO, Inc. 10 基盤モデルの性能比較
11. © ZOZO, Inc. 11 今回比較するモデルの紹介 • Amazon Nova Pro • GPT-4o • Claude 3.5 Sonnet V2 • Amazon Nova Lite • GPT-4o mini • Claude 3.5 Haiku
12. © ZOZO, Inc. 12 実際の回答全文はこちら https://zenn.dev/zozotech/articles/21ef93e22f689e
13. © ZOZO, Inc. 13 知識問題 プロンプト: 現在の日本の首相は誰ですか？ 知識のカットオフがわかる 2023年10月が多い 最新はAmazon Nova Liteの 2024/5
14. © ZOZO, Inc. 14 計算問題(1) プロンプト: 以下の計算を実行し、その結果を教えてください。結果だけを出力してください 45678901 + 76543210 = 89012 × 34567 = 45678901 × 76543210 = (9/10) ÷ (5/6) = 15 ÷ (1 - 1/7) =
15. © ZOZO, Inc. 15 計算問題(1) - (参考) 正解 プロンプト: 以下の計算を実行し、その結果を教えてください。結果だけを出力してください 45678901 + 76543210 = 122222111 89012 × 34567 = 3076877804 45678901 × 76543210 = 3496409711812210 (9/10) ÷ (5/6) = 1.08 15 ÷ (1 - 1/7) = 17.5
16. © ZOZO, Inc. 16 計算問題(1) ❌ ⭕ ⭕ ⭕ ⭕ ❌ ❌ ❌ ❌ ❌ ❌ ❌ ⭕ ⭕ ⭕ ⭕ ⭕ ⭕ ⭕ ❌ ❌ ⭕ ⭕ ⭕ ⭕ ⭕ ❌ ❌ ⭕ ❌ 優勝: Claude 3.5 Sonnet V2🥇 平均 3問正解 OpenAI系が3問目苦手？
17. © ZOZO, Inc. 17 計算問題(2)(3) プロンプト: 鶴の足は2本、亀の足は4本です。鶴と亀を合計すると10匹で、足の数を合計すると28本です。その場 合、鶴は何匹いますか？ プロンプト: 健二は午前6時30分に、毎分70mで家から職場へ向かいました。一方、直美は午前6時50分に、毎分 180mの速さで家を出発しました。職場までの距離が6300mの場合、直美は健二よりも何分早く職場に着 きますか？ 全員正解🥇 Claude 3.5 Haiku 以外正解
18. © ZOZO, Inc. 18 Pythonコーディング(1) プロンプト: Pythonで、ユーザーから整数を3つ入力として受け取り、それらの合計と平均を計算して表示するプロ グラムを書いてください。ユーザー入力にはinput()関数を使用してください。 全てのモデルでほぼ同じコードの出力 GPT-4oとClaude 3.5 Sonnet V2は実行方法と実行結果のサンプルまでついてきた
19. © ZOZO, Inc. 19 Pythonコーディング(2) プロンプト: 英語のテキストを日本語に翻訳して形態素解析まで行うプログラムを生成して Amazon Nova Pro: 関数を適切に分割（translate_to_japanese, analyze_japanese_text）,基本的な実装のみ GPT-4o: 単一関数のソースコード,実行例を含む具体的な出力例を提示 Claude 3.5 Sonnet V2: クラスベースの設計を提案,エラーハンドリング実装,インタラクティ入力実装 Amazon Nova Lite: MeCabのimportに誤り, Python2の関数使用, googletransパッケージの不使用 GPT-4o mini: 最小限の実装だが、コードは正しい、単一関数 Claude 3.5 Haiku: 単語ごとの詳細な解析機能を実装, 解析結果を辞書形式で整理
20. © ZOZO, Inc. 20 まとめ
21. © ZOZO, Inc. 21 まとめ • Claude 3.5 Sonnet V2はやっぱりすごい。 ◦ Bedrockで使えます！ • Amazon Nova Proもそれに負けず劣らずレベルの高い基盤モデル ◦ これをClaude 3.5 Sonnet V2の1/5程度の値段で使えるのはすごくありがたい • 使い所によってコスト最適な基盤モデルを選ぼう！いい選択肢が増えた！
22. © ZOZO, Inc. 22 re:inventの感想
23. © ZOZO, Inc. 23 re:inventの感想 • Bedrock/AmazonQ関連の発表・セッションが多かった印象でした ◦ 特に、ユーザーがAIをどう使ったらいいのかを指南することにフォーカス • CodeTalkが個人的には一番気に入ったセッションタイプでした ◦ AWSのエンジニアが書いたコードを見せながらソリューションを解説するセッション ◦ 具体的な実装を見るのが一番分かりやすい ◦ POCレベルで作ってみたようなものも紹介されていて、新しいことがたくさん学べた • 最新技術にたくさん触れ、様々なエンジニアと交流し、かなり成長できた