Amazon Nova understanding models に触れてみた

Transcript

1. Amazon Nova understanding models に触れてみた 1 兒島 祐輔（KOJIMA Yusuke）
2. 2 兒島 祐輔 （KOJIMA Yusuke） 自己紹介 出身：埼玉県 所沢市 趣味：読書 活動：AWS案件支援 生成AI活用 社内DX推進 好きなサービス：EventBridge, Lambda
3. 3 質問 AWS re:Invent 2024 に参加した人いますか？
4. 4 Amazon の 大規模言語モデル（LLM） Amazonが新たにLLMを開発していることは、以前から噂されていた “AWS re:Invent 2024” の基調講演にて、 正式にAmazon独自開発のLLM 「Amazon Nova」が発表 https://ascii.jp/elem/000/004/168/4168394/
5. 5 以前より噂されていたコードネーム「Olympus（オリンパス）」と呼ばれるLLM その謎を解明すべく、我々はアマゾンの奥地へ向かった ―― “AWS re:Invent 2024” で突如として現れた、Amazon独自開発LLMの 「Amazon Nova」 普段、Anthropic 社の “Claude” を使用している我々は、 「Claude と何が違うのか」「プロダクトに組み込める性能なのか」謎は深まるばかり 今まで存在しているAmazon独自LLM「Titan」とはもう忘れ去られてしまうのか
6. Creative Content Generation models 画像モデル（Image-to-image） • Amazon Nova Canvas 動画モデル（Text-to-video, Image-to-video） • Amazon Nova Reel 6 Amazon Nova とは Understanding Models 軽量モデル（Text only） • Amazon Nova Micro 汎用モデル（Text, Image, Video-to-text） • Amazon Nova Lite • Amazon Nova Pro • Amazon Nova Premier (coming soon...) What’s Next for Amazon Nova? 音声モデル（Speech-to-Speech） マルチモデル（Any-to-Any）
7. 7 Amazon Nova understanding models ◆軽量モデル（Text only） Amazon Nova Micro 高速レスポンス要件 etc. 最大トークン: 128K ✓ 1,000 Input token 0.000035 USD ✓ 1,000 Output token 0.00014 USD ◆汎用モデル（Text, Image, Video-to-text） Amazon Nova Lite Amazon Nova Pro 基本的なQA、解析 etc. 最大トークン: 300K 最大画像サイズ: 25MB ✓ 1,000 Input token 0.00006 USD ✓ 1,000 Output token 0.00024 USD 高度な推論分析 etc. 最大トークン: 300K 最大画像サイズ: 25MB ✓ 1,000 Input token 0.0008 USD ✓ 1,000 Output token 0.0032 USD
8. 8 知りたいのは ”Claude” と実際に何が違うのか
9. 9 Amazon Nova 料金比較 Providers models 1,000 Input token (USD) 1,000 Output token (USD) Amazon Amazon Nova Micro 0.000035 0.00014 Amazon Amazon Nova Lite 0.00006 0.00024 Anthropic Claude 3 Haiku 0.00025 0.00125 Amazon Amazon Nova Pro 0.0008 0.0032 Anthropic Claude 3.5 Haiku 0.0008 0.004 Anthropic Claude 3.5 Sonnet 0.003 0.015
11. 11 Amazon Bedrock Chat/Text playground (1/2) AWSマネージドコンソール上で、LLMのお試し比較ができる機能 温度 • 多様性やランダム性を制御（値が高い：ランダム、値が低い：確実性を重視） トップP • トークンに対するサンプリング範囲（上位ｎ％）を制御 （値が広い：ランダム、値が狭い：確実性を重視） トップＫ • トークンに対するサンプリング範囲（上位ｎ個）を制御 （値が広い：ランダム、値が狭い：確実性を重視）
12. 12 Amazon Bedrock Chat/Text playground (2/2) models Input tokens Output tokens Latency (ms) 1 token / ms Amazon Nova Micro 79 876 5,303 6.05 Claude 3 Haiku 113 990 8,183 8.26 Amazon Nova Lite 79 875 7,604 8.69 Claude 3.5 Haiku 113 656 12,968 19.76 Amazon Nova Pro 79 981 15,890 16.19 Claude 3.5 Sonnet 113 1,157 29,402 25.41
13. 13 みなさんも Amazon Nova understanding modelsに触れてみよう
14. 14 Thank you!