BedrockでAI基盤モデルを選定してみよう / Selecting a foundation model with Bedrock

Transcript

1. BedrockでAI基盤モデルを選定してみよう hoshi7_n
2. ほしなな (hoshi7_n) 経歴 興味 2023/04：新卒 2025/06：2025 Japan AWS Jr.Champions 選出 2025 Japan All AWS Certifications Engineers 選出 AWS スクラム TypeScript モバイルアプリ開発 Qiita 2 趣味 謎解き・キックボクシング・茶道
3. Bedrockで使えるAIモデルを10秒以内に できるだけチャットに書いてください！ ほしななからの挑戦状
4. Nova Lite Claude Sonnet 4 GPT-OSS Qwen3-32B DeepSeek-V3.1 Titan Text G1 - Express
5. Nova Lite Claude Sonnet 4 GPT-OSS Qwen3-32B DeepSeek-V3.1 Titan Text G1 - Express Bedrockで選べる 基盤モデルは100以上！
6. ただ、多すぎて選ぶのがむずかしい… モデルの選定とかで調べても あまり出てこない… どうやって選んだら いいんだろう… あんまよくわかんない し、Claudeでいいかな
7. 今日のLTのゴール モデル選定のヒントとして 今日のLTを思い出してもらう 💡 そういえば、Jr.Championsで モデル選定の話をしてる人いたな どうやって選んだら いいんだろう… あんまよくわかんない し、Claudeでいいかな ・モデル選定に悩んでいる方 ・これから悩むであろう皆様 ・とりあえず良いと言われるモデル　 を使っている方
8. A G E N D A モデルの 比較・選定手順 をみる Input 手順を使って モデル選定を してみる Output
9. A G E N D A モデルの 比較・選定手順 をみる Input 手順を使って モデル選定を してみる Output
10. モデルの比較・選定手順をみる 絞り込みフェーズ 比較フェーズ PHASE 01 PHASE 02 1. ユースケースの洗い出し 2. 実装条件の洗い出し 3. モデルの洗い出し 1. 比較観点の洗い出し 2. 比較観点の優先順位決め 3. 2.を基準にモデル比較 モデル決定！ PHASE 03
11. A G E N D A モデルの 比較・選定手順 をみる Input 手順を使って モデル選定を してみる Output
12. 手順を使ってモデル選定をしてみる 今回は 　　5つの質問を出してユーザーの好きなAWSサービスを当てるサービス 　　　　　　　　　　　　　　　　　　　　　　　　　のモデル選定をする S3が一番 好きですね？ ちがいます
13. 手順を使ってモデル選定をしてみる 絞り込みフェーズ 比較フェーズ PHASE 01 PHASE 02 1. ユースケースの洗い出し 2. 実装条件の洗い出し 3. モデルの洗い出し 1. 比較観点の洗い出し 2. 比較観点の優先順位決め 3. 2.を基準にモデル比較 モデル決定！ PHASE 03 リアルタイム 対話形式 質問は5問 日本に 住んでいる人向け
14. 手順を使ってモデル選定をしてみる 絞り込みフェーズ 比較フェーズ PHASE 01 PHASE 02 1. ユースケースの洗い出し 2. 実装条件の洗い出し 3. モデルの洗い出し 1. 比較観点の洗い出し 2. 比較観点の優先順位決め 3. 2.を基準にモデル比較 モデル決定！ PHASE 03 リアルタイム 対話形式 質問は5問 日本に 住んでいる人向け Streaming対応可 日本語対応 ap-northeast-1 TEXTタイプ （画像生成不要）
15. 手順を使ってモデル選定をしてみる 絞り込みフェーズ 比較フェーズ PHASE 01 PHASE 02 1. ユースケースの洗い出し 2. 実装条件の洗い出し 3. モデルの洗い出し 1. 比較観点の洗い出し 2. 比較観点の優先順位決め 3. 2.を基準にモデル比較 モデル決定！ PHASE 03 - Streaming対応可 - 日本語対応 - TEXTタイプ - ap-northeast-1 2.をまとめた条件
16. 手順を使ってモデル選定をしてみる 絞り込みフェーズ 比較フェーズ PHASE 01 PHASE 02 1. ユースケースの洗い出し 2. 実装条件の洗い出し 3. モデルの洗い出し 1. 比較観点の洗い出し 2. 比較観点の優先順位決め 3. 上記を総合的に判断 モデル決定！ PHASE 03 - Streaming対応可 - (日本語対応) - TEXTタイプ - ap-northeast-1 2.をまとめた条件
17. 手順を使ってモデル選定をしてみる 絞り込みフェーズ 比較フェーズ PHASE 01 PHASE 02 1. ユースケースの洗い出し 2. 実装条件の洗い出し 3. モデルの洗い出し 1. 比較観点の洗い出し 2. 比較観点の優先順位決め 3. 2.を基準にモデル比較 モデル決定！ PHASE 03 - Nova Pro - Nova Lite - Nova Micro Amazonモデル - Claude 3.5 Sonnet v2 - Claude 3.7 Sonnet - Claude Sonnet 4 Anthropicモデル ＜謝罪＞ 先月時点の検証な ので、GPTや DeepSeek、Qwen などの検証ができ ていません。。
18. 手順を使ってモデル選定をしてみる 絞り込みフェーズ 比較フェーズ PHASE 01 PHASE 02 1. ユースケースの洗い出し 2. 実装条件の洗い出し 3. モデルの洗い出し 1. 比較観点の洗い出し 2. 比較観点の優先順位決め 3. 2.を基準にモデル比較 モデル決定！ PHASE 03 - 回答の違和感のなさ - コスト - 応答速度 - クォータの上限 1. 比較観点の洗い出し 1. 回答の違和感のなさ 2. コスト 3. クォータの上限 4. 応答速度 2.優先順位決め プロジェクトの方針に則って 優先順位を決める
19. 手順を使ってモデル選定をしてみる 絞り込みフェーズ 比較フェーズ PHASE 01 PHASE 02 1. ユースケースの洗い出し 2. 実装条件の洗い出し 3. モデルの洗い出し 1. 比較観点の洗い出し 2. 比較観点の優先順位決め 3. 2.を基準にモデル比較 モデル決定！ PHASE 03 1. 回答の違和感のなさ 2. コスト 3. クォータの上限 4. 応答速度 優先順位 6つのモデルを同じプロンプト でプレイグラウンドにて検証
20. 手順を使ってモデル選定をしてみる 優先順位 Nova Pro Nova Lite Nova Micro Claude 3.5 Sonnet v2 Claude 3.7 Sonnet Claude Sonnet 4 回答の違和 感のなさ × △ ◦ ◦ ◦ ◦ コスト クォータ上 限 応答速度 絞り込みフェーズ 比較フェーズ PHASE 01 PHASE 02 1. ユースケースの洗い出し 2. 実装条件の洗い出し 3. モデルの洗い出し 1. 比較観点の洗い出し 2. 比較観点の優先順位決め 3. 2.を基準にモデル比較 モデル決定！ PHASE 03
21. 手順を使ってモデル選定をしてみる 優先順位 Nova Pro Nova Lite Nova Micro Claude 3.5 Sonnet v2 Claude 3.7 Sonnet Claude Sonnet 4 回答の違和 感のなさ × △ ◦ ◦ ◦ ◦ コスト ◦ ◎ ◎ △ △ △ クォータ上 限 オンデマンド 50 RPM 100 k TPM クロスリージョ ン 100 RPM 200 k TPM オンデマンド 100 RPM 100 k TPM クロスリージョン 200 RPM 200 k TPM オンデマンド 100 RPM 100 k TPM クロスリージョン 200 RPM 200 k TPM クロスリージョン 50 RPM 400 k TPM クロスリージョン 50 RPM 50 k TPM クロスリージョン 200 RPM 200 kTPM 応答速度 3437 ms 2686 ms 818 ms 2900 ms 5155 ms 5222 ms 絞り込みフェーズ 比較フェーズ PHASE 01 PHASE 02 1. ユースケースの洗い出し 2. 実装条件の洗い出し 3. モデルの洗い出し 1. 比較観点の洗い出し 2. 比較観点の優先順位決め 3. 2.を基準にモデル比較 モデル決定！ PHASE 03 ※気合いで調べてください
22. 選ばれたのは、Nova Microでした 絞り込みフェーズ 比較フェーズ PHASE 01 PHASE 02 1. ユースケースの洗い出し 2. 実装条件の洗い出し 3. モデルの洗い出し 1. 比較観点の洗い出し 2. 比較観点の優先順位決め 3. 2.を基準にモデル比較 モデル決定！ PHASE 03 優先順位 Nova Pro Nova Lite Nova Micro Claude 3.5 Sonnet v2 Claude 3.7 Sonnet Claude Sonnet 4 回答の違和 感のなさ × △ ◦ ◦ ◦ ◦ コスト ◦ ◎ ◎ △ △ △ クォータ上 限 オンデマンド 50 RPM 100 k TPM クロスリージョ ン 100 RPM 200 k TPM オンデマンド 100 RPM 100 k TPM クロスリージョン 200 RPM 200 k TPM オンデマンド 100 RPM 100 k TPM クロスリージョン 200 RPM 200 k TPM クロスリージョン 50 RPM 400 k TPM クロスリージョン 50 RPM 50 k TPM クロスリージョン 200 RPM 200 kTPM 応答速度 3437 ms 2686 ms 818 ms 2900 ms 5155 ms 5222 ms 決定！
23. ご清聴ありがとうございました！