【AWS AIF対策】基盤モデルの選び方と推論パラメータ

Transcript

1. 2026年9月 基盤モデルの選び方と推論パラメータ AWS Certified AI Practitioner 対策 #9 赤神青空
2. ▪複数社のモデルを1つのAPIで使えるのが 前回のクイズの答えは「B」 Bedrock 前回のクイズ 複数社の基盤モデルをAPIで呼び分けたい。 モデルの学習やサーバーの管理はしたくない。 最も適したサービスは？ アプリ 1つの API モデルA モデルB モデルC 提供元の違うモデルを、同じAPIで切り替えられる サーバーの管理は不要（マネージドサービス） 答えは B 今ココ おさらい SageMaker AI A Amazon モデルを⾃分で学習‧デプロイする Bedrock B Amazon 複数社のモデルを1つのAPIで使う AgentCore C Bedrock エージェントを本番で動かす基盤 Quick D Amazon 完成した形で業務に使うサービス 2/13
3. ▪どのモデルか、どう呼び出すか、知識をどう補うか 基盤モデルを使うとき、決めるのは3つ どのモデルを使うか 今回 どう呼び出すか 今回 コスト‧モダリティ‧速さ‧⻑さの上限などで絞り込む 温度や Top-P などの推論パラメータで、出⼒の性質を決める ⾜りない知識をどう補うか ⾃社の情報を渡す RAG や、モデル⾃体の調整 今ココ 今回の位置づけ 第10回以降 3/13
4. ▪試験ガイドに挙がっている観点をそのまま並べる モデルを選ぶ基準は9つ コスト モダリティ レイテンシー 多⾔語対応 モデルの⼤きさ モデルの複雑さ カスタマイズ性 ⼊出⼒の⻑さ プロンプトキャッシュ トークンの単価と 呼び出す回数 使う⾔語で 品質が出るか ⾃社のデータで 調整できるか 今ココ モデルの選び方 ⽂章‧画像‧⾳声 など扱える種類 パラメータ数の 規模 ⼀度に渡せる量と 返せる量 答えが返るまでの 時間 中⾝の複雑さと 扱いやすさ 同じ前置きを使い回し コストと時間を減らせるか 4/13
5. ▪扱えるデータの種類が1つか、複数か まずモダリティで絞る 単⼀モーダル ⼊⼒ マルチモーダル 出⼒ モデル ⽂章 扱えるデータの種類が1つ ⽂章だけ、画像だけ 今ココ モデルの選び方 ⼊⼒ ⽂章 出⼒ ⽂章 画像 モデル ⽂章 複数の種類をまとめて⼊⼒できる 出⼒が画像や動画のモデルもある 5/13
6. ▪大きいほどよいわけではない 大きさは、性能とコスト・速さのつり合い ⼩さいモデル ⼤きいモデル 速さ 答えが速く返る 速さ 答えが返るまで時間がかかる コスト トークンの単価が安い コスト トークンの単価が⾼い 向く仕事 分類‧要約‧定型の抽出 向く仕事 ⼿順の多い推論‧難しい⽂章 ⼤きいほどよいわけではない。⽤途に対して⼗分な⼤きさを選ぶ 今ココ モデルの選び方 6/13
7. ▪コンテキストウィンドウと、最大出力トークン数 入出力の長さには上限がある コンテキストウィンドウの上限 ⼊⼒（プロンプト） 会話の履歴 出⼒ 渡した資料 今回の質問 出⼒ ⼊⼒と出⼒を合わせた上限が、コンテキストウィンドウ 最⼤出⼒トークン数は、出⼒だけにかける別の上限 資料や履歴を⻑く渡すほど、出⼒に使える分は減る 今ココ モデルの選び方 7/13
8. ▪使う言語で試す。どこまで手を入れられるかも見る 多言語対応と、カスタマイズのしやすさ 多⾔語対応 カスタマイズのしやすさ 答え ⽇本語で質問 モデル 答え 英語で質問 同じモデルでも、⾔語によって 品質が同じとは限らない 今ココ モデルの選び方 プロンプトの⼯夫 指⽰や例をプロンプトに⼊れる ⼿間 ⼩ RAG 関連する⽂書を探して渡す ⼿間 中 ファインチューニング ⼿間 ⼤ ⾃社データでモデルを調整 事前学習 ⼿間 最⼤ ⼀から作る∕続きを学習させる ほかに、⼤きいモデルの知識を⼩さいモデルに移すモデル蒸留もある どこまで⼿を⼊れられるかも、モデル選びの基準 8/13
9. ▪次の語の確率を、とがらせるか平らにするか 温度は、答えのばらつきを決める 温度が低い 温度が⾼い 「空が」の次に来る語（例） 「空が」の次に来る語（例） ⻘く . ⻘く . 明るい . 明るい . ⾼い . ⾼い . 広い . 広い . 確率の差が開く ほぼ毎回、同じ答えになる 今ココ 推論パラメータ 確率の差が縮まり、平らに近づく 表現がばらつき、意外な語も出る 9/13
10. ▪上位の個数で絞るか、確率の累計で絞るか Top-P と Top-K は、候補の絞り方 次の語の候補（確率の⾼い順‧例） Top-K = 確率 累計 ⻘く . . 明るい . . ⾼い . . 広い . . 暗い . . ほか . . Top-P = . Top-K は上位いくつか、Top-P は累計が指定の値に達するところまで。どちらも候補を絞る設定 今ココ 推論パラメータ 10/13
11. ▪正確さがほしいのか、幅がほしいのか 用途に合わせて設定を決める 事実を正確に答える 分類‧情報の抽出 アイデアを広げる 温度（または Top-P） 低め 低め ⾼め 最⼤出⼒トークン数 短めで⾜りる 短く固定する ⻑めにとる 使う場⾯の例 社内FAQへの回答 問い合わせの仕分け キャッチコピー案 温度と Top-P は、⽚⽅ずつ調整する（同時には動かさない） 特定の⽂字列が出たら⽌める「停⽌シーケンス」も指定できる 今ココ 推論パラメータ 11/13
12. ▪クイズの前に、持ち帰ってほしいことを振り返る 今回のまとめ 基盤モデルを使うときに決めるのは3つ どのモデルか∕どう呼ぶか∕知識をどう補うか モデルを選ぶ基準は9つ コスト‧モダリティ‧速さ‧多⾔語‧⼤きさ‧複雑さ‧調整‧⻑さ‧キャッシュ ⼤きいモデルが常に正解ではない 速さと料⾦とのつり合いで、⽤途に⾜りる⼤きさを選ぶ 温度は、答えのばらつきを決める 温度 Top-P と Top-K は候補の絞り⽅ Top-P 低いほど毎回同じに近づき、⾼いほど表現がばらつく Top-K は上位の個数、Top-P は確率の累計で絞る 今ココ おわりに 12/13
13. ▪動画に付けたクイズから回答できます。答え合わせは次回の冒頭で 今回のクイズ 社内の問い合わせに、同じ質問へはできるだけ同じ答えを返させたい。推論パラ メータをどう設定する？ A 温度を高くする 今ココ おわりに B 温度を低くする C 最大出力トークン数を 大きくする D Top-K を大きくする 13/13