Slide 31
Slide 31 text
© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.
マルチモデル対応
内部でログを抽象化して DynamoDB Table に保持しており、モデル間のプロンプトの差異を吸収するため
複数モデルを併⽤できる。たとえば会話途中でのモデルの切り替えもできる
2024 年 5 ⽉ 15 ⽇現在、テキスト⽣成は Amazon, Anthropic, Cohere, Meta, Mistral の 計 16 モデルと
TGI 対応の Sagemaker エンドポイント、画像⽣成は Amazon, Stability AI の計 2 モデルに対応
role: ‘user’
content: ‘フィボナッチ数を10個列挙して’
role: ‘assistant’
content: ‘0, 1, 1, 2, 3, 5, 8, 13, 21, 34’
role: ‘system’
content: ‘あなたはチャットボットです’
role: ‘user’
content: ‘その数を全て⾜し合わせると︖’
…
DynamoDB Table
あなたはチャットボットです\n\nHuman:フィボナッチ
数を10個列挙して\n\nAssistant:0, 1, 1, 2, 3, 5, 8, 13, 21,
34\n\nHuman:全て⾜し合わせると︖\n\nAssistant:
[INST]あなたはチャットボットです[/INST]\nわかり
ました\n[INST]フィボナッチ数を10個列挙して
[/INST]\n0, 1, 1, 2, 3, 5, 8, 13, 21, 34\n[INST]全て⾜し
合わせると︖[/INST]
Amazon Bedrock
モデル A ⽤プロンプト
モデル B ⽤プロンプト
Lambda Function
モデル B
モデル A