Slide 11
Slide 11 text
デプロイを考える
基盤
モデル
データ
目的
Issue
目的に応じて用意する
事前
学習
クレンジ
ング
チューニング
(RLHF, SFT,
DPO…)
評価
Lora
UI,
RAG
解決できてる?
デプ
ロイ
● 機能要件:学習(データやLora含む)やRAGでどうにかする。
○ 自然言語処理。
○ リクエストに対して適切なレスポンスを返す。
● 非機能要件:エンジニアの腕の見せ所!
○ レイテンシとスループット
○ 安定性
○ コスト
○ デプロイ容易性とスケーラビリティ
○ トラブルシューティング
○ ログとメトリクス