Slide 17
Slide 17 text
17
©2024 Loglass Inc.
LLM engineering != prompt engineering
評価・実験も単にEvalsだけでなく、ユースケース選定やキャッシング含めて、より総合的で担保・改善
していくもの?
Prompt Tuning
出力のユニークネスを抑える調整
Caching
出力のブレを抑える仕組み
Guadlails
LLMアウトプットの品質管理
Usecase of LLM
何の問題をどう解くのに使うか
Defensive UX
曖昧性・不安定性に対するUX
Collect Feedback
FB収集と代替指標による監視
UX for AI
AI/LLMアプリ向けのUI・UX
Monitoring
LLMの出力の継続的な監視・記録
Evals
自動テストで一定割合の精度を確認