Slide 16
Slide 16 text
AgentInstruct: Toward Generative Teaching with Agentic Flows
• Microsoft Research からLLMの事後学習⽤の⾃動データ⽣成プロセスAgentInstruct を提案
• AgentInstructは3つのフローで構成されるマルチエージェントワークフロー
1. コンテンツ変換フロー:⽣データを中間表現に変換し、指⽰データ⽣成を容易にする
2. シード指⽰⽣成フロー:変換されたコンテンツを基に、多様な指⽰と応答データを⽣成
3. 指⽰精錬フロー:⽣成された指⽰と応答データの複雑さと品質を向上
• AgentInstructが⽣成する指⽰データの種類とタスクの⼀例
• Reading Comprehension, Tool Use, RAG, Web Agent, Coding など17種類
• Mistral-7b-v0.1 を提案⼿法に従い2580万のデータでファインチューニングしOrca-3を作成
• 学習に利⽤した17種類のタスクの性能はGPT-4に匹敵した
Agentic AI Systems