12 個 Tool と、 4,096 Token

Transcript

1. ON-DEVICE FOUNDATION MODEL 12 個の Tool と、 4,096 Token 小さなモデルに、迷わずツールを使ってもらう方法 Fenrir · アウン 01 / 08
2. OVERVIEW Assistant がやること Read 「今月いくら使った？」 → Tool で集計し、 Chart で答える Write 「昨日のランチ 800円」→ 確認 Card を作る。 保存するのはユーザーの Confirm だけ Read：集計 + Chart Write：確認 Card 02
3. 02 課題 ツールが多すぎた 12 4,096 1 毎回モデルに渡したツール FoundationModelのMAXトークン 全部を一度にこなす小さなモデル 起きたこと 違うツールを選ぶ Fenrir · アウン 同じツールを3回呼ぶ ツール呼び出しを文字で返す 02 / 08
4. 03 アイデア 仕事を2つに分ける 支出ワーカー getSpending · compareSpending ユーザーの メッセージ ルーター ツールなし 意図を1つ選ぶだけ 支出追加ワーカー addExpense · addIncome 返信 or カード 予算ワーカー setBudget · getBudgets …ほかにも、意図ごとにワーカーが1つずつ ① ユーザーが何をしたいか決める Fenrir · アウン ② 必要なツールだけで実行する 03 / 08
5. 04 ワーカー ワーカーは自分の仕事だけを知っている spending getSpending, compareSpending find findExpenses, getSpending addExpense addExpense, addIncome setBudget setBudget, getBudgets addShop addShop unclear ツールなし — ユーザーに聞き返す 12個ではなく、2〜3個だけ。 2つ目のツールは、ルーターが少しずれたときの保険です。 Fenrir · アウン 04 / 08
6. コード · @Generable 05 ルーターは決まった形で答える @Generable @Generable(description: "Which category a message belongs to") struct RoutedIntent { @Guide(description: "Exactly one of the category names") var intent: AssistantIntent @Guide(description: "The same message, rewritten to stand on its own") var standalone: String? } モデルはこの構造体を埋めるだけ。自由な文章は 書けない。 intent 「spending」や「addExpense」など、1単語だけ。 standalone 「先月は？」を、それだけで意味が通る質問に書き 直す。 session.respond(to: message, generating: RoutedIntent.self) Fenrir · アウン 05 / 08
7. コード · AssistantIntent 06 1つの意図 → 少しのツール enum AssistantIntent: String, CaseIterable { case spending, find, addExpense, setBudget, addShop, unclear // … var tools: [String] { switch self { case .spending: ["getSpending", "compareSpending"] case .addExpense: ["addExpense", "addIncome"] case .addShop: ["addShop"] case .unclear: [] // … } } ルーター → "addExpense" .addExpense.tools 新しいワーカーセッション ツールは 2つだけ } Fenrir · アウン 06 / 08
8. 07 結果 トレードオフ 少し遅くなった でも、結果はずっと良くなった 2回 正しいツール まずルーター、次にワーカー。 1つのメッセージで、モデルを2回呼ぶ。 間違ったツールや、同じ呼び出しの繰り返しが減った。 ツールのコードも返信に出なくなった。 速さよりも、正しさを選びました。 Fenrir · アウン 07 / 08
9. まとめ 考えることを減らせば、 モデルはもっと上手に考える。 ルーターは1つ ワーカーは小さく 自分の仕事だけ ありがとうございました Fenrir · アウン 08 / 08