LEARNING TO ORCHESTRATE AGENTS IN NATURAL LANGUAGE WITH THE CONDUCTOR

■イベント
Kyoto AI Meetup 分科会 #1 NLP論文読み会~査読コメントまで見てみよう~
https://sansan.connpass.com/event/395169/

■登壇概要
タイトル：LEARNING TO ORCHESTRATE AGENTS IN NATURAL LANGUAGE WITH THE CONDUCTOR
登壇者：技術本部 研究開発部 大田尾 匠

■ 技術本部 採用情報
https://media.sansan-engineering.com

Transcript

1. Kyoto AI Meetup 分科会 #1 NLP論文読み会~査読コメントまで見てみよう~ LEARNING TO ORCHESTRATE AGENTS IN NATURAL LANGUAGE WITH THE CONDUCTOR Sansan株式会社 技術本部 研究開発部 大田尾 匠
2. 大田尾 匠 Sansan株式会社 技術本部 研究開発部 Data Analysisグループ 研究員 京都大学大学院情報学研究科修士課程修了。 在学中は、最適輸送を自然言語処理に応用した手法の研究に取り 組む。 2024年に新卒としてSansan株式会社に入社し、メール署名取り込 みにおける名刺情報抽出や、Contract Oneにおける親子契約書ひ も付けの研究開発に従事。 1
3. 論文情報 - 強化学習を用いて複数LLMの連携方法を最適化し、複雑な問題を解決するた めの「Conductor」モデルを提案 - どの単独モデルも超える性能を達成 - ICLR 2026 の Poster にaccept
4. 背景 - 強力なLLMにも課題がある 1 万能モデルの不在 2 潜在能力の未活用 3 手動設計の限界 モデルごとに得意なデータセットやド メインは異なり、全タスクで最適なモ デルは存在しない 強力なLLMであっても、人間がその 真の能力を最大限に引き出すことは 困難である 最適なプロンプトやモデル間の連携 ワークフローを手作業で構築・最適 化することには限界がある - LLMの協調戦略そのものを学習させられないか？
5. ワークフローを自然言語で出力する Conductorモデル - 提案手法である「Conductor」モデルは、問題ごとにワークフローを設計し、そ の最終出力を回答とする - 各ステップは3要素で定義 - subtasks: 何をするか - - worker ids: 誰がするか - - 自然言語のサブタスク指示 サブタスクを担当するエージェント access list: 何を入力するか - 各エージェントの文脈に含める過去出力
6. 例 SusanとPamの差額は？ worker1: 「Susanの金額計算」 worker2: 「Pamの金額計算」 worker3: 「SusanとPamの差額計算」 にワーカーを分割する それぞれの金額計算は独立し、 差額計算は過去文脈を考慮
7. GRPOによる学習 - Group Relative Policy Optimization (GRPO) [Shao et. al, 2024] - モデルに複数の回答を出力させ、相対的に報酬rを比較し、正しい出力を学習させ る強化学習の手法 format条件 → r = 0 出力整合条件 → r = 1 / 0.5 subtasks, worker ids, access listの3つにパースできない formatを満たしており、最終出力が正 解と一致なら1, 不一致なら0.5 Shao et al, DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models, 2024
8. 協調戦略は学習を通じて創発される - 収束に近づくにつれ、単なるタスク分担を超え、複数エージェントを協調させる 戦略が創発される 単純な作業の 直列分割 パラメータの分 析と立式 式に基づく 計算実行 問題理解と 戦略立案 推敲と検証を伴う 高度な連携 提案された 戦略の検証 戦略の推敲と 実装
9. 再帰的な呼び出し - 最終回答が得られた後、Conductorが「この回答で十分か、それともワークフ ローを練り直して再実行させるべきか」を判断する - 例 - 最初の計画では、 積分が解けなかった - 二回目の計画では、 モデルを変えて再実行する
10. 実験設定 - - モデル - Conductor: Qwen2.5 7B - Worker: 6つ - Closed: Gemini-2.5-Pro, Claude-Sonnet-4, GPT-5 - Open: DeepSeek-R1-Distill-Qwen-32B, Gemma3-27B-instruct, Qwen3-32B データセット - 学習・In-domain評価: - - MATH(数学) , MMLU(総合知識), RLPR(一般推論), LiveCodeBench V1 (コーディング) Out-domain評価: - GPQA-Diamond(自然科学), BigCodeBench(コーディング), AIME25(数学)
11. 全ベンチマークで SOTAを更新
12. 実験: 他のマルチエージェントモデルとの比較 - 他のマルチエージェントの手法に比べ、LLMの呼び出し回数を抑えつつ高性能 を達成
13. 再帰的な呼び出しが有効
14. 査読1: Reviewer 5Z3X (高評価) - Rating: 8 (accept, good paper, poster) - Strengths - - 強化学習によりend-to-endで学習し、SoTAを達成している - アブレーションも丁寧であり、図や例もわかりやすい Weaknesses - 他のtest-time-compute手法との比較が必要 - 性能だけではなくコスト効率の比較が必要
15. 査読1: Reviewer 5Z3X (高評価) - Rebuttal - 多数決などのtest-time-compute手法よりもConductorの性能が高いことを示した - 他のマルチエージェント手法と比較してコスト効率が高いことを示した
16. 査読2: Reviewer TwCE (低評価 → 高評価) - Rating: 2 (reject, not good enough) → 6 (Marginally above acceptance threshold) - Strengths - - 強化学習でConductorを学習し、複数LLMを協調させるというアイデアは興味深い - 単一モデルを上回る性能改善を示している Weaknesses - 論文として、数式や用語の説明・定義が不十分 - Conductorを別途学習する価値を、実験によって十分に示せていない - 性能改善幅が小さいため、その価値が十分に説得的ではない - GPT-5やGeminiをPlannerとして用いたベースラインとの比較が欠けている
17. 査読2: Reviewer TwCE (低評価 → 高評価) - Rebuttal - GRPOの数式や用語・ワークフローの定義を修正・明確化し、論文の記述を改善した - 難関ベンチマークでは2～3%程度の改善でもモデルの世代交代に匹敵する意義があること を、既存研究やGPT-o3→GPT-5の性能差を引用して説明した。 - GPT-5/GeminiをPlannerとするベースラインを追加し、学習済みConductorの方が高性能 であることを示した
18. 結論 - 複数LLMの協調戦略そのものを強化学習で学習する新しい枠組みである Conductorを提案 - 学習により高度な協調戦略が創発され、単一モデル・既存マルチエージェント 手法を上回る性能を達成 - 査読者の指摘に対して的確な追加実験をRebuttalで示すことで、評価が大きく 改善することがある