Agent Skill Acquisition for Large Language Models via CycleQD

2025年5月2日に行われた進化計算×ニューラルネットワーク論文読み会（https://abeja-innovation-meetup.connpass.com/event/352604/）の発表資料です

Transcript

1. 2025/05/02 データサイエンス部　清田浩史 進化計算×ニューラルネットワーク論文読み会 Agent Skill Acquisition for Large Language Models via CycleQD
2. Confidential 株式会社ABEJAでデータサイエンティストをしている清田です。 興味分野は強化学習や画像生成などですが、博士課程で生物学をやっていた関係で機械学習のサイエンスへの応用 にも少し興味があります。 趣味：ゲーム、読書など。 自己紹介 2
3. 大規模言語モデル（LLMs）は、複雑なタスクを実行するエージェントとしての活用が進んでいる LLMに対して「コーディング」「ファイル操作」などの 複数スキルの獲得が求められるようになっている しかし、従来の手法では複数スキルの獲得に次のような課題がある • データ混合比の調整が難しい ：タスク間に不均衡が生じやすい • 勾配ベースでの学習はスキル融合に非効率 ：一部のスキルが失われたり、過学習が起きる 専門モデルを活かしながらデータ設計や損失関数に依存せず汎用スキルを持つ LLMを獲得できる手法として、 進化アルゴリズムを用いたCycleQDを提案 背景 3
4. MAP Elite（初出はIlluminating search spaces by mapping elites）は 進化的に複数のタスクで優れた性能を示す個体を作る手法 タスクを2種類に分ける • Quality（目的のタスク） • Behavior Characteristics（BC、なるべく性能が高いほうがうれしいタスク） BCのスコアを適当なグリッドに区切り、 その枠の中で最もQualityが高い個体をエリートとして残す 交叉と変異で新しく得られた個体が割り当てられるグリッドが • 既存のエリートのいないグリッド • 既存エリートよりQualityのスコアが高い なら、そのグリッドにエリートとして配置する MAP Elite 4
5. 5 Agent Skill Acquisition for Large Language Models via CycleQD （ICLR2025採択） MAP Eliteを拡張してQuality役となるタスクを交代しながら交互に最適化する • 各タスクの性能を均等に最大化できる • あるタスクへの最適化の最中に副作用として他のタスクへの性能が上がることが あり、それらを保持しておける これらの特徴から複数タスクへの最適化をデータ比などの調整をすることなく実現で きる CycleQDの概要
6. CycleQDの詳細1：交互最適化 6 2. BCをXとZ、QualityをYとしてグリッドを作成。グ リッドに基づいて親を選択し、次の世代の子を生成 する 3. BCをZとY、QualityをXとしてグリッドを作成。グ リッドに基づいて親を選択し、次の世代の子を生成 する 1. BCをYとX、QualityをZとしてグリッドを作成。グリッ ドに基づいて親を選択し、次の世代の子を生成する
7. 7 CycleQDの詳細2：交叉（親の選択とモデルマージ） 正規化スコア
8. 8 CycleQDの詳細3：SVDによる変異
9. 9 • CycleQDで得られたモデルは元となった各タスクのエキ スパートモデルより概ね好成績。 • 全データを使ったファインチューニングよりも成績 が良い点も重要。 • Llama3-8B-Instructをベースにしたモデルで GPT-3.5-turboに匹敵する成績 • CycleQDは他のマージ手法に比べても成績が良い 実験 • 対象データセット： ◦ Coding（MBPP+） ◦ OS操作（AgentBench） ◦ DBクエリ生成（AgentBench） • LLaMA3-8B-Instructをベースモデルとして各タスクを個別ファインチューニングしたエキスパートモデルを作成 • 総世代数：CycleQDを1200世代回す
10. 10 • CycleQDによって初期位置（赤枠、各タスクのエキスパートモデルの位置）から大きく探索範囲を拡げていること、エキスパートモデル より成績の良いモデルが出現していることがわかる • 広い領域で多様かつ高性能なモデルが得られている 実験
11. • QD（MAP Elite）-> CycleQDとするだけでもそこそこ性能が向上する • Gaussian mutationでは性能が劣化（と著者は言っているが、下がっているのは DBだけに見える） • SVD mutationは効果的 • Elite samplingを導入することでさらに改善 Ablation Studies 11
12. LLM以外のドメインへのCycleQDの適用可能性を検 証 CAM（明細物体検出）、POL（ポリープ検出）、SKL （皮膚病変検出）、LEA（植物の葉の検出）の4つ のタスクに対するエキスパートモデルを作成し、各 タスクペアについてCycleQDを適用。スコアはエ キスパートモデルの成績に対する相対値 一部のタスクペア（POL+SKL）では両方のタスクでエ キスパート並みの性能を維持できたが、逆に顕著 に劣化するタスクペアもあった（CAM+LEA、 POL+LEA） その差異はModel Similarityと相関があった Segment Anything Models (SAM) への適用 12
13. • 複数のスキルを持つLLMを効率的に構築する進化的手法として CycleQDを提案 • データ比率や損失設計に依存せず、多様性と性能を両立 • 汎用性が高く、LLM以外の分野（例：画像セグメンテーション）にも応用可能 感想 SAMにも適用可能であることが面白かった。もっと一般的に様々なドメインに適用できるのか気になる まとめ 13
15. 他の進化手法との比較 15
16. • 世代が進むと多様性が増える 世代によるアーカイブの推移 16
17. ハイパーパラメータ 17
19. Confidential SVDによる変異の導入 19