デザインパターンで理解するLLMエージェントの作り方 / How to develop an LLM agent using agentic design patterns

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© 2024 Loglass Inc. 1 自己紹介新卒でヤフー株式会社に入社、ID連携システムの開発 2022年に株式会社ログラスに入社経営管理SaaSの開発、開発生産性向上に取り組んだのち、生成AI/LLMチームを立ち上げ、複数LLM機能の開発をリード現在は新規事業 × LLMの探索中最近の趣味はポッドキャスト(AI Engineering Now) 株式会社ログラスエンジニア r.kagaya(@ry0_kaga)

Slide 3

Slide 3 text

© 2024 Loglass Inc. 2 今日の内容 ● 話すこと ○ LLMエージェント、Agentic Workflowの設計パターン ■ 特にAgentic Design Pattern ○ 関連事例/リソース紹介 ● 話さないこと ○ AI/LLMエージェント、Agentic Workflowの概要、定義の詳細 ○ 特定言語 / フレームワークでの実装言語・フレームワークレベルでの実装ではなく、LLMエージェント、Agenticワークフローを作る上で参考になる抽象的な構造について言及します

Slide 4

Slide 4 text

Slide 5

Slide 5 text

© 2024 Loglass Inc. 4 単一のプロンプトからAgenticなワークフローへ ● 一回のプロンプト実行（Non-Agentic）での出力品質の制約 ○ 複雑なタスクへの対応の難しさ ● LLMが反復的、段階的、自律的にタスクをこなすAgenticワークフローへ ● Agentic ≒ 設定された目標に向かって、より自律的に行動しタスクがこなせる ● Agenticなワークフローの効果 ○ コーディングベンチマークのHumanEvalを用いた検証（少し古い事例） ■ GPT-3.5 ゼロショット: 48.1% ■ GPT-4 ゼロショット: 67.0% ■ GPT-3.5 Agenticワークフロー: 95.1% 補足: few shots promptingも強力

Slide 6

Slide 6 text

© 2024 Loglass Inc. 5 翻訳プロセスを「事前調査」「ドラフト」「リファインメント」「校正」の4段階に分解 Zero-shot Promptingによる翻訳と比較して、各ステップで翻訳品質が段階的に向上 ● 自然な表現に修正 ● 文法,語彙,構文を改善 ● 翻訳言語らしい表現に調整 ● 事前調査を基に下訳を作成 ● 正確性重視 ● 原文の意味を忠実に反映翻訳タスクを複数のステップでこなすことで品質が上がる Translating Step-by-Step: Decomposing the Translation Process for Improved Translation Quality of Long-Form Texts 事前調査ドラフトリファインメント校正 ● 原文の慣用句や比喩表現を特定 ● 課題の事前把握 ● 翻訳戦略を立案 ● 最終チェック ● 誤字脱字の修正 ● 文法的誤りの確認 ● 正確性と流暢さの最終確認

Slide 7

Slide 7 text

© 2024 Loglass Inc. 6 Agentic Workflow == LLMが反復的、段階的、自律的にタスクをこなすプロンプト一回でタスクをこなすのではなく、タスクの分解、「〇〇を修正して」というフィードバックの提供等を反復的に行った方が求めた出力に近づく可能性は高くなるプロンプトを与えて一度で出力を生成 ≒ ゼロショット一度で出力生成を完結させず、LLMが反復的にタスクをこなしながら、出力を改善 ≒ LLMエージェント、フローエンジニアリング Non Agentic Workflow Agentic Workflow

Slide 8

Slide 8 text

© 2024 Loglass Inc. 7 Agentic Workflow == LLMが反復的、段階的、自律的にタスクをこなすプロンプト一回でタスクをこなすのではなく、タスクの分解、「〇〇を修正して」というフィードバックの提供等を反復的に行った方が求めた出力に近づく可能性は高くなるプロンプトを与えて一度で出力を生成 ≒ ゼロショット一度で出力生成を完結させず、LLMが反復的にタスクをこなしながら、出力を改善 ≒ LLMエージェント、フローエンジニアリング Non Agentic Workflow Agentic Workflow -> 複数のLLM推論、not AIなプログラムをどう組み合わせ、処理の流れを作るか

Slide 9

Slide 9 text

© 2024 Loglass Inc. 8 翻訳プロセスを「事前調査」「ドラフト」「リファインメント」「校正」の4段階に分解 Zero-shot Promptingによる翻訳と比較して、各ステップで翻訳品質が段階的に向上 ● 自然な表現に修正 ● 文法,語彙,構文を改善 ● 翻訳言語らしい表現に調整 ● 事前調査を基に下訳を作成 ● 正確性重視 ● 原文の意味を忠実に反映（再掲）翻訳タスクを複数のステップでこなすことで品質が上がる Translating Step-by-Step: Decomposing the Translation Process for Improved Translation Quality of Long-Form Texts 事前調査ドラフトリファインメント校正 ● 原文の慣用句や比喩表現を特定 ● 課題の事前把握 ● 翻訳戦略を立案 ● 最終チェック ● 誤字脱字の修正 ● 文法的誤りの確認 ● 正確性と流暢さの最終確認

Slide 10

Slide 10 text

© 2024 Loglass Inc. 9 翻訳プロセスを「事前調査」「ドラフト」「リファインメント」「校正」の4段階に分解 Zero-shot Promptingによる翻訳と比較して、各ステップで翻訳品質が段階的に向上 ● 自然な表現に修正 ● 文法,語彙,構文を改善 ● 翻訳言語らしい表現に調整 ● 事前調査を基に下訳を作成 ● 正確性重視 ● 原文の意味を忠実に反映（再掲）翻訳タスクを複数のステップでこなすことで品質が上がる Translating Step-by-Step: Decomposing the Translation Process for Improved Translation Quality of Long-Form Texts 事前調査ドラフトリファインメント校正 ● 原文の慣用句や比喩表現を特定 ● 課題の事前把握 ● 翻訳戦略を立案 ● 最終チェック ● 誤字脱字の修正 ● 文法的誤りの確認 ● 正確性と流暢さの最終確認翻訳を段階的に行う LLMワークフローで翻訳品質が向上

Slide 11

Slide 11 text

© 2024 Loglass Inc. 10 LLMエージェントデザインパターンの意義モデルやツールの進化に依存しない共通パターンを理解する ● モデルやツールの状況は日進月歩で変化している ● 半年前はGPT-4o miniも、LangGraphも存在していない ● 抽象的な共通パターンの理解は比較的長期で適用可能な知見 ● LLMエージェントの研究/実装を本スライドで紹介するAgentic Design Patternで捉えることで整理、理解を深めるなど

Slide 12

Slide 12 text

Slide 13

Slide 13 text

© 2024 Loglass Inc. 12 Agentic Workflow / LLMエージェント構築の4つのデザインパターン ● Andrew Ng氏が提唱 ● Agentic Workflow / LLMエージェントに共通で見られるパターン、構造を整理 ● Reflection、Tool Use、Planning、Multi-agent collaborationの4つに分類 Reflection Tool Use Multi-agent Planning

Slide 14

Slide 14 text

Slide 15

Slide 15 text

© 2024 Loglass Inc. 14 Reflectionの実装例 ● 良質なフィードバックを生成できるか、フィードバックを改善に繋げられるか名称アプローチ特徴 Self-Refine 単一LLMによる自己改善の反復的プロセス自身の出力に対するフィードバック生成フィードバックに基づく出力の改善単一モデルで完結する設計 Reflexion メモリーと自己反省機能を活用した改善プロセス言語的フィードバックの生成長期記憶への保存機能次回試行での改善に活用 CRITIC 外部ツールとの対話による検証・改善サイクル外部ツールとの連携による検証 LLM単体の限界を補完多角的な出力評価が可能紹介する事例・研究は Agentic Design Pattern登場当時に言及されていた、少し昔の研究・実装

Slide 16

Slide 16 text

Slide 17

Slide 17 text

© 2024 Loglass Inc. 16 Tool Useの実装例 ● 何のツールを選定して、どのLLMにどのツールを、いつ使わせるか名称アプローチ特徴 Toolformer APIコール生成の自己学習 Few-shotベースの学習 API呼び出しのタイミング学習適切な引数の自動生成有用なAPIコールの選別 Gorilla APIコールに特化検索システムとの連携高精度なAPI選択適切なコード生成 APIドキュメント更新対応 GPT-4超えの精度実現紹介する事例・研究は Agentic Design Pattern登場当時に言及されていた、少し昔の研究・実装

Slide 18

Slide 18 text

Slide 19

Slide 19 text

© 2024 Loglass Inc. 18 Planningの実装例 ● 計画立案を自律的に行えば行うほど複雑度が増し、コントロールが難しい側面名称アプローチ特徴 Plan-and-Solve Plan段階でのタスク分割 Solve段階での順次実行 2段階プロンプティング段階的な問題解決 HuggingGPT 複数モデルの連携タスク依存関係の分析最適モデルの選択複雑タスクの分解 BabyAGI マルチエージェント方式反復的なタスク生成タスク優先順位付け動的なタスク管理紹介する事例・研究は Agentic Design Pattern登場当時に言及されていた、少し昔の研究・実装

Slide 20

Slide 20 text

Slide 21

Slide 21 text

© 2024 Loglass Inc. 20 Multi-agent collaborationの実装例 ● 役割分担とエージェント間のコミュニケーション設計名称アプローチ特徴 ChatDev 開発プロセスに特化 Chat Chainによる対話型協調フェーズごとの役割分担ロール別マルチエージェント CEO、CTO、プログラマー、テスター MetaGPT SOPsベースの協調 Pub/Subメカニズム役割別スキーマ定義専門的役割を持つエージェント群標準化された作業手順フィードバックメカニズム API-Bank 段階的データ生成専門エージェントの連携品質チェック機能ドメインエージェント APIエージェントクエリ/実行エージェントテストエージェント紹介する事例・研究は Agentic Design Pattern登場当時に言及されていた、少し昔の研究・実装

Slide 22

Slide 22 text

© 2024 Loglass Inc. 21 Agentic Design Patternの使い方 ● 登場直後はOSS/論文でも1,2つ程度のパターンが確認できるものが多かった印象 ● 今となってはこの4つだけでは分類/整理しきれない ○ 濃淡はあれどAgentic Design Patternが確認できない方が珍しい（感想） ● シンプルな形でも使いやすいのはReflection、Tool Use ● Planningは強力。意図せぬ挙動になる可能性もあるが使いこなせると幅が広がる ● Multi Agentは、エージェント数 / 役割分担の差配 /エージェント間の連携が重要 ○ エージェント間の連携方法 ■ 単に出力をそのまま渡すのではなく、YAML,XMLを用いて独自仕様の構造化ドキュメント、pub-subに近い仕組みの導入 ■ LangChainが公開したAgent Protocolのように標準I/F登場の可能性も

Slide 23

Slide 23 text

Slide 24

Slide 24 text

© 2024 Loglass Inc. 23 Sakana.aiのAIサイエンティスト ● アイデア創出から論文執筆まで自動化 ● 1論文あたり約15ドルで生成可能 ● アイディア生成、実験、論文執筆の3フェーズ Idea Generation（アイデア生成） ● LLMによるアイデア・計画の革新 ● Semantic Scholarによる新規性確認 ● アイデアのスコアリングとアーカイブ Experiment Iteration（実験実行） ● 実験テンプレートの活用 ● LLM & aiderによるコード生成 ● 実験の実行と結果収集、反復 Paper Write-Up（論文執筆） ● 論文テンプレートの活用 ● 論文の執筆と改訂 ● LLMによる論文レビュー「AIサイエンティスト」： AIが自ら研究する時代へ

Slide 25

Slide 25 text

© 2024 Loglass Inc. 24 Sakana.aiのAIサイエンティストに見るAgentic Design Pattern デザインパターン毎にざっくり見てみる、特にReflection, Tool Use(+ Chain of thought) ● 研究アイデアの自己評価 ● 実験結果の分析と改善 ● 論文の品質チェックと修正 ● Semantic Scholar APIによる文献調査 ● Aiderによるコード生成と実行 ● LaTeXコンパイラの活用 ● 研究アイディアの立案 ● 実験計画の設計、具体化 ● 論文ピアレビューを担当する Reviewer Agent Reflection Tool Use Planning Multi-Agent 「AIサイエンティスト」： AIが自ら研究する時代へ

Slide 26

Slide 26 text

© 2024 Loglass Inc. 25 Sakana.aiのAIサイエンティストに見るAgentic Design Pattern デザインパターンの組み合わせ振り返りに基づく計画の改善: 実験結果を振り返り、次のステップを効率的に計画する Planning + Reflection ツールを活用した役割分担: 各エージェントが専門ツールを活用し、より高度な作業をこなす Multi-Agent + Tool Use 複数エージェント: 実験・執筆・レビューの各フェーズを専門エージェントが担当各フェーズ・エージェントでもself-reflectionによる改善 Multi-Agent + Reflection 「AIサイエンティスト」： AIが自ら研究する時代へ

Slide 27

Slide 27 text

© 2024 Loglass Inc. 26 MicrosoftのMagentic-One マルチエージェントの協調による複雑なタスクの解決 Orchestratorエージェントが4つの専門エージェントを指揮する、チームベースアプローチタスクの分解/計画/進捗管理 Orchestrator Magentic-One: A Generalist Multi-Agent System for Solving Complex Tasks Webブラウザ操作 WebSurfer ファイル処理 FileSurfer コーディング Coder プログラム実行 ComputerTerminal

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

© 2024 Loglass Inc. 30 AFlow: Automating Agentic Workflow Generation ● モンテカルロ木探索を用いてLLMワークフローの自動生成 ● コードで表現されたノードとエッジ、オペレーターで構成 ○ オペレーター: 事前定義されたノードの組み合わせ。一般的なエージェント操作 (例: アンサンブル、レビュー) をカプセル化 -> AIエージェントを生成するAIエージェント、 Automated Design of Agentic Systemsも AFlow: Automating Agentic Workflow Generation

Slide 32

Slide 32 text

© 2024 Loglass Inc. 31 Agent as a Judge ● LLM as a Judgeに着想を得た、Agentを評価するAgentの提案 ● 「LLM-as-a-Judgeよりも優れたパフォーマンスを発揮し、人間の評価ベースラインと同等の信頼性があることを確認」 -> LLM as a JudgeのLLM部分を、Agenticに作ればもっと性能が良くなるのではない？ Agent-as-a-Judge: Evaluate Agents with Agents

Slide 33

Slide 33 text

Slide 34

Slide 34 text

© 2024 Loglass Inc. 33 まとめ ● 細かな名称/定義は違えど、単一のプロンプトではなく、Agenticなワークフローを用いるケースはさらに増加するだろう ● LLMエージェント / Agentic Workflowのデザインパターンとして、Agentic Design Patternを紹介 ● 言語/フレームワークに依存しないため、組み合わせ、設計を考える際の参考に ● 評価も含めた、LLMも用いたワークフロー、パイプラインの設計がLLMアプリ / エージェントに関わるエンジニアの腕の見せ所 ● Agentic Workflowの自動生成/チューニングも遅かれ早かれ考えないといけない未来 ○ 評価/データセットの整備はその時にも生きそう

Slide 35

Slide 35 text

© 2024 Loglass Inc. 34 Appendix ● LangChain - Agent architectures ● Large Language Model-Based Agents for Software Engineering: A Survey ○ ソフトウェアエンジニアリング領域のLLMエージェントの研究のサーベイ ● LLMエージェントのデザインパターン、Agentic Design Patternsを理解する ○ 本スライドの元となった記事