Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AutoGenで作るLLM Agen
Search
peisuke
November 30, 2023
Technology
1
870
AutoGenで作るLLM Agen
Azure OpenAI Service 生成AI実践知発表資料
peisuke
November 30, 2023
Tweet
Share
More Decks by peisuke
See All by peisuke
LangGraphで始めるマルチエージェントシステム
peisuke
12
3k
Self-RAG: Learning to Retrieve, Generate and Critique through Self-Reflections
peisuke
9
1.2k
Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields
peisuke
0
5.8k
LangChain Toolsの運用と改善
peisuke
4
2.4k
GNeRF: GAN-based Neural Radiance Field without Posed Camera
peisuke
1
620
TTS Skins: Speaker Conversion via ASR
peisuke
0
330
A Quantum Computational Approach to Correspondence Problems on Point Sets
peisuke
0
630
F0-Consistent Many-to-many Non-parallel Voice Conversion via Conditional Autoencoder
peisuke
0
140
YOLACT real-time instance segmentation
peisuke
1
190
Other Decks in Technology
See All in Technology
開発パフォーマンスを最大化するための開発体制
ham0215
2
470
推しは推せるときに推せ! プロダクトにフィードバックしていこう
nakasho
0
410
R3のコードから見る実践LINQ実装最適化・コンカレントプログラミング実例
neuecc
2
950
非同期推論システムによるコスト削減と信頼性向上
koki_nishihara
0
280
.NET Profiler in 2024.
kkamegawa
1
260
アクセス制御にまつわる改善 / Improving access control
itkq
0
560
IaCジェネレーターとBedrockで詳細設計書を生成してみた
tsukasa_ishimaru
3
670
Python と Snowflake はズッ友だょ!~ Snowflake の Python 関連機能をふりかえる ~
__allllllllez__
1
130
VSCodeの拡張機能を作っている話
ebarakazuhiro
1
660
Gitlab本から学んだこと - そーだいなるプレイバック / gitlab-book
soudai
5
760
今日からできる!簡単 .NET 高速化 Tips -2024 edition-
xin9le
5
2.5k
KubeConにproposalを送りたい人へのアドバイス
sat
PRO
3
260
Featured
See All Featured
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
Reflections from 52 weeks, 52 projects
jeffersonlam
345
19k
Art, The Web, and Tiny UX
lynnandtonic
289
19k
Producing Creativity
orderedlist
PRO
337
39k
Six Lessons from altMBA
skipperchong
21
3k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
221
21k
WebSockets: Embracing the real-time Web
robhawkes
59
7k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
659
120k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
352
28k
Fontdeck: Realign not Redesign
paulrobertlloyd
76
4.9k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
501
140k
Happy Clients
brianwarren
92
6.4k
Transcript
Keisuke Fujimoto (Labs) AutoGenで作るLLM Agent
自己紹介 2 所属:ABEJA Labs テーマ:ビジョン、音声、NLP、ロボット SNS X (Twitter):@peisuke Github:https://github.com/peisuke
note:https://note.com/peisuke
• LLMとLLM Agent • AutoGenについて • AutoGenでできること 本日のテーマ
3
Agentとは? 4 • 強化学習にも出てくる、「エー ジェント」 • 結果を出力するだけのMLと異 なり、環境内で行動したり操作を することが特徴
• 囲碁や将棋では・・・ ◦ (1) 盤面を観測、(2) 次の手を 考え、(3) 打つ
• LLMに対し、(1) 目的を達成するプロセス案を提示させ、(2) 各プロセスの処理の InputをLLMによって生成・処理を行い、(3) これを逐次的に実行 ◦ LLMをChatBotだけではなく、プロセス案生成やクエリ生成に利用 LLM Agentについて
5 今流行っているお 笑い芸人の動画 を見たい STEP1: 最近の流行りの芸 人を検索 STEP2: 代表的な作品名 をピックアップ STEP3: 動画ユーザーに 提示 検索モジュールの出力した結果: [XXXX、XXXX、XXXX] LLMで生成した検索クエリ: [2023年 お笑い芸人 流行] クエリを利用し、外 部の検索APIを利 用 LLMで手順を生成し、プ ログラムで読み込む
• ユーザーがやりたいことを言うとLLMがそれを全部やってくれちゃう仕組み 要するに・・・ 6 社内データを分 析したい プログラムを作っ て欲しい 動画を作って
XXXについての 情報を集めて
ChatGPTでも使われているAgentの仕組み 7 画像解析が必要なら・・・ コードの実行が必要なら・・・ ファイルの読み込みが 必要なら GPT-4V 画像を描きたい場合は 質問を投げる どの機能を使う
かを考える
マルチエージェントの仕組み 8 質問を投げる 調査します ソースコードを 作ります 結果を整理しま す
世の中の色々なAgent 9 • プログラムの自動開発の仕組み • それぞれのキャラクターが、問題を解くAgentとして行 動 • 全体を統括するCTO、開発をするエンジニア、テストを するテスターなどのAgentが存在
• 利用者が指示したゴールに基づき、要件定義〜開 発〜テスト〜納品を行い、制作物を出力
• AutoGPT 世の中の色々なAgent 10
• Voyager:マインクラフトにおいて、次にどんなアクションをするかをLLMを用いて決 定、アクションをゲーム側に伝えて動かす 世の中の色々なAgent 11
• LangChain ◦ 様々な種類のAgentが利用可能 • Llama Index ◦ Data
AgentにAgentの仕組みが実装 • AutoGen ◦ MicrosoftのAgentに特化したライブラリ ◦ 柔軟な仕組みを構築できる Agentを作るためのライブラリ 12
• AutoGen: Microsoftが提供しているOSS ◦ AutoGen: Enabling Next-Gen LLM Applications via
Multi-Agent Conversation, preprint: 2308.08155, arxiv AutoGenの紹介 13
AutoGenの紹介 14
AutoGenを使ってできること 15
AutoGenのプログラム例 16
AutoGenのプログラム例 17
AutoGenのプログラム例 18
AutoGenのプログラム例 19
• Agentの構成例 AutoGenの簡単な原理 20
• 各Agentが通信する流れ ◦ generate_replyで各Agentがレスポンスを他のエージェントに出力 AutoGenの簡単な原理 21
• Azure OpenAI APIとOpenAI APIでの切り替えが容易 AutoGenをAzureで動かしてみよう! 22
AutoGenの色々なパターン 23
• プログラムを実行 ◦ FizzBuzzのコードを書かせて実行させてみる 色々できる、AutoGen 24
• RAG + AutoGen ◦ 検索して回答が得られなかったら、自動で再検索 ◦ 回答結果が、英語になってしまった場合も日本語で出力 色々できる、AutoGen 25
Retrieve 判定 再Retrieve 判定 終了 再Retrieve 終了 Retrieve 回答生成 Retriever Agent Agent 回答 質問 仮にここが英語 でも・・・ ここで日本語で 出力される Function Calling
• プログラムのマニュアルに基づいてコードを実行 ◦ Optunaのマニュアルを読ませて、パラメータ最適化のコードを実行させた 例 色々できる、AutoGen 26
• GroupChatという機能を用いて沢山の種類のエージェントを連携 色々できる、AutoGen 27 様々な役割を持つエージェントを連携 (例) • プランナー • コーダー
• 分析者 • 調査者
標準では文字を表示するだけで、サービスに組み込めない AutoGenをサービスに組み込むために 28 文字を表示するメソッドを継承し、履歴を残すカスタムクラスを作成
状態を持っているため、Azure Functions等のサービスに利用できない AutoGenをサービスに組み込むために 29 内部状態のロード/セーブの機構を追加で開発
LLM単独の汎用性ではできないことも多い中、Agentの仕組みで将来的には色ん な作業が自動化されていく まずは、AutoGenを使うことにより、非常に面白いことができそう! まとめ 30