Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
プロンプトエンジニアリングでがんばらない-Agentic Workflow へ-近藤憲児
Search
Kenji KONDO
April 24, 2024
Technology
6
4.1k
プロンプトエンジニアリングでがんばらない-Agentic Workflow へ-近藤憲児
Kenji KONDO
April 24, 2024
Tweet
Share
More Decks by Kenji KONDO
See All by Kenji KONDO
AI_Agent_の作り方_近藤憲児
kenjikondobai
19
7.1k
なぜ今 AI Agent なのか _近藤憲児
kenjikondobai
4
6.2k
「これが最小になる値はな〜んだ?」問題_最適化問題を考える_近藤憲児
kenjikondobai
0
210
AI ChatBot 開発 Tips-近藤憲児
kenjikondobai
0
210
最適ワークスとAI-近藤憲児
kenjikondobai
0
79
LLMの評価-近藤憲児
kenjikondobai
1
410
スカイディスクの LLM の取り組み-近藤憲児
kenjikondobai
0
330
Spring Cloud Data Flow で構成される IIJ IoTサービス
kenjikondobai
0
390
Other Decks in Technology
See All in Technology
SCONE - 動画配信の帯域を最適化する新プロトコル
kazuho
1
380
AIプロダクトのプロンプト実践テクニック / Practical Techniques for AI Product Prompts
saka2jp
0
110
プロファイルとAIエージェントによる効率的なデバッグ / Effective debugging with profiler and AI assistant
ymotongpoo
1
210
NLPコロキウム20251022_超効率化への挑戦: LLM 1bit量子化のロードマップ
yumaichikawa
3
500
From Natural Language to K8s Operations: The MCP Architecture and Practice of kubectl-ai
appleboy
0
230
OTEPsで知るOpenTelemetryの未来 / Observability Conference Tokyo 2025
arthur1
0
260
Retrospectiveを振り返ろう
nakasho
0
110
Dify on AWS 環境構築手順
yosse95ai
0
140
もう外には出ない。より快適なフルリモート環境を目指して
mottyzzz
13
11k
AIとともに歩んでいくデザイナーの役割の変化
lycorptech_jp
PRO
0
890
Linux カーネルが支えるコンテナの仕組み / LF Japan Community Days 2025 Osaka
tenforward
1
130
20251024_TROCCO/COMETAアップデート紹介といくつかデモもやります!_#p_UG 東京:データ活用が進む組織の作り方
soysoysoyb
0
110
Featured
See All Featured
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
16
1.7k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
12
1.2k
The Art of Programming - Codeland 2020
erikaheidi
56
14k
Intergalactic Javascript Robots from Outer Space
tanoku
272
27k
Learning to Love Humans: Emotional Interface Design
aarron
274
41k
Being A Developer After 40
akosma
91
590k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
27k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
640
Embracing the Ebb and Flow
colly
88
4.9k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
35
3.2k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
132
19k
Optimising Largest Contentful Paint
csswizardry
37
3.5k
Transcript
プロンプトエンジニアリングで がんばらない − Agentic Workflow へ −
- LLM アプリの品質(出力の安定性、速度など)を上げる手段として、 プロンプトエンジニアリング以外の手段があるということ - この手段に隣接した領域として Agentic Workflow と呼ばれるデザインパター ンがあること
- さわりだけご紹介 今日お伝えしたいこと
「Discord で雑に共有された記事をなんでも要約する」自作アプリ • YouTube の動画 • arXiv の論文 •
SpeakerDeck のスライド • Web 上の記事 • … “Summarize Anything”
• Router で何の要約を求められているかを判断 • 判断に基づいて、専用の Summarizer に要約を任せる “Summarize Anything” のアーキテクチャ
Router YouTube Summarizer Web Summarizer arXiv Summarizer どの Summarizer に 委譲すべきかを判断 … ページに アクセスして本 文を取得して 要約 委譲
Router でやりたいこと • そもそも要約を必要とする文章 なのかを判断する • URL の文字列を抽出 • その
URL が YouTube なのか arXiv なのかの判断 • これら結果を JSON として出力 させる(以下はその例) Router の実装(昔) { "summary_required": true, "url": "https://arxiv.org/pdf/2402.05120.pdf", "method": "arXiv" }
問題 • 品質が全然安定しない。体感 3 割失敗 する ◦ JSON の所定のフォーマットになら ない
◦ URL があるのにそれを抽出しない ◦ … → プロンプトエンジニアリングを頑張ったが、 すぐに限界を感じた Router の実装(昔)
処理を分けた Router の実装(今) URL 抽出 URL から委 譲先を 選択 →
動作が劇的に安定した。ほぼ 100 % 間違わない。 URL の文字列 “論文 https://arxiv.org…” “arXiv” Router
さらに LLM の性能を落 とした Router の実装(今) URL 抽出 URL から委
譲先を 選択 → 品質に変化なし。むしろ速度上がるし、コスト下がるしで、嬉しい Router gpt-4 → gpt-3.5-turbo gpt-4 → gpt-3.5-turbo
• 「zero-shot で巧妙にプロンプトエンジニアリングをして頑張る」よりも「命令をシン プルにしたタスクを多量に LLM に依頼する」ほうがよい • 「zero-shot で gpt-4
や claude-3-opus のような賢い LLM を使う」よりも 「gpt-3.5-turbo や claude-3-haiku のような賢くないけど軽量でコスト低い LLM を 細かく使う」ほうが、品質も速度もコストも満足いく この手法は普遍性があるな、と思っていた。 他にも例えば、要約した文章が日本語じゃなかったり、制約条件をちゃんと守っていなかったりした ときも、もう一度 LLM を call してそれを添削してもらう、ということをすると、およそ満足の行く品質 で安定して出力された。 あと、自然とモジュール化の考え方になっているので、それぞれのモジュール別に改善やテストな どがやりやすい。 「LLM を call しまくる」という戦略
“Agentic Workflow” 単なる経験則に過ぎなかったけども、最近 Andrew Ng がまさにこれに関連したこ とを言っている動画を見つけた そこでは Agentic Workflow
という名前で、 LLM アプリの性能を上げる方法を説明 していた
“Agentic Workflow” 「エッセイをバックスペース無しではじめから最後まで間違えの無いように書いて」と 依頼するよりも、「アウトラインを抽出して」「それに対してドラフトを書いて」「それを 添削して」... と分けて依頼するアイディア https://youtu.be/sal78ACtGTc?si=vFpxwR47DoNaQqiz
“Agentic Workflow” zero-shot の GPT-4 よりもAgentic Workflow を適用し た GPT-3.5
のほうが良い評価を得ている。 https://youtu.be/sal78ACtGTc?si=vFpxwR47DoNaQqiz 上の 4 つのデザインパターンについて述べられてい る。 → Agentic Workflow や Agent については、今いろいろ実装して試している(そして苦労し ている)。役に立ちそうなこと見つけたら、また共有します!