失敗しないAIエージェント開発：階層的タスク分解の実践

三宅雄紀（@zawakin ） / 株式会社ナレッジワーク AIエンジニア エキスパート
2025/3/10 LLM Tech Night #5 by LayerXでの登壇資料です

https://layerx.connpass.com/event/346351/

Transcript

1. 失敗しないAIエージェント開発： 階層的タスク分解の実践 @zawakin (株式会社ナレッジワーク)
2. © Knowledge Work Inc. ⾃⼰紹介 zawakin (@zawawahoge) 株式会社ナレッジワーク AIエンジニア エキスパート (2020年⼊社) 業務 • プロダクトのAI機能検証‧開発 • 戦略策定 • 組織のAIイネーブルメント など 2
3. © Knowledge Work Inc. Profile 会社概要 3 Profile 会社概要 創業日 代表者 事業内容 2020年4月1日 麻野 耕司 ナレッジワークの開発・提供
4. © Knowledge Work Inc. 今⽇話す内容 AIエージェント、勢いで実装するとアンチパターン踏みがちです。 失敗しないために今後⼤事になるだろう考え⽅を紹介してみます。 ⚠ 現在進⾏形の設計や想定に基づく知⾒であり、 今後も更新されていくので、 あくまで「現段階ではこう考えてます」と 捉えてもらえるとありがたいです。 4
5. © Knowledge Work Inc. Agenda ⽬次 5 • イントロダクション ◦ 階層的タスク分解とは？ • AIエージェント開発の課題 ◦ 失敗パターン1: 不適切なタスク分解（ドメイン知識の⽋如） ◦ 失敗パターン2: 不安定な下位層タスク（ツール信頼性の不⾜） • まとめ
6. © Knowledge Work Inc. Agenda ⽬次 6 • イントロダクション ◦ 階層的タスク分解とは？ • AIエージェント開発の課題 ◦ 失敗パターン1: 不適切なタスク分解（ドメイン知識の⽋如） ◦ 失敗パターン2: 不安定な下位層タスク（ツール信頼性の不⾜） • まとめ
7. © Knowledge Work Inc. 7 AIエージェント開発は 「勢い」だけでは成功しない 成功のカギは 「階層的タスク分解」による 効果的なAIエージェント設計 イントロダクション
8. © Knowledge Work Inc. 階層的タスク分解とは 8 機能を リリース する ソフトウェアエンジニアの「機能をリリースする」を 階層的タスク分解すると... 設計 実装 デプロイ 運⽤ 要件確認 設計作成 レビュー 依頼 Slackで レビュー依頼 ファイルを読む 質問箇所をメモ ‧ ‧ ‧ ‧ ‧ ‧ ‧ ‧ ‧ Slackで質問
9. © Knowledge Work Inc. 階層的タスク分解とは 機能を リリース する 設計 実装 デプロイ 運⽤ 要件確認 設計作成 レビュー 依頼 ファイルを読む 質問箇所をメモ ‧ ‧ ‧ 上位タスク （ゴール） 下位タスク （プリミティブ アクション） 9 Slackで レビュー依頼 ‧ ‧ ‧ ‧ ‧ ‧ Slackで質問
10. © Knowledge Work Inc. Agenda ⽬次 10 • イントロダクション ◦ 階層的タスク分解とは？ • AIエージェント開発の課題 ◦ 失敗パターン1: 不適切なタスク分解（ドメイン知識の⽋如） ◦ 失敗パターン2: 不安定な下位層タスク（ツール信頼性の不⾜） • この時代に求められるエンジニア像 • まとめ
11. © Knowledge Work Inc. 失敗パターン①：不適切なタスク分解（ドメイン知識の⽋如） 11 業務プロセスの階層構造を⼗分に理解できていないと AIエージェントが上⼿く作れない 「機能リリースフロー」を知らない⼈がAIエージェントを作る例 • 失敗例： ◦ 設計レビュー時には、要件なんて変わらないと思い込む • 実際は： • もっと柔軟に「要件変更をPdMに相談する」とかをやる → 汎⽤性‧網羅性に⽋けたAIエージェント
12. © Knowledge Work Inc. 12 ⾃分がよく知らないドメインの AIエージェントを作るのは難しい 変わらない真実
13. © Knowledge Work Inc. 対策①：ドメインエキスパートとの協働によるタスク分解 13 ドメインエキスパートの知識が必要！ ある「ドメインA」のAIエージェントをうまく作るには、 「ドメインA」のドメインエキスパートの知識が必要です • ドメインエキスパートの知識を活⽤した正確な階層構造の把握 • 業務プロセスの階層的な分解と各レベルでの適切な評価
14. © Knowledge Work Inc. 14 対策①：ドメインエキスパートとの協働によるタスク分解 無意識で このタスクやってるわ ドメイン
 エキスパート 
 AIエージェント 
 作る側
 もっと具体的に 聞きたい！ ドメインエキスパートの⾔語化をサポートする 傾聴⼒も重要
15. © Knowledge Work Inc. Agenda ⽬次 15 • イントロダクション ◦ 階層的タスク分解とは？ • AIエージェント開発の課題 ◦ 失敗パターン1: 不適切なタスク分解（ドメイン知識の⽋如） ◦ 失敗パターン2: 不安定な下位層タスク（ツール信頼性の不⾜） • まとめ
16. © Knowledge Work Inc. 失敗パターン②：不安定な下位タスク（ツールの信頼性不⾜） 要件確認 ファイルを読む 質問箇所をメモ 16 ‧ ‧ ‧ PdMにSlackで 質問 5%でファイルの 読み書きに失敗しちゃう 下位層のタスクが不安定では上位層も機能しない
17. © Knowledge Work Inc. 下位タスクこそ、厳密に評価をして信頼性を上げましょう 17 対策②：下位タスクの信頼性を上げる 参考文献 : Anthropic シリーズは本当に参考になる ブログ：Building Effective AI Agents | Anthropic 動画：Tips for building AI agents 評価も考慮した開発ツール：mastra-ai • 結果を測定する⽅法を確保する ◦ うまく⾏ってるかのフィードバッ クを得る ◦ 実はうまくいったのにそれに気 づかないまま、変えてしまう • シンプルなものから始めて、徐々に複 雑さを増していく
18. © Knowledge Work Inc. またどこかで 20 もっと⾊々話したいが、時間がないので打ち切り
19. © Knowledge Work Inc. Agenda ⽬次 21 • イントロダクション ◦ 階層的タスク分解とは？ • AIエージェント開発の課題 ◦ 失敗パターン1: 不適切なタスク分解（ドメイン知識の⽋如） ◦ 失敗パターン2: 不安定な下位層タスク（ツール信頼性の不⾜） • まとめ
20. © Knowledge Work Inc. 成功へのキーポイント • 階層的タスク分解の視点でAIエージェント開発を捉え直す • 各階層レベルでの適切な抽象化と安定性の確保 • ドメインエキスパートとの協働による正確なタスク分解 結論 • 階層的タスク分解の考え⽅がAIエージェント開発の質を決定する（かも） 22 まとめ
21. © Knowledge Work Inc. 【宣伝】エンジニア積極募集中！ 23 23 https://kwork.studio/recruit-engineer ナレッジワークではエンジニアを絶賛大募集中です！