失敗しないAIエージェント開発： 階層的タスク分解の実践 @zawakin (株式会社ナレッジワーク) 

© Knowledge Work Inc. ⾃⼰紹介 zawakin (@zawawahoge) 株式会社ナレッジワーク AIエンジニア エキスパート (2020年⼊社) 業務 ● プロダクトのAI機能検証‧開発 ● 戦略策定 ● 組織のAIイネーブルメント など 2 

© Knowledge Work Inc. Profile 会社概要 3 Profile 会社概要 創業日 代表者 事業内容 2020年4月1日 麻野 耕司 ナレッジワークの開発・提供 

© Knowledge Work Inc. 今⽇話す内容 AIエージェント、勢いで実装するとアンチパターン踏みがちです。 失敗しないために今後⼤事になるだろう考え⽅を紹介してみます。 ⚠ 現在進⾏形の設計や想定に基づく知⾒であり、 今後も更新されていくので、 あくまで「現段階ではこう考えてます」と 捉えてもらえるとありがたいです。 4 

© Knowledge Work Inc. Agenda ⽬次 5 ● イントロダクション ○ 階層的タスク分解とは？ ● AIエージェント開発の課題 ○ 失敗パターン1: 不適切なタスク分解（ドメイン知識の⽋如） ○ 失敗パターン2: 不安定な下位層タスク（ツール信頼性の不⾜） ● まとめ 

© Knowledge Work Inc. Agenda ⽬次 6 ● イントロダクション ○ 階層的タスク分解とは？ ● AIエージェント開発の課題 ○ 失敗パターン1: 不適切なタスク分解（ドメイン知識の⽋如） ○ 失敗パターン2: 不安定な下位層タスク（ツール信頼性の不⾜） ● まとめ 

© Knowledge Work Inc. 7 AIエージェント開発は 「勢い」だけでは成功しない 成功のカギは 「階層的タスク分解」による 効果的なAIエージェント設計 イントロダクション 

© Knowledge Work Inc. 階層的タスク分解とは 8 機能を リリース する ソフトウェアエンジニアの「機能をリリースする」を 階層的タスク分解すると... 設計 実装 デプロイ 運⽤ 要件確認 設計作成 レビュー 依頼 Slackで レビュー依頼 ファイルを読む 質問箇所をメモ ‧ ‧ ‧ ‧ ‧ ‧ ‧ ‧ ‧ Slackで質問 

© Knowledge Work Inc. 階層的タスク分解とは 機能を リリース する 設計 実装 デプロイ 運⽤ 要件確認 設計作成 レビュー 依頼 ファイルを読む 質問箇所をメモ ‧ ‧ ‧ 上位タスク （ゴール） 下位タスク （プリミティブ アクション） 9 Slackで レビュー依頼 ‧ ‧ ‧ ‧ ‧ ‧ Slackで質問 

© Knowledge Work Inc. Agenda ⽬次 10 ● イントロダクション ○ 階層的タスク分解とは？ ● AIエージェント開発の課題 ○ 失敗パターン1: 不適切なタスク分解（ドメイン知識の⽋如） ○ 失敗パターン2: 不安定な下位層タスク（ツール信頼性の不⾜） ● この時代に求められるエンジニア像 ● まとめ 

© Knowledge Work Inc. 失敗パターン①：不適切なタスク分解（ドメイン知識の⽋如） 11 業務プロセスの階層構造を⼗分に理解できていないと AIエージェントが上⼿く作れない 「機能リリースフロー」を知らない⼈がAIエージェントを作る例 ● 失敗例： ○ 設計レビュー時には、要件なんて変わらないと思い込む ● 実際は： ● もっと柔軟に「要件変更をPdMに相談する」とかをやる → 汎⽤性‧網羅性に⽋けたAIエージェント 

© Knowledge Work Inc. 12 ⾃分がよく知らないドメインの AIエージェントを作るのは難しい 変わらない真実 

© Knowledge Work Inc. 対策①：ドメインエキスパートとの協働によるタスク分解 13 ドメインエキスパートの知識が必要！ ある「ドメインA」のAIエージェントをうまく作るには、 「ドメインA」のドメインエキスパートの知識が必要です ● ドメインエキスパートの知識を活⽤した正確な階層構造の把握 ● 業務プロセスの階層的な分解と各レベルでの適切な評価 

© Knowledge Work Inc. 14 対策①：ドメインエキスパートとの協働によるタスク分解 無意識で このタスクやってるわ ドメイン
 エキスパート 
 AIエージェント 
 作る側
 もっと具体的に 聞きたい！ ドメインエキスパートの⾔語化をサポートする 傾聴⼒も重要 

© Knowledge Work Inc. Agenda ⽬次 15 ● イントロダクション ○ 階層的タスク分解とは？ ● AIエージェント開発の課題 ○ 失敗パターン1: 不適切なタスク分解（ドメイン知識の⽋如） ○ 失敗パターン2: 不安定な下位層タスク（ツール信頼性の不⾜） ● まとめ 

© Knowledge Work Inc. 失敗パターン②：不安定な下位タスク（ツールの信頼性不⾜） 要件確認 ファイルを読む 質問箇所をメモ 16 ‧ ‧ ‧ PdMにSlackで 質問 5%でファイルの 読み書きに失敗しちゃう 下位層のタスクが不安定では上位層も機能しない 

© Knowledge Work Inc. 下位タスクこそ、厳密に評価をして信頼性を上げましょう 17 対策②：下位タスクの信頼性を上げる 参考文献 : Anthropic シリーズは本当に参考になる ブログ：Building Effective AI Agents | Anthropic 動画：Tips for building AI agents 評価も考慮した開発ツール：mastra-ai ● 結果を測定する⽅法を確保する ○ うまく⾏ってるかのフィードバッ クを得る ○ 実はうまくいったのにそれに気 づかないまま、変えてしまう ● シンプルなものから始めて、徐々に複 雑さを増していく 

© Knowledge Work Inc. またどこかで 20 もっと⾊々話したいが、時間がないので打ち切り 

© Knowledge Work Inc. Agenda ⽬次 21 ● イントロダクション ○ 階層的タスク分解とは？ ● AIエージェント開発の課題 ○ 失敗パターン1: 不適切なタスク分解（ドメイン知識の⽋如） ○ 失敗パターン2: 不安定な下位層タスク（ツール信頼性の不⾜） ● まとめ 

© Knowledge Work Inc. 成功へのキーポイント ● 階層的タスク分解の視点でAIエージェント開発を捉え直す ● 各階層レベルでの適切な抽象化と安定性の確保 ● ドメインエキスパートとの協働による正確なタスク分解 結論 ● 階層的タスク分解の考え⽅がAIエージェント開発の質を決定する（かも） 22 まとめ 

© Knowledge Work Inc. 【宣伝】エンジニア積極募集中！ 23 23 https://kwork.studio/recruit-engineer ナレッジワークではエンジニアを絶賛大募集中です！ 

No content