AI Agentを「期待通り」に動かすために ： 設計アプローチの模索と現在地 @zawakin (株式会社ナレッジワーク) 

© Knowledge Work Inc. ⾃⼰紹介 zawakin (@zawawahoge) 株式会社ナレッジワーク AIエンジニア エキスパート (2020年⼊社) ⾃社開発BtoB SaaS「ナレッジワーク」のAI機能開発‧導 ⼊を多数経験。 現在やっていること ● AI技術戦略策定 ● AIエージェント開発 ● 組織イネーブルメント（社内AI活⽤推進含む） 2 

© Knowledge Work Inc. Profile 会社概要 3 Profile 会社概要 創業日 代表者 事業内容 2020年4月1日 麻野 耕司 ナレッジワークの開発・提供 

© Knowledge Work Inc. 4 ● ぶつかる壁：「⾃律性」と「制御性」のバランス ● 試みていること：「ツール」への分解と設計 ● 共有したいこと：その際の「粒度」の悩みと模索のリアル 本⽇のテーマ 

© Knowledge Work Inc. Agenda ⽬次 5 ● はじめに：AI Agent、期待通りに動いてますか？ ● 課題：なぜ難しい？ - ⾃律性と制御性のジレンマ ● 提案：「ツール」にどう分ける？ - 設計アプローチの模索 ● 具体例：旅⾏プランAgentで⾒る「粒度」の影響 ● まとめ 

© Knowledge Work Inc. Agenda ⽬次 6 ● はじめに：AI Agent、期待通りに動いてますか？ ● 課題：なぜ難しい？ - ⾃律性と制御性のジレンマ ● 提案：「ツール」にどう分ける？ - 設計アプローチの模索 ● 具体例：旅⾏プランAgentで⾒る「粒度」の影響 ● まとめ 

© Knowledge Work Inc. 7 AI Agent、可能性は感じるけど、 『期待通り』に動かすのって 結構難しくないですか？ 課題 

© Knowledge Work Inc. なぜAgentは期待通り動かない？：安定性の低さ 8 8 「思ったように動かない」「意図通りに制御できない」ことが多い 判断結果が安定せず気まぐれ ● Agentの「気まぐれ」な判断（「やたら深掘り」 vs 「あっさり完了」） ● 意図通りに進まないステップ（「今はそっちじゃないんだけどなぁ」） ⼈間にとっての「ちょうどいい塩梅」が伝わってない ● 柔軟なアウトプット制御の難しさ ● 「ちょうどいい塩梅」の調整が難しい（「1個ずつ丁寧」vs「まとめてドカン」） 

© Knowledge Work Inc. Agenda ⽬次 9 ● はじめに：AI Agent、期待通りに動いてますか？ ● 課題：なぜ難しい？ - ⾃律性と制御性のジレンマ ● 提案：「ツール」にどう分ける？ - 設計アプローチの模索 ● 具体例：旅⾏プランAgentで⾒る「粒度」の影響 ● まとめ 

© Knowledge Work Inc. 10 『Agentが期待通りに動かない』問題 これらの根底には、多くの場合 『⾃律性』と『制御性』 のトレードオフが存在する 『Agentが期待通りに動かない』問題 

© Knowledge Work Inc. ⾔葉の定義 11 ⾃律性：どれだけ任せられるか LLMが推論に基づいて⾃由に計画を⽴て、状況に応じて ツールを選択‧実⾏する度合い 制御性：どれだけ意図通りに動かせるか 設計者の意図通りに、予測可能かつ安定して動作する度 合い 

© Knowledge Work Inc. AI Agent のトレードオフ 12 12 あちらを⽴てればこちらが⽴たず、という関係になりがち ⾃律性と制御性のトレードオフ ⾃律性を⾼めると 柔軟になるが、予測不能性が増⼤ ● メリット: 未知の状況への対応、⼈間の介⼊削減、効率化 ● デメリット: 予測不能性の増⼤、意図しない動作のリスク、エラー時の原因特定困難 制御性を⾼めると: 意図通りの動作になるが、柔軟性を失う ● メリット: 意図通りの動作、安全性‧信頼性の確保、結果の予測可能性 ● デメリット: 柔軟性の低下、想定外の状況への対応不可、開発‧メンテナンスコスト増 

© Knowledge Work Inc. Agenda ⽬次 13 ● はじめに：AI Agent、期待通りに動いてますか？ ● 課題：なぜ難しい？ - ⾃律性と制御性のジレンマ ● 提案：「ツール」にどう分ける？ - 設計アプローチの模索 ● 具体例：旅⾏プランAgentで⾒る「粒度」の影響 ● まとめ 

© Knowledge Work Inc. 14 AI Agentを『期待通り』に動かすためには、 この避けられないトレードオフといかに向き合い 設計によってバランスを取るか重要 （特定のモデルやツールを使えば解決する、という単純な話ではない） AI Agent を期待通りに動かすために 

© Knowledge Work Inc. 15 じゃあ、この業務プロセスを、どう分析して、 どんな単位で「ツール」に分割‧設計すればいい？ 実践上の課題提起 

© Knowledge Work Inc. 16 業務プロセスを構造的に分析し、 意味のある単位で「ツール」に分解‧抽象化していくためのア プローチを模索する！ 実践上の課題提起 

© Knowledge Work Inc. 設計の考え⽅：プロセスフロー図的なアプローチの活⽤ 17 17 業務フローを可視化‧分析する考え⽅を使ってツール設計します ① プロセスの可視化 ● まず、対象となる業務プロセスを、具体的なステップに分解し、順番に並べる ○ （例：〇〇を受け取る→△△を確認→□□を判断→...） ② ⼊出⼒成果物とアクションの明確化 ● 各ステップについて、何を⼊⼒とし、何を実⾏し、何を出⼒するのかを明確に定義する ③ 「ツール」としての切り出し ● 検討：「アクション」部分を、再利⽤可能でテスト可能な単位として『ツール』に切り出せない か？ 

© Knowledge Work Inc. 設計上の勘所：「粒度」の重要性 18 18 『ちょうどいい粒度』を⾒つけることが、設計の鍵 ツールが⼤きすぎる ● ツールが多くを知りすぎてしまい柔軟性に⽋ける ● 再利⽤性が低下する ツールが細かすぎる ● 管理コスト増⼤ ● Agentがツール選択で迷う 

© Knowledge Work Inc. Agenda ⽬次 19 ● はじめに：AI Agent、期待通りに動いてますか？ ● 課題：なぜ難しい？ - ⾃律性と制御性のジレンマ ● 提案：「ツール」にどう分ける？ - 設計アプローチの模索 ● 具体例：旅⾏プランAgentで⾒る「粒度」の影響 ● まとめ 

© Knowledge Work Inc. プロセス可視化 20 ⼊出⼒定義とアクションを定義し、プロセスを可視化します ⼊⼒１ ⼊⼒２ アクション （ツール） 出⼒１ ⼊⼒３ 出⼒２ 🔧 

© Knowledge Work Inc. ツール粒度の影響を 『旅⾏プラン作成Agent』を例に 具体的にみていきましょう 21 適⽤イメージと現状‧考察（旅⾏プランAgent Ver.） 

© Knowledge Work Inc. パターン1：粒度の粗いツール設計（低⾃律性‧⾼制御性） 22 事前に定義されたツールの内部ロジックに従う 従来のプログラムに近い感覚（＝⾼い制御性）で扱える部分が多い でもエージェントぽくはない。 出発地 ⽬的地 宿泊予算 興味 プランを 作成する プラン 🔧 内部ロジックは ツール開発者が定義！ （＝⾼い制御性） 

© Knowledge Work Inc. パターン2：粒度の細かいツール設計（⾼⾃律性‧低制御性） 23 LLMによって計画‧ツール呼び出しが多く⾏われる ⾮決定論的な振る舞いが多くなり、制御難易度が⾼い フライト予定 プランを まとめる プラン ホテル選択肢 観光名所選択肢 出発地‧⽬的地‧⽇付 ⾶⾏機検索 フライト予定 場所‧⽇付‧予算 ホテル検索 ホテル選択肢 場所‧興味 観光名所検索 観光名所選択肢 🔧 🔧 🔧 🔧 🔧 … 🔧 🔧 … 

© Knowledge Work Inc. パターン３：ちょうどよい粒度（中間の⾃律性‧中間の制御性） 24 ⼤まかなプランを作るところまではワークフローで⼈間が設計（⾼制御性） あとの細かいところはツールに任せる（⾼⾃律性） プランを 作る プラン 場所のイメージ ⽇程候補 ⼤まかな予算 旅⾏プラン検索 ⼤まかなプラン 🔧 🔧 ある程度ワークフローで 候補抽出まで組んじゃう ⼤まかなプラン ⼤まかなプラン ⾶⾏機検索 フライト予定 🔧 フライト予定 … 

© Knowledge Work Inc. Agenda ⽬次 25 ● はじめに：AI Agent、期待通りに動いてますか？ ● 課題：なぜ難しい？ - ⾃律性と制御性のジレンマ ● 提案：「ツール」にどう分ける？ - 設計アプローチの模索 ● 具体例：旅⾏プランAgentで⾒る「粒度」の影響 ● まとめ 

© Knowledge Work Inc. まとめ：今⽇のポイント 26 ● 今⽇のポイント ○ AI Agent設計の核⼼課題：「⾃律性」と「制御性」のバランス ○ 有⼒なアプローチ候補：業務プロセスを「ツール」へ分解‧設計 ○ 設計の鍵であり悩み：「ツール粒度」の最適化（← ここを模索中！） ○ ⽬指す価値：制御しやすく、評価‧再利⽤‧拡張しやすいAgentへ 良いツール粒度を 探していこう！ 

© Knowledge Work Inc. 【宣伝】エンジニア積極募集中！ 27 27 https://kwork.studio/recruit-engineer ナレッジワークではエンジニアを絶賛大募集中です！ 

No content