個人開発してみてわかった AIエージェントの設計と評価

2026/02/26 MOSH Tech Meetup Vol.2

Transcript

1. 個人開発してみてわかった AIエージェントの設計と評価 2026.2.26 MOSH Tech Meetup Vol.2
2. 自己紹介 らむ ・もこもこWeb エンジニア ・最近してたこと  ・Raycast の⾃作拡張機能のストア公開申請  ・イベント参加で湯島から三ノ輪までお散歩
3. サービス紹介 ⾏き先・予算・時間・やりたいことを入れるだけで、AI エージェントが 最適なスポットの選定・スケジューリング・費⽤⾒積もりを⾃動で⾏い、 おでかけプランを⽣成してくれる。
4. マルチエージェント設計 Phase 0 ：開始時刻の⾃動決定 Phase 1 ： データ並列収集 Phase 2a ：スポット選定エージェント Phase 2b ：タイミング + コストエージェント Phase 2c ：プランタイトルエージェント Phase 3 ：コード組み立て + Zod 検証 単⼀エージェントで実⾏すると実⾏時間が長くなり、出⼒のブレ幅が⼤きく なるのでエージェントに任せる内容を分解した。
5. エイリアス置き換え Google Places API のスポット情報を取得するとID と写真参照がハッシュ値 になっている。LLM にハッシュ値を渡すとハッシュ値を改ざんしてしまう。 ・LLM に必要な情報だけ渡す  ・ 推論結果から構造化し直す  ・セキュリティの観点でも重要  ・トークン使⽤量も抑えられる
6. プロンプトチューニング ・訪問順序  ・バランスを考慮した上で出発地近くから  ・時間が長い場合に食事が必要  ・居酒屋は18 時以降 ・ランダム性  ・個性的な場所を優先  ・Temperature を1.8 に設定
7. フォールバック ・スポット滞在時間と移動ルートの推論  ・JSON 形式で返却される想定   ・説明文が入る   ・空で返却される  ・JSON 以外で返却された場合   ・ロジックで滞在時間とルートを算出
8. サービスの運用改善 ・AI エージェント：Langfuse  ・LLM の推論状況の確認  ・セルフホストできる ・インフラ：Vercel Logs  ・サーバーのログの確認 ・アクセス：Google Analytics  ・流入や動線の確認
9. 定量評価 ・Langfuse のScores  ・⽣成速度：3.26 秒  ・予算遵守率：0.69  ・時間辺りのスポット数：0.67  ・オプション   ・API からデータを取得できているか    ・トレンド：Tavily    ・天気：Open-Meteo
10. 定性評価 ・Langfuse のLLM-as-a-Judge  ・プロンプトを作っておくと0-1 で評価  ・何% のアウトプットを評価するか決めれる
11. まとめ AI エージェントは適切に分割してパラレルに実⾏しよう 因子の寄与率を特定して、推論に必要な情報に絞って渡そう プロンプトを構造化してチェーンすることで背景を伝えよう 定量のアウトプットから質を高めて、定性のアウトプットをよくしよう