AI エージェントシステムの開発を AI で加速させたい！​

2026/07/21 開催「「生成AIとともに叶えた・叶えたい願い Vol.2」LT会 〜七夕エディション〜」でのオプティム 葉山の発表資料です。

https://optim.connpass.com/event/397915/

Transcript

1. AI エージェントシステムの開発を AI で加速させたい！ 2026/07/21 「生成AIとともに叶えた・叶えたい願い Vol.2」LT会 〜七夕エディション〜 株式会社 オプティム 社長室 葉山 © 2019-2026 OPTiM Corp. All rights reserved.
2. 自己紹介  基本情報  主な取り組み ◼ 所属：株式会社オプティム 社長室 ◼ OPTiM Geo Scan（3次元測量アプリ） ◼ 役職：リードエンジニア ◼ OPTiM AIRES（LLM / RAG / AI エージェント） ◼ 出身：愛知県豊田市 ◼ 技術広報活動（イベント企画 / 学会・カンファレンス） ◼ 略歴：豊田高専 → 名古屋大学 → 同大学院 → 2020 新卒入社 AI チャットボット © 2019-2026 OPTiM Corp. All rights reserved. 2
3.  技術広報として運営中  自分も 画像系AI / 点群 / 建築・土木 など色々書いてます © 2019-2026 OPTiM Corp. All rights reserved. 3
4. はじめに  RAG や AI エージェントシステムを開発する中で、以下のような課題に直面 ◼ 手法の検討：論文しか公開されておらず実装が無い。誰でも触れる状態ではない ◼ 評価と改善：指標として何を見るか？ どのように継続して改善するか？手動での改善で工数が奪われる ◼ システム全体の最適化：運用レベルで手法として確立できていない  オプティムでは全社で AI 活用の推進に取り組んでいる ◼ コーディングエージェントを全社導入、AI 活用前提で組織・開発フローを見直し ⚫ 生産性の可視化と AI 導入効果の観測を継続中 ◼ 開発チーム以外でも全社で AI の活用を推進し、社内業務の効率化を進めている  これらの課題も AI で効率化していきたい これまでにやってきた一部の取り組みと、今後の展望についてご紹介 © 2019-2026 OPTiM Corp. All rights reserved. 4
5. 「手法の検討」を加速：論文から Vibe Coding  Corpus2Skill エージェントスキル群 ◼ Don’t Retrieve, Navigate: Distilling Enterprise Knowledge into Navigable Agent Skills for QA and RAG ◼ ドキュメント群を LLM エージェントが理解しやすいスキル構造 に変換して扱えるようにする SKILL.md SKILL.md ドキュメント群 ◼ ベクトル検索を使わない RAG のような手法 INDEX.md INDEX.md INDEX.md INDEX.md  公式実装はあったが… ◼ Claude Code で扱う前提のもので、様々な環境で誰でも触れる 状態ではない ◼ ゼロベースで動くものを用意して、純粋な手法自体の評価を したい 論文から Vibe Coding して、手法をアプリケーションに落とし込む © 2019-2026 OPTiM Corp. All rights reserved. 5
6. 「手法の検討」を加速：論文から Vibe Coding AWS 環境へデプロイ 社内の誰でも 触れるように！ 論文 https://arxiv.org/abs/2604.14572 WebUI CLI （ローカル実行）  やったこと ◼ Claude Code × Opus 4.6 ◼ 論文のみを与えて設計から WebUI 化、AWS 環境へのデプロイまでを Vibe Coding で完了 ◼ まずは論文から手法を理解させ、全体の設計と技術選定、そこから各マイルストーンに沿って実装  所感 ◼ Corpus2Skill：ある程度複雑な質問でも答えられていた。ドキュメント追加時のインデックス更新コストは懸念点。 ◼ 論文からそのまま動く形にあっという間になるので、手法の評価や検討のフェーズが楽に！ © 2019-2026 OPTiM Corp. All rights reserved. 6
7. 「プロンプトの改善」を加速：Promptfoo × Claude Code  Promptfoo ◼ LLM プロンプトの出力を自動評価するための OSS フレームワーク ◼ テストケースは YAML で定義して評価に利用 ◼ LLM を用いた出力の採点（LLM-as-a-Judge）も可能 ⚫ llm-rubric を選択して、評価内容を自然言語で与える ◼ CLI で評価を実行可能 ⚫ Claude Code と組み合わせやすい ◼ 結果閲覧用の UI も完備（$ promptfoo view で表示） 出典：Promptfoo (promptfoo.dev) © 2019-2026 OPTiM Corp. All rights reserved. 7
8. 「プロンプトの改善」を加速：Promptfoo × Claude Code ディレクトリ構成  Claude Code と組み合わせた改善ループの流れ 1. 評価： $ promptfoo eval –o results/results_v{NNN}.json 2. 分析： results/results_v{NNN}.json の失敗ケースを特定 3. 改善： 失敗ケースを踏まえて、新しいプロンプトファイル prompts/system_prompt_v{NNN}.json を作成 4. 更新： promptfooconfig.yaml のプロンプトの参照パスを更新 prompting/ ├── promptfooconfig.yaml … promptfooの設定ファイル ├── prompts/ │ ├── system_prompt_v001.txt … 初期プロンプト（人間が作成） │ ├── system_prompt_v002.txt … ┐ │ ├── system_prompt_v003.txt … ├ LLM が自動生成した改善版 │ └── system_prompt_v004.txt … ┘ ├── tests/ │ └── cases.yaml … テストケース（固定） └── results/ ├── results_v001.json …┐ ├── results_v002.json … ├ 各バージョンの評価結果 ├── results_v003.json …│ └── results_v004.json …┘ 5. 再評価： $ promptfoo eval –o results/results_v{NNN}.json 6. ループ： 2〜5 を全件パス(100%)か頭打ちになるまで繰り返す テストケースの設計と準備ができれば、あとは Claude Code にお任せで改善ループが回せる © 2019-2026 OPTiM Corp. All rights reserved. 8
9. 「プロンプトの改善」を加速：Promptfoo × Claude Code  補足・所感 ◼ （自分が使用したのは Opus 4.6 だが）新しいモデルの場合プロンプト改善に関する知識も十分に持っているので、 概ね妥当な改善を行ってくれる印象 ◼ 全体的にプロンプトを複雑化していく傾向は出やすいので、その点を嫌うなら評価内容にプロンプトの複雑度に対する制約などを 盛り込んだりすると良いかも ◼ テストケースが少ない場合は過適合の可能性が出てくるので、その点も注意 ◼ 結局のところテストケースの設計が一番重要だし、その準備も大変な場合が多い ⚫ 自分は AI に作らせたが、そういうものは概して綺麗なデータになりがちなので、リアルな実データでは思ったような精度が出ない可能性も 人間が責任を持つ部分と、AI に任せる部分を上手に使い分けるのが肝要 © 2019-2026 OPTiM Corp. All rights reserved. 9
10. 今後の展望：エージェントシステム全体の改善  単一のプロンプトの改善は Promptfoo である程度実現できたが、最終目標はエージェントシステム全体の改善  今後の展望（構想段階） 評価基盤の整備 RAGAS（RAG Triad）のような検索/生成などの各コンポーネントの 評価を適用し、問題箇所を特定できるようにする システム全体のプロンプト改善 DSPy フレームワークと統合し、前述の評価基盤をもとに 自動で各エージェントのプロンプトや Few-shot サンプルを改善 End-to-End の最適化 EvoAgentX などの手法を取り入れ、ワークフローやツール選択、 ハイパーパラメータなども含めた End-to-End の最適化 © 2019-2026 OPTiM Corp. All rights reserved. 10
11. 今後の展望：エージェントシステム全体の改善  DSPy ◼ LLM を利用したアプリケーションをモジュール単位で組むためのフレームワーク ◼ プロンプトを手動で書かずに宣言的に LLM の処理を定義 ◼ モジュールを組み合わせて定義したシステム全体に対して、テストデータに沿った最適化が可能 ⚫ 各モジュールのプロンプトや few-shot サンプルが最適化される ◼ お試しで動かしたことはあるが、実運用しているシステムに適用したことはまだない  EvoAgentX ◼ TextGrad / Aflow / MIPRO などの最適化アルゴリズムを統合したモジュラーフレームワーク ◼ エージェントのプロンプトやツール設定、ワークフローのトポロジー（どのようなフローでツールやエージェントを呼び出すか）の 最適化が可能 ◼ 実際に今開発しているエージェントシステムに適用できそうかはまだ分かっていない © 2019-2026 OPTiM Corp. All rights reserved. 11
12. まとめ  できたこと ◼ 最新の手法を論文をもとに Vibe Coding することで、直ちに動く状態まで持っていくことができた ◼ 単一の LLM プロンプトの改善ループを、Promptfoo と Claude Code を組み合わせて自動化できた  これからやりたいこと ◼ エージェントシステム全体の包括的な最適化を目指して、新たな手法を段階的に取り入れていきたい  所感 ◼ 現時点では一部の効率化が実現できた段階だが、すでに十分に有用性を感じている ◼ Claude Code（やその他のコーディングエージェント）に丸投げでもかなりうまくやってくれる ◼ 人間が責任を持つ部分と AI に任せる部分を上手に使い分けていく点は、共通して考えていかないといけない © 2019-2026 OPTiM Corp. All rights reserved. 12