AIエージェント開発 / 運用入門 - Forkwell Library #110

2025年10月16日開催イベントの登壇資料です。

AIエージェント開発 / 運用入門 - Forkwell Library #110
https://forkwell.connpass.com/event/369810/

Transcript

1. ©Mitsubishi Electric Corporation 社外秘 A I エ ー ジ ェ ン ト 開 発 / 運 用 入 門 F o r k w e l l L i b r a r y # 1 1 0 塚田 真規 2 0 2 5 年 1 0 月 1 7 日 1
2. ©Mitsubishi Electric Corporation 2 塚田 真規 Masaki Tsukada 三菱電機株式会社 デジタルイノベーション事業本部 AI戦略プロジェクトグループ • AWS Community Builder 2025 (AI Engineering) • JAWS-UG AI/ML支部運営 • 2024/2025 Japan AWS All Certifications Engineers 自 己 紹 介
3. ©Mitsubishi Electric Corporation 3
4. ©Mitsubishi Electric Corporation L a n g G r a p h を 使 っ た A I エ ー ジ ェ ン ト の 構 築 4 AIエージェントの実装を支援してくれるフレームワーク LangChain とは？ LangGraph LangSmith LangGraph Platform LLMアプリケーション構築フレームワーク 複雑なAIエージェント構築、オーケストレーションに特化 LLMアプリケーションを監視、評価するエンジニアリングツール 長期実行、ステートフルなAIエージェントを運用できるデプロイ環境 LangChain社が提供するプラットフォーム群
5. ©Mitsubishi Electric Corporation L a n g G r a p h を 使 っ た A I エ ー ジ ェ ン ト の 構 築 LanｇGraphの特徴 5 ifやforなど従来のPythonコードをベースに AIエージェントを構築できる Functional API import task, entrypoint @task def invoke(): … @task def use(tool): … @entrypoint def agent(messages): while True: tools = invoke() if not tools: break use(tools) return response AIエージェントをグラフ構造で定義できる End Start メッセージ履歴 List[str] ステート エッジ ノード Graph API
6. ©Mitsubishi Electric Corporation 6 AIエージェントを作るためのフレームワーク沢山ある！！ • AIエージェントのデバッグでどうするの？ • AIエージェントの評価ってどうするの？ • 生成AIの安全性どうやって検証するの？ LLMOps (Large Language Model Operations) Agent Development Kit Strands Agents
7. ©Mitsubishi Electric Corporation L L M O p s 入 門 7 LLMOpsとは？ LLMアプリケーション開発における 開発フェーズから運用フェーズまでのプロセス/ベストプラクティス 開発フェーズ 運用フェーズ プロンプトエンジニアリング トレーシング(実験管理) 性能評価 監視モニタリング など
8. ©Mitsubishi Electric Corporation トレーシング、プロンプト管理、 評価、データセット管理など LangChain社が提供。LangChainエコシ ステムと簡単に統合可能。 トレーシング、プロンプト管理、 評価、データセット管理など セルフホスティング可能。 ＳａａＳ版の提供もあり。 評価、データ生成など RAG、AIエージェント、Text-to-SQLなど 様々なユースケース向けの評価指標を提供。 評価(単体テスト形式も)、 データ生成など CoTをベースとしたG-Evalsなど様々な評 価資料を提供。 L L M O p s 入 門 8 LLMOpsを支援するツールを活用 LLMOpsのプロセスをどう実現すれば？ ？ ？
9. ©Mitsubishi Electric Corporation L L M O p s 入 門 9 検索クエリ作成 create_query() Web検索 web_search() レポート生成 create_report() トレーシング
10. ©Mitsubishi Electric Corporation L L M O p s 入 門 10 プロンプト管理 AIエージェント 「production」タグの プロンプト {{city}}の 人口は？ AIエージェント 「production」タグの プロンプト {{city}}の 観光名所は？ プロンプトのバージョン管理 • タグによるプロンプト管理 • 変更差分の比較
11. ©Mitsubishi Electric Corporation L L M O p s 入 門 11 AIエージェント Amazon Bedrock Guardrails AIエージェントの安全性向上 AIエージェントの評価 ガードレールを用いてLLMの入出力を監視 AIエージェントの”軌跡”から行動内容を評価 LLM ①LLMへの入力監視 LLM ツール Amazon Bedrock Guardrails ②LLMの出力監視 トレースデータ AIエージェントが正しく 行動したかを評価