Share
Embed
Transcript
16 slides
-
⾃⼰紹介 • 早川 耕平と申します • エンジニア歴︓6年くらい • Javaエンジニア → ノーコード(Bubble)
→ Javaエンジニア • 好きなもの • フィギュアスケート、キャンプ、⾃作キーボード • 茶道、コーヒー、ウィスキー、Vtuber、でんじろう先⽣ © TENDA Co.Ltd. 1 ↑うちの猫 ↑推し -
AGENDA 1. AIエージェントとは何か︖ 2. 企業のAI利⽤における「ガバナンスの壁」 3. Difyの選定理由 4. 実践︓Difyで構築するAI調査エージェント 5.
評価結果 6. まとめと今後の展望 © TENDA Co.Ltd. 2 -
AIエージェントとは何か︖① 「バックスペースキー」の⽐喩 • 従来の⽣成AI︓最初から最後まで⼀筆書きでエッセイを書くようなもの • AIエージェント︓⾃ら草稿を書き、修正箇所を⾃⼰評価し、書き直す(バッ クスペースキーを使う)システム © TENDA Co.Ltd.
3 ※Andrew Ng, “What‘s next for AI agentic workflows”より抜粋 -
AIエージェントとは何か︖③ 〜4つの「デザインパターン」〜 © TENDA Co.Ltd. 5 ※Andrew Ng, “What‘s next
for AI agentic workflows”より作成 • デザインパターン︓ Andrew Ngが提唱する、AIエージェントのベストプラクティス。 -
企業のAI利⽤における「ガバナンスの壁」 • 次々と登場する魅⼒的なエージェントサービス • ⾃社のガイドラインに適合しているのか︖ • セキュリティ基準(ISO27001、SOC2など)を満たしているか︖ • 機密情報が再学習に利⽤されないか︖ •
MITの”AI Agent Index“によると、プロンプトインジェクション耐性等に対する内部安 全性評価を公開していないサービス → 25 / 30件(約83%) • ⼿作業調査の限界 • 数が多すぎて⼿が回らない • 評価の「属⼈化」、「⾒落とし」や「判断のブレ」 © TENDA Co.Ltd. 6 → AIエージェントを⽤いた調査が有効 -
Difyの選定理由 2026/03/19現在、チャットAIはとても優秀(デザインパターンを実践している)。 それでもDifyを選んだ意義は「プロセスの透明性」「証跡と監査」「運⽤の容易さ」 © TENDA Co.Ltd. 7 ⽐較項⽬ 既存のチャットツール(汎⽤AI) DifyによるAIエージェント構築
プロセスの透明性 推論過程が不明で事後の検証不可 「情報収集→LLMによる評価」という処理 の流れを明確に定義できる。 証跡と監査耐性 根拠となるソースがブラックボックス 内にあるため、事後の監査に堪えない。 何を根拠に評価が⾏われたか、各ステップ の証跡を確実に⾒える形で残せる。 運⽤の容易さ 調査のたびに、⼈間が⼿作業でプロン プトを⼊⼒して指⽰を出す必要がある。 GUI上でcronライクなスケジュール設定 (定期実⾏)ができる。 -
実践︓Difyで構築するAI調査エージェント © TENDA Co.Ltd. 8 ⼊⼒ ・サービス名 ・プラン名 検索クエリ⽣成 Web検索
初回判定 再検索 クエリ⽣成 Web検索 再判定 DB保存(結果・証跡) -
実践︓Difyで構築するAI調査エージェント © TENDA Co.Ltd. 9 ⼊⼒ ・サービス名 ・プラン名 検索クエリ⽣成 Web検索
初回判定 再検索 クエリ⽣成 Web検索 再判定 DB保存(結果・証跡) Tool Use Plan Reflection -
⼯夫したポイント① • 検索クエリの⼯夫 • {service} {plan} “used to train” →
プランによって規約が違うので、プラン名を明⽰ • Tavily+Jina(Web検索の鉄板コンビ) • Tavilyだけでよかった → raw_contentがある。 • チェックリストの定義 • LLMにわたす評価基準をプロンプトで定義 • 根拠(evidence)を明⽰させる。根拠がない場合はUnknownとする。 © TENDA Co.Ltd. 10 -
⼯夫したポイント② • Dify特有のクセ • 変数定義の概念が希薄 • ちょっとした定型処理は「コード実⾏」でカバーする必要あり • Dify特有の便利機能 •
フラット化オプション・・・⼆重リストを制限してくれる • JSONスキーマ・・・確実なJSONを返してくれる(諸説あり) • CSV⼀括実⾏・・・ワークフローのみの機能なので注意。途中で変換不可。 © TENDA Co.Ltd. 11 -
評価結果 • CSVビューツールを作って、⼈の⽬で確認 • 【作成した結果ビューワ(サマリ・詳細)】 https://agentic-ai-research.hk-test-use.workers.dev/ https://agentic-ai-research. hk-test-use.workers.dev/csv_viewer_single_file ※ Basic認証有り
User: ten Pass: At4padk6 • Conditional(条件付きYes)が多い。 • 有名なものであってもConditional • ⇒ AIの判定基準が曖昧で、厳しめに倒さざるを得ない。(例︓Cursor、Zapier) • 個⼈⽤プランを弾いているのは好感(例︓Google Gemini) © TENDA Co.Ltd. 12 -
評価結果 • ChatGPTに投げてみる • PoCとしてはかなり良いです。ただし、このまま意思決定に使うにはまだ危ないです。 • https://chatgpt.com/share/e/69bb89d8-6e98-8005-90fc-c120eb4e4baf • コスト(PoC) •
Tavily︓1000検索まで無料だが、使い切ってもう1000件程度実施。8$程度の超過発⽣ • Open AI API︓3$ほど利⽤ • 他は無料プラン内で検証した。 © TENDA Co.Ltd. 13 -
まとめと今後の展望 • AIエージェント=感覚→計画→決定→実⾏のループを回せる • AI⾃⾝でReflection(反省)できる。 • Difyで作ったアプリは今後業務で活かせそう • PoCとしては成功、業務担当の負荷を減らすためにはどうしたらいいか。 •
動的なサービス調査、情報更新 • ⼈間も評価ループを回すべき • 今回は、⾃社の⽣成AIガイドラインを基にAIが出してくれたプロンプトをそのまま利⽤ • → 評価にブレ・厳しめの評価に倒している • → ⾃社の⽣成AIガイドラインも気づいたところを直すべき。 © TENDA Co.Ltd. 14