信頼性が求められる業務のAIAgentのアーキテクチャ設計の勘所と課題

アーキテクチャConference 2025で登壇させていただいた資料です。
信頼性が求められる業務で「Agentic Workflow」をどう実装するか。
理想論ではなく、現場で直面する
・信頼性と自律性のバランス
・人間マニュアルのワークフロー化
など、設計の勘所と現実解をまとめました。

【イベントリンク】
https://architecture-con.findy-tools.io/2025

【イベント概要】
イベント名称：アーキテクチャConference 2025
開催日時：2025年11月20日（木）・21日（金）9:30〜19:00
開催形式：オフライン・オンライン配信（無料/要事前登録）
会場：ベルサール羽田空港

Transcript

1. © 2025 Algoage, Inc. アーキテクチャConference 2025 2025.11.21 信頼性が求められる AIAgentアーキテクチャ設計の 勘所と課題 CTO 宮田 航志
2. © 2025 Algoage, Inc. AIプロダクト設計の現実解 ”Agentic workflow” の理想と現実の話をします！ 2
3. © 2025 Algoage, Inc. Profile 2013〜 学生ベンチャー等でエンジニア活動 2015〜 コロプラ 　VR/位置ゲー/スマホゲーム 2020〜 DMM.com 　2020〜 　　マーケティングテクノロジー部 Manager 　2022〜 　　株式会社DMMCrypto CTO 　　ブロックチェーン構築/web3プロダクト開発 　2025〜 　　株式会社Algoage CTO 　　AIのR&D/マーケティング SaaS/新規事業の開発等 宮田航志 @miyata_17_ 趣味： K-1・散歩・ハッカソン 3
4. © 2025 Algoage, Inc. テクノロジー 創業からのAIをはじめとする 4 DMMグループ 100%子会社環境 2018年創業の東大発 AIスタートアップ 今年MVVを刷新、第二創業期！！
5. © 2025 Algoage, Inc. 「本質×インパクト」を意識し、多様な領域で社会課題の解決に挑む PORTFOLIO Algoageの事業ポートフォリオ CV最大化する チャットマーケティング SaaS事業 DMMグループ+関連会社の様々な業務を AIプロダクトで業務効率化 企業のAI活用を加速 コンサルティング・研修事業 5 本日のテーマ
6. © 2025 Algoage, Inc. R&D HISTORY これまでの R&D事例 創 業 期 から、 私 たちは「 研 究 × 実 装 × 商 ⽤ 適 ⽤ 」を 強 みとして、AI 技 術 で ⼤ 企 業 の 難 題 を 解 決 してきました。 この課題解決⼒と数々の実績が、DMMグループへのスピーディーな参画を実現させ、現在の“事業創造”の礎となっています。 独自ディープラーニングエンジンの 構築（大手ガス会社向け） 遮蔽物下でも⼈物を追跡するために⾻格 推定モデルを改良。データ拡張や軽量化 を⾏い、リアルタイム処理を実現。 深層学習による画像再構成の研究 （不動産 VR向け） パノラマ特 有の幾 何 歪みやノイズを、 CNN＋inpaintingで補正。VRサービス に耐えうる画質で商⽤レベルに適⽤。 画像解析とエンタメを接続する生成 モデル（アニメ業界向け） 1枚のイラストからキャラクターを動か すモデルを開発。少データ環境でも⾃然 なモーションを⽣成できるよう⼯夫。 6
7. © 2025 Algoage, Inc. Workflow定義・評価設計の課題 © 2025 Algoage, Inc. アーキテクチャパターンと相性 意図認識・実行・コンテキスト設計の課題 おわりに Agentic workflowアーキテクチャの課題と全体像 AGENDA 本日のアジェンダ 7
8. © 2025 Algoage, Inc. Workflow定義・評価設計の課題 © 2025 Algoage, Inc. アーキテクチャパターンと相性 意図認識・実行・コンテキスト設計の課題 おわりに Agentic workflowアーキテクチャの課題と全体像 AGENDA 本日のアジェンダ 8
9. © 2025 Algoage, Inc. 業務理解をして信頼性 × 自律性のバランスを取るアーキテクチャが必要 9 ①AIのビックリ体験ではなく、 ミスなくタスクをこなすのが大事 　信頼性 / 安全性がないと、成果がでても PoCで終わる ② 現場ごとに「 AIに任せていい範囲」が違う 　 深い業務理解をして業務設計まで触らないといけない ③ LLMの進化で、 設計の賞味期限が短い 　頑張って組んだワークフローより、 LLMに自律的に任せた方が良くなることも ⚠ ⚠ ⚠ 現場導入の壁と必要な設計視点
10. © 2025 Algoage, Inc. アーキテクチャパターン：宣言性 <>自律性 LLM の 自 律 性 ワークフローの厳密さ LLMが計画も実行も担う 課題：再現性・信頼性の確保、実行コストの増大 AI Agent 計画は事前宣言 /実行,判断もLLM 課題：設計と運用の複雑性、開発コスト Agentic workflow LLMが単発タスクを実行 課題：複雑な自律タスクへの拡張が難しい Prompt + 外部ツール 計画は事前宣言 /実行の一部で LLM 課題：導入コスト・AIのうまみ低い AI workflow 10 まだ定義は揺れてるが、 OpenAI/Anthropic/エージェントFWで共通して語られる 「宣言的ワークフローの厳密性 × 自律性」の軸で定義を分けると実務的に扱いやすい。 ⭐ 本日は ここを深 掘り
11. © 2025 Algoage, Inc. アーキテクチャパターン：業務種類マッピング例 LLM の 自 律 性 ワークフローの厳密さ ⭕リサーチ/コーディング AI Agent ⭕CS / HR / 要件定義 Agentic workflow ⭕文章要約 / ブレスト Prompt + 外部ツール ⭕審査 / 与信 / 締め作業 AI workflow 11 業務ごとに求められる厳密さと自律性のバランスが異なるので整理してみた 実際のアプリケーションでは複数のパターンを組み合わせて使うことが多い気がする ⭐ 本日は ここを深 掘り
12. © 2025 Algoage, Inc. アーキテクチャパターン：宣言性 <>自律性 LLM の 自 律 性 ワークフローの厳密さ AI Agent 計画は事前宣言 /実行,判断もLLM 課題：設計と運用の複雑性、開発コスト Agentic workflow Prompt + 外部ツール AI workflow 12 今日は、この中でも「 Agentic workflow」を中心に話しますが、 実務では他の3つも組み合わせながら設計しています。 ⭐本日はここを深掘り
13. © 2025 Algoage, Inc. Workflow定義・評価設計の課題 © 2025 Algoage, Inc. アーキテクチャパターンと相性 意図認識・実行・コンテキスト設計の課題 おわりに Agentic workflowアーキテクチャの課題と全体像 AGENDA 本日のアジェンダ 13
14. © 2025 Algoage, Inc. 4つの段階と評価サイクルで、マニュアルの形式知化から安全な実行までを実現する 人のマニュアル → ワークフロー作成 状態を ストリーム配信 Formalize Intent check Exec/Observe Control MCPツール PIIフィルタ 　　　HaaT etc… 意図解釈と ワークフロー選定 結果ログ 評価ログ 業務改善提案 実行 評価 LangGraph等 でフロー実行 エージェントに 指示 評価/改善 安全実行 14 Agentic Workflow アーキテクチャ
15. © 2025 Algoage, Inc. AFlow / AutoAgent と業務ワークフローの距離感 15 AFlow ワークフローをコードのグラフとして定義 モンテカルロ木探索でノードの組み合わせを探 索しLLMを呼び出す AutoAgent 自然言語でツール /エージェント /ワークフローを 作れる 実行ログを見ながら自己改善できる ワークフロー自体を自動で最適化しようという研究も増えている ・どちらも きれいなデータセット＋評価関数が用意できる業務が前提 ・曖昧で文脈依存の業務においては評価指標とログからのデータ整形がボトルネック ・フレームワークに頼らず、自前実装の方がいいポイントばかり 　→Agentic workflowはまだまだ自前構築で向き合わないといけない 😭
16. © 2025 Algoage, Inc. Workflow定義・評価設計の課題 © 2025 Algoage, Inc. アーキテクチャパターンと相性 意図認識・実行・コンテキスト設計の難所 おわりに Agentic workflowアーキテクチャの課題と全体像 AGENDA 本日のアジェンダ 16
17. © 2025 Algoage, Inc. 4つの段階と評価サイクルで、マニュアルの形式知化から安全な実行までを実現する 全業務フロー作成 状態を ストリーム配信 Formalize Intent check Exec/Observe Control MCPツール PIIフィルタ 　　　HaaT etc… Agentic Workflow アーキテクチャ 意図解釈 ワークフロー選定 結果ログ 評価ログ 業務改善提案 実行 評価 LangGraph等 でフロー実行 エージェントに 指示 評価/改善 安全実行 17
18. © 2025 Algoage, Inc. 業務を理解し、 DSLでワークフローを組んでそれを評価するという離れ業 🦸 をするために以下の担保が必要 Validation（構文妥当性） 1. ドメインに特化したDSL定義 2. 人間マニュアルから自動生成 3. 構文を検証するツールの開発 Verification（意味的正しさ） 1. 評価指標の決定 2. 各種ログ分析による評価 3. ペルソナ再現とLLMaaJudge 業務フロー構築の勘所 18
19. © 2025 Algoage, Inc. Workflow定義・評価設計の課題 © 2025 Algoage, Inc. アーキテクチャパターンと相性 意図認識・実行・コンテキスト設計の課題 おわりに Agentic workflowアーキテクチャの課題と全体像 AGENDA 本日のアジェンダ 19
20. © 2025 Algoage, Inc. 4つの段階と評価サイクルで、マニュアルの形式知化から安全な実行までを実現する 人のマニュアル → ワークフロー作成 状態を ストリーム配信 Formalize Intent check Exec/Observe Control MCPツール PIIフィルタ 　　　HaaT etc… 意図解釈と ワークフロー選定 結果ログ 評価ログ 業務改善提案 実行 評価 LangGraph等 でフロー実行 エージェントに 指示 評価/改善 安全実行 20 Agentic Workflow アーキテクチャ
21. © 2025 Algoage, Inc. ワークフローの選定とコンテキスト ・過去ログ/CRMを横断検索し、足りなければ依頼元に確認 ・S2Tや辞書登録で、入力を正規化。必要あればS2Sのままで。 ・必要に応じて専用モデル・ファインチューニングも検討 実行の為の情報 意図解釈の為の情報 21 ・業務システムや外部APIから、必要データを事前取得 ・Chrome拡張・マイクなどで、現場UIのコンテキストを泥臭く集める ・HaaT/MCPが届かない画面は、人が介在するフロー前提で設計する
22. © 2025 Algoage, Inc. 4つの段階と評価サイクルで、マニュアルの形式知化から安全な実行までを実現する 人のマニュアル → ワークフロー作成 状態を ストリーム配信 Formalize Intent check Exec/Observe Control MCPツール PIIフィルタ 　　　HaaT etc… 意図解釈と ワークフロー選定 結果ログ 評価ログ 業務改善提案 実行 評価 LangGraph等 でフロー実行 エージェントに 指示 評価/改善 安全実行 22 Agentic Workflow アーキテクチャ
23. © 2025 Algoage, Inc. ・業務ログには氏名や IDが混ざるので外付けNER＋社内辞書でマスクしてから LLMへ 安全実行のお話し 23 個人情報 ①MCP権限制御 ・参照系は自動実行、更新系は dry-run＋HaaT 承認を経て実行 ② Human-as-a-Tool（HaaT） ・HITL: 常に人がゲートキーパー（出力レビュー前提） ・HaaT: エージェントが必要なときだけ ask_human を呼ぶ、ワークフロー内の 　「人間ツール」 セキュリティ・権限系
24. © 2025 Algoage, Inc. Workflow定義・評価設計の課題 © 2025 Algoage, Inc. アーキテクチャパターンと相性 意図認識・実行・コンテキスト設計の課題 おわりに Agentic workflowアーキテクチャの課題と全体像 AGENDA 本日のアジェンダ 24
25. © 2025 Algoage, Inc. まとめ ・業務を深く理解し「宣言性 ✖自律性」の線引きをアーキテクチャとして決める ・Agentic workflowは、現場ごとのワークフロー DSL+安全実行 　+評価パイプラインまで含めて設計したときに初めて武器になるので 　やり切る頑張る覚悟を決める ・ワークフロー自動最適化の波も来ているが、現場では評価指標とログ整備が 　ボトルネックになる。いまはその土台作りに没頭中 25 信頼性がシビアな業務で Agentic workflow を使い価値を出すために
26. © 2025 Algoage, Inc. 将来的なアーキテクチャに投資しています。 本質的に価値がありインパクトが出せる事業の開発をしましょう！！ EM / PjM / PdM フルスタックエンジニア AI R&D/データエンジニア エンジニア We're Hiring! 26 採用サイト 本日の資料 ここで展開します お気軽にDM等で声かけ ください！！ @miyata_17_ FDE