「SaaS × AI Agentの未来」freee が AWS で築く AI Agent 基盤

Slide 1

Slide 1 text

SaaS × AI Agent の未来  freee が AWS で築く AI Agent 基盤  フリー株式会社 AIエージェント基盤部プリンシパルアーキテクト宇佐美ゆう AWS for Software & Technology | Builders Forum Tokyo 2025.9.3 

Slide 2

Slide 2 text

2 宇佐美ゆう   AIエージェント基盤部   プリンシパルアーキテクト     Yu Usami    ● SaaS × AI Agent の可能性    ● freee の Agent 機能とアーキテクチャ  AWS for Software & Technology | Builders Forum Tokyo 2025.9.3 

Slide 3

Slide 3 text

3 創業来の自動化コンセプト    「freee を使ってもらえれば業務を自動化できて圧倒的な効率を実現できる」  生成 AI / AI Agent の台頭    解決が困難だった「構造化されたfreeeのやり方にのってもらう」というハードルを抜本的に下げることが可能に  freee の AI 戦略    単なる業務の「自動化」を超え、スモールビジネスの「意思決定の高度化」「AI CFO」の実現  なぜ今、AI Agent なのか？  AWS for Software & Technology | Builders Forum Tokyo 2025.9.3 

Slide 4

Slide 4 text

4 標準化    AI Agent 機能の開発・リリース・メンテナンス手法の標準化  開発コスト80%減    プロダクトチーム1ヶ月の開発で新規 AI Agent 機能のリリース  セキュリティ・可観測性    自動でセキュリティ・可観測性の社内基準を満たす  freee AI Agent 基盤：目標   AWS for Software & Technology | Builders Forum Tokyo 2025.9.3 

Slide 5

Slide 5 text

5 AI Agent 基盤：全体像   ● A2A Protocol 採用  ● Python web service として実装  ● 単一リポジトリに  ユースケース別 Agent の実装  Amazon Bedrock  Langfuse  Amazon EKS  LLM  Gateway  Service  AI Agent  Service  ユースケース別   Agent  Amazon Aurora  Amazon ElastiCache  freee  ドメイン APIs  Amazon S3  Amazon EKS   モバイルアプリ  他LLM利用機能  A2A Prototol  JSON-RPC  Task 永続化  EventQueue  AWS for Software & Technology | Builders Forum Tokyo 2025.9.3 

Slide 6

Slide 6 text

6 AI Agent 基盤：全体像   ● A2A Protocol 採用  ● Python web service として実装  ● 単一リポジトリに  ユースケース別 Agent の実装  Amazon Bedrock  Langfuse  Amazon EKS  LLM  Gateway  Service  AI Agent  Service  ユースケース別   Agent  Amazon Aurora  Amazon ElastiCache  freee  ドメイン APIs  Amazon S3  Amazon EKS   モバイルアプリ  他LLM利用機能  A2A Prototol  JSON-RPC  Task 永続化  EventQueue  AWS for Software & Technology | Builders Forum Tokyo 2025.9.3 

Slide 7

Slide 7 text

7 技術選択：なぜ A2A プロトコルなのか？   ● AI Agent への依頼 = 「タスク」    ● a2a-python 採用による開発効率の最大化  ○ モデリング工数削減 / SDK によるプレゼンテーション層実装の省力化  ○ 内部の Agent は柔軟に実装可能    ● a2a-python に足りない部分を独自実装  ○ Task の永続化 / Task 一覧 API  AWS for Software & Technology | Builders Forum Tokyo 2025.9.3 

Slide 8

Slide 8 text

8 AI Agent 基盤：全体像   ● A2A Protocol 採用  ● Python web service として実装   ● 単一リポジトリに  ユースケース別 Agent の実装  Amazon Bedrock  Langfuse  Amazon EKS  LLM  Gateway  Service  AI Agent  Service  ユースケース別   Agent  Amazon Aurora  Amazon ElastiCache  freee  ドメイン APIs  Amazon S3  Amazon EKS   モバイルアプリ  他LLM利用機能  A2A Prototol  JSON-RPC  Task 永続化  EventQueue  AWS for Software & Technology | Builders Forum Tokyo 2025.9.3 

Slide 9

Slide 9 text

9 技術選択：なぜ Python service なのか？  ● A2A の公式 SDK は Python or JavaScript / TypeScript    ● LLM 機能特有の要件  ○ 長時間実行 / ストリーミング応答 / 中断・再開  ○ 要件の異なる既存の Rails server に実装する形式は適さない    ● Python の強み  ○ AI / LLM エコシステム資産が潤沢  ○ freee の幾つかのサービスにおいて採用実績あり  AWS for Software & Technology | Builders Forum Tokyo 2025.9.3 

Slide 10

Slide 10 text

10 AI Agent 基盤：全体像   ● A2A Protocol 採用  ● Python web service として実装  ● 単一リポジトリに   ユースケース別 Agent の実装  Amazon Bedrock  Langfuse  Amazon EKS  LLM  Gateway  Service  AI Agent  Service  ユースケース別   Agent  Amazon Aurora  Amazon ElastiCache  freee  ドメイン APIs  Amazon S3  Amazon EKS   モバイルアプリ  他LLM利用機能  A2A Prototol  JSON-RPC  Task 永続化  EventQueue  AWS for Software & Technology | Builders Forum Tokyo 2025.9.3 

Slide 11

Slide 11 text

11 技術選択：なぜ単一リポジトリなのか？   ● AI Agent 基盤：LLM / ドメイン API 呼び出しに特化させる  ○ 各 Agent 開発でLLM / ドメイン API との個別連携を不要に  ● 開発効率の向上  ○ デプロイ容易化  ○ 実装の流用・共通化  ○ ログ・セキュリティの社内標準に自動準拠  AWS for Software & Technology | Builders Forum Tokyo 2025.9.3 

Slide 12

Slide 12 text

12 認証・認可基盤    社内ミドルウェア+基盤での堅牢な管理  ドメインAPIへの安全なアクセス  LLM 集約    LLM の利用を Amazon Bedrock に集約  LLM 入出力ログをマスキング・保存  Agent / LLM を観測可能に    評価基盤へのつなぎこみ  開発者が Agent を改善できる仕組み  セキュリティ対策と可観測性の確保   AWS for Software & Technology | Builders Forum Tokyo 2025.9.3 

Slide 13

Slide 13 text

13 実装例：「まほう経費精算」   ● 目的：経費申請者の負担を「極限まで小さく」  ● チャットベースUIで正確な申請  ○ モバイルアプリ版を Closed β リリース済！  AWS for Software & Technology | Builders Forum Tokyo 2025.9.3 

Slide 14

Slide 14 text

14 「まほう経費精算」：デモ   AWS for Software & Technology | Builders Forum Tokyo 2025.9.3 

Slide 15

Slide 15 text

15 「まほう経費精算」： Agent の振る舞い   ● LLM が次の振る舞いを非決定的に選択  ○ 使える機能（= FunctionTool）から選択    ● multi-Agent から単一 Agent への実装変更  ○ ユーザー体験を損なう Agent 移譲遅延を解消  AWS for Software & Technology | Builders Forum Tokyo 2025.9.3 

Slide 16

Slide 16 text

16 ファイル読み取り＆推測    LLM へのマルチモーダル入力  領収書・ICカード利用履歴の解析  freee ドメイン API 利用    経費精算科目の検索、freee 会計への経費精算申請作成など複数利用可能  メッセージストリーミング    A2A の message/stream を利用  進捗や LLM の応答をリアルタイムで  「まほう経費精算」：機能ハイライト   AWS for Software & Technology | Builders Forum Tokyo 2025.9.3 

Slide 17

Slide 17 text

17 「まほう経費精算」：インタラクションと制御   ● ユーザー入力を LLM が解釈  ○ 追加情報が必要であれば尋ねる  ○ ボタン入力などの UI からの入力も文字列にして LLM へ  ● 会話１ターンあたりの LLM 呼び出し回数の上限設定  ● システムの安定稼働とコスト効率の両立  AWS for Software & Technology | Builders Forum Tokyo 2025.9.3 

Slide 18

Slide 18 text

18 品質向上の鍵： LLM Observability / 評価基盤  ● AI Agent の振る舞い把握と品質向上が急務  ● Langfuse を self-hosting で利用することに  ● 安全かつ適切にトレース・観測可能に  AWS for Software & Technology | Builders Forum Tokyo 2025.9.3 

Slide 19

Slide 19 text

19 パフォーマンス最適化    応答速度・ボトルネックの可視化  コスト最適化    トークン使用数・実費の可視化  開発効率化    Agent の振る舞いの詳細精査  評価駆動開発の実現    評価を基に改善・リリース  LLM 応答の品質向上    タスク遂行率・Hallucination 定量評価  LLM 機能の安定性向上    APIエラー率の可視化・改善  Langfuse がもたらす品質向上   AWS for Software & Technology | Builders Forum Tokyo 2025.9.3 

Slide 20

Slide 20 text

20 Langfuse self-hosting の理由  ● 機密性の高いお客様のプロンプトデータを保存  ○ 厳格な freee セキュリティ要件を確実に満たす必要がある  ■ 専用 EKS クラスタ / データストア暗号化  ■ 詳細なアクセスログによるトレーサビリティの確保  ● RBAC によるアクセス権限の厳格な管理  AWS for Software & Technology | Builders Forum Tokyo 2025.9.3 

Slide 21

Slide 21 text

21 まとめ  ● AI Agent 基盤の構築と「まほう経費精算」の実装  ● 品質・セキュリティを両立するアーキテクチャ  ● AI Agent を活用し、お客様へ新たな価値提供  AWS for Software & Technology | Builders Forum Tokyo 2025.9.3 

Slide 22

Slide 22 text

スモールビジネスを、世界の主役に。  