freeeにおけるAI分析エージェントの実践

Transcript

1. freeeにおけるAI分析エージェントの実践 2026.06.12
2. 2 • 2024~ freeeに入社 • Analytics Engineerとしてビジネスデータ の活用推進を担当 辛 剣徳 ビジネス基盤部 shin kento
3. スモールビジネスを、世界の主役に。
4. 4 私たちの事業について 会計‧⼈事労務‧販売管理を核とした 統合型経営プラットフォーム バックオフィス業務の分断をなくし、 統合体験の構築
5. 5 freee会計 freee開業 freee福利厚生 freeeアプリストア freee人事労務 freee会社設立 freeeスマート受発注 freeeプロジェクト管理 freee資金調達 freee申告 freeeカード プロダクトラインアップ
6. 6 01　freeeのLooker活用の現状 02　分析エージェントの紹介 03　BottomUpセマンティックレイヤー 04　まとめ 目次
7. 7 01　freeeのLooker活用の現状 02　分析エージェントの紹介 03　BottomUpセマンティックレイヤー 04　まとめ 目次
8. 8 freeeのデータ基盤 プロダクト Data お客様との接点、属 性、商談 Data フリーの経営資源 （人、物、金） データ プラットフォーム 分析・レポート データ / AI プロダクト DX / オペレーション セールス・マーケティング サクセス / サポート
9. 9 • 2025年からLookerを導入 • ビジネス領域を中心に順調にセマンティックレイヤーを拡大 セマンティックレイヤー導入のこれまでの歩み 2025/1 4月 7月 10月 2026/1 4月 7月 Sales KPI SL 構築 本番契約 ユーザー利用開始 課金・契約 SL 構築 Sales MTG活動 SL 財務 SL 採用活動 SL 営業向け公式 Dashboard 構築 Today Looker検証開始 全社KPI Dashboard 構築 プロダクト SL マーケティング SL
10. 10 ユーザー数、ダッシュボード数 ユーザー数500名超 ダッシュボード数250
11. 11 順調に社内に浸透している が、課題も見えてきた....
12. 12 見えてきた課題 このダッシュボード、私が知りたいことと微妙に違う... Exploreを触れば色々見れるのはわかるけど、めんど くさい... 売り上げ低下の原因を探りたいが、何から調べれば 良いんだろう...
13. 13 セマンティックレイヤーでは「情報」の取得までしかできない Da Data Information Knowledge Widsdom 売り上げデータ 今月の売り上げが10%低下 している 特定の業種で解約が集中している ことで売り上げの低下が発生して いる 該当セグメントへの早期CSの 介入や解約理由のヒアリング を実施すべき 例: 売り上げ低下の要因分析 セマンティックレイヤーで解 決できるのはここまで
14. 14 セマンティックレイヤーでは「情報」の取得までしかできない Da Data Information Knowledge Widsdom 売り上げデータ 今月の売り上げが10%低下 している 特定の業種で解約が集中している ことで売り上げの低下が発生して いる 該当セグメントへの早期CSの 介入や解約理由のヒアリング を実施すべき 例: 売り上げ低下の要因分析 セマンティックレイヤーで解 決できるのはここまで Knowledge/Wisdomを与え、 Actionまで支援することが AIエージェントの役割
15. 15 AIエージェントを作るなら、セマンティックレイヤーは 必要ないのでは...?
16. 16 分析エージェントにセマンティックレイヤーは必要不可欠 データ分析エージェントは正確な回答が求められる • 分析結果が組織・事業戦略に直結する • 「それっぽいが間違っている」回答が許されない Text2SQLアプローチの限界 • LLMがテーブルスキーマやゴールデンクエリから、帰納的にSQL を推論するため、不確実性が高い • 推論のためにAIトークンを多く消費し、コスト効率が悪い セマンティックレイヤーが LLMの不確実性 とデータ分析に求められる確実性 を橋渡しする役割を果たす 参考: How Anthropic enables self-service data analytics with Claude > データはソフトウェア開発と異なり、決定 的に正しさを検証することができない
17. 17 01　freeeのLooker活用の現状 02　分析エージェントの紹介 03　BottomUpセマンティックレイヤー 04　まとめ 目次
18. 18 freee分析エージェント Slackで分析依頼をリクエスト 分析計画を作成 分析実施、可視化、レポートを作成
19. 19 なぜ内製を選択したか プラットフォーマーのエージェント開発は日進月歩 • Lookerでも会話分析エージェントが存在。 • 内製したものはいずれ陳腐化するリスクがある。 それでも内製化を選んだ理由 自社コンテキストを 自由に取り込める freee固有の指標定義・業務ロジック・ 組織知識をエージェントに組み込む マルチエージェント構成で 細部まで作り込める 専門特化型エージェントの組み合わせ で精度と再利用性を最大化 Slackで届ける ツールを覚えさせない ユーザーが既にいる場所に機能を置 く。新ツール習得コストをゼロに 少しでも高い精度・ UXを追求するために、カスタマイズ性の高い内製を選択
20. 20 CloudRun x ADKの構成で分析エージェントを構築 システム構成 Agent Development Kit
21. 21 分析プロセスを複数タスクに分割し、それぞれのタスクを専門のエージェントに任せる マルチエージェント・オーケストレーション 分析計画策定 データの取得/集計 可視化/分析の実行 サマリ/インサイト生成
22. 22 計画->実行->確認のループを搭載することで、曖昧な要求を与えられた時にも自律的に動作できる Agentic Loop Plan 計画策定 初期の分析計画 を策定する Act 実行 データ取得と 分析を実行する Reflect 内省 ユーザーの要求に答え られているか/深掘りした い観点はないかを確認 する 実際の動作例 まずは、ステップ1としてfreee会計全 体のカスタマー数推移を集計します 深掘り分析の次のステップとして、料 金プランごとの内訳を確認します 特定プランのカスタマー数が落ち込 んでいることがわかりました。 このプランのチャネル別の内訳を確 認します。 ・・・ Q: freee会計のカスタマー数の推移 状況を分析して
23. 23 プロファイルの注入 コア機能 営業KPI分析用 プロファイル マーケKPI分析用 プロファイル プロダクト行動用 プロファイル プロファイル 営業 マーケター PdM • 全てのセマンティックレイヤーを参照できるようにすると探索範囲が広大になり精度が落ちる。 • ユースケースごとに参照したいデータや分析の前提が異なる → コア機能はシンプルに保ちつつ、ユースケースごとのデータソースと指示をプロファイル として注入できる 設計にした
24. 24 エージェントの回答品質を担保するための自動評価の仕組みを作成 エージェント評価システム ADK評価 ADKの評価フレームワークを使用して 自動テストを構築 User Simulation エージェントとの対話をシミュレートして評価 LLM as Judge 評価基準(ルーブリック)を与え、LLMが回答品質を自動 採点 CI統合 GitHub ActionsでCIに組み込み 継続的に品質を監視 CIの実行結果
25. 25 01　freeeのLooker活用の現状 02　分析エージェントの紹介 03　BottomUpセマンティックレイヤー 04　まとめ 目次
26. 26 分析エージェント利用のニーズに対して、セマンティックレイヤーの構築が追いついていない セマンティックレイヤー構築の壁 分析エージェント完成！しかし... 分析エージェントすごい！是非うちも使ってみたい！！」 利用にはセマンティックレイヤーが必要です Analystに依頼してLookMLを実装してください なんだか時間がかかりそうだ。やめておこう...
27. 27 • LookMLとは別に、ユーザーがセルフでセマンティックレイヤーを構築できるようにする • BigQuery会話分析で実現 BottomUpセマンティックレイヤー データソースの指定 システムプロンプト ゴールデンクエリ Lookerに該当セマンティックレ イヤーが存在しない場合のみ 参照
28. 28 TopDown/BottomUp 2層のセマンティックレイヤー TopDownセマンティックレイヤー BottomUpセマンティックレイヤー LookMLに実装 BigQuery会話分析に実装 Analystが実装 エンドユーザーが実装 厳密・公式・信頼性の高い指標 アドホックに使える一時的な指標 まずBottomUpで使ってもらい、定着した指標を TopDownに昇格
29. 29 01　freeeのLooker活用の現状 02　分析エージェントの紹介 03　BottomUpセマンティックレイヤー 04　まとめ 目次
30. 30 まとめ セマンティックレイヤーを整備しただけでは、ユーザーが求める示唆を得ることができない マルチエージェント構成で自律的に分析を行うエージェントを開発した BottomUpセマンティックレイヤーにユーザーのニーズにクイックに応える
31. 31 今後の目標 精度の向上 • まだまだ「安心して分析を任せられる」レベルではないのが現状 • ユーザーのFBを元に継続的に改善する運用プロセスが必要 コンテキスト/オントロジーとの統合 • 社内コンテキストやオントロジーを整備し、より実業務やビジネスモデルに即した回答をできるようにする Actionまで繋げる • 分析結果/示唆を出して終わりではなく、その結果から自律的に業務Actionを実行し、事業価値にダイレクトに貢献する
32. 32 Thank you + Hiring フリーではアナリティクスエンジニアやアナリストを募集中です。 今日お話したようなセマンティックレイヤー・分析エージェントの開発に興味がある方、ぜひお 声がけください。 下記にカジュアルにDMをください。 データ基盤部 部長 城谷 𝕏: @FooobarM (https://x.com/FooobarM)
33. ありがとうございました