やるべきときにMLをやる AIエージェント開発

by Yusuke Fukasawa

Slide 1

Slide 1 text

やるべきときにMLをやる AIエージェント開発コミューン株式会社深澤祐援(Yusuke Fukasawa) 2026-01-27

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

© Commune Inc. All rights reserved 10 コミューンにおけるデータ分析の課題2 ● 忙しい担当者が全てのコミュニティの数字を詳細に集計‧分析する時間がなかなかない ● そもそも SQL を書いたりするスキルが全員に備わっているわけではない ● データ集計‧分析が運営上必須だが、それを⾏うための時間や能⼒がない悪循環にあったコミュニティAの報告のために MAU‧DAU を調べて傾向をまとめつつ、コミュニティ B の施策提案のために最近の投稿を全部チェックして...

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

© Commune Inc. All rights reserved 13 Google-ADK を⽤いて実装 ● google-adk でエージェントを定義して、 Google Cloud Agent Engine にデプロイする⽅式 ● サービスアカウント設定で権限を絞るエージェント定義 # Agent definition root_agent = Agent( model=MODEL_NAME, name=AGENT_NAME, instruction=build_root_instruction, tools=[ bq_toolset, ], ) app = build_adk_app() # Check if the agent is already deployed deployed_agent_resource = find_deployed_agent_resource() if deployed_agent_resource: LOGGER.info(f"Agent already deployed: {deployed_agent_resource}") LOGGER.info("Update the agent.") # Update the existing agent agent_engines.update( resource_name=deployed_agent_resource, agent_engine=app, display_name=DISPLAY_NAME, extra_packages=extra_packages, service_account=SERVICE_ACCOUNT, requirements=requirements, env_vars={"CUSTOM_AUDIENCE": CUSTOM_AUDIENCE}, ) LOGGER.info("Agent updated successfully.") else: LOGGER.info("Deploying a new agent.") (省略) デプロイ

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

© Commune Inc. All rights reserved 22 Community Sage と機械学習: Community Name Resolver ユーザから⾃然⽂章による問いかけをされた際に、コミュニティ名が含まれているとそのままではクエリを書けない “なんでもコミュニティ(仮称)” とだけ⾔われても id がわからないと絞れないぞ！？ “なんでもコミュニティ (仮称)” の先⽉のMAU を調べてね！

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

© Commune Inc. All rights reserved 26 Community Sage と機械学習: Find Similar Community 「コミュニティAに似ているコミュニティを調べるのに苦労する」という声に対して実装した機能投稿データのサマリーからベクトルインデックスで検索できるエンドポイントを別で⽤意 ↓ このエンドポイントをツールとして叩くsub agent を⽤意して紐づけ

Slide 27

Slide 27 text

© Commune Inc. All rights reserved 27 Community Sage と機械学習: Find Similar Community LLM でサクッとやれば？と最初提案をもらっていたのですが即却下しました ● LLM は⼤規模なデータを⼀気に処理するのは向いてない ○ 各コミュニティの投稿を毎回全て取得して傾向を⾒つけて似てるかどうか判断...というのは LLM にやらせる必要がない ○ サマリー⽣成は得意なのでやってもらう ● 似ているものを返す、というのは faiss などに任せる⽅が良い

Slide 28

Slide 28 text

Slide 29

Slide 29 text

© Commune Inc. All rights reserved 29 Community Sage と機械学習: エージェントそのものの評価 gemini 2.5 pro で社内エージェント提供を開始 → 概ね問題ないが、かなりプロンプト調整をしても「意図を汲み取らず、変な結果を返すんですけど！」という報告がなかなか収まらない... 先⽉の MAU だけ教えてくれればいいのに、そのコミュニティ全期間の MAU 出さないで！やかましい！ “なんでもコミュニティ (仮称)” の MAU を調べてね！

Slide 30

Slide 30 text

© Commune Inc. All rights reserved 30 Community Sage と機械学習: エージェントそのものの評価ユーザからの質問をつぶさに観察し、評価に適切だと思われるシナリオを全14種作成 brand_id = x であることがわかりました。次に、質問内容を確認させてください。いくつか曖昧な点があります：確認事項「ログインUU」と「アクションUU」の定義についてログインUU: その月にログイン（アクセス）したユニークユーザー数アクションUU: ログイン以外に何らかのアクション（投稿、コメント、いいね、閲覧など）を行ったユニークユーザー数上記の理解で正しいでしょうか？「アクション」の範囲についてどのようなアクションをカウント対象としますか？ ...(以下確認事項が続く ...) “コミュニティA” のログインUUにおけるアクションUU率を2025年1-12月の月ごと、かつ当月の新規登録ユーザーに絞って計算してください。

Slide 31

Slide 31 text

© Commune Inc. All rights reserved 31 Community Sage と機械学習: エージェントそのものの評価 adk の機能でシナリオシミュレート機能があるのでそれを使って会話を⽣成中間出⼒まですべて含めて LLM as a Judge を⾏う https://builders.ramp.com/post/how-to-build-agents-users-can-trust ● タスク完了度 ● データ正確性 ● 回答品質 ※数値だけを出⼒させるのは当てずっぽうになりやすいので、先にカテゴリカルな評価を出⼒させる

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

© Commune Inc. All rights reserved まとめ 34 ● データ分析エージェント「Community Sage」を社内展開しています ● 機械学習エンジニアだからこそできるエージェント開発の TIPS を共有しました ○ ⾃然⽂章から SQL に必要な情報を抽出するエージェントの評価 ○ 「似てるコミュニティを返す」実装は LLM から切り離す ○ エージェントの評価は丁寧にデータをアノテーション‧評価メトリクスを決めて実践

Slide 35

Slide 35 text

Slide 36

Slide 36 text