LLMアプリケーションの透明性について

社内で展開している LLM アプリケーションについて紹介しつつ、それらを展開する中で意識した工夫などについてお話ししました。
at https://forkwell.connpass.com/event/377153/

Transcript

1. LLMアプリケーション の透明性について コミューン株式会社 深澤 祐援(Yusuke Fukasawa) 2026-01-30
2. © Commune Inc. All rights reserved ⾃⼰紹介 2 深澤祐援 (Yusuke Fukasawa) @fukkaa1225 機械学習エンジニア 趣味: テニス‧ポケモン対戦(シングル) のゲーム理論的解析 年末年始は⾔語処理学会(2026)の ために論⽂を書いてました
3. © Commune Inc. All rights reserved 3 最近(2025-09)資⾦調達しました
4. © Commune Inc. All rights reserved 4
5. © Commune Inc. All rights reserved 5
6. プロダクト紹介 コミューンは、単なる場作りを越えて活性化し、 事業成果が出るコミュニティサクセスプラットフォーム © Commune Inc. All rights reserved ロイヤルユーザー育成のためのUXを⼀気通貫で提供 プロジェクトを成功に導く運⽤サポート体制 ⽀援と実績で培ったノウハウ提供 コミューンの3つのポイント 1.プロダクト 2.運⽤サポート 3.ノウハウ提供 6
7. © Commune Inc. All rights reserved 7 アジェンダ • コミューンに存在するLLMアプリケーションの紹介 • 透明性がなぜ⼤事か • いかにしてLLMアプリを透明に保つか
8. © Commune Inc. All rights reserved コミューン社内LLMアプリケーションの紹介 8
9. © Commune Inc. All rights reserved 9 分析エージェント: Community Sage BigQuery Toolset Read-only access Community Sage Root Agent Community Name Resolver Agent Find Similar Community Agent Graph Plotter Agent
10. © Commune Inc. All rights reserved 10 google-adk → BigQuery https://cloud.google.com/blog/ja/products/ai-machine-learning/bigquery-meets-google-adk-and-mcp
11. © Commune Inc. All rights reserved 11 Google-ADK を⽤いて実装 • google-adk でエージェントを定義して、 Google Cloud Agent Engine にデプロイする ⽅式に変更 • サービスアカウント設定で権限を絞る エージェント定義 # Agent definition root_agent = Agent( model=MODEL_NAME, name=AGENT_NAME, instruction=build_root_instruction, tools=[ bq_toolset, ], ) app = build_adk_app() # Check if the agent is already deployed deployed_agent_resource = find_deployed_agent_resource() if deployed_agent_resource: LOGGER.info(f"Agent already deployed: {deployed_agent_resource}") LOGGER.info("Update the agent.") # Update the existing agent agent_engines.update( resource_name=deployed_agent_resource, agent_engine=app, display_name=DISPLAY_NAME, extra_packages=extra_packages, service_account=SERVICE_ACCOUNT, requirements=requirements, env_vars={"CUSTOM_AUDIENCE": CUSTOM_AUDIENCE}, ) LOGGER.info("Agent updated successfully.") else: LOGGER.info("Deploying a new agent.") (省略) デプロイ
12. © Commune Inc. All rights reserved 12 Community Sage の応答イメージ “なんでもコミュニ ティ” の先⽉のMAU は xxx でした “なんでもコミュニティ (仮称)” の 先⽉のMAU を調べてね！
13. © Commune Inc. All rights reserved 13 クライアント調査アプリ: Commune Pathfinder
14. © Commune Inc. All rights reserved 14 クライアント調査アプリ: Commune Pathfinder クライアントの情報を 各項⽬ごとに並列調査 調査した結果をもとに して、コミュニティ提 案のアイデアを出して くれるアプリ メール⽂⾯の提案など も可能
15. © Commune Inc. All rights reserved 15 事例調査アプリ: Commune Deal Lens
16. © Commune Inc. All rights reserved 16 社内事例調査アプリ: Commune Deal Lens ルールベース+ベクトル検索 で社内に蓄積された 導⼊事例を調査 調査内容を元に 営業内容の提案 も⾏ってくれる(by LLM)
17. © Commune Inc. All rights reserved 透明性がなぜ⼤事か 17
18. © Commune Inc. All rights reserved 18 透明性がなぜ⼤事か LLM アプリケーションの透明性とは？ → LLM の挙動に対する検証可能性がアプリケーション上で提供されていること (IMO)
19. © Commune Inc. All rights reserved 19 透明性がなぜ⼤事か LLM アプリケーションの透明性とは？ → LLM の挙動に対する検証可能性がアプリケーション上で提供されていること (IMO) ではなく
20. © Commune Inc. All rights reserved 20 透明性がなぜ⼤事か LLM アプリケーションの透明性とは？ → LLM の挙動に対する検証可能性がアプリケーション上で提供されていること (IMO) • LLM が不安定なもの、であるという前提に⽴ちたい • 出⼒されたものに対して、その過程などが⽰されていることで⼈間が正しく 介⼊‧編集できる余地を⽤意しておきたい
21. © Commune Inc. All rights reserved 21 参考事例: Cursor が意識する “透明性” The Verge での CEO インタビュー(2025/04) an understanding of what all of these parallel helpers are doing for you (並列に動くエージェントが何をしている かを理解できる体験が必要) understanding their work when they come back to you at a level of not having to read every single line of code. (全部のコード⾏を読まなくても、戻ってきた 仕事を理解できるレベルにする)
22. © Commune Inc. All rights reserved いかにして LLM アプリを透明に保つか 22
23. © Commune Inc. All rights reserved 23 いかにして LLM アプリを透明に保つか: データ分析エージェントの場合 実⾏された SQL はいつでも確認 できるように画⾯上に表⽰ SQL がわからない、読んでいな い場合でも重要な条件を開⽰し てユーザとの認識を合わせる
24. © Commune Inc. All rights reserved 24 いかにして LLM アプリを透明に保つか: データ分析エージェントの場合 エージェントの挙動をオフライン評価して、モデルの性質を調査しておき 「だから今このモデルで動いてますよ」という説明ができるようにしておく
25. © Commune Inc. All rights reserved 25 いかにして LLM アプリを透明に保つか: クライアント調査アプリの場合 • 調査結果は ストリーミング で表⽰してすぐ に確認できる ように • どんな項⽬を 調べているかを 開⽰する UI
26. © Commune Inc. All rights reserved 26 いかにして LLM アプリを透明に保つか: 社内事例調査アプリの場合 • 各事例は事前に LLM で分類 されたカテゴリが付与されて いる。各カテゴリのツール チップでこれを表⽰ • ⼈間が設計したマッチ度スコ アも内訳を確認できるように
27. © Commune Inc. All rights reserved 27 いかにして LLM アプリを透明に保つか: 社内事例調査アプリの場合 提案⽣成時にどの事例をもと に⽣成したのか、を確認でき るインタフェース 気に⼊らない場合は指⽰を追 加して提案を再⽣成できる
28. © Commune Inc. All rights reserved まとめ 28
29. © Commune Inc. All rights reserved まとめ 29 • LLMが⽀援する社内アプリを多数展開しています • それらアプリケーションをできるだけ透明に保つ⼯夫を紹介しました ◦ 分析エージェント: 書いたSQLは必ず提⽰し、説明もさせる ◦ 企業調査アプリ: どのような項⽬の調査を⾏ったかを UI で表⽰ ◦ 事例調査アプリ: スコアの内訳を表⽰‧提案の再⽣成
30. © Commune Inc. All rights reserved 30 採⽤やっております！ https://open.talentio.com/r/1/c/commune/pages/118951
31. © Commune Inc. All rights reserved