Share
Embed
Transcript
46 slides
-
曖昧なLLMの出力をプロダクト価値へつなげる、 要求の具体化と評価 Kokoro Higuchi/ ML PM Talk #1 2025/12/05 2025
| © Commune Inc. All rights reserved 1 / 47 -
コミューン株式会社 Product Manager / Data Scientist これまでの略歴 Wantedlyのデータサイエンティスト 推薦システムの改善・実装 コミューンのデータサイエンティスト
コミュニティのデータ分析・LLMを使った社内ツール作成 コミューンのプロダクトマネジャー(1年3ヶ月目) 新規事業Commune Voice のプロダクトマネージャー Xのアカウント @zerebom_3(ひぐ) 自己紹介 樋口 心 2 / 47 -
プロダクトに価値ある形でLLMを組み込む上で必要だったこと Principle 1 ペインの解決に 必要な仕様と制約を 言語化する Principle 2 要求を ロジックと評価指標
に落とし込む Principle 3 指標に基づく短い フィードバック ループを回し続ける 6 / 47 機械学習PJと同様、メトリクスの決定・計測・改善が重要 -
会社紹介 コミューンについて 目指す姿 顧客・従業員との信頼関係を築き、 その信頼をてこに持続的な事業成長を 実現する 事業の広がり 祖業であるコミュニティSaaSから、 顧客の可視化・理解・育成・創造を 支援するプロダクト群の開発を展開
何をしている会社か 信頼起点経営を実現するために コミュニティSaaSを中心とした プロダクト群と支援を提供 8 / 47 -
プロダクト紹介 Commune Voiceについて どんな製品か コミュニティやSNSに寄せられた 膨大なユーザーの声を生成AIで 分析するサービス できること 大量の声から事業改善につながる 課題や期待を抽出し、深い顧客理解が
できる コミュニティやSNSに寄せられた 膨大なユーザーの声を生成AIで 分析するサービス 解決したい問題 ユーザーが発信する声も ニーズも多様になっている中で、 届けたい人に正しく価値を伝え、 サービス提供するのが難しくなっている 9 / 47 -
顧客の声(VoC)を LLMに与え、タグを付けて 定量化する 全文を読まずとも概略を理解できる 全文を読まずとも、事業インパクトになりそうな声を LLMに抽出させれば、小さい労力で価値につなげられる 読みやすく、解釈しやすい形に定量化できる 従来のキーワードの頻出順などに比べて、 文脈を理解しやすく、示唆につながりやすい タグにすることで、
定量比較・トレンド確認ができる タグでVoCをまとめて、量の多寡や変化を見ることで どのような声からアプローチすれば良いのか優先度を付けられる 最初のアプローチ このアプローチを選択した理由 16 / 47 -
最初のアプローチの具体的な処理手順 各VoCに紐付く”タグ”を生成 毎日のコミュニティの新着投稿(VoC)の 本文とプロンプトをLLMに与え、 要約したタグを生成させる 生成したタグをベクトル化 生成したタグをベクトルにし、 距離を計算できるようにする 類似度によるクラスタリング コサイン類似度で近いタグを同じ
クラスタとしてまとめて種類数を減らす 18 / 47 シンプルな方法でVoCをまとめ、顧客の理解に繋げる! -
実際に生成されたタグのイメージ(コミュニティSaaSの例) 22 / 47 少量多数で 比較出来ない コミュニティの声が参考になる コミュニティの声が参考になった 投稿が参考になった コミュニティを始めた
内容が追えない 抽象的で解釈 しづらいタグ 似たような タグが重複してる -
毎日生成されるタグがブレる 適切な粒度にまとまらない 示唆がでないタグが生まれる テナントごとにタグの まとまり方が完全に変わる 直近3日の新着投稿に対してバッチで生成していたが、 過去のタグと微妙にずれ、時系列変化が追えない ex) 箱が潰れていた /
箱の破損 / 箱が潰れている 具体的な示唆を出すためにタグを長文にすると、少量多数に。 短くすると”味が美味しい”のように自明なタグばかりに コミュニティのVoCからは、ドメインと全く関係ないタグが生成された ex) よい天気できもちが良い データ量が違うテナントに同じ類似度閾値を適応すると、 あるテナントでは全て団子状に、別テナントでは全てバラバラに これまで作ったタグがどのようにダメだったのか? 24 / 47 -
Principle 1 ペインの解決に 必要な仕様と制約を 言語化し切る Principle 2 要求を ロジックと評価指標 に落とし込む
Principle 3 指標に基づく短い フィードバック ループを回し続ける 25 / 47 プロダクトに価値ある形でLLMを組み込む上で必要だったこと -
ペインを解決するために本当に必要なアウトプットとは? “まとめる”だけでなく、下記を満たした事業成果につながるタグを作る 一貫性 表記揺れがなく、同じ意味の声には同じタグがつくこと 集約性 近い意見がバラバラに散らず、 適切な粒度でまとまっていること 変化検知性 新しいトレンドが出てきたときに、 それを検知して新しいタグが立ち上がること
コスト効率性 これらを毎日回しても、 生成コストが現実的な範囲に収まること 示唆性・事業関連性 事業にとって重要な声が拾え、かつ具体的な示唆に つながるインサイトになっていること 可読性 タグが長すぎず、人間が直感的に読める短い フレーズになっていること 27 / 47 -
プロダクトに価値ある形でLLMを組み込む上で必要だったこと Principle 1 ペインの解決に 必要な仕様と制約を 言語化し切る Principle 2 要求を ロジックと評価指標
に落とし込む Principle 3 指標に基づく短い フィードバック ループを回し続ける 30 / 47 -
正しいアーキテクチャを選択する 先行事例を参考に、高品質なタグの生成アプローチを見つける Qualitative Insights Tool (QualIT): LLM Enhanced Topic Modeling
【地上波世界初】都知事選で使ったブロードリスニングの技術で 衆院選を解析してみた https://note.com/annotakahiro24/n/ndd21a8ba3eec https://arxiv.org/abs/2409.15626 テキストからトピックを抽出する手法 LLMでキーフレーズを抽出し、クラスタリングをした後に クラスタのメインテーマを抽出 都知事選におけるブロードリスニング手法 HDBSCANでクラスタリングした後に メインテーマを抽出 31 / 47 -
クラスタリングの指標 クラスタ数 どれくらいの“まとまり (トピックの塊)”に分かれたか シルエットスコア 「違うクラスタ同士がちゃんと離れて いるか?」を数値化 カバレッジ 全体の VoC
のうち、どれくらいが どこかのクラスタにきちんと 入っているか 要求を評価に落とし込む 最適なクラスターの分離・数・カバー範囲になっているかを確認する 35 / 47 -
タグ品質の精度 名前の形・表記の適切さ スタイルガイドを守れているか (ex. 文体・文字数・NGワード) 原文忠実さ 元の声の内容と矛盾していないか (ハルシネーションがないか) ビジネス上の有用性 事業者にとってアクションのヒントに
なるか 論点カバー率 VoCから抽出するべき論点が抜けもれ なくタグになっているか 要求を評価に落とし込む 生成されたタグが事業成果につながるものになっているか確認する 36 / 47 -
プロダクトに価値ある形でLLMを組み込む上で必要だったこと Principle 1 ペインの解決に 必要な仕様と制約を 言語化し切る Principle 2 要求を ロジックと評価指標
に落とし込む Principle 3 指標に基づく短い フィードバック ループを回し続ける 38 / 47 -
大きく分けて3つ タグの生成 これまでの実験結果を基に パラメータやモデルを調整し、タグを生成する 定量評価 定量的な指標による実験結果の確認。 バグの有無や大雑把に実験がうまくいっているかを比 較する 定性評価 定量評価でうまくいってそうなタグを実際のUIに近い形で確認。
ビジネス上で利用出来そうか、指標に現れない違和感がないかを チェック 分析と改善 評価の結果から改善点を特定し、生成精度の改善に生 かす 指標に基づく短いフィードバックループを回し続ける 評価指標を短いスパンで何度も計測し、改善することで事業に使える形にする 39 / 47 -
事業において中核をなす要素であればリソースを割いて改善すべき(と考えている) Voiceにおいてタグの精度は他の機能の前提になる上、競合との差異になり得る ドメイン駆動設計をはじめよう ―ソフトウェアの実装と事業戦略を結びつける実践技法 1章より引用 著:Vlad Khononov, 増田 亨, 綿引 琢磨
タグの精度 Commune Voiceの今後の価値や機能 RAG リッチな 可視化 AI Agentによる 施策の支援 45 / 47 -
エンジニアを募集しております! 47 / 47 ソフトウェアエンジニア(LLM 新規プロダクト) Commune Voiceの更なる事業への活用をめざして挑戦したいことが多くあります やりたいこと 多くのチャネル・モーダルでのデータを収集し、意思決定の基盤にしていく
経営戦略など重要な意思決定に利用出来るほど高品質なデータにしていく グロースに備えた、スケーラブルなデータ収集・加工基盤を作る タグなどメタデータを活用したAIによる分析や示唆だし・施策の提案の自動化 マーケティングなど、ユースケースに特化した加工やUXの開発