プロダクト体験向上のためのLLMの活用

■ イベント
渋谷 Biz × AI: ビジネスにおける AI 利活用 事例勉強会 (2025/02/05)
https://sansan.connpass.com/event/340727/

「プロダクト体験向上のためのLLMの活用」というタイトルで、機械学習 / AI のプロダクトへの適用についてお気持ちを話しました。

Transcript

1. プロダクト体験向上のための LLMの活用 “渋谷 Biz × AI @ Sansan” 2025/02/05 株式会社サイバーエージェント AI事業本部 協業リテールメディアDiv. 青見 樹
2. 自己紹介 青見 樹 / Aomi Itsuki 株式会社サイバーエージェント AI事業本部 協業リテールメディア Div. 機械学習エンジニア Sansan (2021.04 - 2023.10) ↓ サイバーエージェント (2023.11-) @nersonu nersonu
3. DWH データを集約 AIが解釈・分析 自動送付 LLMチャット データ分析を専門としない/時間がない/手が足りない小売企業の担当者様向け メールやチャットを通して「データで起きていること」が理解できるAISaaS
4. データをAIで解釈分析って 正気の沙汰？
5. 思いつく課題 ・仮に LLM にやらせたとしたら、ハルシネーションや単に性能面での 品質は問題ないか？ ・解釈って？その定義は？ユーザーは 機械学習 (ML) / AI の出力に何 を求める？ ・そもそも、どこを分解、どこを input / output にして目の前の問題 を解きますか？
6. 今日のポイント
7. 今日のポイント ML / AI にやらせることを考えよう ML / AI にやってもらうならどうするか考えよう LLM を活躍させるためにアーキテクチャから考えよう
8. ML / AI に やらせることを考えよう
9. AI POS: メール通知機能 AI POS では小売企業の持つ POS データから、日々の売上やインサイ トをメール等で通知する機能を提供する ※画像は開発中のものです
10. AI POS: メール通知機能 売上実績や売上着予、前年比との 比較を中心としたサマリテキスト ※画像は開発中のものです 商品ランキングと、ランキン グに関するサマリテキスト
11. 本当にLLMに全部任せる？
12. うまくいかない例 ハルシネーションに限らず、いくら prompt を工夫しても生成モデル は100%期待通りの出力をするとは限らない ※出力は可能な限り手で再現したものです 全体の売上は x,xxx,xxx,xxx 円とな り、前週より xx.xx % 増加する結果と なりました。
 x月の売上から、xxx.x 百万円の着 地予想であり、前年同月比で xx % 減と減収傾向にあります。
 単位の表記が揃わない、コ ンマがあったりなかったり 小数点の位置が揃わない、百 分率を変換前変換後 (100をか けた後か前なのか) の解釈を ミスする そもそも使ってほしい数値が 出力されてない
13. 機械学習・AIの出力が100% 正解になることは無い
14. 生成AIに限らない、ML・AIをプロダクトに組み込むときに考えたいこと ・生成AIを含め、機械学習・AIの出力が100%正解になることは無い ・だからこそ、プロダクトの体験設計が重要（と、青見は考えます） → 99.9% の精度を求めて、ほぼほぼ自動化できるよ！という体験 にする？ → 90% の精度だけれど、いっぱい/速く出せるよ！ or ユーザが自 然に修正・解釈してカジュアルに使える！という体験にする？ → 機械学習・AIを使わずに（ほぼ）100% を提供する選択肢も 🐜
15. ML / AI にやってもらうなら どうするか考えよう
16. ML / AI にやってもらうならどうするか ・今となっては「まずは LLM」も悪くはないが、多くの機械学習エン ジニア・データサイエンティストがやってきた方法でまずは考える
17. 得意なことは 得意なモデルにやらせよう
18. AI POS: メール通知機能 ※画像は開発中のものです データの説明 着地予想 表データのサマリ 例えば: ルールで穴埋め 回帰モデル LLM による文章生成
19. とはいえ、LLMに やらせたいこともあるのよ
20. ① LLMが解けるように 簡単な問題にする
21. LLM にやってもらうならどうするか？ 補助ツールとしてはともかく、LLM によって自動出力されたアウト プットをそのまま利用できるかは精度要件との相談 (e.g. SQL の自動生成等を考えてみよう) 全体的にダウントレンドに 見えるが…… データの系列 をLLMへ 数量は全体的に増加傾 向にあります。
 局所的な上がり幅だけを生 成に利用してしまうことも ※出力は可能な限り手で再現したものです
22. LLM にやってもらうならどうするか？ 精度要件に問題がないなら、この場合元の系列そのものを「単純化」 することを考える → 線形近似した系列を LLM の input とする 線形近似後の 系列をLLMへ 数量は減少傾向にあり ます。
 もちろん、全てでうまくい くわけではないことに注意 ※出力は可能な限り手で再現したものです
23. 方法そのものでの工夫 ・モデルに手を加えない研究の多くは、LLM の prompting 等で特定 タスクの性能を向上させるもの。その中でのステップも一種の問題の 簡易化と捉えることができるものも多い ・例えば、分析を LLM にやらせるものとして関連があるもの → 表解釈をうまくやる方法 (e.g. Chain-of-Table (Wang et al., ICLR 2024)) CyberAgent Developers Blog に少しまとめてますので興味あれば🙏: LLM に表データを読み解かせたかったので、ちょっと試してみた | CyberAgent Developers Blog → 画像を入力させるほうがうまくいく報告 (e.g. Daswani et al., arXiv 2024)
24. ② LLMの出力を のちに整える前提で使う
25. LLM の出力を整える ・所詮 output は自然言語である → 頻出する既知のミスパターンを可能な限り網羅できるように、 出力に対する正規表現の変換でミスを減らす → ”Structured Output” のような、構造的なデータ形式に出力 を調整して、出力物そのものがユーザに見えない処理をさせる ・LLM as a Judge を LLM の出力に利用して、その評価を利用して出 力を再生成させることもできる
26. LLM を活躍させるために アーキテクチャから考えよう
27. LLM 側にうまく良いアウトプットを出してもらうアーキテクチャから必要 （今の理想） 分析コンポーネントA （e.g. 今週の売上クエリ） 分析コンポーネントB （e.g. 今月の着地予想を計算する関数） 分析コンポーネントX ︙ ︙ LLMによって分析のコンポーネントを選択・計画し、 必要なコンポーネントを組み合わせてメール・チャットを提供
28. 具体技術: LangChain のエコシステムと型安全な仕組みづくり LangChain, LangGraph では Pydantic BaseModel と色々相性が良い (e.g. Tools や Graph の State 等使える場面が多い)
29. 具体技術: LangChain のエコシステムと型安全な仕組みづくり LangGraph でマルチエージェントやフローの構築を行う コントロール出来るオブジェクトは型安全に扱う (Pydantic 等)
30. 品質担保・向上のための仕組みづくりも進めている [進行中] メールとLLMの出力結果を管理する [検討中] LLM の出力結果を自動評価する [検討中] データ側の品質担保
31. おわりに
32. おわりに 機械学習 (ML) / AI のアウトプットは体験とセット 体験をしっかりと設計して 何をやってもらうか / やってもらわないかを考えたい LLM の性能が日々進化し、「やってもらえることが増えている」と感 じており、常にアップデートしていきたいと思っています！
33. キーワードにピンと来た方へ！カジュアル面談しましょう AIの性質を踏まえた新しいユーザ体験（UX）を作りたい MLエンジニア｜フロントエンドエンジニア｜バックエンドエンジニア｜UIUXデザイナー LLM活用や非構造化データ活用含む、新しいデータエンジニアリング データエンジニア | MLエンジニア AIを活用した新しい開発者体験でプロダクトづくりをしたい 全エンジニア 世界トップクラスのAI Labと密に連携したプロダクト開発をしたい 全職種 小売という巨大産業のDXに技術で携わりたい 全職種 リテールメディア事業本部 カジュアル面談
34. EOF