reiwatravel_20250416_vpoe-magara_lt

Transcript

1. © 2024 Reiwa Travel, Inc.
 事例から学ぶ、 toCプロダクトLLM機能のTips @magarashotar [2025/04/16] AI時代のtoCプロダクトマネジメントとは
2. © 2024 Reiwa Travel, Inc.
 2
 経歴 Backendエンジニア @リクルート ↓ EM @リクルート ↓ EM兼PdM @令和トラベル ↓ 執⾏役員VPoE & PdM@令和トラベル ※ CTO of the year2024優勝しました💪 ※ でも今はほぼPdM業しかできてません😇 ※ AIチームの⼀員でもありますが回ってません😇😇 執⾏役員 VPoE & PdM まがら しょうたろう
3. © 2024 Reiwa Travel, Inc.
 3

4. © 2024 Reiwa Travel, Inc.
 4

5. © 2024 Reiwa Travel, Inc.
 5

6. © 2024 Reiwa Travel, Inc.
 6

7. © 2024 Reiwa Travel, Inc.
 7

8. © 2024 Reiwa Travel, Inc.
 8

9. © 2024 Reiwa Travel, Inc.
 9

10. © 2024 Reiwa Travel, Inc.
 ここからが本題 10
 3つ試行錯誤のTips（事例）を共有します。
11. © 2024 Reiwa Travel, Inc.
 ※ご注意 11
 ※あくまでも令和トラベルでこの半年の試行錯誤におけるTipsです。 （Tipsというかまがら個人の学びレベルですが）
12. © 2024 Reiwa Travel, Inc.
 12
 Tips ① 「LLM機能の出力精度」と「利用者の期待値」を合わせる
13. © 2024 Reiwa Travel, Inc.
 事例1: AIトラベルコンシェルジュ機能 13
 🌟 機能概要 • コンシェルジュの旅行相談をAIチャット bot化するというもの • ニーズに合ったオーダーメイドの旅行 プランを提案するために、まずは 旅行 ニーズをヒアリングするスコープのみ AI化を目指した 🌟 成果 • 全然うまくいかなかった😇
14. © 2024 Reiwa Travel, Inc.
 事例1: AIトラベルコンシェルジュ機能 14
 🌟 難しかったポイント • 人数、エリアなどありふれた項目を聞き 出すだけならフォーム形式で十分 • チャットならではのコミュニケーションと して、1問1答では終わらない連続した 対話から、旅行ニーズに対する深い洞 察を推定する必要あり • 察する難しさと、会話の脱線を取り扱う 難しさ
15. © 2024 Reiwa Travel, Inc.
 事例1: AIトラベルコンシェルジュ機能 15
 🌟 難しかったポイント • でも利用者は、自分でも言語化できな いニーズまで吸い出してなんかいい感 じの提案してくれることを期待している • それは旅行代理店のプロスタッフに対 する暗黙的な期待値 • 旅行という商材の特性から機械的条件 だけでは汲み取りきれない機微なニー ズを汲み取った提案は重要だが、その 期待値は高いうえに暗黙的である • 成功までの技術的ハードルも高く、シン プルに投資対効果が見えにくい
16. © 2024 Reiwa Travel, Inc.
 Tips ① まなび 16
 「LLM機能の出力精度」と「利用者の期待値」を合わせる ⚠現実的な精度でも利用者の期待値に応えることができる位置づけの機能 ❌ AIトラベルコンシェルジュ 󰢏 AI旅行計画アシスト 旅行代理店としての公式見解と、人間らし い接客を期待値として持たれてしまう。。。 ｷﾋﾞｼｲ あくまでも自分の作業の効率化サポートの 位置づけ。精度100%ではなくても自分で 手直ししてトータル便利であれば OK、的な 期待値。いけそう！
17. © 2024 Reiwa Travel, Inc.
 17
 Tips ② 間接的にカスタマー価値を生み出す
18. © 2024 Reiwa Travel, Inc.
 事例2: ツアーへの⾃動タグ付け 18
 🌟 機能概要 • 裏側で約10万件のツアーに自動で特 徴をタグ付けして、ツアー絞り込み機能 を提供するというもの • ツアーデータをインプットに、各特徴タ グを付与すべきかすべきでないかとい う二値分類問題にLLMを利用 🌟 成果 • 一部のタグを除き現実的に利用可能な 精度で一括付与が完了 • 絞り込み利用率も上々🎉
19. © 2024 Reiwa Travel, Inc.
 事例3: マガジン記事の下書き⾃動⽣成 19
 🌟 機能概要 • NEWT Magazine記事の下書きを自動 で生成する機能 • 構成フォーマットをもとに一連の記事作 成フローを自動実行 ◦ データ収集 ◦ 文章生成 ◦ 画像選定 ◦ CMS入稿
20. © 2024 Reiwa Travel, Inc.
 事例3: マガジン記事の下書き⾃動⽣成 20

21. © 2024 Reiwa Travel, Inc.
 事例3: マガジン記事の下書き⾃動⽣成 21
 🌟 機能概要 • NEWT Magazine記事の下書きを自動 で生成する機能 • 構成フォーマットをもとに一連の記事作 成フローを自動実行 ◦ データ収集 ◦ 文章生成 ◦ 画像選定 ◦ CMS入稿 🌟 成果 • フォーマット確立した後の作成スピード はファクトチェックや校閲のみとなり大 幅スピードアップ。コンテンツの量産化 に成功🎉
22. © 2024 Reiwa Travel, Inc.
 Tips ② まなび 22
 間接的にカスタマー価値を生み出す ⚠業務オペレーションの生産性を10Xさせることで新たな価値を創出する “単なる少しの改善ではなく、既存の枠組みを根本的に覆すほどの大幅な 進歩 ー たとえば、速度や効率が従来の10倍になるような革新 ー こそ が、真のイノベーションである”
23. © 2024 Reiwa Travel, Inc.
 23
 Tips ③ いい感じに生成する、などありえない！ HITL！
24. © 2024 Reiwa Travel, Inc.
 事例2: ツアーへの⾃動タグ付け 24
 レストランの割引特典がつ いているプランで絞り込み たいわよね〜 わかるわかる〜。 おトクって大事〜
25. © 2024 Reiwa Travel, Inc.
 事例2: ツアーへの⾃動タグ付け 25
 こういうの、 まさにですね！ ですね！ですね！
26. © 2024 Reiwa Travel, Inc.
 事例2: ツアーへの⾃動タグ付け 26
 「朝食特典つきのクラブラ ウンジ」は対象ですよね？ まあそうですね！
27. © 2024 Reiwa Travel, Inc.
 事例2: ツアーへの⾃動タグ付け 27
 ホテル以外でのミールクー ポンは？ うーん、ホテルでの特典と いう期待値からするとアウ トか・・・？
28. © 2024 Reiwa Travel, Inc.
 事例2: ツアーへの⾃動タグ付け 28
 ミニバー（無料）は？ これはさすがに。。。
29. © 2024 Reiwa Travel, Inc.
 事例2: ツアーへの⾃動タグ付け 29
 基準を言語化する AIワークフロー(エー ジェント)を更新する アウトプットをみる 本来はこうしたいよね、 を判断する
30. © 2024 Reiwa Travel, Inc.
 事例2: ツアーへの⾃動タグ付け 30
 基準を言語化する AIワークフロー(エー ジェント)を更新する アウトプットをみる 本来はこうしたいよね、 を判断する あたりまですが Human-in-the-loop超大事
31. © 2024 Reiwa Travel, Inc.
 事例2: ツアーへの⾃動タグ付け 31
 🚀 Human-in-the-loopを高速にまわすための工夫も重要 1) 精度向上プロジェクトと捉えてプロセスを設計する 2) LangSmithなどで評価収集などLLMOpsを整える 3) アノテーションしてテストデータセットを用意する 4) エッジケースなど発見するたびにテストデータセットを拡充していく
32. © 2024 Reiwa Travel, Inc.
 Tips ③ まなび 32
 いい感じに生成する、などありえない！ HITL！ ⚠近道はない。愚直こそ王道。 精度向上プロセスを 設計する 要求の言語化を 諦めない アノテーションして テストセットをつくる
33. © 2024 Reiwa Travel, Inc.
 まとめ！ 33

34. © 2024 Reiwa Travel, Inc.
 まとめ！ 34
 「LLM機能の出力精度」と「利用者の期待値」を合わせる
35. © 2024 Reiwa Travel, Inc.
 まとめ！ 35
 「LLM機能の出力精度」と「利用者の期待値」を合わせる 間接的にカスタマー価値を生み出す
36. © 2024 Reiwa Travel, Inc.
 まとめ！ 36
 「LLM機能の出力精度」と「利用者の期待値」を合わせる 間接的にカスタマー価値を生み出す いい感じに生成する、などありえない！ HITL！
37. © 2024 Reiwa Travel, Inc.
 まとめ！ 37
 「LLM機能の出力精度」と「利用者の期待値」を合わせる 間接的にカスタマー価値を生み出す いい感じに生成する、などありえない！ HITL！ より深く・より細部まで解像度を上げきり カスタマー価値を追求していく泥臭さ
38. Thank you!
 © 2024 Reiwa Travel, Inc.
 38