生成AI活用の現在地と未来 / Where we are now and the future of generative AI utilization

Transcript

1. ⽣成AI活⽤の現在地と未来 ⽊佐森 慶⼀（Keii） 2024年6⽉1⽇
2. 2 木佐森 慶一（Keii）
 機械学習アルゴリズムの基礎研究 と、その事業化のためにスタート アップを立ち上げた経験を持つ。 freeeではAI技術でマジ価値を届け きることにチャレンジ中。 AIプロダクトマネージャー
3. 　 ⽬次 • 実際の事例紹介 • 技術的にちょっと深掘り • 苦労した話 • スケールするAI機能開発組織を作るために • freeeのAIビジョン‧未来の展望
4. 　 ⽬次 • 実際の事例紹介 • 技術的にちょっと深掘り • 苦労した話 • スケールするAI機能開発組織を作るために • freeeのAIビジョン‧未来の展望
5. ① ユーザーサポートbot ユーザーサポートbotとして要件確定 & 質問回答（βリリース済み）
6. ② チャットからの申請自動化 チャット上でのコミュニケーションからfreee上の申請を自動起票（近日βリリース予定）
8. ③ AIクイック解説 P/Lの月次推移をLLMが解説（近日βリリース予定）
9. ③ AIクイック解説 PLの月次推移をAIが解説
10. ④ 契約チェック 契約書のリスクの高い箇所を検出 & 修正案を提案（リリース済み）
12. ⑤ セールスオペレーション改革（1/2） 商談書き起こしからの引き継ぎメモ自動作成（社内βリリース済み） Before After
13. ⑤ セールスオペレーション改革（2/2） プロダクト知識のあいまい検索 & 回答生成（社内βリリース済み）
14. ⑤ セールスオペレーション改革（2/2） プロダクト知識のあいまい検索 & 回答生成
15. その他、ボトムアップでいろんなPJが走ってます！ 過去のバグ履歴からの予測でバグ対応効率化 ユーザとその行動のロールプレイしてプロ ダクトデザインを効率化 データ分析のためのテキスト-to-SQL生成 商談前のユーザーの課題仮説立て ※ このトークでは触れませんが、開発組織全体でGitHub Copilotを導入済み Q A 記帳代行の顧問先を集計する with tmp1 AS ( SELECT aaa FROM calendars ) , tmp2 AS ( SELECT bbb FROM aaa ) SELECT …
16. 　 ⽬次 • 実際の事例紹介 • 技術的にちょっと深掘り • 苦労した話 • スケールするAI開発組織を作るために • freeeのAIビジョン‧未来の展望
17. 「ユーザーサポートbot」を題材に技術的な深掘り
18. 技術的な工夫 • ユーザからの質問に対して“逆質問” をすることで要件確定 ◦ 想定シナリオとそれに沿った想定質問をプロンプトエンジニアリング
19. 技術的な工夫 • “エージェント”を複数組み合わせて広い知識領域に対応 ◦ 回答領域を判別し、回答担当エージェントに振り分けるエージェント ◦ 回答領域ごとの知識を保有し、回答作成する回答担当エージェント
20. 技術的な工夫 • 専門知識が必要な応答に対する評価手法の研究開発 ◦ Data augmentation pipelineの研究開発 ◦ Fine tuningによる専用評価モデルの研究開発 人工知能学会2024にて発表（Hanhua Zhu）
21. 　 ⽬次 • 実際の事例紹介 • 技術的にちょっと深掘り • 苦労した話 • スケールするAI開発組織を作るために • freeeのAIビジョン‧未来の展望
22. 苦労したポイントと向き合い方（技術編） • LLMを想定していない既存システムの実装（シーケンス等）との不整合が生じる → 一つ一つ解決するしかないが、リスク&一定の設計思想の不整合を許容する必要も • 精度検証が難しい & コストがかかる → LLMによる評価と人による評価を分担した評価パイプライン体系を設計
23. 苦労したポイントと向き合い方（企画 & 仮説検証編） • 技術検証と価値検証の両輪の検証が必要で、開発スピードが落ちてしまう → プロジェクトの型化 & リアルな社内事例と共に共有 • Product Out的な機能の企画がしずらい & 仮説検証スピードが落ちてしまう → 少人数の合宿形式でMVPを作り、クイックにβリリースして検証する
24. 　 ⽬次 • 実際の事例紹介 • 技術的にちょっと深掘り • 苦労した話 • スケールするAI機能開発組織を作るために • freeeのAIビジョン‧未来の展望
25. 全社員がAI機能開発の主役になるために AI/LLMの活用方法を “型” として社内事例とともに共有
26. 全社員がAI機能開発の主役になるために AI/LLM機能開発の進め方を “型” として社内事例とともに共有
27. 全社員がAI機能開発の主役になるために LLM基盤として、全ての社員が生成AI/LLMを使いこなし高速に機能開発できる環境を提供 参考：Intuit
28. LLM基盤 PdM, Bizメンバー中心にPlaygroundで企画 & 初期検証に活用
29. LLM基盤 Engは容易・柔軟・高速ににLLMアプリケーションが構築が可能
30. 　 ⽬次 • 実際の事例紹介 • 技術的にちょっと深掘り • 苦労した話 • スケールするAI機能開発組織を作るために • freeeのAIビジョン‧未来の展望
31. AIビジョン freee ⽂脈に沿った ユーザごとの 業務フロー 推薦‧補完技術 志向に寄り添った 経営インテリ ジェンス技術 コミュニケーション のペインを解決する ⾔語UX 創出技術 freeeのAIビジョン
32. AIビジョン freee ⽂脈に沿った ユーザごとの 業務フロー 推薦‧補完技術 志向に寄り添った 経営インテリ ジェンス技術 コミュニケーション のペインを解決する ⾔語UX 創出技術 未来 あなたのこの領収書の 申請経路は... など、業務やユーザーの⽴場に合わせた 処理の推薦‧補完 「xxの場合は追加で の提出書類は...」 など、社内外のコミュニ ケーションを解決 この予実がズレている 理由は... など、経営インサイトを得られ る分析技術
33. AIビジョン freee ⽂脈に沿った ユーザごとの 業務フロー 推薦‧補完技術 志向に寄り添った 経営インテリ ジェンス技術 コミュニケーション のペインを解決する ⾔語UX 創出技術 Why freee？ freeeのユーザーデータが あるからこそ作れる 統合型ERPの多角的な情報 があるからこそ作れる freeeのユーザーに 向き合うからこそ作 れる