生成AI活用の現在地と未来 / Where we are now and the future of generative AI utilization

by freee

Slide 1

Slide 1 text

⽣成AI活⽤の現在地と未来⽊佐森慶⼀（Keii） 2024年6⽉1⽇

Slide 2

Slide 2 text

2 木佐森慶一（Keii）  機械学習アルゴリズムの基礎研究と、その事業化のためにスタートアップを立ち上げた経験を持つ。 freeeではAI技術でマジ価値を届けきることにチャレンジ中。 AIプロダクトマネージャー

Slide 3

Slide 3 text

　⽬次 ● 実際の事例紹介 ● 技術的にちょっと深掘り ● 苦労した話 ● スケールするAI機能開発組織を作るために ● freeeのAIビジョン‧未来の展望

Slide 4

Slide 4 text

　⽬次 ● 実際の事例紹介 ● 技術的にちょっと深掘り ● 苦労した話 ● スケールするAI機能開発組織を作るために ● freeeのAIビジョン‧未来の展望

Slide 5

Slide 5 text

① ユーザーサポートbot ユーザーサポートbotとして要件確定 & 質問回答（βリリース済み）

Slide 6

Slide 6 text

② チャットからの申請自動化チャット上でのコミュニケーションからfreee上の申請を自動起票（近日βリリース予定）

Slide 7

Slide 7 text

No content

Slide 8

Slide 8 text

③ AIクイック解説 P/Lの月次推移をLLMが解説（近日βリリース予定）

Slide 9

Slide 9 text

③ AIクイック解説 PLの月次推移をAIが解説

Slide 10

Slide 10 text

④ 契約チェック契約書のリスクの高い箇所を検出 & 修正案を提案（リリース済み）

Slide 11

Slide 11 text

No content

Slide 12

Slide 12 text

⑤ セールスオペレーション改革（1/2）商談書き起こしからの引き継ぎメモ自動作成（社内βリリース済み） Before After

Slide 13

Slide 13 text

⑤ セールスオペレーション改革（2/2）プロダクト知識のあいまい検索 & 回答生成（社内βリリース済み）

Slide 14

Slide 14 text

⑤ セールスオペレーション改革（2/2）プロダクト知識のあいまい検索 & 回答生成

Slide 15

Slide 15 text

その他、ボトムアップでいろんなPJが走ってます！過去のバグ履歴からの予測でバグ対応効率化ユーザとその行動のロールプレイしてプロダクトデザインを効率化データ分析のためのテキスト-to-SQL生成商談前のユーザーの課題仮説立て ※ このトークでは触れませんが、開発組織全体でGitHub Copilotを導入済み Q A 記帳代行の顧問先を集計する with tmp1 AS ( SELECT aaa FROM calendars ) , tmp2 AS ( SELECT bbb FROM aaa ) SELECT …

Slide 16

Slide 16 text

　⽬次 ● 実際の事例紹介 ● 技術的にちょっと深掘り ● 苦労した話 ● スケールするAI開発組織を作るために ● freeeのAIビジョン‧未来の展望

Slide 17

Slide 17 text

「ユーザーサポートbot」を題材に技術的な深掘り

Slide 18

Slide 18 text

技術的な工夫 ● ユーザからの質問に対して“逆質問” をすることで要件確定 ○ 想定シナリオとそれに沿った想定質問をプロンプトエンジニアリング

Slide 19

Slide 19 text

技術的な工夫 ● “エージェント”を複数組み合わせて広い知識領域に対応 ○ 回答領域を判別し、回答担当エージェントに振り分けるエージェント ○ 回答領域ごとの知識を保有し、回答作成する回答担当エージェント

Slide 20

Slide 20 text

技術的な工夫 ● 専門知識が必要な応答に対する評価手法の研究開発 ○ Data augmentation pipelineの研究開発 ○ Fine tuningによる専用評価モデルの研究開発人工知能学会2024にて発表（Hanhua Zhu）

Slide 21

Slide 21 text

　⽬次 ● 実際の事例紹介 ● 技術的にちょっと深掘り ● 苦労した話 ● スケールするAI開発組織を作るために ● freeeのAIビジョン‧未来の展望

Slide 22

Slide 22 text

苦労したポイントと向き合い方（技術編） ● LLMを想定していない既存システムの実装（シーケンス等）との不整合が生じる → 一つ一つ解決するしかないが、リスク&一定の設計思想の不整合を許容する必要も ● 精度検証が難しい & コストがかかる → LLMによる評価と人による評価を分担した評価パイプライン体系を設計

Slide 23

Slide 23 text

苦労したポイントと向き合い方（企画 & 仮説検証編） ● 技術検証と価値検証の両輪の検証が必要で、開発スピードが落ちてしまう → プロジェクトの型化 & リアルな社内事例と共に共有 ● Product Out的な機能の企画がしずらい & 仮説検証スピードが落ちてしまう → 少人数の合宿形式でMVPを作り、クイックにβリリースして検証する

Slide 24

Slide 24 text

　⽬次 ● 実際の事例紹介 ● 技術的にちょっと深掘り ● 苦労した話 ● スケールするAI機能開発組織を作るために ● freeeのAIビジョン‧未来の展望

Slide 25

Slide 25 text

全社員がAI機能開発の主役になるために AI/LLMの活用方法を “型” として社内事例とともに共有

Slide 26

Slide 26 text

全社員がAI機能開発の主役になるために AI/LLM機能開発の進め方を “型” として社内事例とともに共有

Slide 27

Slide 27 text

全社員がAI機能開発の主役になるために LLM基盤として、全ての社員が生成AI/LLMを使いこなし高速に機能開発できる環境を提供参考：Intuit

Slide 28

Slide 28 text

LLM基盤 PdM, Bizメンバー中心にPlaygroundで企画 & 初期検証に活用

Slide 29

Slide 29 text

LLM基盤 Engは容易・柔軟・高速ににLLMアプリケーションが構築が可能

Slide 30

Slide 30 text

　⽬次 ● 実際の事例紹介 ● 技術的にちょっと深掘り ● 苦労した話 ● スケールするAI機能開発組織を作るために ● freeeのAIビジョン‧未来の展望

Slide 31

Slide 31 text

AIビジョン freee ⽂脈に沿ったユーザごとの業務フロー推薦‧補完技術志向に寄り添った経営インテリジェンス技術コミュニケーションのペインを解決する⾔語UX 創出技術 freeeのAIビジョン

Slide 32

Slide 32 text

AIビジョン freee ⽂脈に沿ったユーザごとの業務フロー推薦‧補完技術志向に寄り添った経営インテリジェンス技術コミュニケーションのペインを解決する⾔語UX 創出技術未来あなたのこの領収書の申請経路は... など、業務やユーザーの⽴場に合わせた処理の推薦‧補完「xxの場合は追加での提出書類は...」など、社内外のコミュニケーションを解決この予実がズレている理由は... など、経営インサイトを得られる分析技術

Slide 33

Slide 33 text

AIビジョン freee ⽂脈に沿ったユーザごとの業務フロー推薦‧補完技術志向に寄り添った経営インテリジェンス技術コミュニケーションのペインを解決する⾔語UX 創出技術 Why freee？ freeeのユーザーデータがあるからこそ作れる統合型ERPの多角的な情報があるからこそ作れる freeeのユーザーに向き合うからこそ作れる

Slide 34

Slide 34 text

No content