Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
生成AI活用の現在地と未来 / Where we are now and the future...
Search
freee
June 06, 2024
1
5.1k
生成AI活用の現在地と未来 / Where we are now and the future of generative AI utilization
freee
June 06, 2024
Tweet
Share
More Decks by freee
See All by freee
freee Movement Deck
freee
0
450
freee + Product Design FY24 Q2
freee
4
11k
freeeのモバイルエンジニアについて
freee
1
320
10分でわかるfreeeのQA
freee
1
11k
10分でわかるfreee エンジニア向け会社説明資料
freee
19
540k
freeeの福利厚生と働き方
freee
1
70k
品質の高速フィードバックへの取り組み / Commitment to Fast Quality Feedback
freee
4
1.3k
組織作りに「プロダクト開発のエッセンス」 を取り入れ、不確実性に向き合い続ける / Incorporating the “essence of product development” into organizational development and continuing to face uncertainty
freee
0
4k
LGBTQ__support_WOMEN_女性として働くということ_DEI
freee
2
560
Featured
See All Featured
A Modern Web Designer's Workflow
chriscoyier
693
190k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
27
1.9k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
A designer walks into a library…
pauljervisheath
205
24k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Become a Pro
speakerdeck
PRO
26
5.1k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
7
640
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
129
19k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
4
350
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
4
420
Transcript
⽣成AI活⽤の現在地と未来 ⽊佐森 慶⼀(Keii) 2024年6⽉1⽇
2 木佐森 慶一(Keii) 機械学習アルゴリズムの基礎研究 と、その事業化のためにスタート アップを立ち上げた経験を持つ。 freeeではAI技術でマジ価値を届け きることにチャレンジ中。 AIプロダクトマネージャー
⽬次 • 実際の事例紹介 • 技術的にちょっと深掘り • 苦労した話 • スケールするAI機能開発組織を作るために
• freeeのAIビジョン‧未来の展望
⽬次 • 実際の事例紹介 • 技術的にちょっと深掘り • 苦労した話 • スケールするAI機能開発組織を作るために
• freeeのAIビジョン‧未来の展望
① ユーザーサポートbot ユーザーサポートbotとして要件確定 & 質問回答(βリリース済み)
② チャットからの申請自動化 チャット上でのコミュニケーションからfreee上の申請を自動起票(近日βリリース予定)
None
③ AIクイック解説 P/Lの月次推移をLLMが解説(近日βリリース予定)
③ AIクイック解説 PLの月次推移をAIが解説
④ 契約チェック 契約書のリスクの高い箇所を検出 & 修正案を提案(リリース済み)
None
⑤ セールスオペレーション改革(1/2) 商談書き起こしからの引き継ぎメモ自動作成(社内βリリース済み) Before After
⑤ セールスオペレーション改革(2/2) プロダクト知識のあいまい検索 & 回答生成(社内βリリース済み)
⑤ セールスオペレーション改革(2/2) プロダクト知識のあいまい検索 & 回答生成
その他、ボトムアップでいろんなPJが走ってます! 過去のバグ履歴からの予測でバグ対応効率化 ユーザとその行動のロールプレイしてプロ ダクトデザインを効率化 データ分析のためのテキスト-to-SQL生成 商談前のユーザーの課題仮説立て ※ このトークでは触れませんが、開発組織全体でGitHub Copilotを導入済み Q
A 記帳代行の顧問先を集計する with tmp1 AS ( SELECT aaa FROM calendars ) , tmp2 AS ( SELECT bbb FROM aaa ) SELECT …
⽬次 • 実際の事例紹介 • 技術的にちょっと深掘り • 苦労した話 • スケールするAI開発組織を作るために
• freeeのAIビジョン‧未来の展望
「ユーザーサポートbot」を題材に技術的な深掘り
技術的な工夫 • ユーザからの質問に対して“逆質問” をすることで要件確定 ◦ 想定シナリオとそれに沿った想定質問をプロンプトエンジニアリング
技術的な工夫 • “エージェント”を複数組み合わせて広い知識領域に対応 ◦ 回答領域を判別し、回答担当エージェントに振り分けるエージェント ◦ 回答領域ごとの知識を保有し、回答作成する回答担当エージェント
技術的な工夫 • 専門知識が必要な応答に対する評価手法の研究開発 ◦ Data augmentation pipelineの研究開発 ◦ Fine tuningによる専用評価モデルの研究開発
人工知能学会2024にて発表(Hanhua Zhu)
⽬次 • 実際の事例紹介 • 技術的にちょっと深掘り • 苦労した話 • スケールするAI開発組織を作るために
• freeeのAIビジョン‧未来の展望
苦労したポイントと向き合い方(技術編) • LLMを想定していない既存システムの実装(シーケンス等)との不整合が生じる → 一つ一つ解決するしかないが、リスク&一定の設計思想の不整合を許容する必要も • 精度検証が難しい & コストがかかる →
LLMによる評価と人による評価を分担した評価パイプライン体系を設計
苦労したポイントと向き合い方(企画 & 仮説検証編) • 技術検証と価値検証の両輪の検証が必要で、開発スピードが落ちてしまう → プロジェクトの型化 & リアルな社内事例と共に共有 •
Product Out的な機能の企画がしずらい & 仮説検証スピードが落ちてしまう → 少人数の合宿形式でMVPを作り、クイックにβリリースして検証する
⽬次 • 実際の事例紹介 • 技術的にちょっと深掘り • 苦労した話 • スケールするAI機能開発組織を作るために
• freeeのAIビジョン‧未来の展望
全社員がAI機能開発の主役になるために AI/LLMの活用方法を “型” として社内事例とともに共有
全社員がAI機能開発の主役になるために AI/LLM機能開発の進め方を “型” として社内事例とともに共有
全社員がAI機能開発の主役になるために LLM基盤として、全ての社員が生成AI/LLMを使いこなし高速に機能開発できる環境を提供 参考:Intuit
LLM基盤 PdM, Bizメンバー中心にPlaygroundで企画 & 初期検証に活用
LLM基盤 Engは容易・柔軟・高速ににLLMアプリケーションが構築が可能
⽬次 • 実際の事例紹介 • 技術的にちょっと深掘り • 苦労した話 • スケールするAI機能開発組織を作るために
• freeeのAIビジョン‧未来の展望
AIビジョン freee ⽂脈に沿った ユーザごとの 業務フロー 推薦‧補完技術 志向に寄り添った 経営インテリ ジェンス技術 コミュニケーション
のペインを解決する ⾔語UX 創出技術 freeeのAIビジョン
AIビジョン freee ⽂脈に沿った ユーザごとの 業務フロー 推薦‧補完技術 志向に寄り添った 経営インテリ ジェンス技術 コミュニケーション
のペインを解決する ⾔語UX 創出技術 未来 あなたのこの領収書の 申請経路は... など、業務やユーザーの⽴場に合わせた 処理の推薦‧補完 「xxの場合は追加で の提出書類は...」 など、社内外のコミュニ ケーションを解決 この予実がズレている 理由は... など、経営インサイトを得られ る分析技術
AIビジョン freee ⽂脈に沿った ユーザごとの 業務フロー 推薦‧補完技術 志向に寄り添った 経営インテリ ジェンス技術 コミュニケーション
のペインを解決する ⾔語UX 創出技術 Why freee? freeeのユーザーデータが あるからこそ作れる 統合型ERPの多角的な情報 があるからこそ作れる freeeのユーザーに 向き合うからこそ作 れる
None