Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
生成AI活用の現在地と未来 / Where we are now and the future...
Search
freee
June 06, 2024
1
2.4k
生成AI活用の現在地と未来 / Where we are now and the future of generative AI utilization
freee
June 06, 2024
Tweet
Share
More Decks by freee
See All by freee
品質の高速フィードバックへの取り組み / Commitment to Fast Quality Feedback
freee
3
790
組織作りに「プロダクト開発のエッセンス」 を取り入れ、不確実性に向き合い続ける / Incorporating the “essence of product development” into organizational development and continuing to face uncertainty
freee
0
1.2k
LGBTQ__support_WOMEN_女性として働くということ_DEI
freee
2
420
QAエンジニア_Summer Internship説明会(26卒)
freee
0
220
権限管理基盤の開発とQAの今 / Authority Management Infrastructure Development and QA Now
freee
1
2.2k
国籍と専門性を超えてのコラボレーション / Collaboration across nationalities and specialties
freee
1
2.2k
デザインリサーチの広げ方 〜XDの姿勢・態度・思考〜 / How to Expand Design Research 〜˜XD's Attitude, Attitude, and Thinking
freee
1
2.2k
グローバルなQAエンジニア・・・ってナニ!? / Global_QA_Engineer..._What_s_that.pdf
freee
1
2.2k
ぶきっちょPMによるfreeeのカルチャーとプロダクトのつながりについて / The Connection Between Freee's Culture and Product by a Clumsy PM
freee
1
2.2k
Featured
See All Featured
Fireside Chat
paigeccino
32
2.9k
GraphQLとの向き合い方2022年版
quramy
43
13k
From Idea to $5000 a Month in 5 Months
shpigford
380
46k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
38
2.1k
It's Worth the Effort
3n
183
27k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
225
22k
Design by the Numbers
sachag
278
19k
Music & Morning Musume
bryan
46
6.1k
GraphQLの誤解/rethinking-graphql
sonatard
65
9.9k
How To Stay Up To Date on Web Technology
chriscoyier
786
250k
Into the Great Unknown - MozCon
thekraken
30
1.4k
What's in a price? How to price your products and services
michaelherold
243
11k
Transcript
⽣成AI活⽤の現在地と未来 ⽊佐森 慶⼀(Keii) 2024年6⽉1⽇
2 木佐森 慶一(Keii) 機械学習アルゴリズムの基礎研究 と、その事業化のためにスタート アップを立ち上げた経験を持つ。 freeeではAI技術でマジ価値を届け きることにチャレンジ中。 AIプロダクトマネージャー
⽬次 • 実際の事例紹介 • 技術的にちょっと深掘り • 苦労した話 • スケールするAI機能開発組織を作るために
• freeeのAIビジョン‧未来の展望
⽬次 • 実際の事例紹介 • 技術的にちょっと深掘り • 苦労した話 • スケールするAI機能開発組織を作るために
• freeeのAIビジョン‧未来の展望
① ユーザーサポートbot ユーザーサポートbotとして要件確定 & 質問回答(βリリース済み)
② チャットからの申請自動化 チャット上でのコミュニケーションからfreee上の申請を自動起票(近日βリリース予定)
None
③ AIクイック解説 P/Lの月次推移をLLMが解説(近日βリリース予定)
③ AIクイック解説 PLの月次推移をAIが解説
④ 契約チェック 契約書のリスクの高い箇所を検出 & 修正案を提案(リリース済み)
None
⑤ セールスオペレーション改革(1/2) 商談書き起こしからの引き継ぎメモ自動作成(社内βリリース済み) Before After
⑤ セールスオペレーション改革(2/2) プロダクト知識のあいまい検索 & 回答生成(社内βリリース済み)
⑤ セールスオペレーション改革(2/2) プロダクト知識のあいまい検索 & 回答生成
その他、ボトムアップでいろんなPJが走ってます! 過去のバグ履歴からの予測でバグ対応効率化 ユーザとその行動のロールプレイしてプロ ダクトデザインを効率化 データ分析のためのテキスト-to-SQL生成 商談前のユーザーの課題仮説立て ※ このトークでは触れませんが、開発組織全体でGitHub Copilotを導入済み Q
A 記帳代行の顧問先を集計する with tmp1 AS ( SELECT aaa FROM calendars ) , tmp2 AS ( SELECT bbb FROM aaa ) SELECT …
⽬次 • 実際の事例紹介 • 技術的にちょっと深掘り • 苦労した話 • スケールするAI開発組織を作るために
• freeeのAIビジョン‧未来の展望
「ユーザーサポートbot」を題材に技術的な深掘り
技術的な工夫 • ユーザからの質問に対して“逆質問” をすることで要件確定 ◦ 想定シナリオとそれに沿った想定質問をプロンプトエンジニアリング
技術的な工夫 • “エージェント”を複数組み合わせて広い知識領域に対応 ◦ 回答領域を判別し、回答担当エージェントに振り分けるエージェント ◦ 回答領域ごとの知識を保有し、回答作成する回答担当エージェント
技術的な工夫 • 専門知識が必要な応答に対する評価手法の研究開発 ◦ Data augmentation pipelineの研究開発 ◦ Fine tuningによる専用評価モデルの研究開発
人工知能学会2024にて発表(Hanhua Zhu)
⽬次 • 実際の事例紹介 • 技術的にちょっと深掘り • 苦労した話 • スケールするAI開発組織を作るために
• freeeのAIビジョン‧未来の展望
苦労したポイントと向き合い方(技術編) • LLMを想定していない既存システムの実装(シーケンス等)との不整合が生じる → 一つ一つ解決するしかないが、リスク&一定の設計思想の不整合を許容する必要も • 精度検証が難しい & コストがかかる →
LLMによる評価と人による評価を分担した評価パイプライン体系を設計
苦労したポイントと向き合い方(企画 & 仮説検証編) • 技術検証と価値検証の両輪の検証が必要で、開発スピードが落ちてしまう → プロジェクトの型化 & リアルな社内事例と共に共有 •
Product Out的な機能の企画がしずらい & 仮説検証スピードが落ちてしまう → 少人数の合宿形式でMVPを作り、クイックにβリリースして検証する
⽬次 • 実際の事例紹介 • 技術的にちょっと深掘り • 苦労した話 • スケールするAI機能開発組織を作るために
• freeeのAIビジョン‧未来の展望
全社員がAI機能開発の主役になるために AI/LLMの活用方法を “型” として社内事例とともに共有
全社員がAI機能開発の主役になるために AI/LLM機能開発の進め方を “型” として社内事例とともに共有
全社員がAI機能開発の主役になるために LLM基盤として、全ての社員が生成AI/LLMを使いこなし高速に機能開発できる環境を提供 参考:Intuit
LLM基盤 PdM, Bizメンバー中心にPlaygroundで企画 & 初期検証に活用
LLM基盤 Engは容易・柔軟・高速ににLLMアプリケーションが構築が可能
⽬次 • 実際の事例紹介 • 技術的にちょっと深掘り • 苦労した話 • スケールするAI機能開発組織を作るために
• freeeのAIビジョン‧未来の展望
AIビジョン freee ⽂脈に沿った ユーザごとの 業務フロー 推薦‧補完技術 志向に寄り添った 経営インテリ ジェンス技術 コミュニケーション
のペインを解決する ⾔語UX 創出技術 freeeのAIビジョン
AIビジョン freee ⽂脈に沿った ユーザごとの 業務フロー 推薦‧補完技術 志向に寄り添った 経営インテリ ジェンス技術 コミュニケーション
のペインを解決する ⾔語UX 創出技術 未来 あなたのこの領収書の 申請経路は... など、業務やユーザーの⽴場に合わせた 処理の推薦‧補完 「xxの場合は追加で の提出書類は...」 など、社内外のコミュニ ケーションを解決 この予実がズレている 理由は... など、経営インサイトを得られ る分析技術
AIビジョン freee ⽂脈に沿った ユーザごとの 業務フロー 推薦‧補完技術 志向に寄り添った 経営インテリ ジェンス技術 コミュニケーション
のペインを解決する ⾔語UX 創出技術 Why freee? freeeのユーザーデータが あるからこそ作れる 統合型ERPの多角的な情報 があるからこそ作れる freeeのユーザーに 向き合うからこそ作 れる
None