Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
仕事で取り組む 生成 AI 時代の対話の品質評価
Search
Asei Sugiyama
September 30, 2024
Technology
2
110
仕事で取り組む 生成 AI 時代の対話の品質評価
Google Cloud Next Tokyo '24 での LT 用の資料です
Asei Sugiyama
September 30, 2024
Tweet
Share
More Decks by Asei Sugiyama
See All by Asei Sugiyama
生成AIを用いるサービス開発の原則
asei
1
36
基調講演: 生成AIを活用したアプリケーションの開発手法とは?
asei
1
360
Eval-Centric AI: GenAI における継続的改善の実現
asei
2
130
AI の活用における課題と現状、今後の期待
asei
4
720
MLOps の現場から
asei
10
1.1k
LLMOps: Eval-Centric を前提としたMLOps
asei
7
950
The Rise of LLMOps
asei
13
3.3k
生成AIの活用パターンと継続的評価
asei
15
3.2k
最近の Citadel AI の取り組みのご紹介 (Nov, 2024)
asei
2
190
Other Decks in Technology
See All in Technology
モニタリング統一への道のり - 分散モニタリングツール統合のためのオブザーバビリティプロジェクト
niftycorp
PRO
1
450
VGGT: Visual Geometry Grounded Transformer
peisuke
1
680
OpenTelemetryセマンティック規約の恩恵とMackerel APMにおける活用例 / SRE NEXT 2025
mackerelio
3
1.9k
TROCCO と Stripeを使ったら Tenant-aware Telemetryを有効活用できそう! / Using TROCCO and Stripe, it seems possible to effectively utilize tenant-aware telemetry!
oztick139
0
110
衛星運用をソフトウェアエンジニアに依頼したときにできあがるもの
sankichi92
1
280
〜『世界中の家族のこころのインフラ』を目指して”次の10年”へ〜 SREが導いたグローバルサービスの信頼性向上戦略とその舞台裏 / Towards the Next Decade: Enhancing Global Service Reliability
kohbis
3
1.3k
Introduction to Sansan, inc / Sansan Global Development Center, Inc.
sansan33
PRO
0
2.7k
CDK Vibe Coding Fes
tomoki10
1
610
LIXIL基幹システム刷新に立ち向かう技術的アプローチについて
tsukuha
1
250
IPA&AWSダブル全冠が明かす、人生を変えた勉強法のすべて
iwamot
PRO
2
230
【あのMCPって、どんな処理してるの?】 AWS CDKでの開発で便利なAWS MCP Servers特集
yoshimi0227
6
910
全部AI、全員Cursor、ドキュメント駆動開発 〜DevinやGeminiも添えて〜
rinchsan
10
4.6k
Featured
See All Featured
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.9k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
8
700
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.4k
Code Reviewing Like a Champion
maltzj
524
40k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.3k
[RailsConf 2023] Rails as a piece of cake
palkan
55
5.7k
Six Lessons from altMBA
skipperchong
28
3.9k
How STYLIGHT went responsive
nonsquared
100
5.6k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Music & Morning Musume
bryan
46
6.7k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
47
9.6k
Transcript
Proprietary 仕事で取り組む 生成 AI 時代の 対話の品質評価
02 Proprietary Google Cloud Next Tokyo ’24 杉山 阿聖 株式会社
Citadel AI Software Engineer
03 Proprietary 01 なぜ「評価」なのか 02 対話の品質評価 03 生成 AI の比較
04 まとめ アジェンダ
04 Proprietary Google Cloud Next Tokyo ’24 なぜ「評価」なのか
05 Proprietary Google Cloud Next Tokyo ’24 身近に広がる生成 AI •
チャット専用のアプリを超えて さまざまな箇所で使われている • さまざまなサービスや デバイスとの統合は 世界的な潮流として進むと思われる ※画像の置換方法 グレーボックスを選択し、 右クリックで「画像を置 換」を選択し、配置したい画像に差し替えてくださ い。本テキストは削除してください。
06 Proprietary & Confidential ※画像の置換方法 グレーボックスを選択し、 右クリックで「画像を置換」 を選択 し、配置したい画像に差し替えてください。本テキストは削除し てください。
※画像の置換方法 グレーボックスを選択し、 右クリックで「画像を置換」 を選択 し、配置したい画像に差し替えてください。本テキストは削除し てください。 生成 AI は特定分野の 専門知識に弱い • 同じプロンプトから左折の手順 を生成 • 上 : Gemini 1.5 Pro • 下 : ChatGPT 4o • ともに信号機を確認しない
07 Proprietary Google Cloud Next Tokyo ’24 基盤モデルの Finetune •
生成 AI 以前の常識に従えば 業界特化な知識は finetune で与える • 基盤モデルを finetune し 特化モデルを作成することは 技術的に可能 ※画像の置換方法 グレーボックスを選択し、 右クリックで「画像を置 換」を選択し、配置したい画像に差し替えてくださ い。本テキストは削除してください。 Hu, Edward J., et al. "Lora: Low-rank adaptation of large language models." arXiv preprint arXiv:2106.09685 (2021). https://arxiv.org/abs/2106.09685
08 Proprietary Google Cloud Next Tokyo ’24 Finetune で特定分野の 知識を与えるのは困難
• モデルの知らない知識を 意図的に与えた実験 • 知らない知識を与えれば 与えるハルシネーションを 引き起こしやすくなる ※画像の置換方法 グレーボックスを選択し、 右クリックで「画像を置 換」を選択し、配置したい画像に差し替えてくださ い。本テキストは削除してください。 Gekhman, Zorik, et al. "Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?." arXiv preprint arXiv:2405.05904 (2024). https://arxiv.org/abs/2405.05904
09 Proprietary & Confidential Google Cloud Next Tokyo ’24 ※画像の置換方法
グレーボックスを選択し、 右クリックで「画像を置換」 を選択 し、配置したい画像に差し替えてください。本テキストは削除し てください。 Gekhman, Zorik, et al. "Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?."arXiv preprint arXiv:2405.05904 (2024). https://arxiv.org/abs/2405.05904
010 Proprietary Google Cloud Next Tokyo ’24 • 検索と生成 AI
の合せ技 • 検索で特定分野の知識を 与えられるアーキテクチャ • 特定分野の知識を与えたとしても、そ れをモデルが利用できるかは 自明でない • 故に評価が必要 RAG (Retrieval-Augmented Generation) ※画像の置換方法 グレーボックスを選択し、 右クリックで「画像を置 換」を選択し、配置したい画像に差し替えてくださ い。本テキストは削除してください。 Infrastructure for a RAG-capable generative AI application using GKE https://cloud.google.com/architecture/rag-capable-gen-ai-app-using-gke
011 Proprietary Google Cloud Next Tokyo ’24 対話の品質評価
012 Proprietary Google Cloud Next Tokyo ’24 対話の品質評価の 3 つの方法
• ベンチマークを用いた事前評価 : QA4AI ガイドライン • 仮想シナリオを用いた事前評価 : デジタル庁のレポート • 対話ログを用いた事後評価: 弊社での取り組み 評価手法 ベンチマーク 仮想シナリオ 対話ログ 事前評価可能 ✓ ✓ カスタマイズ性 ✓ 特定業務の品質評価 ✓
013 Proprietary Google Cloud Next Tokyo ’24 ベンチマークによる評価 (1/2) •
QA4AI AI プロダクト品質保証 ガイドライン (2024.04 版) • ベンチマークとなる データセットを用いた方法を紹介 • 典型的な「正確性」だけではなく「創造 性‧多様性」といった 新たな品質も整理 ※画像の置換方法 グレーボックスを選択し、 右クリックで「画像を置 換」を選択し、配置したい画像に差し替えてくださ い。本テキストは削除してください。
014 Proprietary Google Cloud Next Tokyo ’24 ベンチマークによる評価 (2/2) •
ベンチマークには課題も 1. 得点として計測する方法に 収束させがち 2. 測りたい品質特性に合った ベンチマークがあるとは限らない 3. 測りたい品質特性の明確化が 事前に必要 ※画像の置換方法 グレーボックスを選択し、 右クリックで「画像を置 換」を選択し、配置したい画像に差し替えてくださ い。本テキストは削除してください。
015 Proprietary & Confidential ※画像の置換方法 グレーボックスを選択し、 右クリックで「画像を置換」 を選択 し、配置したい画像に差し替えてください。本テキストは削除し てください。
※画像の置換方法 グレーボックスを選択し、 右クリックで「画像を置換」 を選択 し、配置したい画像に差し替えてください。本テキストは削除し てください。 仮想シナリオによる 評価の例 • 2023年度 デジタル庁・行政における生 成 AI の適切な利活用に向けた 技術検証 • ユースケースを洗い出し、 ユースケースごとに評価観点を 整理して、評価用データを作成 • カバレッジは良い • 件数の確保には苦労している (10 件)
016 Google Cloud Next Tokyo ’24 過去ログに基づく 評価のワークフロー ※画像の置換方法 グレーボックスを選択し、
右クリックで「画像を置換」 を選択 し、配置したい画像に差し替えてください。本テキストは削除し てください。
017 Proprietary Google Cloud Next Tokyo ’24 過去ログに基づく評価の課題 • スプレッドシートは柔軟なものの手間が多い
• 「良い」という定義をすることが難しい • 評価を自動化しないとスケールしない
018 Proprietary Google Cloud Next Tokyo ’24 生成 AI の比較
019 Google Cloud Next Tokyo ’24 スプレッドシートでの手 動評価は手間 ※画像の置換方法 グレーボックスを選択し、
右クリックで「画像を置換」 を選択 し、配置したい画像に差し替えてください。本テキストは削除し てください。
020 Google Cloud Next Tokyo ’24 ⽣成 AI の評価ツール Lens
for LLMs
021 Google Cloud Next Tokyo ’24 複数モデルの比較
022 Google Cloud Next Tokyo ’24 モデルの傾向の比較
023 Google Cloud Next Tokyo ’24 LLM を用いた評価に おけるバイアスの例
024 Proprietary Google Cloud Next Tokyo ’24 まとめ
025 Proprietary Google Cloud Next Tokyo ’24 対話の品質評価の 3 つの方法
• ベンチマークを用いた事前評価 : QA4AI ガイドライン • 仮想シナリオを用いた事前評価 : デジタル庁のレポート • 対話ログを用いた事後評価: 弊社での取り組み 評価手法 ベンチマーク 仮想シナリオ 対話ログ 事前評価可能 ✓ ✓ カスタマイズ性 ✓ 特定業務の品質評価 ✓
026 Proprietary Google Cloud Next Tokyo ’24 Lens for LLMs
Beta • 今回は時間の都合上、 実際の利用方法の大半を省略 • 登録していただいた方への プライベートベータ版としてご提供中 • ご興味ある方は一声おかけください! ※画像の置換方法 グレーボックスを選択し、 右クリックで「画像を置 換」を選択し、配置したい画像に差し替えてくださ い。本テキストは削除してください。
Thank you 027 Proprietary