Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
対話品質の評価に向き合う
Search
Asei Sugiyama
May 22, 2024
Technology
3
480
対話品質の評価に向き合う
RAG MLOps LT大会!!!
https://mlops.connpass.com/event/315387/
での登壇資料です
Asei Sugiyama
May 22, 2024
Tweet
Share
More Decks by Asei Sugiyama
See All by Asei Sugiyama
生成AIを用いるサービス開発の原則
asei
1
30
基調講演: 生成AIを活用したアプリケーションの開発手法とは?
asei
1
330
Eval-Centric AI: GenAI における継続的改善の実現
asei
2
120
AI の活用における課題と現状、今後の期待
asei
4
720
MLOps の現場から
asei
9
1.1k
LLMOps: Eval-Centric を前提としたMLOps
asei
7
950
The Rise of LLMOps
asei
13
3.3k
生成AIの活用パターンと継続的評価
asei
15
3.2k
最近の Citadel AI の取り組みのご紹介 (Nov, 2024)
asei
2
190
Other Decks in Technology
See All in Technology
Delta airlines®️ USA Contact Numbers: Complete 2025 Support Guide
airtravelguide
0
340
VGGT: Visual Geometry Grounded Transformer
peisuke
1
220
DBのスキルで生き残る技術 - AI時代におけるテーブル設計の勘所
soudai
PRO
54
21k
データ基盤からデータベースまで?広がるユースケースのDatabricksについて教えるよ!
akuwano
3
140
United™️ Airlines®️ Customer®️ USA Contact Numbers: Complete 2025 Support Guide
flyunitedguide
0
420
american airlines®️ USA Contact Numbers: Complete 2025 Support Guide
supportflight
1
110
アクセスピークを制するオートスケール再設計: 障害を乗り越えKEDAで実現したリソース管理の最適化
myamashii
1
140
赤煉瓦倉庫勉強会「Databricksを選んだ理由と、絶賛真っ只中のデータ基盤移行体験記」
ivry_presentationmaterials
2
380
NewSQLや分散データベースを支えるRaftの仕組み - 仕組みを理解して知る得意不得意
hacomono
PRO
3
190
改めてAWS WAFを振り返る~業務で使うためのポイント~
masakiokuda
2
300
AWS認定を取る中で感じたこと
siromi
1
210
VS CodeとGitHub Copilotで爆速開発!アップデートの波に乗るおさらい会 / Rapid Development with VS Code and GitHub Copilot: Catch the Latest Wave
yamachu
2
190
Featured
See All Featured
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.5k
Building Applications with DynamoDB
mza
95
6.5k
Documentation Writing (for coders)
carmenintech
72
4.9k
Six Lessons from altMBA
skipperchong
28
3.9k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
A Modern Web Designer's Workflow
chriscoyier
695
190k
Docker and Python
trallard
44
3.5k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
Transcript
対話品質の評価に向き合う Asei Sugiyama
自己紹介 杉山 阿聖 (@K_Ryuichirou) Software Engineer @ Citadel AI Google
Cloud Innovators Champion @ Cloud AI/ML MLSE 機械学習オペレーション WG 機械学習図鑑 共著 決闘者 @ マスターデュエル
まとめ LLM の対話品質の評価では、典型的な品質特性以外に次々に新たな品質 特性が提案されており、ベンチマークとなるデータセットの開発も進行 している 実用上はボトムアップな評価をヒアリングやログから行うことも有用 で、デジタル庁による評価レポートは推進するうえでかなり参考となる 評価時にはチームで評価を行うことになる点に注意し、必要な場合は不 適切な文章でも評価すると良い
TOC 対話の品質特性 <- 対話の品質評価のワークフロー 実務上の Tips
対話の品質特性 LLM 以前の対話の品質評価 LLM 時代の対話の品質評価 品質の評価方法
LLM 以前の対話の品質評 価 AIによる対話の品質評価は 新しいことではない これまでは主にチャットボ ットで行われ、正答率が重 要視された ユーザーからのフィードバ ックで典型的には計測
チャットボット(ふたば)に質問する|国税庁 https://cloud.google.com/vertex-ai/docs/pipelines/notebooks
LLM 時代の対話の品質評価 タスクが多様なため正答率 以外の指標が必要に Q&A, 要約, 翻訳, コード 生成, etc...
ユーザーからのフィードバ ックで「良さ」を測ること はできる 「良さ」とは何かが問題に なる ChatGPT https://chatgpt.com/
QA4AI AIプロダクト品質保証ガイド ライン AI 技術への過度の期待を予防し、適 切な活用や適時のリリースを行うた めの、AIプロダクトの品質保証に対 する共通的な指針を与えるものであ る。 2024.04
版 で大規模言語モデル・対 話型AIの包括的な品質特性の定義に 取り組んでいる QA4AI https://www.qa4ai.jp/
AIプロダクト品質保証ガイドラインによる品質特性 QC01: 回答性能 QC02: 事実性‧ 誠実性 QC03: 倫理性‧ アラインメント QC04:
頑健性 QC05: AI セキュリティ その他: 透明性・説明可能性・アクセシビリティー・ユーザビリティと社 会心理的側面・機能適応性
所感 (1/2) 回答性能に含まれている「創造性‧ 多様性」は、既存の Chatbot では求 められなかった性質 (典型的には正確性だけが求められた) 誠実性のような、新たな品質特性が出現している ハルシネーションや不整合を含む返答を行わないこと、不確かさが高い
回答に対してそのような明記を行う誠実性(Truthfulness)も求めるこ ととなる
所感 (2/2) これ以外の品質特性もさまざまに考えられる 著者の石川先生が発表中で「新たな品質特性が今この場で見つかるかも しれない」と述べられているほど
品質の評価方法 (1/3) QA4AI では現状の方法としてベンチマークとなるデータセットを用いた 方法を紹介している 品質特性ごとに使えるデータセットや計測方法を紹介 ベンチマークとなるデータセットを用いた評価には次の課題がある 1. 得点として計測させる方法に収束させがち 2.
測りたい品質特性に合ったベンチマークがあるとは限らない 3. 測りたい品質特性を事前に明確にできなければいけない
品質の評価方法 (2/3) 1. 得点として計測させる方法に収束させがち 例: 倫理観は得点化できるのか? 2. 測りたい品質特性に合ったベンチマークがあるとは限らない 社内の問い合わせで「社内で用いられる特定の様式にしたがっている」 という品質特性が求められた場合、そのようなデータセットが必要とな
る (当然そんなものはない) LLM を適用したい個別のユースケースで重要となる品質特性は未知のも のであるかもしれない
品質の評価方法 (3/3) 3. 測りたい品質特性を事前に明 確にできなければいけない 商品の品名を作成する場 合、当然売れるタイトルを 付けたい どのような特性があれば売 れるのかは非自明
なぜ、最悪の業績なのに年商の20%にもあたる1億円の売上を手放してまで楽天 市場から退店するのか|鷲尾 岳 / ワシオ株式会社 3代目社長 https://note.com/t_washio/n/n46ed6f71ef46
TOC 対話の品質特性 対話の品質評価のワークフロー <- 実務上の Tips
対話の品質評価のワークフロー ボトムアップな対話の品質評価 2023年度 デジタル庁・行政における生成AIの適切な利活用に向けた技 術検証レポート 過去の取り組み 自動化に関する取り組み
ボトムアップな対話の品質評価 ベンチマークとなるデータセットによるトップダウンな事前評価には独 特な難しさがある ベンチマークによる事前評価だけではなく、ヒアリングや実際に利用し たログを用いたボトムアップな事後評価も重要 ベンチマーク以外の方法を共有
2023年度 デジタル庁・行政 における生成AIの適切な利活 用に向けた技術検証 ヒアリングを行いながら検 証対象とするユースケース を整理 各ユースケースに対して評 価項目を定義して、評価用 データ
10 件ずつを用意して 評価 2023年度 デジタル庁・行政における生成AIの適切な利活用に向けた技術検証を 実施しました|デジタル庁 https://www.digital.go.jp/news/19c125e9-35c5- 48ba-a63f-f817bce95715
アンケートによる評価 利用者へのアンケートによ る評価を合わせて実施 ユーザー間での利用頻度に 差があり、高頻度に使う人 のほうが効果を体感してい ることが判明 2023年度 デジタル庁・行政における生成AIの適切な利活用に向けた技術検証を 実施しました|デジタル庁
https://www.digital.go.jp/news/19c125e9-35c5- 48ba-a63f-f817bce95715
デジタル庁2023年度事業 行政での生成AI利活用検証から見えた10の学び (3/3)|デジタル庁 https://digital-gov.note.jp/n/nbabf667519fc
筆者の過去の取り組み 対話ログを眺める 対話ログからユースケースを整理 ユースケースごとに評価観点を整理 人手で評価 (ユースケースごとに100件程度) 評価結果をレポートとして提供
自動化に関する取り組み LLM による評価は人手によ る評価と相関するという報 告がある 人手による評価と LLM によ る評価を比較検証すること で評価の自動化が検証可能
評価用のツールも開発して いる (LangCheck) citadel-ai/langcheck: Simple, Pythonic building blocks to evaluate LLM applications. https://github.com/citadel-ai/langcheck
None
TOC 対話の品質特性 対話の品質評価のワークフロー 実務上の Tips <-
実務上の Tips チームによる評価 異常系の評価
チームによる評価 誰か一人で評価できるのであれば (経験上) それがベスト 分量の問題から、チームで評価を行うことも多い
チームによる評価の注意点 複数人が同じデータに対し て評価をこない、多数決を 行うことはあまり効率的で はない 複雑なタスクの場合、クラ ウドサービスでアノテーシ ョンする方法はかなり厳し い Margaret
A. Webb, June P. Tangney "Too Good to Be True: Bots and Bad Data From Mechanical Turk" Perspectives on Psychological Science (2022) https://journals.sagepub.com/doi/10.1177/17456916221120027
過去に行った評価方法 評価観点やサンプルをドキュメントとして作成し、チームで共有 それぞれの人に異なるサブセットを割り振り、手分けして評価 判断に迷った事例を持ち寄り、チームで評価結果を決定 判断に迷った事例をドキュメントに追加
注意点 最初からドキュメントですべてをカバーしようとしすぎない 「正しい評価」の定義が可能なら LLM は必要ない ユースケースの分類では、最初から過度に詳細な分類を作らない 分類自体も評価しながら変更するのが良い
参考書籍 Human-in-the-Loop 機械学習が 良い情報源となる 翻訳のレビューに参加 アノテーションの方法について 詳細を記述した本としては出色 の出来 Robert (Munro)
Monarch 著 上田 隼也 訳 角野 為耶 訳 伊藤 寛祥 訳 "Human-in-the- Loop機械学習" 共立出版 2023 年 https://www.kyoritsu- pub.co.jp/book/b10039888.html
異常系の評価 ボトムアップな評価で述べた方法では「良い文章」のは手に入る 異常系に該当する「答えてほしくない文章」は手に入りにくい とくに社内利用の場合、ほとんどの人がマジメに使うので
AnswerCarefully 不適切な質問に対する、望まし い回答を作成したデータセット LLM の評価において使われた実 績がある Citadel AI として作成に協力 AnswerCarefully
Dataset – RIKEN-AIP, LIAT https://liat- aip.sakura.ne.jp/wp/answercarefully-dataset/
まとめ LLM の対話品質の評価では、典型的な品質特性以外に次々に新たな品質 特性が提案されており、ベンチマークとなるデータセットの開発も進行 している 実用上はボトムアップな評価をヒアリングやログから行うことも有用 で、デジタル庁による評価レポートは推進するうえでかなり参考となる 評価時にはチームで評価を行うことになる点に注意し、必要な場合は不 適切な文章でも評価すると良い