Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
最近の Citadel AI の取り組みのご紹介 (Nov, 2024)
Search
Asei Sugiyama
October 08, 2024
Technology
2
120
最近の Citadel AI の取り組みのご紹介 (Nov, 2024)
MLSE LLM ドメイン適用 WG向けに最近の取り組みをご紹介した資料です
Asei Sugiyama
October 08, 2024
Tweet
Share
More Decks by Asei Sugiyama
See All by Asei Sugiyama
MLOps の現場から
asei
8
880
LLMOps: Eval-Centric を前提としたMLOps
asei
7
640
The Rise of LLMOps
asei
13
2.9k
生成AIの活用パターンと継続的評価
asei
15
2.6k
仕事で取り組む 生成 AI 時代の対話の品質評価
asei
2
83
MLOps の処方箋ができるまで
asei
3
630
LLM を現場で評価する
asei
5
1k
生成 AI の評価方法
asei
8
2.4k
対話品質の評価に向き合う
asei
3
450
Other Decks in Technology
See All in Technology
抽象化をするということ - 具体と抽象の往復を身につける / Abstraction and concretization
soudai
27
14k
ホワイトボードチャレンジ 説明&実行資料
ichimichi
0
140
Potential EM 制度を始めた理由、そして2年後にやめた理由 - EMConf JP 2025
hoyo
2
1.6k
Oracle Database Technology Night #87-1 : Exadata Database Service on Exascale Infrastructure(ExaDB-XS)サービス詳細
oracle4engineer
PRO
1
100
2025-02-21 ゆるSRE勉強会 Enhancing SRE Using AI
yoshiiryo1
1
460
(機械学習システムでも) SLO から始める信頼性構築 - ゆる SRE#9 2025/02/21
daigo0927
0
240
偏光画像処理ライブラリを作った話
elerac
1
160
大規模アジャイルフレームワークから学ぶエンジニアマネジメントの本質
staka121
PRO
3
160
Snowflakeの開発・運用コストをApache Icebergで効率化しよう!~機能と活用例のご紹介~
sagara
1
310
【内製開発Summit 2025】イオンスマートテクノロジーの内製化組織の作り方/In-house-development-summit-AST
aeonpeople
1
490
AIエージェント元年
shukob
0
140
わたしがEMとして入社した「最初の100日」の過ごし方 / EMConfJp2025
daiksy
13
3.8k
Featured
See All Featured
Rails Girls Zürich Keynote
gr2m
94
13k
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
Large-scale JavaScript Application Architecture
addyosmani
511
110k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
4
430
A better future with KSS
kneath
238
17k
Making the Leap to Tech Lead
cromwellryan
133
9.1k
Testing 201, or: Great Expectations
jmmastey
42
7.2k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
129
19k
Build The Right Thing And Hit Your Dates
maggiecrowley
34
2.5k
Product Roadmaps are Hard
iamctodd
PRO
50
11k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
59k
The Cost Of JavaScript in 2023
addyosmani
47
7.3k
Transcript
©2021-2024 Citadel AI Inc. LLM ドメイン適⽤ WG 向け Citadel AI
の取り 組みのご紹介 株式会社 Citadel AI
CONFIDENTIAL ©2021-2024 Citadel AI Inc. TOC - Citadel AI のご紹介
- 対話ログの分析ワークフローのご紹介 - 今後の展望 - ご相談 2
Citadel AI のご紹介 #1 3
CONFIDENTIAL ©2021-2024 Citadel AI Inc. 4 Trusted by Global Companies
Contributing to Trustworthy AI US AISIC (US) The AI Alliance (Meta/IBM) 安全安⼼な「信頼できるAI」を実現
CONFIDENTIAL ©2021-2024 Citadel AI Inc. 5 ミスが許されない AI システムの品質検証 銀行・保険
など 医療・ヘルスケア 自動車・製造業
CONFIDENTIAL ©2021-2024 AI ライフサイクル全体の信頼性‧品質を向上 6 開発中の モデル データセット 1. モデル開発時の自動検証
自動 テスト モデル評価 レポート 2. モデル運用時の自動監視 運用中の モデル 自動 モニタリング 再学習
CONFIDENTIAL ©2021-2024 Citadel AI Inc. 7 ⼤規模⾔語モデルの評価ツール Lens for
LLMs Human Eval Automated Eval Lens Fast ❌ ✅ ✅ Accurate ✅ ❌ ✅ ✅ ⼤量の網羅的な⾃動評価に ✅ 少量の⼈⼿評価を組み合わせ ✅ 両者の強みをインテグレート
対話ログの分析ワークフローの ご紹介 #2 8
CONFIDENTIAL ©2021-2024 Citadel AI Inc. 対話の品質評価の 3 つの⽅法 - ベンチマークを⽤いた事前評価
: QA4AI ガイドライン - 仮想シナリオを⽤いた事前評価 : デジタル庁のレポート - 対話ログを⽤いた事後評価: 弊社での取り組み 9 評価手法 ベンチマーク 仮想シナリオ 対話ログ 事前評価可能 ✓ ✓ カスタマイズ性 ✓ 特定業務の品質評価 ✓
CONFIDENTIAL ©2021-2024 Citadel AI Inc. 対話ログの分析ワークフロー概要 10 全対話ログ サンプル (1000ユーザー)
RAGあり RAGなし 一般質問 100件 (目標) 要約 100件 (目標) 要約 100件 (目標) 翻訳 100件 (目標) 人手による 精度検証 自動化された指標 との比較 人手による 精度検証 自動化された指標 との比較 人手による 精度検証 自動化された指標 との比較 人手による 精度検証 自動化された指標 との比較 Step1. データの確認 Step2. 用途の確認 Step3. 人手での検証 Step4. 自動化の検討 … …
CONFIDENTIAL ©2021-2024 Citadel AI Inc. 分析⽅法のデモ - Lens for LLMs
と Azure OpenAI の画⾯を⽤いてご紹介 1. 対話ログのカテゴリ抽出 2. 対話ログのカテゴリ分類‧評価 11
CONFIDENTIAL ©2021-2024 Citadel AI Inc. 評価 - ⼈⼿で分類したアノテーション結果と、⽣成したプロンプトを⽤いた評価結 果を⽐較 -
カテゴリ抽出では⼈⼿で作成したカテゴリと類似するカテゴリを作成するこ とに成功した - カテゴリ分類では⼈⼿とほぼ変わらない精度で分類可能 - 「⼀般的な知識で回答できない質問かどうか」「健康問題に関する相談を含 んでいるか」「攻撃的なプロンプトを含んでいないか」もプロンプトにより 判定可能 12
今後の展望 #3 13
CONFIDENTIAL ©2021-2024 Citadel AI Inc. モデルの性能改善の3類型 14 モデル データ テスト
モデル データ テスト モデル データ テスト Kaggle型 モデルを改善 Data-Centric型 データを改善 API型 テストを改善 既存のノウハウが乏しい
CONFIDENTIAL ©2021-2024 Citadel AI Inc. 問題意識 - 網羅的な評価観点を最初から取り揃 えることは無理 -
さまざまな⽤途に利⽤できるため、 ユースケースを列挙できない - 世論が変化することで新たな評価基 準があとから出現する 15 モデル データ テスト API型 テストを改善
CONFIDENTIAL ©2021-2024 Citadel AI Inc. 継続的な評価 - 評価 → 指標の設計
→ 評価を反復 - すべての評価観点を最初から網羅す るのではなく、利⽤を通じて徐々に 評価観点を育てていく - 評価を⾏うことで、既存の評価観点 では抜け落ちるケースに気が付き、 新たな評価観点に気がつく 16 モデル データ テスト API型 テストを改善
19