Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
実用 Confident Learning
Search
Asei Sugiyama
October 13, 2022
Technology
2
3.6k
実用 Confident Learning
みんなのPython勉強会#86 での発表資料です
https://speakerdeck.com/asei/confident-learning
よりも事例の紹介に注力しています
Asei Sugiyama
October 13, 2022
Tweet
Share
More Decks by Asei Sugiyama
See All by Asei Sugiyama
実践AIガバナンス
asei
2
96
Eval-Centric AI: Agent 開発におけるベストプラクティスの探求
asei
1
160
AI工学特論: MLOps・継続的評価
asei
11
2.7k
生成AIを用いるサービス開発の原則
asei
1
62
基調講演: 生成AIを活用したアプリケーションの開発手法とは?
asei
2
510
Eval-Centric AI: GenAI における継続的改善の実現
asei
2
170
AI の活用における課題と現状、今後の期待
asei
4
750
MLOps の現場から
asei
10
1.2k
LLMOps: Eval-Centric を前提としたMLOps
asei
8
1k
Other Decks in Technology
See All in Technology
モダンな現場と従来型の組織——そこに生じる "不整合" を解消してこそチームがパフォーマンスを発揮できる / Team-oriented Organization Design 20250825
mtx2s
6
590
AIエージェントの開発に必須な「コンテキスト・エンジニアリング」とは何か──プロンプト・エンジニアリングとの違いを手がかりに考える
masayamoriofficial
0
410
自社製CMSからmicroCMSへのリプレースがプロダクトグロースを加速させた話
nextbeatdev
0
140
[OCI Skill Mapping] AWSユーザーのためのOCI(2025年8月20日開催)
oracle4engineer
PRO
2
150
Goss: New Production-Ready Go Binding for Faiss #coefl_go_jp
bengo4com
0
1.1k
[CV勉強会@関東 CVPR2025 読み会] MegaSaM: Accurate, Fast, and Robust Structure and Motion from Casual Dynamic Videos (Li+, CVPR2025)
abemii
0
200
第4回 関東Kaggler会 [Training LLMs with Limited VRAM]
tascj
12
1.8k
microCMS 最新リリース情報(microCMS Meetup 2025)
microcms
0
110
新規案件の立ち上げ専門チームから見たAI駆動開発の始め方
shuyakinjo
0
140
Go で言うところのアレは TypeScript で言うとコレ / Kyoto.なんか #7
susisu
7
1.9k
Figma + Storybook + PlaywrightのMCPを使ったフロントエンド開発
yug1224
9
2.8k
ZOZOTOWNフロントエンドにおけるディレクトリの分割戦略
zozotech
PRO
18
5.5k
Featured
See All Featured
GitHub's CSS Performance
jonrohan
1031
460k
Agile that works and the tools we love
rasmusluckow
329
21k
Speed Design
sergeychernyshev
32
1.1k
Producing Creativity
orderedlist
PRO
347
40k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.8k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
30
9.6k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
570
The Art of Programming - Codeland 2020
erikaheidi
55
13k
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.6k
Being A Developer After 40
akosma
90
590k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Transcript
Confident Learning Asei Sugiyama
TOC Data-centric AI 振り返り <- Confident Learning 概要 実践 Confident
Learning
Data-centric AI 振り返り Data-centric AI Confident Learning Data Perf
Data-centric AI データの改善に着目したム ーブメント モデルよりもデータの改善 のほうが効果的という Andrew Ng の過去の経験に 基づく
2021 年 12 月に大きなワー クショップが行われた
Confident Learning ワークショップの中で紹介 された取り組みの 1 つ データセットに含まれるラ ベルの誤りを検出 詳細は後述
Data Perf ML Perf: 機械学習アルゴリ ズムのベンチマーク Data Perf: データセットのベ ンチマーク
いずれはアルゴリズム - テ スト - データセットをすべ てインクリメンタルに改善 するフレームワークを提供 するという野心的な提案
TOC Data-centric AI 振り返り Confident Learning 概要 <- 実践 Confident
Learning
Confident Learning 概要 背景 論文の内容 手法 結果 Pervasive Label Errors
in Test Sets Destabilize Machine Learning Benchmarks https://arxiv.org/abs/2103.14749
背景 Hinton が MNIST (LeCun が作成) の 誤り 1 件を見つけて喜んでいるのを
見ていた 「こんなに有名な人がこんなに喜ん でいるのならこれは価値があるので は」と思ったのがきっかけ Cleanlab: Labeled Datasets that Correct Themselves Automatically // Curtis Northcutt // MLOps Coffee Sessions #105 https://anchor.fm/mlops/episodes/Cleanlab-Labeled- Datasets-that-Correct-Themselves-Automatically--Curtis-Northcutt--MLOps-Coffee- Sessions-105-e1k777l/a-a850eq6
論文の内容 Confident Learning という 手法を提案 多クラス分類において、既 存の手法よりも効率的にラ ベルの誤りを発見 MNIST, ImageNet
などのデ ータセットにラベルの誤り を実際に発見した Pervasive Label Errors in Test Sets Destabilize Machine Learning Benchmarks https://arxiv.org/abs/2103.14749
手法 データセットを用いてモデ ルを訓練 & 推論 (k-fold) 推論結果に Confident Learning を適用し、誤りが
疑われるデータの一覧を作 成 Amazon Mechanical Turk で改めてアノテーション Pervasive Label Errors in Test Sets Destabilize Machine Learning Benchmarks https://arxiv.org/abs/2103.14749
結果: データセットの誤り率 Pervasive Label Errors in Test Sets Destabilize Machine
Learning Benchmarks https://arxiv.org/abs/2103.14749
結果: 提案のワークフローで発生する見逃し Pervasive Label Errors in Test Sets Destabilize Machine
Learning Benchmarks https://arxiv.org/abs/2103.14749
どうしようもない例 右の画像は ImageNet で tick (ダニ) とラベル付けされたもの クラウドソーシングで scorpion とラ
ベルが振り直された 実際は Solifugae (ヒヨケムシ、クモ やサソリではない)
TOC Data-centric AI 振り返り Confident Learning 概要 実践 Confident Learning
<-
背景 画像から疾病の陽性/陰性を判定する機械学習モデルを構築中 陽性/陰性の判定には高い専門性が必要なため、少数の専門家 (医療業務 従事者) が画像をアノテーション 構築したデータセットをもとに画像から陽性/陰性を判定するモデルを構 築 テストデータにおいてモデルが誤った画像について、専門家に念のため の再確認したところ、機械学習モデルの判断のほうが正しかったという
結果に
問題 構築した画像データセットに誤りがどの程度含まれているのか不明 データセットに含まれる画像が 4,000 件あり、今後も増える予定 専門家が全件チェックするのは現実的でないし、全件チェックした結果 を信用してよいのかどうかも不明
目標 1. アノテーションの結果がどの程度信用できるのか見積もること 2. データセットに含まれる誤りを効率的に修正するための手法を確立する こと
Clean Lab Confident Learning の OSS 実装 Python から利用可能 cleanlab/cleanlab
https://github.com/cleanlab/cleanlab
コード アルゴリズムはモデルの出力のみを用いるため、幅広い分類モデルを利 用可能 from cleanlab.filter import find_label_issues ordered_label_issues = find_label_issues(
labels=labels, pred_probs=pred_probs, return_indices_ranked_by='self_confidence', )
結果 画像 4000 枚から40件の誤りを特定、修正できた 種別 枚数 割合 全画像 4000 枚
100% Confident Learning により抽出した画像 250 枚 6.25% 再レビューの結果、陽性/陰性が修正された件数 40 枚 1%
考察 アノテーションの誤りは概ね正しく抽出できていると思われる 今回のデータセットにおいて検出できた誤りは 1% 程度 これは公開されている品質の高いデータセットとほとんど同じ アノテーションの誤りを効率的に修正する手法は確立できた レビュー対象を 4,000 枚から
250 枚 (6%) に集約できた 見逃しもあると思われるため、データの収集と修正を繰り返し実施する 必要性も明らかになった
まとめ Confident Learning はラベルの誤りを発見することでデータの品質向上 に取り組むアルゴリズム ImageNet などのデータセットに対してアルゴリズムを適用することで 実際に誤りを発見 アルゴリズムを実際のデータセットに適用してみたところ、誤りを発見 し、修正できた