Data-Centric AIのためのベンチマーク

by Tatsuya Suzuki

Slide 1

Slide 1 text

Data-Centric AIのためのベンチマーク 2023/06/01 第1回 Data-Centric AI勉強会鈴木達哉 GO株式会社

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

© GO Inc. 5 Model-Centric AIのベンチマーク ▪ これまで機械学習のベンチマークと言えば同じデータに対して、モデルを変えて精度を競争するModel-Centricな物が一般的であった ▪ 著名なModel-Centric AIのベンチマーク（例：MNIST, ImageNet）でモデルは人間の能力を超え、飽和状態にある人間の精度を0とした時のモデルの精度の変遷 [2207.10062] DataPerf: Benchmarks for Data-Centric AI Development

Slide 6

Slide 6 text

Slide 7

Slide 7 text

© GO Inc. 7 次に必要なベンチマークは？ ▪ データへの着目はData-Centric AIとして知られているが、初期には具体的タスクが整理されていなかった ▪ 定量評価の方法も確立されていない ▪ データの改善手法が発展していくことが期待できる ▪ 改善されたデータがModel-Centricな研究開発で使われることで、機械学習の性能はより向上していく同じモデルに対して、データを変えて精度を競争する Data-Centric AIのためのベンチマークが必要

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

© GO Inc. 10 Data-Centric AIのベンチマークDataPerf ▪ データセット作成を評価する取り組み ▪ 2021年のData-Centirc AI Competitionからはじまっている ▪ ICML2022でワークショップを開催 ▪ 2023年3月末にコンペを公開 [2207.10062] DataPerf: Benchmarks for Data-Centric AI Development Data-centric ML benchmarking: Announcing DataPerf’s 2023 challenges – Google AI Blog

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

© GO Inc. 13 Data-Centric AIのベンチーマーク DataPerfは次の6つのベンチマークタスクを提案している 1. Training set creation：学習データセットを作る 2. Test set creation：テストデータセットを作る 3. Data selection：学習データを減らす 4. Data debugging：学習データの間違いを見つける 5. Data valuation：学習データを増やすために質を見積もる 6. Slice discovery：苦手なサブグループを見つける

Slide 14

Slide 14 text

© GO Inc. 14 1 Training set creation：学習データセットを作るタスク：与えられた学習データセットの改善提出物：改善した学習データセット評価指標：改善後の学習データセットで学習したモデルの精度 ▪ モデルを固定し、学習データセットを改善（Model-Centricの逆） ▪ ラベルの見直し ▪ 不適切なデータの削除 ▪ 実務では以前から行われてきたことであるが、研究課題として取り上げることで手法の発展を狙う

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

© GO Inc. 17 4 Data debugging：学習データの間違いを見つけるタスク：間違っている可能性の順位付けアルゴリズムの作成提出物：サンプルに対する間違っている可能性の順位のリスト評価指標：何番目まで正解に置き換えた時に　　　　　学習したモデルの精度が閾値を超えるかどうか ▪ モデルを固定し、学習データセットのラベルを修正する順位付けをする ▪ ラベルの欠損や間違いの修正コスト削減を狙う

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

© GO Inc. 20 4種類のコンペが実施中 ▪ Vision Dataperf（Data selectionタスク） ▪ Speech Dataperf（Data selectionタスク） ▪ Debugging Dataperf（Data debuggingタスク） ▪ Data Acquisition Dataperf（Data Valuationタスク） ▪ 開催期間：2023年5月30日から7月1日 https://www.dataperf.org/