Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Data-Centric AIのためのベンチマーク

Data-Centric AIのためのベンチマーク

「第1回 Data-Centric AI勉強会」で発表した資料です。
https://dcai-jp.connpass.com/event/282385/

Tatsuya Suzuki

June 01, 2023
Tweet

More Decks by Tatsuya Suzuki

Other Decks in Technology

Transcript

  1. © GO Inc. 2 自己紹介 GO株式会社 AIエンジニア / 鈴木達哉 上智大学大学院修了後、DeNAに新卒入社。

    現在はGO株式会社へ出向し、プロダクトから収集されるデータを活用した 次世代のデータ活用基盤を開発するプロジェクトでコンピュータビジョン に関する研究開発を担当。 @x_ttyszk
  2. © GO Inc. 5 Model-Centric AIのベンチマーク ▪ これまで機械学習のベンチマークと言えば同じデータに対して、モデ ルを変えて精度を競争するModel-Centricな物が一般的であった ▪

    著名なModel-Centric AIのベンチマーク(例:MNIST, ImageNet) でモデルは人間の能力を超え、飽和状態にある 人間の精度を0とした時のモデルの精度の変遷 [2207.10062] DataPerf: Benchmarks for Data-Centric AI Development
  3. © GO Inc. 6 データは機械学習のボトルネック ▪ 学習データが機械学習の最大能力を決めていると言える ▪ モデルの優劣はその能力をどこまで実現できるかに影響する ▪

    固定されたデータが能力のボトルネックになっている ▪ 飽和状態にあるModel-Centric AIのベンチマークではこれ以上モデ ルの本質的な性能向上は行えず、データ側を改善する必要がある
  4. © GO Inc. 7 次に必要なベンチマークは? ▪ データへの着目はData-Centric AIとして知られているが、初期には 具体的タスクが整理されていなかった ▪

    定量評価の方法も確立されていない ▪ データの改善手法が発展していくことが期待できる ▪ 改善されたデータがModel-Centricな研究開発で使われることで、機 械学習の性能はより向上していく 同じモデルに対して、データを変えて精度を競争する Data-Centric AIのためのベンチマークが必要
  5. © GO Inc. 10 Data-Centric AIのベンチマークDataPerf ▪ データセット作成を評価する取り組み ▪ 2021年のData-Centirc

    AI Competitionからはじまっている ▪ ICML2022でワークショップを開催 ▪ 2023年3月末にコンペを公開 [2207.10062] DataPerf: Benchmarks for Data-Centric AI Development Data-centric ML benchmarking: Announcing DataPerf’s 2023 challenges – Google AI Blog
  6. © GO Inc. 13 Data-Centric AIのベンチーマーク DataPerfは次の6つのベンチマークタスクを提案している 1. Training set

    creation:学習データセットを作る 2. Test set creation:テストデータセットを作る 3. Data selection:学習データを減らす 4. Data debugging:学習データの間違いを見つける 5. Data valuation:学習データを増やすために質を見積もる 6. Slice discovery:苦手なサブグループを見つける
  7. © GO Inc. 14 1 Training set creation:学習データセットを作る タスク:与えられた学習データセットの改善 提出物:改善した学習データセット

    評価指標:改善後の学習データセットで学習したモデルの精度 ▪ モデルを固定し、学習データセットを改善(Model-Centricの逆) ▪ ラベルの見直し ▪ 不適切なデータの削除 ▪ 実務では以前から行われてきたことであるが、研究課題として取り上 げることで手法の発展を狙う
  8. © GO Inc. 15 2 Test set creation:テストデータセットを作る タスク:テストデータを選ぶアルゴリズムの作成 提出物:選んだテストデータセット

    評価指標:人間に解けてモデルが解けないデータの割合 ▪ モデルを固定し、評価データセットを改善 ▪ Model-Centric AIのベンチマークのスコアが飽和していることへの 直接的な改善になる。機械学習の能力の発展を狙う
  9. © GO Inc. 16 3 Data selection:学習データを減らす タスク:データを減らすアルゴリズムの作成 提出物:削減した学習データセット 評価指標:削減した学習データセットで学習したモデルの精度

    ▪ 例:active learning, core-set selection ▪ モデルを固定し、学習データセットを小さくする ▪ アノテーションや学習のコスト削減を狙う
  10. © GO Inc. 17 4 Data debugging:学習データの間違いを見つける タスク:間違っている可能性の順位付けアルゴリズムの作成 提出物:サンプルに対する間違っている可能性の順位のリスト 評価指標:何番目まで正解に置き換えた時に

         学習したモデルの精度が閾値を超えるかどうか ▪ モデルを固定し、学習データセットのラベルを修正する順位付けをする ▪ ラベルの欠損や間違いの修正コスト削減を狙う
  11. © GO Inc. 18 5 Data valuation:学習データを増やすために質を見積もる タスク:一部しか所持していないデータセットの精度予測 提出物:予測した精度 評価指標:予測した精度と実際の精度の差

    ▪ モデルを固定し、未知の学習データの精度を予測する ▪ 一部はラベル付きで持っていて、残りは持っていない状態 ▪ アノテーションや購入コストの削減を狙う
  12. © GO Inc. 19 6 Slice discovery:苦手なサブグループを見つける タスク:苦手なあるサブグループを見つける 提出物:サブグループのリスト 評価指標:正しく割り当てたデータの割合

    ▪ ラベル付けされていないサブグループで苦手な傾向を発見 ▪ (例)胸部X線写真からの無気肺の分類における胸腔ドレナージがない 珍しいグループ ▪ モデルを固定し、苦手なデータの傾向の発見を狙う
  13. © GO Inc. 20 4種類のコンペが実施中 ▪ Vision Dataperf(Data selectionタスク) ▪

    Speech Dataperf(Data selectionタスク) ▪ Debugging Dataperf(Data debuggingタスク) ▪ Data Acquisition Dataperf(Data Valuationタスク) ▪ 開催期間:2023年5月30日から7月1日 https://www.dataperf.org/
  14. © GO Inc. 21 Vision Dataperf (Data selectionタスク) ▪ 画像分類の学習に使うデータを選ぶコンペ

    ▪ 画像は学習コストが高いので一部で高い精度が出せたら嬉しい ▪ 大量の画像から最大1000枚を選択するアルゴリズムを作る
  15. © GO Inc. 22 Speech Dataperf (Data selectionタスク) ▪ 音声認識(キーワードスポッティング)の学習に使う

    データを選ぶコンペ ▪ 音声は学習コストが高いので一部で高い精度が出せたら嬉しい ▪ 大量の音声データから最大25か60のサンプルを選択するアルゴ リズムを作る
  16. © GO Inc. 23 Debugging Dataperf (Data debuggingタスク) ▪ 画像分類データセット内のノイズを見つけるコンペ

    ▪ ノイズ(ラベルが正しくないデータ)があると精度が下がるが全 部修正は大変なので、優先順位を付けられると嬉しい ▪ ノイズがあるかどうか順位付けするアルゴリズムを作る ▪ ある精度に達するまでに何サンプル修正したかどうかで競う
  17. © GO Inc. 24 Data Acquisition Dataperf (Data valuationタスク) ▪

    データセットの選び方を競うコンペ ▪ 販売されているデータセットを全部買って試すのは多額の費用が かかるので、うまく質の高いものを選べると嬉しい ▪ データセットの購入戦略アルゴリズムを考える ▪ NLPのデータセットが対象となる
  18. © GO Inc. 27 We’re Hiring! ▪ データ&モデル両方大切にして開発しています ▪ エンジニアはフルリモートOKです

    ▪ カジュアル面談お気軽にお声がけください https://hrmos.co/pages/goinc/jobs?category=1342449154655301632