Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Data-Centric AIのためのベンチマーク

Data-Centric AIのためのベンチマーク

「第1回 Data-Centric AI勉強会」で発表した資料です。
https://dcai-jp.connpass.com/event/282385/

Tatsuya Suzuki

June 01, 2023
Tweet

Other Decks in Technology

Transcript

  1. Data-Centric AIのための
    ベンチマーク
    2023/06/01 第1回 Data-Centric AI勉強会
    鈴木達哉
    GO株式会社

    View Slide

  2. © GO Inc. 2
    自己紹介
    GO株式会社
    AIエンジニア / 鈴木達哉
    上智大学大学院修了後、DeNAに新卒入社。
    現在はGO株式会社へ出向し、プロダクトから収集されるデータを活用した
    次世代のデータ活用基盤を開発するプロジェクトでコンピュータビジョン
    に関する研究開発を担当。
    @x_ttyszk

    View Slide

  3. © GO Inc. 3
    01|Data-Centricなベンチマークとは何か
    02|DataPerfが提案するベンチマークタスク
    03 | まとめ

    View Slide

  4. © GO Inc. 4
    01 Data-Centricなベンチマークとは何か

    View Slide

  5. © GO Inc. 5
    Model-Centric AIのベンチマーク

    これまで機械学習のベンチマークと言えば同じデータに対して、モデ
    ルを変えて精度を競争するModel-Centricな物が一般的であった

    著名なModel-Centric AIのベンチマーク(例:MNIST, ImageNet)
    でモデルは人間の能力を超え、飽和状態にある
    人間の精度を0とした時のモデルの精度の変遷
    [2207.10062] DataPerf: Benchmarks for Data-Centric AI Development

    View Slide

  6. © GO Inc. 6
    データは機械学習のボトルネック
    ▪ 学習データが機械学習の最大能力を決めていると言える
    ▪ モデルの優劣はその能力をどこまで実現できるかに影響する
    ▪ 固定されたデータが能力のボトルネックになっている
    ▪ 飽和状態にあるModel-Centric AIのベンチマークではこれ以上モデ
    ルの本質的な性能向上は行えず、データ側を改善する必要がある

    View Slide

  7. © GO Inc. 7
    次に必要なベンチマークは?

    データへの着目はData-Centric AIとして知られているが、初期には
    具体的タスクが整理されていなかった

    定量評価の方法も確立されていない
    ▪ データの改善手法が発展していくことが期待できる
    ▪ 改善されたデータがModel-Centricな研究開発で使われることで、機
    械学習の性能はより向上していく
    同じモデルに対して、データを変えて精度を競争する
    Data-Centric AIのためのベンチマークが必要

    View Slide

  8. © GO Inc. 8
    タスクを整理
    Data-Centric AIで取り組む具体的なタスクは何なのか?
    →既知のタスクを例えば以下のように整理できる
    [2303.10158] Data-centric Artificial Intelligence: A Survey Table 1

    View Slide

  9. © GO Inc. 9
    02 DataPerfが提案するベンチマークタスク

    View Slide

  10. © GO Inc. 10
    Data-Centric AIのベンチマークDataPerf
    ▪ データセット作成を評価する取り組み
    ▪ 2021年のData-Centirc AI Competitionからはじまっている
    ▪ ICML2022でワークショップを開催
    ▪ 2023年3月末にコンペを公開
    [2207.10062] DataPerf: Benchmarks for Data-Centric AI Development
    Data-centric ML benchmarking: Announcing DataPerf’s 2023 challenges – Google AI Blog

    View Slide

  11. © GO Inc. 11
    データ関係の測れる要素は多数存在する
    従来のベンチマークは中央のモデル関係しか扱っていなかったが、左右のデータ関係も重要

    View Slide

  12. © GO Inc. 12
    Data-Centricな開発フロー
    ▪ Data-Centricな開発においては以下のような操作が行われる
    ▪ データセット作りに関する指標をもとにしてデータセットの再構築を
    繰り返していく

    View Slide

  13. © GO Inc. 13
    Data-Centric AIのベンチーマーク
    DataPerfは次の6つのベンチマークタスクを提案している
    1. Training set creation:学習データセットを作る
    2. Test set creation:テストデータセットを作る
    3. Data selection:学習データを減らす
    4. Data debugging:学習データの間違いを見つける
    5. Data valuation:学習データを増やすために質を見積もる
    6. Slice discovery:苦手なサブグループを見つける

    View Slide

  14. © GO Inc. 14
    1 Training set creation:学習データセットを作る
    タスク:与えられた学習データセットの改善
    提出物:改善した学習データセット
    評価指標:改善後の学習データセットで学習したモデルの精度
    ▪ モデルを固定し、学習データセットを改善(Model-Centricの逆)
    ▪ ラベルの見直し
    ▪ 不適切なデータの削除
    ▪ 実務では以前から行われてきたことであるが、研究課題として取り上
    げることで手法の発展を狙う

    View Slide

  15. © GO Inc. 15
    2 Test set creation:テストデータセットを作る
    タスク:テストデータを選ぶアルゴリズムの作成
    提出物:選んだテストデータセット
    評価指標:人間に解けてモデルが解けないデータの割合
    ▪ モデルを固定し、評価データセットを改善
    ▪ Model-Centric AIのベンチマークのスコアが飽和していることへの
    直接的な改善になる。機械学習の能力の発展を狙う

    View Slide

  16. © GO Inc. 16
    3 Data selection:学習データを減らす
    タスク:データを減らすアルゴリズムの作成
    提出物:削減した学習データセット
    評価指標:削減した学習データセットで学習したモデルの精度
    ▪ 例:active learning, core-set selection
    ▪ モデルを固定し、学習データセットを小さくする
    ▪ アノテーションや学習のコスト削減を狙う

    View Slide

  17. © GO Inc. 17
    4 Data debugging:学習データの間違いを見つける
    タスク:間違っている可能性の順位付けアルゴリズムの作成
    提出物:サンプルに対する間違っている可能性の順位のリスト
    評価指標:何番目まで正解に置き換えた時に
         学習したモデルの精度が閾値を超えるかどうか
    ▪ モデルを固定し、学習データセットのラベルを修正する順位付けをする
    ▪ ラベルの欠損や間違いの修正コスト削減を狙う

    View Slide

  18. © GO Inc. 18
    5 Data valuation:学習データを増やすために質を見積もる
    タスク:一部しか所持していないデータセットの精度予測
    提出物:予測した精度
    評価指標:予測した精度と実際の精度の差
    ▪ モデルを固定し、未知の学習データの精度を予測する
    ▪ 一部はラベル付きで持っていて、残りは持っていない状態
    ▪ アノテーションや購入コストの削減を狙う

    View Slide

  19. © GO Inc. 19
    6 Slice discovery:苦手なサブグループを見つける
    タスク:苦手なあるサブグループを見つける
    提出物:サブグループのリスト
    評価指標:正しく割り当てたデータの割合
    ▪ ラベル付けされていないサブグループで苦手な傾向を発見
    ▪ (例)胸部X線写真からの無気肺の分類における胸腔ドレナージがない
    珍しいグループ
    ▪ モデルを固定し、苦手なデータの傾向の発見を狙う

    View Slide

  20. © GO Inc. 20
    4種類のコンペが実施中
    ▪ Vision Dataperf(Data selectionタスク)
    ▪ Speech Dataperf(Data selectionタスク)
    ▪ Debugging Dataperf(Data debuggingタスク)
    ▪ Data Acquisition Dataperf(Data Valuationタスク)
    ▪ 開催期間:2023年5月30日から7月1日
    https://www.dataperf.org/

    View Slide

  21. © GO Inc. 21
    Vision Dataperf (Data selectionタスク)
    ▪ 画像分類の学習に使うデータを選ぶコンペ
    ▪ 画像は学習コストが高いので一部で高い精度が出せたら嬉しい
    ▪ 大量の画像から最大1000枚を選択するアルゴリズムを作る

    View Slide

  22. © GO Inc. 22
    Speech Dataperf (Data selectionタスク)
    ▪ 音声認識(キーワードスポッティング)の学習に使う
    データを選ぶコンペ
    ▪ 音声は学習コストが高いので一部で高い精度が出せたら嬉しい
    ▪ 大量の音声データから最大25か60のサンプルを選択するアルゴ
    リズムを作る

    View Slide

  23. © GO Inc. 23
    Debugging Dataperf (Data debuggingタスク)
    ▪ 画像分類データセット内のノイズを見つけるコンペ
    ▪ ノイズ(ラベルが正しくないデータ)があると精度が下がるが全
    部修正は大変なので、優先順位を付けられると嬉しい
    ▪ ノイズがあるかどうか順位付けするアルゴリズムを作る
    ▪ ある精度に達するまでに何サンプル修正したかどうかで競う

    View Slide

  24. © GO Inc. 24
    Data Acquisition Dataperf (Data valuationタスク)
    ▪ データセットの選び方を競うコンペ
    ▪ 販売されているデータセットを全部買って試すのは多額の費用が
    かかるので、うまく質の高いものを選べると嬉しい
    ▪ データセットの購入戦略アルゴリズムを考える
    ▪ NLPのデータセットが対象となる

    View Slide

  25. © GO Inc. 25
    05 まとめ

    View Slide

  26. © GO Inc. 26
    まとめ
    ▪ 機械学習の能力の発展のためにはデータの改善が必要
    ▪ 改善するためには定量評価が必要であるため、DataPerf
    によるData-Centric AIのベンチマークが登場した

    View Slide

  27. © GO Inc. 27
    We’re Hiring!
    ▪ データ&モデル両方大切にして開発しています
    ▪ エンジニアはフルリモートOKです
    ▪ カジュアル面談お気軽にお声がけください
    https://hrmos.co/pages/goinc/jobs?category=1342449154655301632

    View Slide

  28. © GO Inc.
    文章・画像等の内容の無断転載及び複製等の行為はご遠慮ください

    View Slide