Data-Centric AIのためのベンチマーク

「第1回 Data-Centric AI勉強会」で発表した資料です。
https://dcai-jp.connpass.com/event/282385/

Transcript

1. Data-Centric AIのための
   ベンチマーク
   2023/06/01 第1回 Data-Centric AI勉強会
   鈴木達哉
   GO株式会社
   

   View Slide

2. © GO Inc. 2
   自己紹介
   GO株式会社
   AIエンジニア / 鈴木達哉
   上智大学大学院修了後、DeNAに新卒入社。
   現在はGO株式会社へ出向し、プロダクトから収集されるデータを活用した
   次世代のデータ活用基盤を開発するプロジェクトでコンピュータビジョン
   に関する研究開発を担当。
   @x_ttyszk
   

   View Slide

3. © GO Inc. 3
   01｜Data-Centricなベンチマークとは何か
   02｜DataPerfが提案するベンチマークタスク
   03 | まとめ
   

   View Slide

4. © GO Inc. 4
   01 Data-Centricなベンチマークとは何か
   

   View Slide

5. © GO Inc. 5
   Model-Centric AIのベンチマーク
   ▪
   これまで機械学習のベンチマークと言えば同じデータに対して、モデ
   ルを変えて精度を競争するModel-Centricな物が一般的であった
   ▪
   著名なModel-Centric AIのベンチマーク（例：MNIST, ImageNet）
   でモデルは人間の能力を超え、飽和状態にある
   人間の精度を0とした時のモデルの精度の変遷
   [2207.10062] DataPerf: Benchmarks for Data-Centric AI Development
   

   View Slide

6. © GO Inc. 6
   データは機械学習のボトルネック
   ▪ 学習データが機械学習の最大能力を決めていると言える
   ▪ モデルの優劣はその能力をどこまで実現できるかに影響する
   ▪ 固定されたデータが能力のボトルネックになっている
   ▪ 飽和状態にあるModel-Centric AIのベンチマークではこれ以上モデ
   ルの本質的な性能向上は行えず、データ側を改善する必要がある
   

   View Slide

7. © GO Inc. 7
   次に必要なベンチマークは？
   ▪
   データへの着目はData-Centric AIとして知られているが、初期には
   具体的タスクが整理されていなかった
   ▪
   定量評価の方法も確立されていない
   ▪ データの改善手法が発展していくことが期待できる
   ▪ 改善されたデータがModel-Centricな研究開発で使われることで、機
   械学習の性能はより向上していく
   同じモデルに対して、データを変えて精度を競争する
   Data-Centric AIのためのベンチマークが必要
   

   View Slide

8. © GO Inc. 8
   タスクを整理
   Data-Centric AIで取り組む具体的なタスクは何なのか？
   →既知のタスクを例えば以下のように整理できる
   [2303.10158] Data-centric Artificial Intelligence: A Survey Table 1
   

   View Slide

9. © GO Inc. 9
   02 DataPerfが提案するベンチマークタスク
   

   View Slide

10. © GO Inc. 10
    Data-Centric AIのベンチマークDataPerf
    ▪ データセット作成を評価する取り組み
    ▪ 2021年のData-Centirc AI Competitionからはじまっている
    ▪ ICML2022でワークショップを開催
    ▪ 2023年3月末にコンペを公開
    [2207.10062] DataPerf: Benchmarks for Data-Centric AI Development
    Data-centric ML benchmarking: Announcing DataPerf’s 2023 challenges – Google AI Blog
    

    View Slide

11. © GO Inc. 11
    データ関係の測れる要素は多数存在する
    従来のベンチマークは中央のモデル関係しか扱っていなかったが、左右のデータ関係も重要
    

    View Slide

12. © GO Inc. 12
    Data-Centricな開発フロー
    ▪ Data-Centricな開発においては以下のような操作が行われる
    ▪ データセット作りに関する指標をもとにしてデータセットの再構築を
    繰り返していく
    

    View Slide

13. © GO Inc. 13
    Data-Centric AIのベンチーマーク
    DataPerfは次の6つのベンチマークタスクを提案している
    1. Training set creation：学習データセットを作る
    2. Test set creation：テストデータセットを作る
    3. Data selection：学習データを減らす
    4. Data debugging：学習データの間違いを見つける
    5. Data valuation：学習データを増やすために質を見積もる
    6. Slice discovery：苦手なサブグループを見つける
    

    View Slide

14. © GO Inc. 14
    1 Training set creation：学習データセットを作る
    タスク：与えられた学習データセットの改善
    提出物：改善した学習データセット
    評価指標：改善後の学習データセットで学習したモデルの精度
    ▪ モデルを固定し、学習データセットを改善（Model-Centricの逆）
    ▪ ラベルの見直し
    ▪ 不適切なデータの削除
    ▪ 実務では以前から行われてきたことであるが、研究課題として取り上
    げることで手法の発展を狙う
    

    View Slide

15. © GO Inc. 15
    2 Test set creation：テストデータセットを作る
    タスク：テストデータを選ぶアルゴリズムの作成
    提出物：選んだテストデータセット
    評価指標：人間に解けてモデルが解けないデータの割合
    ▪ モデルを固定し、評価データセットを改善
    ▪ Model-Centric AIのベンチマークのスコアが飽和していることへの
    直接的な改善になる。機械学習の能力の発展を狙う
    

    View Slide

16. © GO Inc. 16
    3 Data selection：学習データを減らす
    タスク：データを減らすアルゴリズムの作成
    提出物：削減した学習データセット
    評価指標：削減した学習データセットで学習したモデルの精度
    ▪ 例：active learning, core-set selection
    ▪ モデルを固定し、学習データセットを小さくする
    ▪ アノテーションや学習のコスト削減を狙う
    

    View Slide

17. © GO Inc. 17
    4 Data debugging：学習データの間違いを見つける
    タスク：間違っている可能性の順位付けアルゴリズムの作成
    提出物：サンプルに対する間違っている可能性の順位のリスト
    評価指標：何番目まで正解に置き換えた時に
    　　　　　学習したモデルの精度が閾値を超えるかどうか
    ▪ モデルを固定し、学習データセットのラベルを修正する順位付けをする
    ▪ ラベルの欠損や間違いの修正コスト削減を狙う
    

    View Slide

18. © GO Inc. 18
    5 Data valuation：学習データを増やすために質を見積もる
    タスク：一部しか所持していないデータセットの精度予測
    提出物：予測した精度
    評価指標：予測した精度と実際の精度の差
    ▪ モデルを固定し、未知の学習データの精度を予測する
    ▪ 一部はラベル付きで持っていて、残りは持っていない状態
    ▪ アノテーションや購入コストの削減を狙う
    

    View Slide

19. © GO Inc. 19
    6 Slice discovery：苦手なサブグループを見つける
    タスク：苦手なあるサブグループを見つける
    提出物：サブグループのリスト
    評価指標：正しく割り当てたデータの割合
    ▪ ラベル付けされていないサブグループで苦手な傾向を発見
    ▪ （例）胸部X線写真からの無気肺の分類における胸腔ドレナージがない
    珍しいグループ
    ▪ モデルを固定し、苦手なデータの傾向の発見を狙う
    

    View Slide

20. © GO Inc. 20
    4種類のコンペが実施中
    ▪ Vision Dataperf（Data selectionタスク）
    ▪ Speech Dataperf（Data selectionタスク）
    ▪ Debugging Dataperf（Data debuggingタスク）
    ▪ Data Acquisition Dataperf（Data Valuationタスク）
    ▪ 開催期間：2023年5月30日から7月1日
    https://www.dataperf.org/
    

    View Slide

21. © GO Inc. 21
    Vision Dataperf (Data selectionタスク)
    ▪ 画像分類の学習に使うデータを選ぶコンペ
    ▪ 画像は学習コストが高いので一部で高い精度が出せたら嬉しい
    ▪ 大量の画像から最大1000枚を選択するアルゴリズムを作る
    

    View Slide

22. © GO Inc. 22
    Speech Dataperf (Data selectionタスク)
    ▪ 音声認識（キーワードスポッティング）の学習に使う
    データを選ぶコンペ
    ▪ 音声は学習コストが高いので一部で高い精度が出せたら嬉しい
    ▪ 大量の音声データから最大25か60のサンプルを選択するアルゴ
    リズムを作る
    

    View Slide

23. © GO Inc. 23
    Debugging Dataperf (Data debuggingタスク)
    ▪ 画像分類データセット内のノイズを見つけるコンペ
    ▪ ノイズ（ラベルが正しくないデータ）があると精度が下がるが全
    部修正は大変なので、優先順位を付けられると嬉しい
    ▪ ノイズがあるかどうか順位付けするアルゴリズムを作る
    ▪ ある精度に達するまでに何サンプル修正したかどうかで競う
    

    View Slide

24. © GO Inc. 24
    Data Acquisition Dataperf (Data valuationタスク)
    ▪ データセットの選び方を競うコンペ
    ▪ 販売されているデータセットを全部買って試すのは多額の費用が
    かかるので、うまく質の高いものを選べると嬉しい
    ▪ データセットの購入戦略アルゴリズムを考える
    ▪ NLPのデータセットが対象となる
    

    View Slide

25. © GO Inc. 25
    05 まとめ
    

    View Slide

26. © GO Inc. 26
    まとめ
    ▪ 機械学習の能力の発展のためにはデータの改善が必要
    ▪ 改善するためには定量評価が必要であるため、DataPerf
    によるData-Centric AIのベンチマークが登場した
    

    View Slide

27. © GO Inc. 27
    We’re Hiring!
    ▪ データ＆モデル両方大切にして開発しています
    ▪ エンジニアはフルリモートOKです
    ▪ カジュアル面談お気軽にお声がけください
    https://hrmos.co/pages/goinc/jobs?category=1342449154655301632
    

    View Slide

28. © GO Inc.
    文章・画像等の内容の無断転載及び複製等の行為はご遠慮ください
    

    View Slide