Data-Centric AIのためのベンチマーク

「第1回 Data-Centric AI勉強会」で発表した資料です。
https://dcai-jp.connpass.com/event/282385/

1. Data-Centric AIのための ベンチマーク 2023/06/01 第1回 Data-Centric AI勉強会 鈴木達哉 GO株式会社
2. © GO Inc. 2 自己紹介 GO株式会社 AIエンジニア / 鈴木達哉 上智大学大学院修了後、DeNAに新卒入社。 現在はGO株式会社へ出向し、プロダクトから収集されるデータを活用した 次世代のデータ活用基盤を開発するプロジェクトでコンピュータビジョン に関する研究開発を担当。 @x_ttyszk
3. © GO Inc. 3 01｜Data-Centricなベンチマークとは何か 02｜DataPerfが提案するベンチマークタスク 03 | まとめ
4. © GO Inc. 4 01 Data-Centricなベンチマークとは何か
5. © GO Inc. 5 Model-Centric AIのベンチマーク ▪ これまで機械学習のベンチマークと言えば同じデータに対して、モデ ルを変えて精度を競争するModel-Centricな物が一般的であった ▪ 著名なModel-Centric AIのベンチマーク（例：MNIST, ImageNet） でモデルは人間の能力を超え、飽和状態にある 人間の精度を0とした時のモデルの精度の変遷 [2207.10062] DataPerf: Benchmarks for Data-Centric AI Development
6. © GO Inc. 6 データは機械学習のボトルネック ▪ 学習データが機械学習の最大能力を決めていると言える ▪ モデルの優劣はその能力をどこまで実現できるかに影響する ▪ 固定されたデータが能力のボトルネックになっている ▪ 飽和状態にあるModel-Centric AIのベンチマークではこれ以上モデ ルの本質的な性能向上は行えず、データ側を改善する必要がある
7. © GO Inc. 7 次に必要なベンチマークは？ ▪ データへの着目はData-Centric AIとして知られているが、初期には 具体的タスクが整理されていなかった ▪ 定量評価の方法も確立されていない ▪ データの改善手法が発展していくことが期待できる ▪ 改善されたデータがModel-Centricな研究開発で使われることで、機 械学習の性能はより向上していく 同じモデルに対して、データを変えて精度を競争する Data-Centric AIのためのベンチマークが必要
8. © GO Inc. 8 タスクを整理 Data-Centric AIで取り組む具体的なタスクは何なのか？ →既知のタスクを例えば以下のように整理できる [2303.10158] Data-centric Artificial Intelligence: A Survey Table 1
9. © GO Inc. 9 02 DataPerfが提案するベンチマークタスク
10. © GO Inc. 10 Data-Centric AIのベンチマークDataPerf ▪ データセット作成を評価する取り組み ▪ 2021年のData-Centirc AI Competitionからはじまっている ▪ ICML2022でワークショップを開催 ▪ 2023年3月末にコンペを公開 [2207.10062] DataPerf: Benchmarks for Data-Centric AI Development Data-centric ML benchmarking: Announcing DataPerf’s 2023 challenges – Google AI Blog
11. © GO Inc. 11 データ関係の測れる要素は多数存在する 従来のベンチマークは中央のモデル関係しか扱っていなかったが、左右のデータ関係も重要
12. © GO Inc. 12 Data-Centricな開発フロー ▪ Data-Centricな開発においては以下のような操作が行われる ▪ データセット作りに関する指標をもとにしてデータセットの再構築を 繰り返していく
13. © GO Inc. 13 Data-Centric AIのベンチーマーク DataPerfは次の6つのベンチマークタスクを提案している 1. Training set creation：学習データセットを作る 2. Test set creation：テストデータセットを作る 3. Data selection：学習データを減らす 4. Data debugging：学習データの間違いを見つける 5. Data valuation：学習データを増やすために質を見積もる 6. Slice discovery：苦手なサブグループを見つける
14. © GO Inc. 14 1 Training set creation：学習データセットを作る タスク：与えられた学習データセットの改善 提出物：改善した学習データセット 評価指標：改善後の学習データセットで学習したモデルの精度 ▪ モデルを固定し、学習データセットを改善（Model-Centricの逆） ▪ ラベルの見直し ▪ 不適切なデータの削除 ▪ 実務では以前から行われてきたことであるが、研究課題として取り上 げることで手法の発展を狙う
15. © GO Inc. 15 2 Test set creation：テストデータセットを作る タスク：テストデータを選ぶアルゴリズムの作成 提出物：選んだテストデータセット 評価指標：人間に解けてモデルが解けないデータの割合 ▪ モデルを固定し、評価データセットを改善 ▪ Model-Centric AIのベンチマークのスコアが飽和していることへの 直接的な改善になる。機械学習の能力の発展を狙う
16. © GO Inc. 16 3 Data selection：学習データを減らす タスク：データを減らすアルゴリズムの作成 提出物：削減した学習データセット 評価指標：削減した学習データセットで学習したモデルの精度 ▪ 例：active learning, core-set selection ▪ モデルを固定し、学習データセットを小さくする ▪ アノテーションや学習のコスト削減を狙う
17. © GO Inc. 17 4 Data debugging：学習データの間違いを見つける タスク：間違っている可能性の順位付けアルゴリズムの作成 提出物：サンプルに対する間違っている可能性の順位のリスト 評価指標：何番目まで正解に置き換えた時に 　　　　　学習したモデルの精度が閾値を超えるかどうか ▪ モデルを固定し、学習データセットのラベルを修正する順位付けをする ▪ ラベルの欠損や間違いの修正コスト削減を狙う
18. © GO Inc. 18 5 Data valuation：学習データを増やすために質を見積もる タスク：一部しか所持していないデータセットの精度予測 提出物：予測した精度 評価指標：予測した精度と実際の精度の差 ▪ モデルを固定し、未知の学習データの精度を予測する ▪ 一部はラベル付きで持っていて、残りは持っていない状態 ▪ アノテーションや購入コストの削減を狙う
19. © GO Inc. 19 6 Slice discovery：苦手なサブグループを見つける タスク：苦手なあるサブグループを見つける 提出物：サブグループのリスト 評価指標：正しく割り当てたデータの割合 ▪ ラベル付けされていないサブグループで苦手な傾向を発見 ▪ （例）胸部X線写真からの無気肺の分類における胸腔ドレナージがない 珍しいグループ ▪ モデルを固定し、苦手なデータの傾向の発見を狙う
20. © GO Inc. 20 4種類のコンペが実施中 ▪ Vision Dataperf（Data selectionタスク） ▪ Speech Dataperf（Data selectionタスク） ▪ Debugging Dataperf（Data debuggingタスク） ▪ Data Acquisition Dataperf（Data Valuationタスク） ▪ 開催期間：2023年5月30日から7月1日 https://www.dataperf.org/
21. © GO Inc. 21 Vision Dataperf (Data selectionタスク) ▪ 画像分類の学習に使うデータを選ぶコンペ ▪ 画像は学習コストが高いので一部で高い精度が出せたら嬉しい ▪ 大量の画像から最大1000枚を選択するアルゴリズムを作る
22. © GO Inc. 22 Speech Dataperf (Data selectionタスク) ▪ 音声認識（キーワードスポッティング）の学習に使う データを選ぶコンペ ▪ 音声は学習コストが高いので一部で高い精度が出せたら嬉しい ▪ 大量の音声データから最大25か60のサンプルを選択するアルゴ リズムを作る
23. © GO Inc. 23 Debugging Dataperf (Data debuggingタスク) ▪ 画像分類データセット内のノイズを見つけるコンペ ▪ ノイズ（ラベルが正しくないデータ）があると精度が下がるが全 部修正は大変なので、優先順位を付けられると嬉しい ▪ ノイズがあるかどうか順位付けするアルゴリズムを作る ▪ ある精度に達するまでに何サンプル修正したかどうかで競う
24. © GO Inc. 24 Data Acquisition Dataperf (Data valuationタスク) ▪ データセットの選び方を競うコンペ ▪ 販売されているデータセットを全部買って試すのは多額の費用が かかるので、うまく質の高いものを選べると嬉しい ▪ データセットの購入戦略アルゴリズムを考える ▪ NLPのデータセットが対象となる
25. © GO Inc. 25 05 まとめ
26. © GO Inc. 26 まとめ ▪ 機械学習の能力の発展のためにはデータの改善が必要 ▪ 改善するためには定量評価が必要であるため、DataPerf によるData-Centric AIのベンチマークが登場した
27. © GO Inc. 27 We’re Hiring! ▪ データ＆モデル両方大切にして開発しています ▪ エンジニアはフルリモートOKです ▪ カジュアル面談お気軽にお声がけください https://hrmos.co/pages/goinc/jobs?category=1342449154655301632
28. © GO Inc. 文章・画像等の内容の無断転載及び複製等の行為はご遠慮ください