HCOMPとCrowdsourcing 2020 / HCOMP and Crowdsourcing 2020

Transcript

1. HCOMP と Crowdsourcing 2020 DSOC R&D DA Group 吉村 皐亮

   2020/07/21 機械学習勉強会

2. ※ 掲載されている内容等は発表時点の情報です。 ※ 公開に当たり、資料の⼀部を変更・削除している場合があります。

3. Data Strategy and Operation Center ⽬次 HCOMPとは何で、どんなものを扱うのか. • HCOMP と

   Crowdsourcing • HCOMP とは • Crowdsourcing の課題 • HCOMP が扱う領域 • 最新の研究例 • まとめ

4. HCOMP と Crowdsourcing

5. Data Strategy and Operation Center HCOMP とは ⼈間を計算リソースの⼀つとして課題に取り組む分野です. HCOMP (Human

   Computation) とは • ⼈間を計算リソースとみなして, いわゆるコンピュータと協業させることで, それぞれ⽚⽅だけでやるよりも, 効率や性能の⾯で優れた結果を得ることを⽬的 とした研究分野です. • Human Computation に関する研究を扱う学会の名でもあります. • AAAI Conference on Human Computation and Crowdsourcing ⼤きく⼆通りが考えられます[1] • 機械学習/⼈⼯知能による問題解決を⼈間が⽀援. • ⼈間による問題解決を機械学習/⼈⼯知能が⽀援.

6. Data Strategy and Operation Center Crowdsourcing の課題 ワーカの属性や能⼒が⽟⽯混交なことが主な問題となります. Crowdsourcing とは

   • HCOMP で取り扱われる⼀番メインとなるトピック. • Crowd (群衆) と Sourcing とを組み合わせた造語. • Cloud (雲) ではないことに注意. • (多くの場合) 不特定多数のワーカに仕事を依頼して, その作業結果を調達する. Crowdsourcing の難しさ • ワーカの能⼒や属性が多くの場合, 明⽰的には与えられない. • 属性が仮に与えられたとしても, 個⼈情報に配慮が必要. • インセンティブがお⾦であるために, お⾦を多く稼ぐことを⽬的として, 真⾯⽬に働かないワーカ (スパムワーカ) も存在する. crowd cloud

7. Data Strategy and Operation Center 作業の品質管理⼿法 • Crowdsourcing などでは, ワーカの能⼒が⽟⽯混交であるため,

   ⼀つのタスクに対する回答結果を複数取得し, 様々な情報を基に 最も正しそうなものを返す⽅法の研究. • 翻訳や要約などの複雑な課題の場合には, 作業内容を分割する アプローチも取られる. タスク割当法 • 作業効率や正解率が良くなるようにタスクを割り当てる⽅法. • 難しいタスクは正解率が⾼いワーカに依頼するなど. インセンティブ設計 • ワーカに作業を⾏ってもらう以上, なんらかのインセンティブが必要. • インセンティブは必ずしもお⾦でなくても良い. HCOMP の研究領域 作業の統合法から, タスク割当法, インセンティブ設計まで. 1 2 2 2 ! お⾦ → Crowdsourcing 学び → Learnersourcing (MOOCs など) 楽しさ→ Gamification (Foldit など) etc.

8. 最新の研究例

9. Crowdsourcing の⾊々な話題

10. Data Strategy and Operation Center A Large-Scale Study of the

    “Wisdom of Crowds” [2]: 膨⼤な量の実験をもとに, 集合知の特性を統計的に分析. 50 ドメイン×20 質問×約2,000 ワーカ での⼤規模実験を実施し, 下記の三つの結果を 実験的に⽰した (回答数は 500,000件). 1. 従来考えられていたように “Wisdom of Crowds” (集 合知) の成績が, 平均的なワーカの成績よりも優れて いることを実証. 2. “Wisdom of Crowds” は⼀般に個々のワーカの 回答よりも⼀貫性があることを実証. 3. Social Influence (社会的影響) は, 集団のパフォーマンスを下げる⽅向に働くことを 実証. (従来研究では, 賛否両論あった.) > ここでいうSocial Influence とは, あるワーカが回答するとき,なんらかの⽅法で提⽰した 他のワーカ(の集合知)の回答を知ることによる回答への影響を指す. 概要

11. Data Strategy and Operation Center Figure1: The overview of TIPRDC.

    TIPRDC Framework [3]: privacy 情報は削減しつつ, 元の情報量は可能な限り残す. TIPRDC: Task-Independent Privacy-Respecting Data Crowdsourcing • Crowdsourcing で収集したデータに含まれるPrivacy 情報をできるだけData Controller や Adversary に渡さないようにする. > 例: CelebA などで年齢などは Privacy 情報なのでできるだけ残さず, メガネをかけているかどうかを 当てたい. • Privacy 情報の予測は外し, それ以外は当たるように GAN 学習. > Goal ①: Privacy 情報の予測が如何に外れるか. > Goal ②: それ以外の予測が如何に当たるか. • Privacy 情報の予測の Acc. (低いほどよい) と, それ以外の予測の Acc. (⾼いほどよい) とのトレードオフで評価. Privacy 情報の予測は外しつつ, その他 の予測は⾼精度.

12. 回答の品質管理⼿法

13. Data Strategy and Operation Center D&S model [4]: ワーカの能⼒を加味してEM Alg.

    で回答を統合する⼿法. D&S (Dawid & Skene) model • 元々は, 医師の患者に対する診断を統計的に統合する⼿法として提案されていた. • Crowdsourcing における, ⼆値分類や多値分類の場合の回答の統合⽅法のベースライン. • EM Alg. を⽤いてワーカの能⼒と, タスクに対する真の値を同時に推定する. EM Alg. for D&S model 1. 各タスクの真の値の予測値を初期化. 2. 予測値を固定して, ワーカの能⼒を推定. 3. ワーカの能⼒を固定して, 予測値を推定. 4. 2. と 3. を収束するまで繰り返す.

14. Data Strategy and Operation Center SBIC (Streaming Bayesian Inference for

    Crowdsourced classification) [5]: ⼆値分類の理論保証ありの品質管理⼿法. • 従来法に⽐べ計算効率が良い. • state-of-the-art と同等の性能を発揮. • 理論保証がある. • UNI policy: 各タスクに回答したワーカ数が平等になるように割り振る. • US policy: 各タスクの真の値の確信度が低いものから割り振る.

15. Data Strategy and Operation Center MultiSPA (Multiple Successive Projection Algorithm)

    [6]: D&S model の多値分類 Ver. の計算量を落とした理論保証版. • D&S model では, 理論保証がないという課題があった. • D&S model に理論保証をつけるために, Tensor を⽤いる⽅法がいくつかあるが, ある変 数に対して 3rd order の計算量が必要であった. そこで, 2nd order の計算量だけで理論保証付きのモデルを提案. Table 2: Classification Error(%) and Run-time(sec): AMT Dataset ここでの提案法 ▶ 3rd orderの⼿法 ▶

16. Spatial Crowdsourcing

17. Data Strategy and Operation Center Hidden POI Ranking with Spatial

    Crowdsourcing [7]: 隠れた POI (Point of Interest) をうまく探すフレームワークを提案. • POI (Point of Interest): 誰かの役に⽴ったり興味を引いたりする場所のこと. • Hidden POI: • ビジネス上役に⽴つことが多いが, データが不⼗分であるために, あまりサービスに利⽤されない POI. • Hidden POI についてはもっとレビューなどが欲しい. Figure 1: H-POI Ranking Framework Overview Hidden POI と Popular POI のペアをワーカに投げて, 作業してもらうことで効率的に Hidden POI のランキング集計できる 2 段階のフレームワークを提案.

18. Data Strategy and Operation Center Preference-Aware Task Assignment in Spatial

    Crowdsourcing [8]: Spatial Task をワーカの選好に併せて割り当てる⼿法の提案. • ワーカが本当に興味を持っているタスクを割り当てるようにしたい. Figure 1: Framework of Our Model Figure 2: Workers’ Temporal Preferences Modeling 技術的課題としてコールドスタートやスパース性の問題に対応した, 時間的な選好を モデリングしつつ, それに併せたタスク割り当てを⾏う履歴ベースの⽂脈に対応した テンソル分解⼿法を提案.

19. Human-in-the-loop

20. Data Strategy and Operation Center Human-in-the-loop interpretability prior [9]: ⼈間の

    interpretability を定量化する⽅法を提案. • Human-Interpretability-Score (HIS)を定義. • モデルとデータ点の情報を⼈間が⾒た時の回答の速さで 解釈しやすさを定量化. • すぐ答えられるほど, 解釈性が⾼いとみなす. • Proxy model を HIS が⼤きくなるように学習することで, 解釈性の⾼いモデルを得る. • 実験では, モデルの複雑性が減ったことが確認できた. • e.g. ) 決定⽊の深さや枝の数などが iteration ごとに減少.

21. Data Strategy and Operation Center Human-in-the-loop feature selection [10]: expert

    にラベルと合わせて注⽬した特徴量も選んでもらい, それも模倣する. • Expert にタスクをこなしてもらう時, 合わせてその判断をする上で役に⽴っ た特徴量も併せて答えてもらう. • モデルは, Deep Model の最初の層に per-example (事例ごと) の特徴選択フィ ルタを⼊れておき, 上記の専⾨家の回 答に⼀致するように学習される. 機械だけで学習した場合より⼈間の Feedback を適切にモデルに反映させたモデルの 性能が⼤きく改善した.

22. まとめ

23. Data Strategy and Operation Center まとめ HCOMP と Crowdsourcing の概要と最新の研究を話しました.

    • HCOMPとは • ⼈間を計算リソースとみなして, 機械と協業させ⾊々なタスクを効率的に解決 することを⽬指す研究分野. • Crowdsourcing の課題 • ⽟⽯混交のワーカが存在し, 中には悪意を持ったスパムワーカも存在する. • HCOMPの研究領域 • 納品物の品質管理法, タスク割当法, インセンティブ設計 etc. • 最近の研究 • ⼤規模実験, privacyに配慮した特徴選択モデル, 理論保証付き品質管理⼿法, Spatial Crowdsourcing, Human-in-the-loop etc. • 全体についてもっと知りたい場合 • [11] や [12] がおすすめです.

24. Data Strategy and Operation Center References [1] ヒューマンコンピュテーションとクラウドソーシング, JSAI 2018

    チュートリアル. [2] A Large-Scale Study of the “Wisdom of Crowds”, HCOMP 2019. [3] TIPRDC: Task-Independent Privacy-Respecting Data Crowdsourcing Framework with Anonymized Intermediate Representations”, KDD 2020. [4] Maximum Likelihood Estimation of Observer Error-Rates Using the EM Algorithm, Applied Statistics 1979. [5] Streaming Bayesian Inference for Crowdsourced Classification, NeurIPS 2019. [6] Crowdsourcing via Pairwise Co-occurrences: Identifiability and Algorithms, NeurIPS 2019. [7] Hidden POI Ranking with Spatial Crowdsourcing, KDD 2019. [8] Preference-aware Task Assignment in Spatial Crowdsourcing, AAAI 2019. [9] Human-in-the-Loop Interpretability Prior, NeurIPS 2018. [10] Human-in-the-Loop Feature Selection, AAAI 2019. [11]ヒューマンコンピュテーションとクラウドソーシング (機械学習プロフェッショナルシリーズ), 講談社, 2016. [12]クラウドソーシングが不可能を可能にする: ⼩さな⼒を集めて⼤きな⼒に変える科学と⽅法 (共⽴スマートセレクション), 共⽴出版, 2020
25. None