Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Human-in-the-loop機械学習社内勉強会

 Human-in-the-loop機械学習社内勉強会

社内勉強会の資料です。

Minoru Natsutani

January 10, 2024
Tweet

More Decks by Minoru Natsutani

Other Decks in Technology

Transcript

  1. 本の紹介 Human-in-the-Loop Machine Learning: Active learning and annotation for human-centered

    AI Human-in-the-Loop機械学習: 人間参加型AIのための能動学習とアノテーション Deep Learningのデータ+アノテーションに注目した本。良いことがいっぱい書いてある。 前半がHuman-in-the-loopの学習戦略の話、後半がアノテーションの評価の話。 今日は前半の紹介をします。後半はHuman-in-the-loopのイテレーションが回ってからでも良い。 図表の引用は特に指定なければこの本から。
  2. Human-in-the-loopの学習サイクル Fig2.2 アノテーションが終わって いないデータ+アノテー ション済みデータ 何らかのアルゴリズム(ラン ダム含む)で、データを抽出 人手によるアノテーション 再学習、追加学習 デプロイ

    なんでもかんでも学習データを追加するのではなく、学習に効果的なデータを抽出して、アノテーションを行い学習する。 その結果を使って、また効果的な学習データを抽出する。 このループを作る。
  3. Human-in-the-loopの学習を始める前に Human-in-the-loopの学習をする前に、評価用のデータセットを作る。 →Train、Val、TestでいうとTestにあたるデータセット。 学習データのプールとは分ける。 基本的にはランダムサンプリング。 意図的にデータを選ぶとBIASが入ってしまう。 意味 この本の訳 英語 日本語(E資格)

    学習に使うデータ 学習データ Train data 学習データ 過学習を検出するために使うデータ 検証データ Validation data 検証データ 最終的にモデルを評価するためのデータ 評価データ Test data テストデータ 本には最大4つの検証データが必要と書いてあるが、当面ランダムに選んだ1つの検証データで良い。 ・テストデータと同じ分布に従う検証データ ・各反復においてまだラベル付けしていないデータから作成された検証データ ・各反復で新たにサンプリングされたデータと同じ分布に従う検証データ ・これまでにサンプリングされたデータと同じ分布に従う検証データ
  4. 不確実性サンプリング 判断の境目にあるデータ(間違えやすいデータ)を集めるアルゴリズム 信頼度はDep LearningであればNNの出力(softmax前or後)。Scoreだったり精度と呼んだりする。 ・最小確信度サンプリング 正解値の信頼度を100%として、モデルの出力との差を取る。犬の画像に対して、犬80%という推論をした時の不確実性は0.2 ・確信度マージンサンプリング 2番目の信頼度の差をマージンとして計測。犬の画像に対して、犬80%、猫10%と推論した時、不確実性は100-(80-10)で0.3 一つ目と二つ目の差が大きいと不確実性が減る。 ・確信度比率サンプリング

    一つ目と2つめの信頼度の比率をとる。犬80%、猫10%の時は10/80 = 0.125が不確実性。 ・エントロピー基準サンプリング 信頼度のエントロピーを計算する。他クラス分類の時はすべての出力を使う。 例えば犬80%、猫50%の時、足して1にならないので、softmaxを取って0.574, 0.426にする。このエントロピーを取って0.984を不確実性とする。 ChatGPTに計算させたけど、E資格受験者は電 卓叩いて自力で計算できるように
  5. 物体検出でどのようにサンプリングするか アノテーションしていないデータを推論させてみて、確信度(Score)を基準に学習用データを選ぶ。 確信度が高い物を選ぶと、元々分かっているデータなのでBIASが固定される欠点がある。 確信度が低い物を選ぶと、誤検出が増え検出数が多くなってしまう。 →層化サンプリングを使う ・確信度 10~20%の画像を100枚サンプリング ・確信度 20~30%の画像を100枚サンプリング :

    ・確信度 90~100%の画像を100枚サンプリング 物体検出多数では確信度が低く背景を誤検出しているデータでも、学習データに追加することで 「ここは背景」と学習できるので有効。これに、クラスタリングベースのサンプリング(中央値)の組 み合わせ等も有効。 Segmentationもこれで良いと思う。 Fig 6.5 境界のデータと、境界から遠 いデータがバランス良く集まる
  6. Human-in-the-loopのアノテーション、学習サイクル データ (大量) アルゴリズム sampling & sort 高 低 優先順位の高いデータか

    らアノテーション 学習 学習によってモデルが更新されると、そのモデルを使って、次の アノテーションデータを自動で抽出、優先順位付けを行う。 評価 新しいデータだけを使った追加 学習と、今までの全データを使っ た学習の2種類がある。 それぞれの目的が違う。 →詳細は本読んで 評価データ queue