鳥コンペ vs 鳥蛙コンペ

kaggleで開催された直近2つの音コンペの類似点，相違点をまとめたものです．

Transcript

1. 🐦コンペ VS 🐦🐸コンペ
2. 1. コンペ概要 2. 焦点と解法 2
3. 1. コンペ概要 2. 焦点と解法 どのような点が似ているのか？ どのような点が違うのか？ 3
4. コンペ概要 - 🐦コンペ 264種類の鳥について，クラス分類 train…21375ファイル．コードコンペ． 参考code train.csv: ファイルごとのデータ．録音者が記録． ラベル，集音日付，場所，セカンダリーラベルなど． →Wavファイルのどこで鳥が鳴いているかはわからない Evaluation: 264種のどの鳥が鳴いているか．(複数あり) 鳴いていない場合，「nocall」を出力．評価指標はmicro f1 1 2 3 4 site1, 2 → 5秒ごとの予測 site3 → ファイルごとの予測 1 ファイル△-1 ◯◯，△ ファイル△-2 □□ ファイル△-3 nocall ファイル◯ ◯◯，□□ site1, 2 site3 4
5. コンペ概要 - 🐦🐸コンペ 24種類の鳥と蛙について，クラス分類． train…4727ファイル． test…1992ファイル． train_tp.csv: 正解の秒数．述べ1132ファイル，1216箇所． train_fp.csv: ここにはこの鳥はいないと保証されたラベル． 述べ3958ファイル，7781箇所 Evaluation: ファイルごとに，どの鳥が鳴いているか． 24種それぞれの確率を出す．評価指標はLWLRAP． ラベルは不完全． この辺にも正解ラベルがありそう 5
6. 1. コンペ概要 2. 焦点と解法 課題設定としては，似ているように見える． では，🐦コンペで有効だった解法は？ その解法は，🐦🐸コンペで効いたのか？ 6
7. 焦点と解法 - 🐦コンペ ・「弱い」ラベルをどう学習に用いるか． ・testデータの約半分が「nocall」だった． ・train, testのdomain shiftへの対応 SEDタスクとして解く方法を紹介 Feature Extractor 上位チームに見られた解法 1. SEDタスクを利用 ・フレームレベルのアウトプットを使用 ・pseudoラベルの作成 2. Augmentation(ノイズ付与等) etc... 入力 (mel等) 特徴量作成 (ResNet等) 特徴マップ フレームレベル の予測 クリップレベルの 予測 Sound Event Detection 7 焦点
8. 焦点と解法 - 🐦🐸コンペ 1 🐦コンペと似てるし，SEDモデル使ったら何とかなる！ →そうでもなかった… ラベルのついていない箇所をどう活かすかが鍵 1. train_tpに含まれないファイル 学習データ: 4727ファイル ラベルのついているデータ: 1132ファイル 2. ラベルのついていない区間 ラベルがついているのはここだけ 上位チームに見られた解法 1. mask loss 2. psuedo label 3. ハンドラベリング etc... 結局、🐦🐸はSED or classificationとか解像度・後 処理とかは本質ではなく、 missing labelsをどう処理 するのかが焦点だった。 🐦コンペとはコンペの焦点が異なっていた 8
9. 焦点と解法 - 🐦🐸コンペ 2 ラベルのついてる箇所において，他の鳥が鳴いている可能性も ある→ positiveなクラスのみ，lossを評価する． この仕組みを用いれば，train_fpのラベルも使うことができる 例: target [1, 0, 0] pred [0.6, 0.4, 0.2] target [1, 0, 0] pred [0.6, 0.4, 0.2] 例: target [1, 0, 0, -1] pred [0.6, 0.4, 0.2, 0.1] target [1, 0, 0, 0] pred [0.6, 0.4, 0.2, 0.1] 1. mask loss 2. psuedo label 学習したモデルで，trainデータを予測．作成したラベルを用い て再度学習する． ※ただし，愚直にpsuedo labelを作成するだけでは精度が向 上せず，何回か学習→予測を繰り返す，mask lossと組み合 わせるなどの工夫が必要だった psuedo label 9
10. まとめ ・同じような課題設定でも，ラベルの付け方，評価の仕方で考えること，対処すべきことがかなり 異なる． ・🐦コンペでは，testデータにしかないラベル，弱いラベルにどう対処するか． 🐦🐸コンペでは，missing labelへの対策を行えるかどうかが，上位へ食い込めるかどうかの鍵 だった． ・コンペにおける肝を発見し，対処する力を磨くことが大切 🐦🐸ですごいなとおもった解法 ラベルがついている部分以外全 部をマスクしちゃう． ラベルがついている部分だけを取り出 して，大きさを揃え，画像分類モデル として解く． 10