銀_202302_kaggle_NFL_Player_contact_detection

Slide 1

Slide 1 text

Platform Technology Division Copyright 2020 Sony Semiconductor Solutions Corporation DATE 1/xx サマリ：概要に解法リンク • 参加コンペ： – 1st and Future - Player Contact Detection | Kaggle • 概要： – NFLの動画から選手同士が接触している期間を検出 • 入力：2視点の動画＋メタ情報(ヘルメット位置、加速度など。)＋選手同士のペア情報 • 出力：フレームごとの接触判定結果 • 順位： – 49位/936チーム（シルバー） • アプローチ概要： – ベース2.5D CNN（efficientnet b0 & b1) • ポイント：接触する瞬間部分のオーバーサンプリング • ポイント：2視点動画を使った2.5D＋メタ情報を同時入力するDNN • ポイント：TSMモジュール差し込み • ポイント：マルチタスクラーニングで、前後フレームも予測させるようにプラス • ポイント：2モデルアンサンブル、TTA • チームについて： – 社内勉強会メンバを収集。（やったこと：リーディング、モデル作成、モデル性能改善） • 所感： – 全体： • 初めて諦めずにkaggleを最後までやり切ってみて、色々学ぶことがあった。諦めない心の成長をした気がする。 • やってみたかった実験はあるが心が持たずやりきれなかった。。。 – コンペでムズイと感じたところ： • ラベルの偏り：接触してる期間のデータが少ない。接触する瞬間をうまく見つけ出すのが難しい • 実装の工夫：サンプルが動作が遅く、学習推論共に高速化が必要。 – その他： • チームでコンペはやっぱり難しい。 – 同じ社内で誘った人と実施したが、情報共有の難しさや業務の忙しさなどからギャップが生じてしまう、、、コンペ概要 2視点の動画＋メタ情報(ヘルメット位置、加速度など。)＋選手同士のペア情報結果各選手同士が接触している期間を検出！

Slide 4

Slide 4 text

Platform Technology Division Copyright 2020 Sony Semiconductor Solutions Corporation DATE 4/xx Twitter （コンペ後のTwitterの方が良い情報が落ちてる。） • shinmura0さんはTwitterを使っています: 「NFLの感想を4つほど。今回の一番の収穫は、1DCNN（UEMUさんに教えてもらった）。平滑化の目的でXGB_predictionに、最初は移動平均を使っていたが、1DCNNの方が圧倒的だった。他のコンペでも使える汎用技術なので、動画系のみならず、使っていきたい。 (1/6)」 / Twitter • yukiさんはTwitterを使っています: 「自分の解法はざっくりこんな感じ YOLOで選手領域クロップ、2DCNNで選手画像に加えてヘルメットbboxのchannelを追加、マルチタスクで±1stepの衝突も一緒に予測、NNの出力をLGBM でshift特徴量を加え学習、最後に移動平均細かな工夫などは他にもあるけどこれくらいやればPublic0.77くらいは行けてた」 / Twitter • K_matさんはTwitterを使っています: 「kmat CNNパートのみシェア。 2DCNNをプレイヤ周辺でそれぞれおこなってマスクっぽいのを予測させて、プレイヤー間の積をとって、インターセクションの最大値をとりました。交差領域からロスを発生させるので安定性◎ https://t.co/1g2bRyfeho」 / Twitter – ラベルは作ってない。お気持ちで学習させたらそれになった。 • shinmura0さんはTwitterを使っています: 「psiチームの解法、これはマルチモーダルコンペに革命をもたらすのでは！？まさか、画像の1チャンネルをべた塗り（2選手の距離などで）してCNNに入れるとか、思いつかない。これは、鳥コンペ2（「音源」と「鳴いている場所」が与えられる）とかでも応用できるし、凄い。 https://t.co/DRHSxGhuSM」 / Twitter • arutema47さんはTwitterを使っています: 「Tracking結果を画像化してCNNに突っ込むのは思いつかなかった（混戦になるとどのヘルメットに着目してるかわからないので有効そう）僕はヘルメットにboxを追加するという力技でした.. https://t.co/yZPqea9O6R」 / Twitter • ★ ★ ★ ★くるぴーさんはTwitterを使っています: 「2stage(nn -> nnの推論値+lgbm/xgb) にしなかったのが敗因か… LGBMとNNを最後アンサンブルすりゃいいと思ってたんだけど、こっちが最近流行ってるのかな。2stageが強いのか、複数fold使っていることでcvが安定したのか、はたまたその両方だったのか…？」 / Twitter

Slide 8

Slide 8 text

Platform Technology Division Copyright 2020 Sony Semiconductor Solutions Corporation DATE 8/xx やること、やったこと • やること – 速度アップ系 • データリダクション（間引きとか） • 推論コード高速化（ffmpegで画像化している部分を消したい） • 動画生成完了ごとに推論を実行させるようにする。 – 抜本的に精度改善系 • 事前学習モデル作成 • ヒートマップ同時入力 • LightGBM併用（メタを効率的に使うために。） • ポスト処理にて補正。 – 確率とメタを入力⇒推定 • 課題：時系列の検出境界部分を何とかしたい – 境界部分の正解ラベルを平均して滑らかに？？ • アイディア：キーポイントを利用する？ • モデルの見直しをする。 – ベース性能改善系 • マルチヘッドで、ヒートマップを推論できるようにする • バックボーン変更 – Resnet50、efficientnetb4, convnextv2以外 • Imbalanced sampler • 3クラスにして学習（ NoContact、地面、プレイヤー）。 – 狙い：地面とプレイヤーの違いを意識させるため。 • 時間方向の密度を増やす。 • Matthews Correlation Coefficient – 1st and Future - Player Contact Detection | Kaggle – 実験 • 画像のみで確認 • LightGBMで実験 – 仮説 • プレイ開始時のプレイやの周辺密度で傾向が変わりそう。要傾向確認！ – 密集している方がむずいのか、疎なほうがむずいのか。 – ぶつかった後に地面にぶつかるとかどうなのだろう。 • ラベルの作りが6フレームおきなので、中間フレームを埋めなきゃいけない。 • やったこと – 速度アップ系 • 事前切り出しでデータ生成⇒失敗 • Numpyに書き換え⇒よさげ – 抜本的に精度改善系 • G_flugで分ける。地面ぶつかりと、プレイヤー同士ブツカリをモデル分離⇒精度大改善(0.694) – ベース性能改善系 • TSMの利用⇒効果あり +0.15（0.709) – https://www.kaggle.com/competitions/dfl-bundesliga- data-shootout/discussion/360236 • 切り出すフレーム範囲の変更⇒validは微妙 – 現状24frameの4飛ばし⇒12frameの2飛ばし • バックボーン変更⇒効果ありそう – Efficientnetb4>resnet50 – 学習未集束：Convnext • 切り出し方変更⇒効果ありそう – ヘルメット周辺、メットサイズx10で切り出し • FOCAL LOSS⇒再実行してみる – LossがNanになった。。。 • Imagenet 事前学習の利用 – LossがNanになる・・・・ – 実験 • 画像抜きで、メタデータだけで学習⇒うんち • 片方の視点＋メタで確認 – 両方の視点ある方が良い。特性が異なる。 • データの並び順を修正（bt* c * w* h入力に変更）（mmcv-15） – 効果無しっぽい。変化なし • 1フレームずつ±16フレームインプット (mmcv13) • ヒートマップ時系列6フレームおき（効果無し。） • オーグメンテーションが±６を修正。

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text