Kaggle_スコアアップセミナー_DFL-Bundesliga_Data_Shootout編/Kaggle_fixstars_corporation_20230509

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Copyright© Fixstars Group 本セミナーの位置づけ ● Kaggle コンペで金メダルの獲得、Kaggle Competition Master の称号獲得 ● もともと機械学習の専門家の少なかったエンジニアチームによる、継続的な Kaggle への取り組み ● Kaggle スコアアップセミナー ⚫ 参加したコンペの概要と解法の紹介や、Kaggleに参加してみたい方向けに複数回の情報発信を企画中 ● 今回のセミナー ● 画像系コンペティション「DFL – Budesliga Data Shootout」の概要と解法と、ブログでは書ききれなかった理由と具体的な手段についての解説 ● 対象者 ● 画像処理と機械学習・深層学習を扱っている方 ● 今後 Kaggle に挑戦し、スコアを上げていきたいと考えている方 2

Slide 3

Slide 3 text

Copyright© Fixstars Group 発表・資料作成者紹介冨田明彦 (発表) ソリューションカンパニー営業企画 2008年に入社。金融、医療業界において、ソフトウェア高速化業務に携わる。その後、新規事業企画、半導体業界の事業を担当し、現職。 3 飯塚康太 (発表) ソリューション第二事業部シニアエンジニア 2019年入社。車載向けの深層学習アプリケーション、特に物体検出・トラッキングの開発を担当している。 Kaggle Competitions Master 水野孝祐 (資料作成) ソリューション第二事業部リードエンジニア 2016年に入社。ディープラーニングを用いた自動車向けの画像認識アルゴリズム開発に携わる。 Kaggle Competitions Master

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Copyright© Fixstars Group フィックスターズの強みコンピュータの性能を最大限に引き出す、ソフトウェア高速化のエキスパート集団ハードウェアの知見アルゴリズム実装力各産業・研究分野の知見 6 目的の製品に最適なハードウェアを見抜き、その性能をフル活用するソフトウェアを開発します。ハードウェアの特徴と製品要求仕様に合わせて、アルゴリズムを改良して高速化を実現します。開発したい製品に使える技術を見抜き、実際に動作する実装までトータルにサポートします。

Slide 7

Slide 7 text

Copyright© Fixstars Group サービス概要お客様専任のエンジニアが直接ヒアリングを行い、高速化を実現するために乗り越えるべき課題や問題を明確にしていきます。高速化のワークフローコンサルティング先行技術調査性能評価・ボトルネックの特定高速化アルゴリズムの改良・開発ハードウェアへの最適化レポート作成サポートレポートやコードへのQ&A 実製品への組込み支援 7 高速化したコードオリジナルソースコードのご提供お客様

Slide 8

Slide 8 text

Copyright© Fixstars Group サービス提供分野 8 半導体自動車産業機器生命科学金融 ● NAND型フラッシュメモリ向けファームウェア開発 ● 次世代AIチップの開発環境基盤 ● 自動運転の高性能化、実用化 ● 次世代パーソナルモビリティの研究開発 ● Smart Factory実現への支援 ● マシンビジョンシステムの高速化 ● ゲノム解析の高速化 ● 医用画像処理の高速化 ● AI画像診断システムの研究開発 ● デリバティブシステムの高速化 ● HFT(アルゴリズムトレード)の高速化

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Copyright© Fixstars Group AI・深層学習向け技術支援 AIを使うためのハードウェア選定や、高速な計算を実現するソフトウェア開発技術で、お客様の製品開発を支援します。お客様の課題推論精度を維持したまま計算時間を短縮したい組込みデバイス向けにAIモデルを軽量化したいご支援内容 AIモデル設計データの前処理・後処理推論精度の改善分散処理による学習高速化モデル圧縮・推論の高速化学習計算を高速化して研究開発を効率化したい精度と計算時間を両立するAIモデルを開発したい 10

Slide 11

Slide 11 text

Copyright© Fixstars Group AIを用いた乳房超音波検査リアルタイム解析システム慶應義塾大学医学部外科学（一般・消化器）教室様 11 1 超音波検査装置が描出する動画をリアルタイム処理できる高速なAIを開発 2 検査しながらAIによる診断補助が実現できる 3 見落としを減らし、早期の乳がんの発見と治療が可能になる高確率でがん生命科学分野サービス領域 AI・深層学習向け技術支援高確率で良性腫瘍子会社のSmart Opinion社で、乳がんの超音波画像に対し、精密検査の要否を高速かつ高精度に判別するAIを開発（現在認可申請中）

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Copyright© Fixstars Group DFLコンペ6位解法紹介 ● 本発表では弊社チームで参加したKaggleコンペ DFL - Bundesliga Data Shootout の6位解法を紹介します ● 弊社techブログやKaggle discussionにも解法を投稿していますが、単なる手法の説明だけでなく各手法を採用するに至った背景や理由についても合わせて解説します ○ tech blog: https://proc-cpuinfo.fixstars.com/2023/02/kaggle-dfl2022/ ○ Kaggle discussion: https://www.kaggle.com/competitions/dfl-bundesliga-data-shootout/discussion/360872 13

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Copyright© Fixstars Group コンペ概要 ● DFL - Bundesliga Data Shootout ○ URL: https://www.kaggle.com/competitions/dfl-bundesliga-data-shootout ● タスク ○ サッカーの試合を撮影した動画が与えられ、その中から特定のアクションが発生したタイミングおよび種別(プレイ、スローイン、チャレンジの3種類のいずれか)を識別 ● タイムライン (日本時間) ○ 2022/06/30: コンペ開始 ○ 2022/10/14: 提出締め切り (最終スコア算出用に2022シーズンのデータ収集＆教示開始) ○ 2022/12/21: コンペ終了 (新しいデータでの最終スコア算出およびLB更新完了) 16

Slide 17

Slide 17 text

Copyright© Fixstars Group 識別対象 ● アクションが発生したタイミング ○ 動画の先頭を基準とした秒数 ● アクションの種別 ○ プレイ ■ パスまたはクロス(フリーキックやコーナーキックも含む)等、チーム内でボールをやり取りするアクション ○ スローイン ■ ボールがゲームエリア外に出た後に手でボールを投げてプレイを再開するアクション ○ チャレンジ ■ 両チームのプレイヤーがボールを自分の制御下に置こうとする(ボールに対する競り合い、ファウル等)アクション 17

Slide 18

Slide 18 text

Copyright© Fixstars Group データセット ● 与えられたデータセット ○ train ■ フルゲーム4試合分の8動画 (1動画約60分, 25fps, 1920x1080) ■ ハーフゲーム4試合分の4動画 (1動画約60分, 25fps, 1920x1080) ○ test ■ 提出動作確認用の32動画 (1動画30秒, 25fps, 1920x1080) ○ clips ■ 10試合から短い区間を抽出された200動画 (1動画30秒, 25fps, 1920x1080) ○ train.csv ■ train動画に対応するアノテーションデータ ● Leaderboard用データセット ○ Public ■ フルゲーム1試合分の2動画 ■ ハーフゲーム4試合分の4動画 (trainのハーフゲームとペアになる動画) ○ Private ■ Publicと同等規模の動画 (詳細不明) 18 train.csvの内容例

Slide 19

Slide 19 text

Copyright© Fixstars Group 評価方法 ● Kaggleのサーバ上でPrivateデータセットに対して推論を実行 ○ 推論は9時間以内に完了させる必要がある ○ テストデータは6 [動画] x 60 [分/動画] x 60 [秒/分] 25 [fps] = 540,000フレームなので、 540,000 / (9 x 60 x 60) = 16.67 fps以上で推論を実行できる必要がある ● 精度評価指標 ○ Average Precisionベースの指標 ■ ①: アクション毎に閾値毎のAPを計算 ■ ②: ①の各閾値での結果を平均 ■ ③: ②の各アクションでの結果を平均 19

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Copyright© Fixstars Group ベースライン手法 ● 多クラスの画像識別問題として解く方法 (titoさんの手法) ○ 入力動画の各フレームをそれぞれ4クラス(背景+ターゲット3クラス)のいずれかに識別するタスクとして学習・推論を実行 ○ 推論時の後処理で時間方向にNMSを適用し、一定期間内の予測を1つに抑制 ○ モデルはEfficientNet B5を使用 ○ 学習・推論フレームワークとしてPyTorchおよびtimmを使用 21 t-2 t-1 t t+1 t+2 入力フレーム参考Notebook https://www.kaggle.com/code/its7171/dfl-benchmark-training https://www.kaggle.com/code/its7171/dfl-benchmark-inference 識別結果 bg bg play bg bg NMS結果各フレームの識別時間方向にNMS適用 bg play play play bg

Slide 22

Slide 22 text

Copyright© Fixstars Group 弊社チームの6位解法 ● 時系列方向の情報を加味して多クラスの画像識別問題として解く方法 ○ 基本的な学習・推論パイプラインはベースライン手法と同様 ○ 時系列情報を活用するために時間方向に隣接するフレームを結合して処理させる2.5次元CNNアプローチを採用 ○ 画像コンペでよく利用される一般的な精度改善トリックを適用 (詳細後述) 22 Kaggle Discussionへの投稿 https://www.kaggle.com/competitions/dfl-bundesliga-data- shootout/discussion/360872 t-2 t-1 t t+1 t+2 2.5次元フレーム識別結果 bg bg play bg bg NMS結果各2.5次元フレームの識別時間方向にNMS適用 bg play play play bg t-2 t-1 t t+1 t+2 入力フレーム各フレームをグレイスケール変換＆前後フレームを結合

Slide 23

Slide 23 text

Copyright© Fixstars Group Validation戦略 ● ① フルゲーム1試合分をvalデータとして抽出し、残りをtrainデータとする ○ trainに含む試合のバリエーションを増やしたい (ハーフゲームは可能な限りtrainに含めたい) ○ trainとvalそれぞれに同じ試合を含めない ○ データがあまり多くない場合、train:valの比率は4:1 or 5:1ぐらいが経験的に良い ■ 今回の分割方法ではtrain:val=5:1になる ● ② Cross validationを実施する場合は①の要領で各foldを生成する ○ 今回のデータにはフルゲーム4試合分が存在したので4 foldまで生成可能 ● ③ Local ValスコアとPublic LBスコアの相関が無ければ分割方法を見直す 23

Slide 24

Slide 24 text

Copyright© Fixstars Group 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 2 3 4 5 6 7 8 9 10 11 12 13 14 実験ID スコアの推移 Val AP Public LB Private LB Gold line Silver line Bronze line 実験毎のスコア推移 ● Local ValスコアとPublic LBスコアがほぼほぼ相関していたので分割方法を見直す必要はありませんでした 24 Hold-out validation Cross validation

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Copyright© Fixstars Group 改善手法の詳細 ● ここからは今回のコンペで適用した各改善手法の詳細について説明していきます ● 基本的にはコンペ開催中に試した時系列順に説明しますが、必ずしもこの順番で試すのがベストというわけではございませんので、もしご参考いただける場合は各自のコンペに応じて調整してください ● また紹介する手法は最終的に採用されたものに絞って説明します。これ以外にも様々な実験を実施していますが詳細は割愛させていただきます 26

Slide 27

Slide 27 text

Copyright© Fixstars Group 改善手法の全体像 ● 今回の最終解法に採用された手法および各実験結果は以下の通りです 27 実験ID description model Val AP Public LB Private LB 1titoさんのベースラインモデル b5_ap 0.215 0.249 0.243753 2+ Test time augmentation b5_ap 0.228 0.255 0.247892 3+ ラベルエラーの修正 b5_ap 0.242 0.283 0.296506 4+ 前後1フレーム飛ばしの2.5次元画像を使用 b5_ap 0.312 0.425 0.452767 5+ 入力画像の解像度を960×540に変更、2フレームごとに推論 b5_ap 0.554 0.563 0.619431 6+ loss関数を4クラスBinary cross entropy lossに変更 b5_ap 0.609 0.618 0.664371 7+ カスタムデータローダー b5_ap 0.625 0.634 0.674229 8+ データ拡張の追加 b5_ap 0.7 0.703 0.725812 9+ b5モデルをb0モデルに軽量化、4-foldのモデルアンサンブル b0_ap (4-fold) 0.669 0.72 0.744911 10+ 2フレームごとに推論した際に飛ばしたフレームの予測を線形補間で生成 b0_ap (4-fold) 0.686 0.74 0.755787 11+ 入力画像の解像度を1280×720に変更、3-foldのモデルアンサンブル b0_ap (3-fold) 0.722 0.772 0.798407 12+ Mixupデータ拡張追加 b0_ap (3-fold) 0.747 0.761 0.799769 13+ 3つのb0モデルの内、1つをb1モデルに置き換え b0_ap (2-fold), b1_ap (1-fold) 0.751 0.768 0.802568 14 + 3つのフル学習b0モデル (各モデルは前後1フレーム、2フレーム、3フレーム飛ばしの2.5次元画像を使用) b0_ap (full-fit, time_stride=1, 2, 3) 0.753 0.782 0.803753

Slide 28

Slide 28 text

Copyright© Fixstars Group ID1: titoさんのベースラインモデル ● 既に説明した通り、今回はtitoさんの手法をベースラインとして採用しました ○ 特に理由が無ければ評価の高い公開Notebookから始めるのが確実です ○ もし自分でベースラインを作成する場合にはそのタスクで実績のあるシンプルなモデルから始めるのがオススメです ● スコア ○ val: 0.215 (baseline) ○ Public LB: 0.249 (baseline) ● 参考Notebook ○ https://www.kaggle.com/code/its7171/dfl-benchmark-training ○ https://www.kaggle.com/code/its7171/dfl-benchmark-inference 28

Slide 29

Slide 29 text

Copyright© Fixstars Group ID2: Test time augmentation ● 左右flipを適用 ○ 画像系コンペではmulti-scaleやクロップの拡張もよく適用されますが、処理時間の関係でバリエーションを増やせないため今回は適用していません ○ 推論時間が増えてしまうため本来はコンペの最終盤で適用すればよいと思います。ただしTTAは必ず入れたい処理のため、TTAを入れた場合に処理時間制約を満たせることを都度確認しておくことが重要です ● スコア ○ val: 0.215 (baseline) → 0.228 ○ Public LB: 0.249 (baseline) → 0.255 29

Slide 30

Slide 30 text

Copyright© Fixstars Group ID3: ラベルエラーの修正 ● 与えられた正解データから学習用のラベルを生成する際に意図しない変換が行われていたため修正しました ○ たとえKaggle Grandmasterが作成したNotebookであっても間違いは起こり得るので、内容を鵜呑みにせず実際に自分の頭で処理内容を理解することが重要です ● スコア ○ val: 0.228 → 0.242 ○ Public LB: 0.255 → 0.283 ● 修正の詳細は以下参照 ○ https://www.kaggle.com/code/kmizunoster/dfl-benchmark-training-fix-label-error 30

Slide 31

Slide 31 text

Copyright© Fixstars Group ID4: 時系列情報の活用 ● 時系列情報を活用するために時間方向に隣接するフレームを結合して処理させる2.5次元 CNNアプローチを採用 ○ ベースラインモデルで学習する中でtrainデータに対しても十分に学習出来ていない傾向(つまり未学習の状態)が見えたため、入力するデータに工夫をする必要性を感じました ○ 時系列方向の情報を加える方法はいくつか考えられますが、学習・パイプラインをそのまま活用可能かつシンプルな本手法をまずは採用しました ● スコア ○ val: 0.242 → 0.312 ○ Public LB: 0.283 → 0.425 31

Slide 32

Slide 32 text

Copyright© Fixstars Group ID5: 入力画像の高解像度化 (1回目) ● ベースラインが456 x 456のところ、960 x 540に上げました ○ これまでの経験上、許容される範囲内で可能な限り解像度を上げると良い結果が得られることが多いです ● 解像度を上げたことで推論時間が間に合わなくなったため、1フレーム飛ばして推論する変更も同時に適用しています ● スコア ○ val: 0.312 → 0.554 ○ Public LB: 0.425 → 0.563 32

Slide 33

Slide 33 text

Copyright© Fixstars Group ID6: loss関数の修正 ● ベースラインではSoftmax cross entropyを使用していましたが、4クラスのbinary cross entropyに変更しました ○ loss関数は解きたい問題や評価指標に応じて適切なものを選択することで精度が大きく変わります ○ 今回の評価指標では、最初に各クラス独立にスコアを算出した上で最後に平均を取っているため、クラス間でスコアを調整するSoftmaxは合っていないと考えました ○ 今回は4クラスのままにしましたが、背景クラスは前景クラスが全て0である場合と等価なので、3クラスにすることも可能です ● スコア ○ val: 0.554 → 0.609 ○ Public LB: 0.609 → 0.618 33

Slide 34

Slide 34 text

Copyright© Fixstars Group ID7: カスタムデータローダの実装 ● 推論時間が足りなくなってきたため、 CPUでの前処理とGPUでの推論処理をパイプラインで処理させることで高速化を実施しました ○ Kaggle上のGPU NotebookではCPUを2コアまで使用可能 ● 本作業の目的は高速化でしたが精度にもプラスの影響がありました。従来の推論処理では動画から静止画に切り出す際に画質が劣化していましたが、ファイルに吐き出さずに処理できるようにしたため精度劣化を抑制できました ● スコア ○ val: 0.609 → 0.625 ○ Public LB: 0.618 → 0.634 34 改善前前処理推論前処理推論前処理推論前処理前処理前処理推論推論改善後コア0 コア0 コア1

Slide 35

Slide 35 text

Copyright© Fixstars Group ID8: データ拡張の改善 ● ベースラインはImageNet用のデータ拡張を流用していたため、今回のデータセットに応じた調整を行いました ○ 修正前: RandomResizedCropAndInterpolation, RandomHorizontalFlip, ColorJitter(brightness, contrast) ■ スケールのrangeが広すぎるため、拡張後の画像にボールの領域が入らないことがありました ○ 修正後: RandomAffine or RandomPerspective, RandomHorizontalFlip, ColorJitter(brightness, contrast) ■ スケール以外の画像変形の要素を加えるため、RandomAffineとRandomPerspectiveに変更 ■ 拡張後の画像を見ながらちょうど良いスケールを設定 ● スコア ○ val: 0.625 → 0.7 ○ Public LB: 0.634 → 0.703 35

Slide 36

Slide 36 text

Copyright© Fixstars Group ID9: モデルの軽量化 + モデルアンサンブル ● ベースラインのEfficientNet-b5からb0に変更しました ○ これまでの学習で過学習の傾向も見えていたため、モデルの表現力を落として過学習を抑制したいという目的もありました ● 変更した結果、処理時間に余裕が生まれたためfold-wiseのアンサンブル処理を追加しています ● スコア ○ val (4-fold): 0.669 ○ Public LB: 0.703 → 0.72 36 EfficientNet-b0 (fold 0) 入力画像 EfficientNet-b0 (fold 1) EfficientNet-b0 (fold 2) EfficientNet-b0 (fold 3) 平均予測

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Copyright© Fixstars Group ID12: Mixupの追加 ● Mixupを追加しました ○ timmであればオプションで簡単にON/OFF可能 ● これまでの改善と異なり、valは向上した一方でPublic LBは劣化しましたが、 localのスコアを信頼してMixupを最終解法でも採用しています ● スコア ○ val (3-fold): 0.722 → 0.747 ○ Public LB: 0.772 → 0.761 39

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Copyright© Fixstars Group ID14: 全学習データを用いて再学習 ● これまでのbestの設定で全データ学習を行いました ● 全データを使用して学習することでfold-wiseのアンサンブルが出来なくなったため、時系列方向のtime_strideを変更した3モデルを用意しアンサンブルを実行しています ○ time_strideを大きくすることで長期的な特徴を獲得し、challenge等の難しいアクションの精度向上が狙い ● スコア ○ val (3-fold): 0.751 → 0.753 ○ 各time_strideで3-foldで学習したモデルを使用して算出 ○ Public LB: 0.768 → 0.782 41 t-2 t-1 t t+1 t+2 time_stride=1 t-2 t-1 t t+1 t+2 入力フレーム t-2 t-1 t t+1 t+2 time_stride=2 t-2 t-1 t t+1 t+2 入力フレーム t-2 t-1 t t+1 t+2 time_stride=3 t-2 t-1 t t+1 t+2 入力フレーム

Slide 42

Slide 42 text

Copyright© Fixstars Group 改善毎のスコア推移まとめ ● val APの高い2モデルを最終提出 42 実験ID description model Val AP Public LB Private LB 1titoさんのベースラインモデル b5_ap 0.215 0.249 0.243753 2+ Test time augmentation b5_ap 0.228 0.255 0.247892 3+ ラベルエラーの修正 b5_ap 0.242 0.283 0.296506 4+ 前後1フレーム飛ばしの2.5次元画像を使用 b5_ap 0.312 0.425 0.452767 5+ 入力画像の解像度を960×540に変更、2フレームごとに推論 b5_ap 0.554 0.563 0.619431 6+ loss関数を4クラスBinary cross entropy lossに変更 b5_ap 0.609 0.618 0.664371 7+ カスタムデータローダー b5_ap 0.625 0.634 0.674229 8+ データ拡張の追加 b5_ap 0.7 0.703 0.725812 9+ b5モデルをb0モデルに軽量化、4-foldのモデルアンサンブル b0_ap (4-fold) 0.669 0.72 0.744911 10+ 2フレームごとに推論した際に飛ばしたフレームの予測を線形補間で生成 b0_ap (4-fold) 0.686 0.74 0.755787 11+ 入力画像の解像度を1280×720に変更、3-foldのモデルアンサンブル b0_ap (3-fold) 0.722 0.772 0.798407 12+ Mixupデータ拡張追加 b0_ap (3-fold) 0.747 0.761 0.799769 13+ 3つのb0モデルの内、1つをb1モデルに置き換え b0_ap (2-fold), b1_ap (1-fold) 0.751 0.768 0.802568 14 + 3つのフル学習b0モデル (各モデルは前後1フレーム、2フレーム、3フレーム飛ばしの2.5次元画像を使用) b0_ap (full-fit, time_stride=1, 2, 3) 0.753 0.782 0.803753

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Copyright© Fixstars Group コンペを通じて得た知見 ● Kaggleで過去にあまり開催されていない種類のタスクは金メダルを狙うチャンス ○ 定番のタスク(Image classification, Semantic segmentation, Object detection等)においては過去の知見が大量に存在し、ある程度手法が確立されているため、いかに効率よく大量に実験を回し続けるかが勝負のカギになると思われます ○ 一方で今回のコンペでは過去の知見があまり無く、単純な試行錯誤ではスコアを伸ばすのは難しい状況だったと思われます。逆に言うと弊社チームのようなワンアイデアでも金メダルに直結するスコアを出せることが分かりました ● (既に言い古されていることではありますが) Localの検証がやはり大事 ○ 今回の改善作業を進める中で早期にLocal環境とPublic LBでスコアの相関を取れたので、とてもスムーズに改善作業を進めることができました 44