Global Average Pooling - level毎にinstance numberを予測するヘッド (SCSは5個, NFNは10個) ※NFNはleftとrightが存在するため10個のヘッド モデル構造 - 損失関数: CE Loss - 32クラス分類問題として訓練(𝑍 = 32なので) 訓練 3D ConvNeXt Encoder Global Average Pooling 3D L3/L4 Head L2/L3 Head L1/L2 Head L4/L5 Head L5/S1 Head CE Loss CE Loss CE Loss CE Loss CE Loss
損失関数: L1 Loss - 3dimの回帰問題として訓練(XYZ) - ラベルはそれぞれ Τ 𝑋 𝑊𝑖𝑑𝑡ℎ, Τ 𝑌 𝐻𝑒𝑖𝑔ℎ𝑡, Τ 𝑍 32 を使用 - XYは補助ロスとして機能(ZだけでなくXYも わかったほうがモデル君うれしいはず!) 訓練 3D ConvNeXt Encoder Global Average Pooling 3D L3/L4 Head L2/L3 Head L1/L2 Head L4/L5 Head L5/S1 Head L1 Loss L1 Loss L1 Loss L1 Loss L1 Loss sigmoid sigmoid sigmoid sigmoid sigmoid
- Global Average Pooling - level毎にXY座標を予測するヘッド モデル構造 - 損失関数: L1 Loss - 2dimの回帰問題として訓練(XY) - ラベルはそれぞれ Τ 𝑋 𝑊𝑖𝑑𝑡ℎ, Τ 𝑌 𝐻𝑒𝑖𝑔ℎ𝑡を使用 訓練 2D Encoder Global Average Pooling 3D L3/L4 Head L2/L3 Head L1/L2 Head L4/L5 Head L5/S1 Head sigmoid sigmoid sigmoid sigmoid sigmoid L1 Loss L1 Loss L1 Loss L1 Loss L1 Loss
アノテータが注目していたMR画像を理解し, そのcontextを集約時に使えるようになれ! Aux Loss 集約用のattention score計算とは別にinstance number予測用のattention scoreを計算 気持ち) bi-LSTMの出力する特徴量にannotator のcontextを含ませて, そのうえで分類のための attention scoreを計算していただく 著しく性能向上 Best 2D Encoder vec3 vec4 vec5 vec2 vec1 bi-LSTM (集約用)Attn score計算 集約 Cls head Aux CE Loss (aux用)Attn score計算
bi-LSTMで特長量まぜまぜ - 集約用attention score計算 - 集約&concat - 分類用ヘッド メインタスク 2D Encoder & GAP bi-LSTM (agg)Attn score 集約 concatenate Aux CE Loss (aux)Attn score Sagittal T2 bi-LSTM (agg)Attn score 集約 (aux)Attn score Axial T2 main head CE Loss Aux CE Loss sub head sub head Aux CE Loss Aux CE Loss 2D Encoder & GAP - instance number予測用のattention score計算 &CE Loss - concatせず入力ごとに分類タスクを解くサブ ヘッド&CE Loss サブタスク
GAP bi-LSTM (agg)Attn score 集約 concatenate Aux CE Loss (aux)Attn score Sagittal T2 bi-LSTM (agg)Attn score 集約 (aux)Attn score Axial T2 main head CE Loss Aux CE Loss sub head sub head Aux CE Loss Aux CE Loss 2D Encoder & GAP fold without Aux with Aux 0 0.254 0.240 1 0.283 0.254 2 0.267 0.254 3 0.264 0.252 4 0.244 0.261 mean 0.2624 0.2522 大きく改善する!