Slide 1

Slide 1 text

Biohub - Cell Tracking During Development 5th place solution 株式会社Rist

Slide 2

Slide 2 text

⽬次 ● コンペ概要 ● 5位解法 ● 上位解法の紹介 ©Rist Inc. 2

Slide 3

Slide 3 text

コンペ概要

Slide 4

Slide 4 text

Biohub - Cell Tracking During Development ● ● ● 開催情報 ○ 主催:Biohub ○ 結果:5 位 / 3,947 チーム 課題 ○ ゼブラフィッシュ胚の細胞を検出‧追跡 ○ 分裂を含む細胞の系譜を復元 評価指標 ○ ● リンクと分裂の Jaccard データ ○ 3D+時間の顕微鏡動画 データ:Biohub SF, “Biohub - Cell Tracking During Development”, Kaggle, 2026(CC0) ©Rist Inc. 4

Slide 5

Slide 5 text

コンペの難しさ ● 核が密集し⾒た⽬も似ているため、フレーム間でどれが同じ細胞か区別しにくい(3D) ● ラベルは⼀部の細胞だけ。分裂のラベルは train 全体で 151 件しかない ©Rist Inc. 5

Slide 6

Slide 6 text

Submission 形式 ● 全クリップ(胚の動画から切り出した 100 フレームの 3D 動画)の結果を 1 つの CSV で提出 ● node ⾏:t, z, y, x(ボクセル座標)∕edge ⾏:source_id → target_id ● 分裂 = 1 つのノードから 2 本のエッジ ©Rist Inc. row_type node_id t z y x source_id target_id node 1 0 32 128 128 -1 -1 node 2 1 32 129 127 -1 -1 edge -1 -1 -1 -1 -1 1 2 6

Slide 7

Slide 7 text

Metrics ● 予測と GT を 7 µm 以内で対応付け、リンクを TP(正解)‧FP(誤り)‧FN(⾒逃し) に分類 ● GT の無い細胞どうしのリンクは数えない ① リンクの正解率(Jaccard) J = TP ÷ (TP + FP + FN) ② 細胞の出しすぎを防ぐ補正 J × (1 − 0.1 × r) r:推定細胞数より何割多いか 予測細胞数が公式の推定細胞数より 多いと減点、少ないと加点 (ただし減らすと⾒逃しで ① が下がるため、 少ないほど良いわけではない) ③ Score = ② + 0.1 × 分裂の正解率 分裂も TP‧FP‧FN で ① と同じ式 ©Rist Inc. 7

Slide 8

Slide 8 text

Result ● ©Rist Inc. 3,947 チーム中 5 位(ソロ参加‧⾦メダル) 順位 チーム Private 1 Sergio Alvarez 0.97759 2 Soheil Ayati 0.97041 3 yu4u 0.96714 4 Barry 0.96234 5 Tang(本解法) 0.95462 6 Cyrus 0.95398 7 tatsutaka 0.95273 8 Amin 0.95190 8

Slide 9

Slide 9 text

Basic Approach ● ● ©Rist Inc. Tracking-by-detection が基本 ○ 3D U-Net 系で細胞の中⼼を検出 ○ 隣接フレーム間のリンクを学習モデルでスコア ○ ILP などで全体を最適化 ○ 後処理 ホストが baseline(時間⽅向 3D U-Net + Transformer + ILP)と評価コードを公開 9

Slide 10

Slide 10 text

5位解法

Slide 11

Slide 11 text

5位解法|Overview ● ©Rist Inc. 公式 baseline(時間⽅向 3D U-Net + Transformer)を拡張した 3 段構成 ○ Detector の⼊⼒縮⼩を average pooling に、loss を focal loss に変更 ○ Linker に self-attention を追加 ○ Linker で新規細胞‧分裂も予測 ○ 外部データ(ZebraHub)で事前学習してから本コンペで fine-tune ○ ⽬視で確認した分裂の疑似ラベル(462 件)を学習データに追加 ○ 多段 ILP + 修復 + 平滑化で軌跡を作る 11

Slide 12

Slide 12 text

5位解法|検証設計 ● ⼿元の検証(CV):クリップを 5 分割して交互に検証(5-fold、胚 × 分裂数で層化) ● train には重複フレームと、画像全体が⼀度にずれる「ドリフト」がある → CV から除外 ○ ©Rist Inc. 例(下図):t と t+1 を重ねるとずれるが、全体を 14 µm 戻すと重なる(⽩) 12

Slide 13

Slide 13 text

Detector|時間⽅向 3D U-Net ● 公式 baseline の時間⽅向 3D U-Net:連続 2 フレームを⼊⼒ ● ⼊⼒前に XY を 4×4 average pooling(64×256×256 → 64×64×64) ● 出⼒は細胞中⼼のヒートマップ。局所最⼤ = 細胞、その値 p を確信度として使う ● 学習:ラベルの点をガウス型のヒートマップに変換し、focal loss で学習 ©Rist Inc. 13

Slide 14

Slide 14 text

Linker|Transformer(3 つを予測) ⼊⼒(細胞ごと) ○ U-Net 特徴:検出した細胞中⼼の特徴量 ○ 位置:細胞中⼼の 3D 座標 ○ identity vector:U-Net 特徴を 16 次元化 t と t+1 で同じ細胞のベクトルどうしを 対照学習で近づける ● 出⼒(3 つを予測) ○ リンクスコア:t と t+1 の全ペア ○ 新規細胞:t+1 で新しく現れたか ○ 分裂:t の細胞が 2 つに分かれるか ● ©Rist Inc. 14

Slide 15

Slide 15 text

解説|Self-attention と Cross-attention ● ① self-attention:同じフレームの細胞から集める → 周りの細胞の並びを知る ● ② cross-attention:もう⼀⽅のフレームの細胞から集める → 対応しそうな相⼿を探す ©Rist Inc. 15

Slide 16

Slide 16 text

学習|外部データ(ZebraHub)で事前学習 ● ZebraHub の 4 データセット(ZSNS001‧003‧004‧005)で事前学習 → 本コンペで fine-tune ● voxel サイズを本コンペに揃え、連続 2 フレームをランダムに切り出して学習 データ:ZebraHub(Lange et al., Cell, 2024) ©Rist Inc. 16

Slide 17

Slide 17 text

学習|分裂の疑似ラベルを⽬視で確認して追加 ● 分裂のラベルは 151 件だけ ● 予測した分裂 約 1,000 件を⽬視確認 ● XY / XZ / YZ の 3 断⾯で確認 ● 確認できた 462 件を学習データに追加 ©Rist Inc. 17

Slide 18

Slide 18 text

Ensemble|5-fold × 8 TTA 5-fold で学習した 5 つのモデルを使う ● ©Rist Inc. TTA:各モデルで、画像を反転‧回転した 8 通り(下図)を予測し、元の向きに戻す 18

Slide 19

Slide 19 text

解説|ILP(整数計画)によるトラッキング ● 候補の細胞‧リンクごとに「使う=1∕使わない=0」を選ぶ最適化問題 ● 制約:親は 1 つまで、⼦は 2 つまで(2 つ = 分裂)。前が無ければ開始、後が無ければ終了 ● クリップ全体でコスト合計を最⼩化 → フレームごとに決めるより⽭盾が少ない ©Rist Inc. 19

Slide 20

Slide 20 text

Tracking|ILP のコスト設計 ● 確信度の⾼い細胞、スコアの⾼いリンク、⾒た⽬が似たペアほどコストが⼩さい ● 新規細胞スコアが⾼い細胞ほど、新しい軌跡として始めるコストが⼩さい。分裂スコアが⾼い細 胞ほど、分裂させるコストが⼩さい ©Rist Inc. 判断 コスト(⼩さいほど選ばれやすい) 細胞を残す − a ×(確信度 p − p0) リンクを使う − リンクスコア + b ×(1 − identity vector の類似度) 軌跡を始める c − d × 新規細胞スコア 分裂させる e + f ×(0.5 − 分裂スコア) 20

Slide 21

Slide 21 text

Tracking|ILP1 → ILP2 → 分裂の制限 ● ILP1:確信度 p ≥ 0.9 の細胞だけで解き、分裂を決める ● ILP2:p ≥ 0.6 まで細胞を増やして解き直す → 途切れは埋まるが、偽の分裂も増える ● 分裂の制限:ILP1 に無い分裂は削除(余った細胞は別の軌跡に) ©Rist Inc. 21

Slide 22

Slide 22 text

Tracking|再リンク‧修復‧平滑化 ● ILP3:細胞と分裂は固定し、リンクのしきい値を下げて解き直す ● 修復:細胞をつなぎ直し、1〜4 フレームの⽋けを補う ● 平滑化:前後 4 フレームの直線に 80% 寄せる。1 フレームの⽋けは補間 ©Rist Inc. 22

Slide 23

Slide 23 text

5位解法|各⼿法の効果(参考) ● ©Rist Inc. 各⼿法を加えたときの LB の差(Public∕Private、参考値) ⼿法 Public Private Linker:新規細胞‧分裂ヘッド +0.020 +0.024 ZebraHub で事前学習 +0.014 +0.016 5-fold アンサンブル +0.008 +0.007 8 TTA(反転‧回転) +0.007 +0.005 Tracking:確信度を ILP の細胞コストに +0.008 +0.020 Tracking:ILP2 + 分裂の制限 +0.003 +0.007 Tracking:修復 +0.001 +0.001 Tracking:平滑化 +0.004 +0.005 23

Slide 24

Slide 24 text

上位解法の紹介

Slide 25

Slide 25 text

上位解法|1st place(Sergio Alvarez) ● ポイント:分裂を画像から直接判定する専⽤モデル(Soon Net)を作った ● Soon Net:t−1‧t‧t+1 の画像で分裂の状態を判定(分裂の改善で Public 約 0.925 → 0.963) ● ⼈⼿ラベル:分裂を⽬視確認で 151 → 515 件に増やし、細胞マスク約 1,800 個も⼿描き ● デコード:ILP なし、Linker のスコアの⾼い順に確定(貪欲法) 参考:Sergio Alvarez, “1st Place Solution”, Kaggle Discussion, 2026 ©Rist Inc. 25

Slide 26

Slide 26 text

上位解法|2nd place(Soheil Ayati) ● ポイント:暗い候補もすぐには捨てず、何フレームも続けば細胞として採⽤ ● 検出:t−1‧t‧t+1 を⼊⼒。背景か細胞か分からない未ラベルの場所は学習に使わない ● 学習データ:実際の細胞を暗くして別の場所に貼り付け、暗い細胞の学習例を増やす ● 拾い直し:軌跡に使われなかった暗い候補が 9 フレーム以上続けば、元画像で確認して追加 参考:Soheil Ayati, “2nd Place Solution”, Kaggle Discussion, 2026 ©Rist Inc. 26

Slide 27

Slide 27 text

上位解法|3rd place(yu4u) ● ポイント:役割ごとに専⽤モデル(検出‧動き‧対応‧分裂) ● 動き(flow):各位置が次のフレームでどこへ動くかを推定 ● 対応(matcher):動きから予測した位置と⾒た⽬で、次のフレームの同じ細胞を探す ● 分裂:t−1‧t‧t+1 の画像で判定 ● 最適化:「採点される確率 × 正しい確率」で期待スコアを計算し、最⼤になる組み合わせを選ぶ ● 効果:分裂モデル+較正と、Hungarian に代わるリンク‧分裂の同時最適化で CV 0.902 → 0.964 (最⼤の改善) 参考:yu4u, “3rd Place Solution”, Kaggle Discussion, 2026 ©Rist Inc. 27

Slide 28

Slide 28 text

以上