JOAI講習会石原凛久

Transcript

1. JOAI解法 石原凛久
2. 自己紹介 名前：石原凛久 学校：アメリカンスクールインジャパン10年生（高校 2年生）
3. データ前処理 正規化・変換 • マウス別Zスコアで学習安定化（ネズミごとに神経信号に有意差があったため） • Asinh変換で外れ値の影響を抑制（範囲の制限があったため影響は少ない） 特徴量の作成 • mouse_id × day_n（マウスIDと日付の組み合わせ） • 各系列のエネルギー、平均、標準偏差 • 一階差分、二階差分（変化率の特徴） PCA圧縮コラムの追加（８次元）
4. スタッキング Level 1: ベースモデル CNNヘッドBiGRU 局所イベント抽出+遅延モデリング 注意付きBiGRU ⻑期関係の明⽰化 AsinHを⽤いたのCNNヘッドBiGRU 外れ値の影響を最⼩限に抑える Conformer CNN+Transformer TCN 拡張畳み込み 加重ロスのCNNヘッドBiGRU ⾼い値の予測の正確性 多様性: アーキテクチャ差+seed差 OOF予測⽣成 Level 2: メタモデル 線形モデル Ridge, ElasticNet, BayesianRidge GBDTモデル LightGBM, XGBoost 最終出⼒ 加重平均
5. 損失関数 重み付きMSE：高い値の重みを増加 • 学習スケジュール：通常の損失関数（１５エポック）→重み付き損失関数 • Huber Lossなども試したが使用せず
6. 帰納バイアスの使用 Lesson Recordings ソフトシフトミックス層の使用 • ネズミの神経活動の変化が行動に至るまで にあるラグ • 神経活動と行動の帰納バイアスのモデル化 • 特徴空間における線形補間はモデルの汎 化性能を向上する（Zhang、2017）→ソフト シフトミックス層を考案した。
7. 学習方法 • 最終学習は全データ学習ではなくCVモデル集合でバギング • 指数平滑移動平均線（EMA）で予測の安定性が向上 • SWAにより最終的の出力を安定化 • キャッシングの使用
8. 後処理 • スパイク抑制：幅kの近傍（サイズ2k+1の窓）を考え、その近傍における中央値と現在の予測値との差を 計算→差がspike_thrを超える場合、予測値を近傍の値に近づけるように補正 • 単調回帰：予測値と真の値の単調関係を補正し、分布の歪みを修正。クオンタイルマッピングなども試用 したが、最終的に全体的の単調回帰が最も効果的 • 出力融合：平滑化を行った予測と行われていない予測の加重平均を最終的に使用