JOAI2026講評会資料（近藤佐介）

Transcript

1. JOAI2026 講評会 Private 3位
   近藤 佐介・Element138‌
   
   
   
   解法
   ‌ と「解き方」
   
2. 自⼰紹介
   近藤 佐介
   Private 3位 Element138 JOAI2025（第1回）　選抜枠5位（総合9位） JOAI2026（第2回）　選抜枠3位（総合3位） JOAI参加実績
   プロフィール
   筑波大学附属駒場⾼等学校
   3年 JOAI2025を機にAIを学び始めました JOL（言オリ）、セキュリティ・キャンプ LLM脆弱性のテストツール開発 Webアプリ開発
3. 内容
   モデル概観
   最初に手を付けたこと
   特徴量エンジニアリング
   モデルの種類
   損失
   前処理
   半教師あり学習
   私の解き方
   1 2 3 4 5 6 7 8 お品書き
   
4. モデル概観
   概要
   Transformer Encoder と BiLSTM（双方向 LSTM）の2つのバックボーンのアンサンブル 1・2階差分も予測するマルチタスク学習 1・2階差分などの特徴量エンジニアリング
5. 最初に手を付けたこと
   EDA（探索的データ分析）
   マウスごとにレバーの値に偏りがあった 「脳波→レバー」とは表れていなかった 長期的・全体的な相関がある可能性 自⼰ベースラインの開発
   上の分析を基に自⼰ベースラインを作った マウスIDなどを埋め込み Transformer と BiLSTM 以後はこれに改良を加えた
6. 特徴量エンジニアリング
   時系列データの定番
   脳波の時系列それぞれを時間方向に 差分（1階差分）・差分の差分（2階差分） などをとったものも入⼒に加える メタデータの埋め込み
   マウスID単体 マウスIDと実験日の組み合わせ の2つのメタデータをタイムステップごとに埋め込み
7. モデルの種類
   Transformer Encoder
   長期的・全体的な依存関係を学習したい 例えば、全体を見れば「マウスが一切動かな い（刺激が与えられていない）クリップ」の パターンがわかるかも BiLSTM（双方向LSTM）
   長期依存のある時系列データの定⽯ シーケンス全体が与えられているので、未来の タイムステップも見ることができる
   →
   双⽅向
8. 損失
   マルチタスク学習
   レバー位置・1階差分・2階差分をすべて予測する それぞれのMSEの和を損失とする
9. 前処理
   データオーグメンテーション
   サンプルを参照する度ランダムに加工することで データを水増ししたい（定⽯） Gaussian Noise（TTAも） Mixup CutMix 時間方向シャッフルは効果なし
10. 半教師あり学習
    テストデータを活用する
    ラベルだけがないテストデータが手元に与えられて いるので、うまく活用したい 各特徴量の標準化にテストデータも含める 擬似ラベリング 脳波データの事前学習を行う MAE・Denoising・VICReg
11. 私の解き方
    解法について モデルの「要素」を大まかにわかっておきたい（ここまでの章立てが役に⽴ったら幸いです） アンサンブルする（弱いモデルも、三人寄れば…） 解く上でのコツ
    ひたすら対照実験
    ノートブックを書き換えていく 実験予定・中・済のアイデアを 覚えておくメモを作る 1 過去コンペの解法を調べる 「(コンペの特徴)‌ ‌ kaggle‌ 」と
    英語で検索すると
    関連コンペの上位解法が出てくる
    （宝）
    2 LLMにうまく頼る コードを書かせる・翻訳させる
    アイデア‌ をもらう（高度な場合は 限界あり） 3
12. 私の発表資料はこちらからご覧いただけます 本スライド Hasta la
    vista
    ご清聴ありがとうございました
    今後の皆さまのご健闘をお祈りしております 詳細な解法資料（Qiita） 2026 Element138,
    CC
    BY
    4.0