My Approach to JOAI 2026

Transcript

1. My Approach to JOAI 2026
2. Introduction ・Background ・Harness Engineering ・Solution ・Finally
3. Background
4. コンペ参加時の自分の状況 学校のテスト 2/13 論文投稿 2/18 JOAI 2026 2/15
5. 表彰台に上がるために ・詳細なリサーチ ・高いGPU稼働率 ・試行回数の確保 これが表彰台に上がるためにはマスト ただ、時間を確保するのは難しいし... でも、AIと一緒ならできるんじゃないか？
6. https://www.anthropic.com/news/claude-opus-4-6
7. Harness Engineering
8. 自動実装ハーネス 評価 実装 調査 計画
9. Claude Agent SDK Claude CodeをPythonなどから使用できるようにするためのSDK 自立型コーディングエージェントを作成するための強力なツール Claude Codeのドキュメント資産を移せるのも強み Built in tools ファイルの読み書 き・ウェブリサー チなどを使える Custom tool 独自ツールをイン プロセスMCPとし て使える Claude model Opus・Sonnetをサ ブスクリプション 経由で使える Sandbox サンドボックス環 境下で安全に運用 することができる
10. 作成・使用したハーネス Evaluation Act Research Plan
11. Harness Engineering for Kaggle ・評価の詳細な言語化（何がいいか/悪いか） コードをどのような方向に開発していくかの言語化 ・既存ナレッジの組み込み CLAUDE.mdをはじめとしたドキュメントの組み込み ・探索の効率化 能動的ドキュメンテーションと並列/深掘りの切り替えで探索を効率化する ・ハーネスへの人間の組み込み 人間の直感・経験を効率的にAIに渡して、解法を作成する
12. Collaboration with AI ・人間の知識 人間のアイデアの方がスコア上昇に貢献している（暗黙知がある） → 人間を如何にハーネスに組み込むか ・ナレッジの蓄積 ”自分”のやり方、考え方をナレッジとしてファイルに残しておく → “経験”をAIと共有する
13. Model Evaluation & Threat Research ( METR )
14. Solution
15. タスク & アプローチ概要 ・マウスの広域カルシウムイメージング (脳活動) → lever位置を回帰 (MSE) ・可変長時系列 / mouse_id・day_n 付き / GroupKFold(sample_id) × 5
16. EDAとモデル設計へのフィードバック EDA発見 数値 モデルへの反映 leverの39.6%がmode(静止) frac_mode=0.396 Movement Weighting `w=1+1.2 脳活動の最適ラグ: -5~-3 (脳 が先行) best_lag forward diff (1st, 2nd) をNN特徴量 に追加 / GBDT lag ±15 イベントトリガのピーク : +7~+8 frame peak_frame TCN kernel 3→5 で局所窓 ±8-10 を カバー L/R脳領域が高相関 corr > 0.9 L/R sum & diff に分離 (13 pair) train/testドリフト (KS) KS統計量 Semi-supervised PCA (fold+test fit) / Mouse-wise Z-score Cohen's d 上位の領域 cohen_d KEY_REGIONS (24部位) の選定、 領域集約特徴量 (motor/sensory/vis)
17. モデル詳細 モデル 構造 seeds 特徴 LightGBM GBDT (数千次元: PC lag/rolling/cross-product, 領域z-score, L/R, 集約) 1 多様性要員 (Ridge coef≈0.024) CleanDecoder ResNet(4層,SE) → BiGRU(2層) → Self-Attention → pos/vel Head 3 局所+系列+注意の複合 BrainTCN Dilated TCN(5層, d=1~16, k=5, SE) → Conv Head 5 受容野155frame, 最強 single Transformer Pre-norm Encoder(4層, d=160) + Learned PE → MLP Head 3 v1.7でdropout 0.30 →0.15 (underfitting修正)
18. 学習テクニック ・Multi-task Loss: Huber(pos) + 0.12×MSE(vel) + 0.08×Consistency(cumsum一致) ・Augmentation: Mixup(α=0.35) / Gaussian Noise(σ=0.025) / Feature Dropout(p=0.08) ・SWA: epoch 15-20~ 蓄積、best checkpointと比較して良い方を自動採用 ・Stacking: 12モデルOOF → RidgeCV (α自動選択) → Bidirectional EMA (α=0.92) → これでいい感じにする
19. Submission Scpre Progression by Version
20. Finally
21. コンペを振り返って ・ハーネス駆動に向くコンペ ◼ 一実験の計算量が少なくてすむ ◼ シンプルなタスク →　シンプルかつ試行回数を増やすことができて良かった ・準備 忙しすぎて準備があまりできなかったのは後悔 →　今回はなんとかなったが、ちゃんと準備はすべき
22. ハーネスと直感の時代へ ・ハーネスの進化 Vibe CordingでAIに任せる時間が増えてる。 ・AI 4 scienceの進化 AIに研究させる論文が増加している ・それでも人間が必要 独創的なアイデアや経験に基づく直感は人間の独壇場 →　人間はまだまだ必要
23. Thank you for listening!