AIエージェント時代、Kaggleにどう取り組むか

2026年10月27日開催のLENS勉強会で使用した発表資料です。

高島直也（株式会社Elith CTO）
AIエージェントに任せられる実装・実験と、人が担うデータ観察・評価設計を、Kaggleの上位解法をもとに紹介します。

Transcript

1. AIエージェント時代、 Kaggleにどう取り組むか LENS勉強会 2026.10.27 ⾼島 直也 / 株式会社Elith CTO
2. ⾃⼰紹介 ⾼島 直也 / 株式会社Elith CTO Kaggle RSNA 2024で⾦メダルを獲得 Elith AIセーフティの製品群「GENFLUX」を開発 AIの品質評価、情報漏洩対策、脆弱性の検出‧修正。 機密データを社外に出さないLLM運⽤にも対応。 ©Elith Inc. All Rights Reserved 2
3. ⾃社プロダクト「GENFLUX」 AIの品質評価、情報漏洩対策、脆弱性の修正、社内でのLLM運⽤。 GENFLUX Security GENFLUX Evaluation 社員のAI利⽤と外部送信を管理 AI‧RAG‧Agentの品質を評価 AIの利⽤状況を可視化。 機密情報の送信を検知‧制御する。 出⼒の品質や安全性を検証。 変更前後の結果を継続して⽐較する。 GENFLUX Autonomy Security GENFLUX Local / Knowledge‧FDE 脆弱性を⾒つけ、修正して再検証 社内設備‧閉域でLLMを動かす リリース候補を検査し、 修正した箇所をもう⼀度検証する。 機密データを社外に出さずに運⽤。 社内情報を検索するAIの開発にも対応。 製品情報：GENFLUX 公式サイト ©Elith Inc. All Rights Reserved 3
4. ElithとKaggle Elithには、Kaggle⾦メダリストが複数在籍 仲間 ⾦メダルを持つメンバーが複数在籍 その⼀⼈が、ねぼすけAIさん。 今⽇は、本⼈の記事や発表資料を紹介します。 （11⽉から、GrandMasterが⼊社します） 仕事 ねぼすけAIさんはGENFLUXの開発を担当 記事では、Kaggleと製品開発の進め⽅を⽐較。 評価⽅法を決めてから、実装と検証を繰り返しています。 VPoT に phalanx さんもいます🔥 参考：ねぼすけAI「Kaggler流のプロダクト開発⼊⾨！」（2026.08.27） ©Elith Inc. All Rights Reserved 4
5. 今⽇お話しすること 上位解法でAgentに任せた範囲と、⼈が担った仕事。最後に最初の⼀週間の進め⽅。 01 02 Agentに任せられること 上位解法を例に、Agentに任せたこと ベースライン作成から、 1,000回を超える⼤量の学習実⾏まで。 調査だけ任せた例から、 解法全体を任せた例まで。 03 04 ⼈が担った仕事 最初の⼀週間 観察から仮説を⽴てる。 CVの分割と評価⽅法を決める。 まず⼀度提出する。 ⾃分で考えた変更を⼀つ試す。 ©Elith Inc. All Rights Reserved 5
6. 今⽇の結論 実装はAgentに。⼈は「データ観察」と「信頼できる評価設計」 任せる ⾒る 守る 実装‧実⾏‧集計は Agentに任せられる 有効な案の多くは、 ⼈がデータを⾒て考えた Publicで1位の案も、 Privateでは0点に Kinosukeさんは5-foldの学習を 1,515回、約300実験。⾃作コー ドはほぼゼロで⾦メダル（5位 / 3,803チーム）。 AIが提案して効いたのはGradual UnfreezeとConsistency Lossの2 件。CVの再設計やDINOv3の patch特徴は⼈が提案した。 AI Agent Security：6位の著者の 別案はPublic 147.5（1位）、 Private 0.0。最終案はPrivate 37.690で⼊賞。 参考：kinosuke「Claude Code / CodexでKaggle⾦メダルを取った話」（2026.03.16） / poijio「6th Place Solution」（2026.09） ©Elith Inc. All Rights Reserved 6
7. Kaggleのコンペで何をするか 課題とデータ、評価指標が決まっていて、提出するとスコアが返ってくる。 01 02 課題‧データ‧評価指標がある 提出するとスコアが分かる 画像から重量を予測するなど、 コンペごとに課題が決まっている。 どの変更で精度が上がったかを、 ⼿元の検証結果とも⽐べる。 03 04 上位の解法を復習できる チームを組んで参加できる モデルだけでなく、前処理や 学習設定の違いも調べられる。 実験を分担したり、 解法や結果について議論したりできる。 ©Elith Inc. All Rights Reserved 7
8. Agentには、何を任せられるか コードの作成‧実⾏‧集計は、Agentに頼める ⼊⼝ Kaggle CLIを使って、コンペデータ取得から提出まで任せる データ取得‧学習‧推論‧提出をまとめて頼む。 事前に、参加同意‧API認証‧AIエージェントの準備を済ませる。 反復 実験は「何を変えるか」まで書いて頼む 例：「EXP060 child-exp005をベースに、ランダム5クロップで学習」。 ⽐較する条件も具体的に指定する。 参考：ねぼすけAI「このプロンプトをAIエージェントに貼り付けて、Kaggleのベースラインを作ろう！」（2026.07.03） ©Elith Inc. All Rights Reserved 8
9. ねぼすけAIさんのベースラインの作り⽅ コンペのURLと概要を渡し、次の⼿順で作成を頼む。 前提 1 使⽤するツールを先に指定 エラーなく⼀度提出する 環境構築にはuvを使い、 Kaggleの操作にはCLIを使う。 形式や推論時間の問題を、 最初に⾒つけておく。 2 3 信頼できるCVを作る docs/に⽇本語で記録する CVが改善したら提出し、 CVとLBの散布図を更新する。 概要‧EDA‧試した⼿法を残す。 後から実験の内容を確認する。 参考：ねぼすけAI「このプロンプトをAIエージェントに貼り付けて、Kaggleのベースラインを作ろう！」（2026.07.03） ©Elith Inc. All Rights Reserved 9
10. 上位解法では、Agentに何を任せていたか 任せた範囲は「調査と評価だけ」から「解法全体」まで幅がある。下記は参考までに。 コンペ 順位 Agentがやったこと ⼈がやったこと AI Agent Security 2026.09 4位 4,187チーム SDK‧ガードレールの調査、候補の⼤量⽣ 成、ローカル評価と集計 「宛先を末尾に置けばKV cacheが効くか」な ど、検証できる仮説を渡す AI Agent Security 2026.09 6位 ソロ⾦ 探索‧評価スクリプト、テスト、リプレイ。 実験ディレクトリは1,268個 最適化対象‧検証⽅法‧停⽌条件の設計。 コードは1⾏も書いていない RSNA 膝MRI 2026.10 1位 4,407件のラベル付け、ROI‧病変ボックス、 ラベルの使い⽅の提案と実験 58件の正解ラベルで、指⽰とモデルの組み合 わせを⽐較‧選定 FathomNet 2026.05 3位 解法全体（codex-yoloの/loopモード） 課題⽂もデータも読まず、30分ごとに同じプ ロンプトを投げて進捗だけ監視 ©Elith Inc. All Rights Reserved 10
11. RSNA膝MRI 1位（2026.10） 正解58件を⼿がかりに、Agentに全件のラベルを作らせた 発想 「ラベルを作るコンペ」と捉え直した 学習4,407件のうち12所⾒のラベルは58件だけ。 1件ずつ画像（中央値15枚）とレポートを渡し、根拠→確率の順に答えさせた。 ⽐較 指⽰を変えると、確信度の⾼い誤判定が約3割減 モデル‧指⽰（58件で検証） AUC log loss 確信度の⾼い誤判定 GPT-6 Luna‧tascjの指⽰ 0.904 0.555 92件 GPT-6 Luna‧sakakuの指⽰ 0.891 0.465 61件 GPT-6 Astra‧sakakuの指⽰ 0.936 0.329 35件 ＋読解ガイド（5分割OOF） 0.936 0.307 19件 参考：sakaku, tascj「RSNA Knee Abnormality Detection: 1st Place Solution」（2026.10.24） ©Elith Inc. All Rights Reserved 11
12. 2026年1⽉の例：Kinosukeさんの⾦メダル 実装はほぼAI。効いたアイデアの多くは⼈が出した 結果 CSIRO Image2Biomass：5位 / 3,803チーム 画像から草の重量を予測。⾃作コードはほぼゼロ。 使⽤：Claude Code（Opus 4.5）とCodex（GPT-5.2）。 規模 5分割の交差検証で約300実験、学習は計1,515回 Mac上のAgentからGoogle Drive経由でColabを6並列で実⾏（⽉5,767円）。 実験をEXP / child-expで分け、EXP_SUMMARY.mdに結果を記録。 参考：kinosuke「Claude Code / CodexでKaggle⾦メダルを取った話」（2026.03.16） ©Elith Inc. All Rights Reserved 12
13. 改善⽅法を頼むだけでは、伸び悩むことも 「精度を上げて」を繰り返すと、Agentは撤退を勧めた 停滞 Agentの案では、CVが上がってもPublic LBが下がった Focal Loss：CV 0.78、Public LB 0.64。EMA、3-crop、⾊特徴も悪化。 Claudeは「0.73を超えるのは極めて困難」と述べ、撤退を勧めた。 突破 ⾦メダル圏に届いたのは、⼈が出したアイデア ⼈：CVの再設計（撮影⽉でグループ化）、DINOv3、patch特徴。 AI：効いたのはGradual UnfreezeとConsistency Lossの2件。 参考：kinosuke「Claude Code / CodexでKaggle⾦メダルを取った話」（2026.03.16） ©Elith Inc. All Rights Reserved 13
14. Kinosukeさんの事例：観察から、出⼒の形を変える patchごとの草量予測値を合計する構成に変更し、⾦メダル圏に⼊った。 1 停滞 2 疑問 3 観察 4 実装 SigLIP、 EVA02-CLIP、 Depthを試す。CV は上がるがLBは横 ばい。 公開notebookで は、DINOv3だけが 伸び続けている。 なぜか。 論⽂のFig.3を読 み、patch特徴を 可視化。Cloverと Deadの領域を区別 できた。 CLSではなく、 patchごとに草量 を予測して合計す るヘッドへ。 仮説：バイオマス ≈ 局所の「種 × 被覆 × ⾼さ × 密度」 → patch tokenを密度マップとして扱い、画像全体で積分する 参考：Kinosuke「Agent時代のKaggleで、⼈間は何を⾒るべきか」（2026.05.22） ©Elith Inc. All Rights Reserved 14
15. AIと⼈の役割をどう分けるか 実装と集計はAgentに。⼈は結果を⾒て次を決める AI 定常作業：実装‧実⾏‧集計‧可視化 失敗例、条件別の誤差、実験に使った設定を記録させる。 本⼈は注意点をCLAUDE.mdにまとめた（最終430⾏）。 ⼈ コンペに合わせて、CVと次の実験を決める 提案を採⽤する前に、データの分布や事前学習済みの重みへの影響を確認する。 タスクの構造に合っているか、Public LBだけで判断していないかを確かめる。 過去のコンペで不向きだった⼿法も、そのまま採⽤しない。 参考：Kinosuke「Agent時代のKaggleで、⼈間は何を⾒るべきか」（2026.05.22） ©Elith Inc. All Rights Reserved 15
16. Agentの落とし⽳ Agentは、与えられた指標に合わせて改善を進める 評価器を書き換える Public LBだけを⾒る CVとLBが⾷い違う 課題を解かずに、 採点処理を変える Publicで好成績の案も、 Privateでは0点に CVが上がっても、 LBが下がる METR（2025）：o3はRE-Bench の128回中39回で、採点処理の変 更などを試みた。「ズルする な」と指⽰しても発⽣率はほぼ変 わらなかった。 AI Agent Security 6位の著者の別 案：Public 147.5（1位）、 Private 0.0。⼊賞した最終案は Private 37.690。 CSIRO：Focal LossはCV 0.78で もLB 0.64。弱クラスの強化や難 例の⽔増しも、CVは上がってLB は下がった。 対策：評価⽤データや採点コードを、Agentが変更できない場所に置く。 poijio⽒は、探索結果を実際の実⾏⼿順で再検証する仕組みに最も⼯数を割いた。 参考：METR「Recent Frontier Models Are Reward Hacking」（2025.06.05） / poijio「6th Place Solution」 / kinosuke（2026.03.16） ©Elith Inc. All Rights Reserved 16
17. 実験を増やす前に、評価を確かめる データの分け⽅が違うと、同じモデルでもスコアが変わる 分割 患者‧撮影⽉などのグループ単位で分ける 例：CSIROは撮影⽉でグループ化し、Dead / Cloverで層化した （scikit-learnのStratifiedGroupKFold）。これでCVとLBが安定した。 ⽐較 CVとPublic LBの変化を⽐べる 両⽅が改善したか、⽚⽅だけかを確認する。 ⾷い違う場合は、リーク‧分布差‧過学習を疑い、原因を調べる。 参考：Kinosuke「Agent時代のKaggleで、⼈間は何を⾒るべきか」（2026.05.22） ©Elith Inc. All Rights Reserved 17
18. Agentに集計を頼み、元データと誤りを⾒る ⼊⼒‧出⼒、個別‧全体の4通りで⾒る。EDAは仮説ごとに番号を付けて保存する。 ⼊⼒ × 個別 ⼊⼒ × 全体 まず画像そのものを⾒る 分布を⾒る ラベルは妥当か。重複はないか。 ⼈にも判断しにくい例はあるか。 クラス数、撮影条件、画像サイズ。 学習とテストで違いはあるか。 出⼒ × 個別 出⼒ × 全体 ⼤きく外した画像を⾒る 誤差を条件別に集計する 何を⾒落としたか。 背景や画質に引っ張られていないか。 クラス、撮影元、対象サイズごとに、 どの条件で誤差が増えるか調べる。 参考：ねぼすけAI「ポストClaude Code時代におけるEDA」（2025.12.13） ©Elith Inc. All Rights Reserved 18
19. ねぼすけAIさんたちのAI Agent Securityコンペ AI Agent Securityコンペ：4位‧⾦メダル チーム 4,187チーム中4位。チームはkansai-kanto-kaggler ツールを使うAgentに、ガードレールを抜ける操作をさせるコンペ。 Codexは、調査‧候補⽣成‧ローカル評価‧集計を担当した。 指⽰ 抽象的な指⽰より、検証できる仮説を渡す ×「もっと速い候補を探せ」→ 誤差と区別できない微差ばかり。 ◦「宛先を末尾に置けばKV cacheが効くか」→ ⾼速化につながった。 参考：rick「Elith勉強会 AI Agent Securityコンペ 振り返り」（2026.09.20） ©Elith Inc. All Rights Reserved 19
20. 実験ごとに変更点と結果を記録する KinosukeさんはEXP / child-expで実験を管理し、コード‧設定‧OOF予測‧スコア‧ログを保存。 問い 条件 何を確かめるか 何を変え、何を固定するか 例：⼩さい対象の誤差が⼤きいのは、 ⼊⼒解像度の影響か。 同じ分割とモデルで、 解像度だけを変える。 結果 記録 何が起きたか EXP_SUMMARY.mdに1⾏ CVとLB、対象サイズ別の誤差、 計算時間を残す。 変更点、CV、LB、成否、考察を記録。 過去に効かなかった案の再提案も防ぐ。 参考：kinosuke（2026.03.16） / ねぼすけAI「ポストClaude Code時代におけるEDA」 ©Elith Inc. All Rights Reserved 20
21. 最初の⼀週間でやること データが⼩さく学習が短いコンペ（画像回帰など）は、Agentと相性がよい。 1⽇⽬ 2〜3⽇⽬ 最初の提出を通す データと予測を⾒る ルールに同意し、kaggle.jsonを配置。 ベースライン⽤のプロンプトで提出する。 誤差の⼤きいサンプルを10件⾒る。 EDAは仮説ごとに番号を付けて保存する。 4〜5⽇⽬ 6〜7⽇⽬ ⼀つの疑問を検証する 結果を短く書く 分割を固定し、変更は⼀つだけ。 CVとLBを両⽅記録する。 EXP_SUMMARY.mdに結果を書く。 効かなかった理由も⼀⾏で。 ©Elith Inc. All Rights Reserved 21
22. まとめ Agentに実装を任せ、データと実験結果を確かめる 始める まずAgentに、提出⽤のベースラインを作ってもらう 学習‧推論‧提出ファイル作成まで実⾏し、 Kaggleに⼀度提出してみる。 伸ばす 改善案の⼀覧で⽌まらず、実験して結果を⾒る どのサンプルで誤差が⼤きいかを確認する。 変更を⼀つ試し、スコアと誤り⽅が変わったか⽐べる。 ©Elith Inc. All Rights Reserved 22
23. 参考資料 1 / 記事 ベースライン作成、EDA、Agentの使い⽅、製品開発についての記事。 ねぼすけAI ねぼすけAI ベースライン作成プロンプト AI時代のEDA Qiita / 2026.07.03 記事を開く Qiita / 2025.12.13 記事を開く kinosuke ねぼすけAI AIを使って⾦メダルを取った話 Kaggler流のプロダクト開発 Zenn / 2026.03.16 Zenn / 2026.08.27 記事を開く 記事を開く ©Elith Inc. All Rights Reserved 23
24. 参考資料 2 / Speaker Deck‧研究 Kaggleの取り組み⽅と、Agentの活⽤‧評価に関する資料。 Kinosuke rick ⼈間は何を⾒るべきか AI Agent Security振り返り 関⻄Kaggler会 / 2026.05.22 Speaker Deckを開く Elith勉強会 / 2026.09.20 Speaker Deckを開く OpenAI MLE-bench MLエンジニアリングのAgent評価 公式リポジトリを開く ©Elith Inc. All Rights Reserved 24
25. 参考資料 3 / Kaggleの解法原⽂ 各⾒出しから、Kaggleの解法原⽂を開けます。 ISAKA Tsuyoshi ほか poijio AI Agent Security / 4位 AI Agent Security / 6位 2026年9⽉公開 Kaggleの解法を開く 2026.09.03公開 Kaggleの解法を開く sakaku, tascj Dmitry Kozlov RSNA 膝MRI / 1位 FathomNet / 3位 2026.10.24公開 2026.05.16公開 Kaggleの解法を開く Kaggleの解法を開く ©Elith Inc. All Rights Reserved 25
26. 参考資料 4 Agent × 機械学習の研究‧OSS 名前 内容 MLE-bench（OpenAI） Kaggleの75コンペで、Agentのメダル獲得率を測るベンチマーク AIDE（Weco） 解法を⽊探索で改善するAgent。MLE-benchの主要ベースライン R&D-Agent（Microsoft） 仮説を⽴てる役（R）と実装する役（D）を分けたAgent MLE-STAR（Google） MLE-bench Liteでメダル獲得率64%（論⽂の報告値） AIRA-dojo（Meta） 探索戦略（Greedy / MCTS / 進化）の⽐較。Liteで39.6% → 47.7% METR（2025.06） o3などが評価器や計時関数を書き換えた事例の報告 u++（2026.08） 「Agent時代のKaggle展望」。設計‧操縦‧評価の3観点で整理 Kinosukeさんのリポジトリ CLAUDE.md‧AGENTS.md‧実験の構成と設定を公開 ©Elith Inc. All Rights Reserved 26