生成AI時代のKaggleの姿

「Kaggleは典型的な機械学習タスクのコンペサイトであり、生成AIによってその役割は終えるだろう」と考えていませんか？現在のKaggleは、AGIにつながる未踏のチャレンジや、解法が自明ではないチャレンジングな課題に溢れる「非常にアツい」プラットフォームです。本トークでは、生成AI時代におけるKaggleの新たな価値と、時代の変化を反映する具体的な学びの事例を紹介します。

Transcript

1. Tokyo 2025 @smly / Kohei Ozaki GDE (Kaggle) 生成AI時代の Kaggleの姿
2. @smly (すまいりー ; Kohei) ソフトウェアエンジニアをしています • Google Developer Expert (Kaggle) • Kaggle 歴 14 年 • 4x Kaggle Competitions Grandmaster • 23 Gold Medals
3. 今日お伝えしたいこと • Kaggleってなに？ • Kaggleはオワコンではない。むしろ生成AI時代に おいては、未知への挑戦がアツいぞ！ • Kaggleは生成AIを学び、実践するための膨大なリ ソースを提供してくれる
4. 01 Kaggleってなに？
5. コンペティションプラットフォームとしての Kaggle (2011~) • 企業が抱える機械学習課題をクラウドソーシング するサイト • コンペティション形式にすることで参加者を競わせ てゲーム性をもたせる
6. コンペの開催期間は 2~3 ヶ月が一般的 モデルを提出するとスコアリング されて暫定順位が付く 上位入賞すれば賞金が与えられる
7. Google による買収 (2017) • “AIの民主化” を促進する • 計算実行のプラットフォームとしても進化。 Jupyter Notebook ベースの環境で GPU/TPU を無料で使用可能（週30時間） • データセットやモデルのホスティング
8. 02 Kaggleはオワコン？ 一部ではKaggleコンペは オワコンではないかと言わ れているが・・・？
9. Kaggleコンペは生成 AIで解決済みの問題？ • MLE-Bench [1]、AutoKaggle、Agent K [2]、… ◦ 「16.9%のコンペティションでKaggleのブロンズメダ ルに相当する成績を達成」[1] ◦ 「Kaggleグランドマスターレベルを達成」[2] 本当？Kaggle コンペはオワコン？ [1] "MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering”, ICLR’25 [2] “Large Language Models Orchestrating Structured Reasoning Achieve Kaggle Grandmaster Level”
12. AUC=1.0 ….？？？
13. ベンチマークとリアルの乖離 • 10年前の課題や、数十行でAUC 100% に到達する超 簡単な課題も含まれている • 最新のリアルなKaggleコンペとは難易度に大きな乖離 がある ※定量評価する研究用途のベンチマークとして、 難易度に偏りがないように構成することは正しい
14. 生成AIモデルのベンチマークは難しい • 意図せず評価データが学習されている可能性 • AIコンペ分野ではリークと戦うための「効果的な対 策と実践」が開発されてきた • 生成AIモデル評価のゴールドスタンダードとして Kaggleを使いませんか？ [3] [3] "AI Competitions Provide the Gold Standard for Empirical Rigor in GenAI Evaluation" (ICML'25)
15. 生成AI時代においても未知への挑戦は続く 未解決な問題など高度化している。生成AIやLLMを使い こなす必要のある魅力的なコンペが増えている（この後 に紹介します！）
16. 03 実践する場として いくつかのコンペの実例を 紹介し、それらから得られ る学びの一部を紹介します
17. Konwinski Prize 汚染のない SWE‑bench で“GitHub の新規Issueをどこま で直せるか”を競う、オープンなAIの賞金コンペ。 Databricks/Perplexity共同創業者の Andy Konwinski が Kaggle 上で主催。オープンなAI研究の前進を狙う
18. “問題特化のパイプラインは強い ” • 計算リソースと推論時間の制約もあり、TOP3はすべ て Agentless [4] ベースの解法 • 複雑なツールの使用や自律的な計画立案を行わな い。「問題箇所の特定」と「修正」の２つの段階を踏む ことで問題を解決 [4] "Agentless: Demystifying LLM-based Software Engineering Agents"
20. Repo構造を与えて関連するファイルを推定 → 関連する クラスや関数を推定 → 編集すべき行を特定 → …
21. 修正パッチを生成して、生成したテストを用いて検証
22. “問題特化のパイプラインは強い ” ※32BクラスのオープンなLLMでうまくコンテキストを作る工 夫など、結果分析に基づく有意義な議論がある。是非勝者 の解法から学びましょう！[5] [5] https://www.kaggle.com/competitions/konwinski-prize/writeups/eduardo-rocha-de-andrade-1st-place-solution-write-
23. 04 学びの場として
24. 5日間集中コースの充実した学習ガイド 実践的な学習ガイドが展開されているのでオススメ • 5-Day Gen AI Intensive Course with Google • 5-Day AI Agents Intensive Course with Google [6] [6] "5-Day AI Agents Intensive Course with Google", https://www.kaggle.com/learn-guide/5-day-agents
26. 今日お伝えしたいこと（まとめ） • Kaggleはオワコンではない。むしろ生成AI時代に おいては、未知への挑戦がアツい • Kaggleは生成AIを学び、実践するための膨大なリ ソースを提供してくれる