いま、生成AIにKaggleをどこまで 任せられるか — ROGIIコンペでの進め方とTips

社内の技術共有会での発表資料です。KaggleのROGIIコンペで、生成AIにどこまで任せたのか。進め方と、失敗から得たTipsを紹介しています。

Transcript

1. AI技術共有会 いま、生成AIにKaggleをどこまで 任せられるか — ROGIIコンペでの進め方とTips 2026.08.27 立松 郁也 GOドライブ株式会社 AI Community
2. 自己紹介 立松 郁也（タテマツ フミヤ） GOドライブ株式会社 • • 業務内容 ◦ 次世代AIドラレコサービス『DRIVE CHART』の開発 Kaggle ◦ https://www.kaggle.com/fuumin621 ◦ • AI本部 AI技術開発2部 Competitions Grandmaster SNS ◦ X: https://x.com/monnu0621 2
3. 今日話すこと 最近の3コンペはコーディングエージェント中心で進めた 学会コンペ優勝やソロ金など、自分としては満足のいく結果だった • コードはどのコンペも全部AI経由 • 今日は生成AIの使い方を中心に、直近の ROGII コンペ（参加は3週間）を振り返る ※ 2026年8月時点の情報です 3
4. 今日のテーマ : いま、生成AIにKaggleをどこまで任せられるか 以前は「AIに任せるのは実装まで、アイデアは人」だと思っていた 今回はアイデアまで踏み込んで任せた 想定していた分担 今回の分担 アイデア = 人 方針 = 人 実装 = AI アイデア = 人とAI 実装 = AI ↑ 人だけが持っていたのはここ • 解法の骨格になったアイデアは、AIが公開の議論から見つけてきた • 人に残ったのは、方針と、基準が正しいかの判断 4
5. 題材 : どういうタスクか 目的の地層の中を、横に掘り進みたい • 見えるのはガンマ線の波形だけ。地層は傾くので、深さでは層の中の位置が決まらない • 参照井戸の波形と照合して、1ftごとに層の中の高さを当てる。評価は RMSE 5
6. 題材 : 解法の概要 どの高さと一致するかを、1枚の画像から当てる形にした • 画像を入れて、列ごとに「どの高さか」を出させる • 学習は2段階。物理から作った合成データで事前学習してから、本物の井戸で仕上げる • 画像モデル3本（ConvNeXt / EfficientNet / HRNet）に、作りの違う1Dモデル1本を混ぜた • 手元の評価（CV）5.097 / 本番（private LB）6.319 で13位 6
7. 進め方 : 実行環境と指示の出し方 ローカルGPU 1枚。指示はスマホ / ブラウザから出す スマホ / ブラウザ 指示は1〜3行 Claude Code / Codex リモートセッション 手元のGPUマシン RTX A6000 48GB 結果を確認 数字はチャット / 図はWeb （後述） 結果を見て、次の指示を出す ── 端末の前にいなくてもできる • マシンは手元の1台。締切前の追い込みだけ、クラウドGPUを足して並列化した • コーディングエージェントはどちらも定額のサブスク（Claude Code Max / Codex Pro） • スマホからは音声入力。指示は1〜3行なので、それで足りる 7
8. 進め方 : 1実験の流れ 工程はAIが回す。人は採用と提出を決め、途中で口を挟む 人が途中で口を挟む（質問・ツッコミ） 次に何をやるか 決める 実装 動作確認 人がやること AIがやること 評価 採用するか決める 学習を回す 記録 提出 採用したものだけ • コードを書くのも、動作確認も任せている ◦ • 間違っていても、こちらが気づいていない可能性はある 採用したものだけを提出に回す。提出は毎回こちらが許可する 8
9. 進め方 : 自律で回す 1実験ごとに指示は出していない。「自律で進めて」で連続して回る 渡していた言葉 • 「進めて。毎回こっちに確認せず自律で」 • 「一つの実験が終わったら、次が動くように」 • 「10時間ほど離席する。改善続けて」 そのために決めたこと • 承認で止めない（auto mode） ◦ 提出だけは毎回こちらが許可 • 終わったら通知で次が動く • 踏み外さないよう、規約ファイルに作法を書く ◦ コンテナで実行 / 並列実験は2本まで 人が見ていない間も進むようにしておく 9
10. 進め方 : 人がやっていたこと 自律で回させたうえで、打っていたのは質問とツッコミがほとんど ① 説明させる 「その3段構成、なぜその順番なのか」 「この分野を知らない人にも分かるように書いて」 こちらが中身を分かっていないと、疑う場所が見つからない ② 疑う 「その改善幅は seed ブレの範囲より大きいの？」 「急に良くなりすぎ。リークしてない？」 同じやりとりを何度も繰り返したので、先に決めておくことにした ③ 決める 「小手先は禁止。ハイパラ調整や seed average は提案しないで」 「目標CV は 5.6。他チームがシングルモデルで出してる」 10
11. 進め方 : 決めごとと記録 実験のやり方と、記録の置き場所を先に決めておく 決めごと そうしている理由 1実験 = 1ファイル 設定ファイルを分けず直書き。実験どうしが依存しない 記録はリポジトリに含める Claude Code などのメモリも、コードと同じ場所に置く。実験環境を移したとき も、そのまま引き継げた 引き継ぎは handoff に セッションが切れても、次が同じ状態から始められる。終わりに書かせておく CLAUDE.md / AGENTS.md 中身は書かず、記録の置き場所を指すだけ。ツールを変えても同じ記録を読ませ られる 11
12. 進め方 : EDAはアーティファクトで見る データを見たいときは、Claudeのアーティファクト機能で1枚のページにさせる • アーティファクト機能 = Claudeが書いたHTMLを、そのままURLで開けるページにする機能 • 毎回スクリプトを書き直さずに済む。URLを開くだけなので、移動中でもスマホから見られる 12
13. 進め方 : 使ったツール 必須は Kaggle公式CLI と nvidia-kaggle。繰り返す作業は自作ツールにまとめた ツール できること Kaggle CLI（公式） データ取得 / 提出 / 順位表・提出履歴 / 上位ノートブックのソース nvidia-kaggle （Claude Code プラグイン / NVIDIA） ディスカッションを全件＋コメントごとDB化して検索 / コンペの概要・ルール・データ説明 / 上位ノートの一覧 自作 : 提出物のビルダ 重み一式の Kaggle Dataset と推論ノートブックを、毎回同じ手順でまとめる 自作 : 提出物の検査 提出の前に、ローカルと Kaggle 上で出力が一致することを確かめる 自作 : 別のエージェントへの委譲 重い作業は Codex や別の Claude に投げ、途中とコストを残す • ROGIIではディスカッション767件＋コメントを丸ごと落として、AIに全部読ませた • 利用規約とコンペの Rules は自分で確認すること 13
14. 任せられたこと : アイデア AIが強いのは発明より探索。中核のアイデアは公開の議論から見つけてきた 人が決めた方針 • • AIが見つけてきたアイデア • CVを信じる（公開LBは約50井しかない） • • 目標は他チームのシングルモデルのスコア • • ディスカッションは全部読ませる • ホストの記事も真っ先に読ませる 照合問題を1枚の画像に変える 学習用の合成データを、物理的に筋の通っ た作り方にする この2つが最終解法の骨格 2つとも公開ディスカッションに書かれていた発想で、自分で思いついたものではない AIがそれを見つけられたのは、Kaggle だったから ◦ 知見を書いてくれる人が多く、それを丸ごと落とすツールもある。両方そろう場は多くない 出典（画像化）: https://www.kaggle.com/competitions/rogii-wellbore-geology-prediction/discussion/699853 出典（合成データ）: https://www.kaggle.com/competitions/rogii-wellbore-geology-prediction/discussion/702474 14
15. 任せられたこと : アイデアが形になるまで 公開されていたアイデアから、金メダル解法までの道のり 何をしたか 誰が どこから スコア 1 公開の議論767件から2つ拾う（照合を画像に / 合成を物理整合に） AI 公開 2 そのまま試す（軌跡を7本出させて選ばせる形）→ 外れ AI 公開 3 手詰まりで止め、根本から作り直させる（ホストの配布資料も読み直させ 人 た） — 4 公開実装の欠陥を3つ見つけて直す — 軌跡そのものを教えていなかった / AI 画像の縮尺が井戸ごとにバラバラ / 合成が本物より簡単すぎた 公開＋自分たちの計 測 6.4 5 公開になかったものを足す（候補から1本選ぶのをやめ、井全体で1つの 軌跡を出す） 人 → AI 自分たち 5.8 6 学習のやり方を詰める / アンサンブル（4本のモデルと seed average） AI 自分たち 5.1 外れ スコアの目安 : 何もしない 15.9 / 公開実装 8.4（作者申告）/ 当時の公開LB上位 7.0〜7.3 公開のとおりに作っただけでは足りず、そこからの作り込みが必要だった 15
16. 任せられたこと : 終わりが数字で言える工程 終わったかどうかが数字で決まる工程は、まるごと任せられた 任せた工程 : 提出用の推論ノートブックを書く テストを検証データに 差し替えて動かす 提出ノートを そのまま最後まで通す 出てきた submission.csv を採点する → 想定どおりのスコアが出れば合格。合否が1つの数字で決まる • 他は機械的な確認 : 出力行数 / IDの順番 / 変な値 / 実行時間9時間以内 • ただし、合格の条件は人が決める必要がある 16
17. 失敗 : AIが間違った基準で実験を切っていた（影響: 特大） 高速化のためAIが作った足切り基準は、2回とも最終スコアと関係なかった ① 1段目（合成データ）のスコアで足切り ② 1つの fold のスコアで足切り 案 1段目 最終 • A 7.5863 5.51275 B 7.7034 5.56026 C 7.6151 5.95566 D 7.9156（最悪） 5.36198（最良） • 1段目で最悪だった D が、最終では最良 • この基準どおりなら、良かった案を捨てていた • • fold 1つでは、そもそも差を測れていなかった 155井しかなく ±0.4ft ぶれる。判定していた 差は 0.1ft 未満 「効かない」と切った案が、井を1本抜くだけ で「効く」に変わった 対策 : 切る前に、基準の方を確かめる • 途中のスコアが最終と関係あるか / 判定する差が検出限界より大きいか 17
18. 失敗 : 同じAIの自己チェックでは気づけない（影響: 大） リークも、限界の見立ても、AI側からは出てこなかった ① AIが作ったCV評価がリークしていた（2回） • • • 混ざっていたときの CV は 7.55。異常な値には 見えなかった ② AIが改善の余地があるのに途中で諦めた • • 数日分の評価が無効になった 気づけたのは、人が別のエージェントに読ませ たから • • そのときの手元の CV は 8.5 他チームはディスカッションで 5.69 を報告し ていた 最終的には 5.097 まで下がった 気づけたのは、人が外の数字を目標に置いたか ら 対策 : コードレビューも、外の数字との突き合わせも、人が定期的に仕掛ける 18
19. 失敗 : 任せきると凝った構造ができあがる（影響: 中） 頼んだことは1つでも、複雑なロジックと定数は勝手に増えていく 頼んだこと : 学習のたびに、予測の開始位置をずらす（augmentation） 最初に返ってきたもの • 4つの開始位置で同時に予測 • 答えが近いほど点を高くする • 未調整の定数（clip 2.0） • 1回の学習に1データだけ シンプルにした後 「1データ1サンプル で、開始位置を毎回抽 選するだけでよくな い？」 • 1井 = 1サンプル • 開始位置は毎回抽選 • 損失は CE だけ 4つの複雑なロジックが消えて、CV 5.71 → 5.57（5 fold すべて改善） 対策 : 「シンプルにできないか」を定期的に聞く • 複雑なロジックには :「それ、無くても同じことができない？」 • 定数には :「その定数、学習パラメータにできない？」 19
20. 失敗 : AIの提案は小手先に寄る（影響: 中） 自分で考えさせると、seed average やハイパラ調整ばかりが出てくる 試せる数は増えた（3週間で341実験）。ただし出てくる案は似たものばかり • ◦ seed を変えて平均する / バックボーンを大きくする / 学習率を調整する 抽象的に頼んでも変わらなかった • ◦ 「本質的な案を」→「小手先じゃない一手を」→「まだ小手先」 対策 : 出してよい案と出さない案を、名指しで書いておく 出してよい 出さない • 入力に何を渡すかを変える • ハイパラ調整 / seed average • 使っていないデータを足す • チェックポイント選択の調整 • 学習と評価のズレを消す • 後処理の重みの調整 このリストは先に全部は書けなかった。出てくるたびに足した 20
21. まとめ : 人とAIの役割 人が持っていたのは、方針を決めるところだった 工程 やったのは 中身 情報を集める AI ディスカッション767件を落として全部読む ドメインを調べる AI 人が持っていた方がよいが、 「ホストのこの記事を読んで特徴量を作って」でも進むことはある アイデアを出す 人とAI 中核の2つはAIが公開の議論から。井全体で1つの軌跡を出す案は人 実装する AI 3週間で341実験。コードはほぼ全部 動作確認 AI 提出コードは test を val に差し替えて、想定どおりの数字が出るか 良し悪しを判定 基準は人 / 実行はAI 何と比べるか、どこで足を切るか 方針を決める 人 何を信じどこを目指すか / 何は効かないか / 何をもって正しいとするか / どこに効くものがあるか 提出する 人 毎回こちらが許可する ※ ROGIIコンペ1本での観察 21
22. おわりに • 解法の骨格になったアイデアは、AIが公開の議論から見つけてきた • 人に残ったのは、方針と、基準が正しいかの判断 • ベストな分担は、コンペ・タスク・いま使えるモデルとツールで変わる • ◦ 別コンペ（強化学習）で同じやり方をしたときは、アイデア出しは効かなかった ◦ 以前は CLI からディスカッションをまとめて取ること自体が難しかった どこまで任せるかは、走りながら見直していくことが重要 22