Claude Codeはどこまで戦えるのか？Kaggle金メダルで見えた現在地

Transcript

1. Claude Codeはどこまで戦えるのか？ Kaggle⾦メダルで⾒えた現在地
2. ⾃⼰紹介 1 / 8 名前 Kinosuke 所属 個⼈事業主（法⼈化予定） やっていること コンピュータビジョン(VLM) / 図⾯やドキュメントの検索タスクが得意 Kaggle Competition Master 筋トレ BIG3 400kg
3. とは 精度を競うデータサイエンスの⼤会, 世界1,000万⼈以上が登録 2 / 8 Kaggle • 1,000万⼈以上が登録 • 約3ヶ⽉間、精度を競い合う • 年間30件くらいコンペを開催  NLP/画像/Table(⾦融・時系列) … • 相対評価 ̶ 相⼿に勝つことが⼤事 今回のお題 (CSIRO-Biomass) • 牧草地の画像 → 草の量を推定  放牧の家畜の餌管理に重要な課題 • 3,803チーム（4,460⼈）参加 予測モデル クローバー: 20.5[g] 枯れ草: 0.6[g] 草: 34.0[g]
4. 結果 5位 / 3,803チーム ̶ ⾦メダル獲得 3 / 8 5th / 3,803 teams ̶ Top 0.1% ⾃分が書いたコードはほぼゼロ 実装は Claude Code / Codex に全任せ でも「AIが勝った」わけではない
5. Claude Codeの現在地 そこそこのベースラインは作れる、でもコンペでは勝てない 4 / 8 得意 • 実験パイプラインをほぼ1プロンプトで構 築 • 精度もそこそこ出る • 複雑なモデルも指⽰すれば忠実に実装 限界 • 数サイクルで精度改善が頭打ち • 定番施策はできるが、お題に刺さる本質 的な改善は出てこない • データを観察して改善案を導く⼒が弱い • みんな使っているので差がつかない
6. 勝つためには？ アイディアは⼈間 分析はAIに任せる。次に何をするかは⼈間が決める 6 / 8 Claude Code 予測結果の分析 レポート作成 ここまでは得意 → ⼈間 データ観察 アイディアを出す Next Actionは⼈間 → Claude Code アイディアを 忠実に実装 複雑な実装もOK 最⼤の勝因: DINOv3 patch token 「草の⾯積・⾼さ・密度が⼤事」という仮説 → DINOv3の出⼒を⽬視観察 → 「これだ」 ※「精度上げろ」というあいまいな指⽰からは絶対出ない
7. 勝つためには？ 試⾏回数はAI 実装コストほぼゼロ。「とにかく試す」をAIが実現する 7 / 8 1,515回 5-Fold CV 合計学習回数（ユニーク実験数 約300） • 何が効くかはタスク次第 → とにかく試す (Do Everything) • 書く→ダメなら捨てて作り直す → エージェントとの相性◎ 実験環境 Mac + Claude Code ↓ Google Drive ↓ Colab ×6並列
8. ちなみに… 「精度上げろ！」とパワハラしすぎるとClaudeが諦める なにをやっても精度上がらなくて、特にアイディアなく精度上げろとパワハラし続け ると… 5 / 8 いろんな⾔い回しで、撤退させようとしてくる
9. まとめ ⼈間のアイディア × 試⾏回数（Claude Code） 8 / 8 ⼈間のアイディア × 試⾏回数 （Claude Code） ⼈間とClaude Codeの得意を理解して、補い合う Kaggleだけでなく、精度向上が求められるR&D全般に同じことが⾔える GitHub: github.com/Chihiro-n/csiro-biomass-agentic-solution まとめ記事: https://zenn.dev/chiman/articles/b233cc808d6af3 コンペ資料: https://speakerdeck.com/chihironakayama/cao-konhezhen-rifan-ri