Kaggleで成長するために意識したこと

Kaggleのチュートリアル第7版に寄稿した内容です。

Transcript

1. ちくわぶ@Prgckwb Kaggleで成長するために意識したこと ちくわぶ @prgckwb 2026/07/16
2. ちくわぶ@Prgckwb 目次 1. 自己紹介 2. Kaggleのチュートリアル第7版への寄稿 3. 初心者の頃のアンチパターン 4. 初心者の頃を振り返って 5. 現在の Kaggle の取り組み方 6. まとめ
3. ちくわぶ@Prgckwb 自己紹介 • ちくわぶ （X, Kaggle ともに @prgckwb) • 新卒２年目の機械学習エンジニア(専門は CV) ◦ フルスタックに広告ドメインの仕事をしています ◦ 最近、社内で Kaggle ゼミを立ち上げました • Kaggle Competitions Master (🥇x1, 🥈x3, 🥉x3) • クラフトビールと Mr.Children が好きです ちくわぶ (@prgckwb)
4. ちくわぶ@Prgckwb Kaggleのチュートリアル第7版への寄稿 • 「Kaggle で成長するために意識したこと」の題で寄稿しました • 修士課程1年の頃からの Kaggle 経験を振り返ってみた • 主に、初心者〜Expertの方むけのメンタル的な話です
5. ちくわぶ@Prgckwb 初心者の頃のアンチパターン 自分が陥っていたアンチパターン 1. Kaggle コンペに参加する目的が徐々に曖昧になっていく 2. 高スコアの公開ノートブックを理解せずに提出する 3. AI に答えをそのまま聞く
6. ちくわぶ@Prgckwb 初心者の頃のアンチパターン Kaggle コンペに参加する目的が徐々に曖昧になっていく • 最初は応用的な知識が欲しくてコンペに参加する → 時間が経つと、段々 「LB スコアの最大化」が目的に • アプローチは無数に存在するのに何らかの正解アプローチを探そうとする
7. ちくわぶ@Prgckwb 初心者の頃のアンチパターン 高スコアの公開ノートブックを理解せずに提出する • LB で上位に上がりたくて、ついつい手を出してしまう • そのまま理解せずに提出した場合 ◦ 得られる知識がない ◦ 他のアプローチを検討できなくなる
8. ちくわぶ@Prgckwb 初心者の頃のアンチパターン AI (LLM, Agent) に答えをそのまま聞く • 最近の LLM は賢いので、丸投げで勝てそうな気がしてしまう • メタ的に考えてみると・・・ ◦ LLM はどんな回答を出すように学習されているのか？ ◦ コンペの解法って一意に定まるものなのか？ ◦ みんなが簡単に思いつく・AIに聞いて出せる解法で勝てるのか？
9. ちくわぶ@Prgckwb 初心者の頃を振り返って こうしたアンチパターンを続けた結果 • 多くの時間をかけたのに知識が増えた実感がない • 特定のコンペの特定の状況でしか通用しない再現性の欠如 • そもそも勝てない！ → なんとなく終わると、なんとなく忘れていくと気づく
10. ちくわぶ@Prgckwb 現在の Kaggle の取り組み方 初参加から２年以上が経過して、再現性が出始めた取り組み方 • コンペ参加の目的が徐々に曖昧になっていた → 知見の吸収を第一目標にする！ • ハイスコアの公開ノートブックをそのまま提出していた → 短期的な報酬に釣られず何が高スコアの要因か？を吸収する • AIに答えをそのまま聞く → 最終的な意思決定者は自分である意識を持つ
11. ちくわぶ@Prgckwb 現在の Kaggle の取り組み方 知見の吸収を第一目標にする • 具体的な例 ◦ 「画像分類コンペに出て基礎的なアプローチを学ぶ」 ◦ 「事前学習済みモデルの選択方法がわかるようになる」 ◦ 「エージェントをフル活用してドメイン知識の吸収から スコア最大化までをいかに素早く処理できるかを学ぶ」 • 些細なものでも良いので、コンペ終了後に言語化できる状態を目指す
12. ちくわぶ@Prgckwb 現在の Kaggle の取り組み方 短期的な報酬に釣られず何が高スコアの要因か？を吸収する • スコアが簡単に上がる楽しさに勝つ強い気持ち • 個人的に意識している Kaggle の短期報酬例 ◦ 高スコアの公開NB をそのまま提出 ◦ 序盤から細かいハイパラ調整を行う ◦ とりあえず巨大なモデルで学習 • 本質から遠ざからないようにしたい
13. ちくわぶ@Prgckwb 現在の Kaggle の取り組み方 最終的な意思決定者は自分である意識を持つ • ドメイン知識がなくても手綱は自分が握っていた方が得るものが多い ◦ 「AI にどんなことを調べて欲しいか？」 ◦ 「何を評価したくて何の処理を委譲したいか？」 • 「なんか良い感じに良いアプローチを試して」しか言えない場合 ◦ 何を聞くべきか把握できておらず、得られた回答にも意味を見いだせない
14. ちくわぶ@Prgckwb まとめ 1. 自分の初心者時代のアンチパターン a. 参加目的が曖昧になる / 公開NBのコピペ / AI に正解を聞く 2. 現在の取り組み方の変化 a. 知見の吸収を目的に / 短期報酬に釣られない / AI への聞き方を考える 3. 結果、以前よりも再現性のある取り組み方を学んだ → 目先の報酬に釣られずに再現性のある知見を積み上げよう！