Prizeを捉える解法の見つけ方（第4回 関東Kaggler会）

Transcript

2. 1. ⾃⼰紹介 2. Prizeを捉える解法の⾒つけ⽅ 3. おまけ：⽴ち直れないぐらい落ち込んだときのメンタリティ ⽬次
3. • esprit（えすぷり） • 経歴：公⽴中学 → 公⽴⾼校 → 国⽴⼤学 → 出版‧教育 → 通信 ◦ Kaggleを知ったのは出版‧教育のとき ◦ Pythonを触ったのはこのときが初めて ⇒ ⼀⼈でコンペ完⾛、チームマージをお願いする、などして成⻑ ◦ Kaggleの実績を付加価値に、通信に転職 • Prize圏でfinishした回数：３ ※うち１回はBAN ◦ ⾦メダルは３枚 ⼀⽅、Prize圏でfinishしたのも３回 ※うち１回はBAN ◦ Prize圏に繰り返し到達できているのは何故か？ なにかパターンがあるのか？ ⇒ 今⽇はこの点についてお話しします ⾃⼰紹介
4. Prizeを捉える解法の⾒つけ⽅
5. • 「みんな⾒つけている解法」でPrizeを捉えるのはほとんど無理 • 超洗練された解法 or 誰も⾒つけていない「斬新な解法」 ? • 後者の「斬新な解法」について、３つのケースで分解してみます 前提
6. • コンペ名 ：Linking Writing Processes to Writing Quality（タイピングコンペ） 要約   ：タイピングのログデータから、学⽣のエッセイスコアを予測するコンペ メトリック：RMSE 成績   ：1st (BAN) / 1876 teams • ほとんどの参加者はテーブルコンペとして取り組んでいた • ログデータ上のアルファベットキーは全部"Q", "q"に置換されているが、⼀応テキストの形にできる • 「これってNLPコンペなのでは？🤔」 ※espritはNLPが得意でテーブルコンペが不得意 • Debertaで予測したり、Debertaで特徴量を作ったり ⇒ スコア爆上がり みんなが「テーブルコンペ」と考えているところに「これはNLPコンペ！」として参⼊できると強い Case 1：⾃分の得意領域をPrize解法にできるケース
7. • コンペ名 ：Bengali.AI Speech Recognition 要約   ：ベンガル語の⾳声データを⽂字起こしするコンペ メトリック：WER（Word Error Rate） 成績   ：3rd / 744 teams • ⾳声認識モデルでAudio-to-Textするのが基本。更なる+αが欲しい • ディスカッションの深層にて未知との遭遇 「句読点復元モデル？🤔」 • チームメイトの強⼒な⾳声認識モデル ＋ 独⾃の句読点復元モデル ⇒ スコア爆上がり ディスカッションの⽬⽴たないところでとんでもない🤔が発⾒される場合がある Case 2：ディスカッションの深層でPrize解法を発⾒できるケース
8. • コンペ名 ：Drawing with LLMs（お絵描きコンペ） 要約   ：与えられたプロンプトに即したSVG画像を⽣成するコンペ メトリック：VQAスコア*1、審美スコア、OCRスコア*2 *1: プロンプトに忠実かどうかを測る４択問題の正解率、*2: 画像内に５⽂字以上のテキストが描かれた場合のペナルティ 成績   ：2nd / 1309 teams • テキストを描くことで⾮常に⾼いVQAスコアが得られることが、コンペ序盤から議論されていた • ずっと１位にいた⼈物のプロフィールが > •      「OCRだけすり抜けるフォントが作れると思う」 ⇒ 0時22分に作り始めて、2時23分に完成 ⇒ コンペ終了の31⽇前にGold到達、26⽇前にPrize到達        🤔を確信したらアタリを引くまで粘る Case 3：リーダーボードの⾯⼦からPrize解法を⾒出せるケース テキストの中にテキスト →失敗... テキスト上に⽩線 →失敗... テキスト上に破線 →成功！
9. "a lighthouse overlooking the ocean" 1st 2nd 3rd
10. • おさらい ◦ Case 1：⾃分の得意領域をPrize解法にできるケース ◦ Case 2：ディスカッションの深層でPrize解法を発⾒できるケース ◦ Case 3：リーダーボードの⾯⼦からPrize解法を⾒出せるケース • 経験として分かっていること ⬛ Prizeを捉える解法は、⼤抵光の当たっていないところで⾒つかる 󰔞 Prizeを捉える解法は、１年に１回ぐらいは訪れる 🗿 Prize解法と思いきやゴミだった、というケースはかなり多い 💎 Prize解法を掴んだら絶対に⼿放してはならない Prizeを捉える解法の⾒つけ⽅
11. おまけ：⽴ち直れないぐらい落ち込んだときのメンタリティ
12. • Kaggleで最も落ち込むシーン ◦ ⼤幅シェイクダウン ◦ BAN •             ⼈⽣訓 ◦ 何事もそれほど深刻に考えすぎないのが⼤切 ◦ 結局Kaggleは良ゲーなのでやめられはしない おまけ：⽴ち直れないぐらい落ち込んだときのメンタリティ
13. Kaggle Winner Presentation Template 13 💎🏹