atmaCup23-LT

Transcript

1. 「そこそこ良いスコア」の再現性 初心者でもスタートダッシュで気持ちよくなろう Turing × atmaCup 2nd 振り返り会
2. サンプルのスペック 名前 Ispagiytiy (ﻲﺘﻴﻏﺎﺒﺳا) 専門 古典イスラーム（ムハンマドの誕生からハディースの形成まで） 経験 なんと、驚きの 神学部（B1） atmaCup22: 25th(6th) • Nishika&REVAMP: (12th) • PhysioNet: bronze • atmaCup23: 22th(5th) • 
3. 解法 〉 〉 01  EigenPlacesBaseline • monnuさんのBaselineを信じる • これをベースにいじってみる 02  MegaLoc • あまりにも強かった • モデルの変更は初心者でも簡単 03  1024/768 • なぜかこの２解像度で平均する とスコアが上昇
4. 技術力に依存せず、 スコアの安定性を得よう  Discussion 強い上に再現性 ⭕  ChatGPT 資本主義の元に平等  Experiments 遮二無二にならない管理
5. Discussion を頼る理由  そこにあるから せっかくあるなら使わない手はない  経験則 強い人の経験則が反映されているのは大 きい  コミュニティの力 Discussion が盛んでリソースが豊富  再現性 正しく組み込んでいくことが用意
6. 重要だったDiscussion  EigenPlaces Baseline シンプルかつ高精度でベースとしての地力が強かった。  入力サイズごとのCV, LB の比較 解像度が精度に割と影響するという示唆が得られた。  EDA 各種 これがないと遮二無二な実験になってしまい、 ダサい。 〉  この時点で、 なんと 学生5 位に なれてしまう
7. 能力による分業  ChatGPT (Codex)  人力 Discussion の解説 ✓ 知らない手法のサーベイ ✓ パラメタのチューニング ✓ 詳細な dig ✓ Codex の尻拭い ✓ Codex へのパワハラ ✓
8. ChatGPT (Codex) の評価  試行を稼げる  ストレスが溜まる パラメタのチューニングは自律化できて 便利 ✓ 色々食わせてたくさん方針を立てられる ✓ 分析結果をzipで読み込ませると色々楽 ✓ 割と諦め癖があり、撤退を具申しがち × 明らかに奇妙なコーディングをするとき がある × 結局、戦略のdigとかは人間様が必要 ×
9. 実験管理  個人的実験管理  嬉しさ コードを変えるごとに exp を更新し、output と version (再現性確保) を作成 • 実装した戦略は、分析を必ずつける 例）rerank を入れたら、nearest や改善幅等、細かく記 録 • dig の深度を決められる 例）そもそも top-k に nearest が全然ないなら dig って も微妙 • ChatGPT に食わせることが可能 • 解法提出のとき、堂々とできる •
10. 経験・知識・技術の不足は 後半に効いてくる ⏱ 鮮度が命 時間が経つにつれ、やはり「そこそこ良いスコア」は到達される 後半になると、上手い改善を叶える技術のない側はジリ貧 とはいえ、スタートダッシュで駆け上がると気持ちが良い。