MAP, Jigsaw, Code Golf 振り返り会 by 関東Kaggler会|Jigsaw 15th Solution

MAP, Jigsaw, Code Golf 振り返り会 by 関東Kaggler会(2025/11/27) -Jigsaw LT①hasibirok0,kinosuke,kfsky

Transcript

1. Jigsaw Agile Community Rules 15th Solution + α *hasibirok0/Kinosuke/kfsky 2025/11/27 MAP, Jigsaw, Code Golf 振り返り会 by 関東Kaggler会
2. 15th solution
3. 多様性を意識したアンサンブル ソリューション概要 アプローチ 役割 モデル例 上位解法と 共通点 Causal LM (Generative) 精度 Qwen3 4B, Qwen2.5 7B 1位, 2位, 6位など金圏上位 主流 Sequence Classification 精度+多様化 Gemma2 2B, DeBERTa 9th(DeBERTa) Semantic Search (Retrieval) 多様化 E5 Base, BGE Base 3th,9th モデル間 「多様性」を最優先
4. ▪ 性質 異なる解法を組み合わせる ▪ Singleスコアが低くとも相関 低いモデルを採用 →汎化性能を高めた 多様性を意識したアンサンブル ソリューション概要 Model Task Training Data Public LB Private LB Time (min) Qwen3-4B Causal LM test.csv + train.csv (Few-Shot) 0.92 0.914 278 Qwen2.5-7B Causal LM test.csv + train.csv + synthetic data (Zero-Shot) 0.902 0.899 193 Gemma2-2B Classification test.csv (subreddit deduplicated) 0.914 0.906 90 DeBERTa-v3-base Classification Stage 1: synthetic data, Stage 2: test.csv (subreddit deduplicated) 0.909 0.901 38 ModernBERT-base Classification test.csv (subreddit deduplicated) 0.895 0.889 30 BGE-base Classification test.csv (subreddit deduplicated) 0.903 0.895 56 E5-base Semantic Search no training (retrieval only) 0.887 0.877 15 Ensemble 0.93183 0.92657 多様性を出すため 3つ 異なるタスク (Causal LM, Classification, Semantic Search) 多様性を出すため train.csv, test.csv, ※合成データ 組み合わせ ※gpt-oss-120b,qwen3-next-80B,qwen3-235B debertaで使用(+0.003 スコアup) モデル間 「多様性」を最優先
5. ▪ アンサンブル 比率 以下 通り: ▪ LLM (Qwen3 4B,Qwen2.5-7b): (Total 0.45) ▪ Encoder/Embedding(DeBERTa,Gemma2-2B,ModernBERT): (Total 0.40) ▪ Semantic Search(Retrieval)(E5 Base, BGE Base): (Total 0.15) ▪ 確率値 分布がモデルや手法ごとに大きく異なるため、 Rank化することでスケールを統一 し、モデル間 貢献度を公平に評価 最終予測 、 7つ モデル 予測値を Rank(順位)に変換して加重平均 アンサンブル :Rank Averaging ソリューション概要
6. 最終予測 、 7つ モデル 予測値を Rank(順位)に変換して加重平均 アンサンブル :Rank Averaging ソリューション概要
7. ▪ 学習時 Labelを逆転、推論時 No トークン確率を予測値として使用 ▪ 0.918/0.912 ---> 0.920/0.914 (Pub/Pri) 0.002 score up ▪ ※Qwen2.5, Gemmaで 効かなかった でたまたまかも Qwen3-4B：「違反」で なく「遵守」 を予測する 工夫ポイント Qwen3-4B ルール違反 Qwen3-4B ルール遵守 初期アプローチ 発想 転換
8. ▪ 合成データをローカルで学習し、そ モデルを TTT ▪ 0.90623/0.89800 ---> 0.90904/0.90145 (Pub/Pri) 0.003 score up ▪ ※時間切れでModernBERT試せなかった DeBERTa-v3：合成データで 2stage学習 工夫ポイント DeBERTa-v3 Stage1:オフライン学習 Stage2:オンライン学習 train - gpt-oss-120b: 4,000 - Qwen3-235B: 7,500 - Qwen3-Next-80B: 7,500 - train.csv DeBERTa-v3 load checkpoint test.csv
9. ▪ LMSYS 公開Notebookを転用 ▪ 90min/LB0.914 高コスパモデル ▪ LoRA Tareget Moduleをallにし2bに変えるだけ。 ▪ 0.91469/0.90720 (Pub/Pri) ▪ ※gemma2-9b Publicが2bと変わらず0.914だった で不採用 Gemma2-2B 工夫ポイント vote数すごい！
10. Tips:Unsloth(Test Time Training)
11. ▪ Unsloth:ファインチューニングを高速化・省メモリ化するライブラリ ▪ Kaggle T4 GPU (16GB VRAM) * 2台という環境でも TTTが可能に UnslothによるTest Time Training Tips:Unsloth(Test Time Training) 特徴 Unsloth 性能 Kaggleで 恩恵 採用チーム 高速化 Hugging Face実装比で 2倍〜5倍 速い 12時間制限 中で複 数 大規模モデル学 習が可能に 1位, 2位, 7位, 8位, 9位, 18位など多数 省メモリ メモリ使用量を 最大60%削減 T4 1枚で 14Bモデル 学習を可能にした 同上
12. (参考)4-bit+QLoRA 場合、Unslothでどこまでいける？ Tips:Unsloth(Test Time Training) ▪ ~14BモデルをT4 1枚で学習可能 ▪ Unsloth Notebooks ▪ T4 2枚なら24B〜モデルも可能らしい (要検証) ▪ Fine-tuning Magistral with Unsloth ▪ マルチGPU対応も進めてる で、より大きなモデルもより簡単にトレーニング できるか？ ▪ multi-gpu-training-with-unsloth ▪ GRPOも対応してる ▪ GRPO (Reasoning RL) notebooks
13. Tips:推論 高速化
14. generate特有 サンプリング処理や停止判定を全カット Logits 直接参照 (1st, 2ndなど ) Tips:推論 高速化 →推論速度を大幅に向上
15. LLM 巨大な出力層 (Vocab数:15万)を捨て、自作 2クラス分類層に付け替え 分類ヘッド (Classification Head) 工夫(6th) Tips:推論 高速化 →巨大な lm_head 重みをメモリに乗せる必要がなくなり、 計算量とVRAMを大幅削減することでバッチサイズを倍増できる
16. Tips:uv on kaggle
17. uv 使ってますか？
18. Kaggleで uv使ってますか？
19. ▪ uvと ？→pip よりも大幅に高速なパッケージ管理ツール ▪ 2024年12月にColabベース Docker Imageに移行した に伴い、 kaggle環境でもuvが使えるように ▪ 使い方も簡単 !uv pip install --system <library-name> ▪ オフライン環境でももちろん使える ▪ whl ファイルをkaggle inputとしてアップロードしておく !uv pip install --system --no-index --find-links=/kaggle/input/my-packages/ <library-name> uvをKaggleで使う Tips:uv on Kaggle
20. uvをKaggleで使う Tips:uv on Kaggle ▪ A.通常 pipインストール (pip install) ▪ B.uvを使ったpipインストール (uv pip install) どれくらい早くなるか？
21. uvをKaggleで使う Tips:uv on Kaggle どれくらい早くなるか →180sec程度短縮できる！
22. ▪ ただしこちらで uv じめ使えないコマンドがある模様 Our new Package Manager feature configures your notebook to perform offline pip installs. This feature will allow you to bring your favorite python packages that are not installed in our default notebook environment to any competition. [Feature Launch] Introducing Package Manager uvをKaggleで使う Tips:uv on Kaggle (補足)Package Manager機能もある