atma cup #17 振り返り会

Transcript

1. atma cup #17 振り返り会 LT ソリューション紹介と勝因をふりかえる

2. 自己紹介 • アカウント名：ktr（@ktr_wtb）
 • しごと：LLM、音声認識系のアプリケーション開発いろいろ 
 • Kaggle Competition Master：だいたいNLPコンペに参加

3. 最終順位
4. LLMのLMヘッドを使ったSFT（Instruction Tuning）
 • 一般的に分類タスクで用いられるClassification Headを用いないで、LLMがもつ、LM Headをそ のまま使って、トークンを出力。そのトークンの出力確率をそのままクラスの確率として扱う 
 • 利用したモデルはgemma-2-9b-it 
 ◦ DeBERTaとのアンサンブルで+0.0003 
 解法
5. あらためて勝因だった Pointを振り返る
6. • kaggleで開催していたNLP系のコンペ 
 ◦ チャットボットアリーナ（LLMの出力を人手でジャッジするプラットフォーム）で、より好まれたLLMの出力の予測を行う
 • タスク
 ◦ 二つのモデルの出力に対して、winner model A/model B/引き分け の3値の分類問題
 ◦ Kaggle x NLPで単純な分類問題 だとDeBERTa一強だったが、このコンペではLLMしかワークしなかったので、割と 珍しいコンペだった
 • ちょうど、atma No17開催の数週間前に終了 
 ◦ タスク内容がNLPの分類問題で今回のコンペとほとんど同じ！
 ◦ ふりかえりのpipelineをほぼそのまま使えた！
 
 LMSYSの振り返りをしてたから
7. • ほとんどはClassificationHeadで問題を解くソリューション 
 • LM Head を使った解法はpublic notebook[1]で存在しており、議論[2]もされていた 
 • 性能的にはほとんど変わらない（or ClassificationHeadのほうがいい）との投稿 
 • 振り返り（Late Sub）で比較実験 
 ◦ サンプル数が少ない（16K）とLM Headで解いたほうが明らかに性能が良かった 
 ◦ コンペデータを全部使う（30K以上）と大体同じ性能くらいになった 
 • この他にもLoRA、QLoRA、vllmを使った推論効率化など参考になるnotebook、ディスカッションが多いの でLLMのfinetuning周りが気になる方は覗いてみるのがオススメです 
 
 [1]:[Training] Llama3-8b 4-bit QLoRA SFT 
 [2]:Prediction Using Generation Header 
 LMSYSで試して実感があった解法をそのまま使う
8. • 使ってみたら刺さった
 • privateで特によかったぽいが、LMSYSでは結構シェイクダウンくらったのでこの手法の 汎化性能が良いかは不明
 ◦ サブ数が少なかったのでpublicに過剰適合してなかった？
 
 
 
 今回も訓練サンプルは10K！ 振り返りが功を奏した🥳

9. • コンペ終了後は疲労感と徒労感でヘトヘト。。。
 • LBで一緒だった方とSlackでワークスペース作って感想戦しつつ、マイペースにLateSub する => モチベが続いていい感じだった
 ふりかえりはつらいので仲間を募るといいかもしれない
10. • 振り返りをしているといいことがあった
 ◦ ひとりで振り返ると孤独。モチベの維持も難しいので、コンペ終わりに振り返り仲間を募る ムーブは結構いいかもしれない
 • 振り返りの重要性はゆめねこ（@yume_neko92）さんのスライドがオススメ
 ◦ 第2回関東kaggler会 LT コンペ振り返りのすすめ
 • 改めて楽しいコンペティションありがとうございました
 
 まとめ