Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
atma cup #17 振り返り会
Search
ktr
October 17, 2024
360
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
atma cup #17 振り返り会
ktr
October 17, 2024
Transcript
10 slides
atma cup #17 振り返り会 LT ソリューション紹介と勝因をふりかえる
自己紹介 • アカウント名:ktr(@ktr_wtb) • しごと:LLM、音声認識系のアプリケーション開発いろいろ • Kaggle Competition Master:だいたいNLPコンペに参加
最終順位
LLMのLMヘッドを使ったSFT(Instruction Tuning) • 一般的に分類タスクで用いられるClassification Headを用いないで、LLMがもつ、LM Headをそ のまま使って、トークンを出力。そのトークンの出力確率をそのままクラスの確率として扱う • 利用したモデルはgemma-2-9b-it
◦ DeBERTaとのアンサンブルで+0.0003 解法
あらためて勝因だった Pointを振り返る
• kaggleで開催していたNLP系のコンペ ◦ チャットボットアリーナ(LLMの出力を人手でジャッジするプラットフォーム)で、より好まれたLLMの出力の予測を行う • タスク ◦ 二つのモデルの出力に対して、winner model
A/model B/引き分け の3値の分類問題 ◦ Kaggle x NLPで単純な分類問題 だとDeBERTa一強だったが、このコンペではLLMしかワークしなかったので、割と 珍しいコンペだった • ちょうど、atma No17開催の数週間前に終了 ◦ タスク内容がNLPの分類問題で今回のコンペとほとんど同じ! ◦ ふりかえりのpipelineをほぼそのまま使えた! LMSYSの振り返りをしてたから
• ほとんどはClassificationHeadで問題を解くソリューション • LM Head を使った解法はpublic notebook[1]で存在しており、議論[2]もされていた •
性能的にはほとんど変わらない(or ClassificationHeadのほうがいい)との投稿 • 振り返り(Late Sub)で比較実験 ◦ サンプル数が少ない(16K)とLM Headで解いたほうが明らかに性能が良かった ◦ コンペデータを全部使う(30K以上)と大体同じ性能くらいになった • この他にもLoRA、QLoRA、vllmを使った推論効率化など参考になるnotebook、ディスカッションが多いの でLLMのfinetuning周りが気になる方は覗いてみるのがオススメです [1]:[Training] Llama3-8b 4-bit QLoRA SFT [2]:Prediction Using Generation Header LMSYSで試して実感があった解法をそのまま使う
• 使ってみたら刺さった • privateで特によかったぽいが、LMSYSでは結構シェイクダウンくらったのでこの手法の 汎化性能が良いかは不明 ◦ サブ数が少なかったのでpublicに過剰適合してなかった?
今回も訓練サンプルは10K! 振り返りが功を奏した🥳
• コンペ終了後は疲労感と徒労感でヘトヘト。。。 • LBで一緒だった方とSlackでワークスペース作って感想戦しつつ、マイペースにLateSub する => モチベが続いていい感じだった ふりかえりはつらいので仲間を募るといいかもしれない
• 振り返りをしているといいことがあった ◦ ひとりで振り返ると孤独。モチベの維持も難しいので、コンペ終わりに振り返り仲間を募る ムーブは結構いいかもしれない • 振り返りの重要性はゆめねこ(@yume_neko92)さんのスライドがオススメ ◦ 第2回関東kaggler会 LT
コンペ振り返りのすすめ • 改めて楽しいコンペティションありがとうございました まとめ
More Decks by ktr
See All by ktr
Jigsaw-ACRC-7th-place
ktrw1011
1
500
Quora With BERT
ktrw1011
0
2.1k
APTOS_2019_Blindness_Detection_96th_Solution
ktrw1011
0
850
Featured
See All Featured
The innovator’s Mindset - Leading Through an Era of Exponential Change - McGill University 2025
jdejongh
PRO
1
400
GraphQLの誤解/rethinking-graphql
sonatard
75
12k
Building AI with AI
inesmontani
PRO
1
1.4k
How to Ace a Technical Interview
jacobian
280
24k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
287
14k
Building Adaptive Systems
keathley
44
3.3k
Bioeconomy Workshop: Dr. Julius Ecuru, Opportunities for a Bioeconomy in West Africa
akademiya2063
PRO
1
470
The Cost Of JavaScript in 2023
addyosmani
56
10k
Into the Great Unknown - MozCon
thekraken
41
2.8k
Marketing Yourself as an Engineer | Alaka | Gurzu
gurzu
0
390
WENDY [Excerpt]
tessaabrams
15
41k
Documentation Writing (for coders)
carmenintech
77
5.7k