Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
CA x atmaCup 2nd, 5th Place Solution
Shotaro Ishihara
December 08, 2020
Technology
2
540
CA x atmaCup 2nd, 5th Place Solution
「#7 CA x atmaCup 2nd 振り返り回」での発表資料
https://atma.connpass.com/event/198237/
Shotaro Ishihara
December 08, 2020
Tweet
Share
More Decks by Shotaro Ishihara
See All by Shotaro Ishihara
機械学習コンペの近年の潮流 2022 年 4 月版 / ml competition trend 2022.04
upura
0
880
Editors-in-the-loop なニュース記事要約システムの提案 / Editors-in-the-loop News Article Summarization Framework
upura
0
1.5k
日本経済新聞社における自然言語処理の取り組み / yans2022 nikkei nlp
upura
0
31
Pythonによるアクセスログ解析入門 / Tutorial on Access Log Analysis by Python
upura
9
9.1k
Kaggleの魅力と取り組み方 / Attractiveness and Approach of Kaggle
upura
0
590
Adversarial Validation to Select Validation Data for Evaluating Performance in E-commerce Purchase Intent Prediction
upura
0
110
AutoGluon-Tabular を用いたアンサンブルによる日本語質問応答システムの構築 / AIO solution by AutoGluon-Tabular
upura
1
1.1k
東海高校OBが語るマスコミでのデータサイエンティストの仕事 / data scientist in news media at satprogram38
upura
0
1.4k
Basketball Behavior Challenge 1st Place Solution
upura
0
690
Other Decks in Technology
See All in Technology
LINEのData Platform室が実践する大規模分散環境のCapacity Planning
line_developers
PRO
0
670
プルリク作ったらデプロイされる仕組み on ECS / SRE NEXT 2022
carta_engineering
1
470
OSS ことはじめ
hsbt
3
570
A1A会社紹介資料-2022-05-20
a1a
2
1.1k
キャッチアップ Android 13 / Catch up Android 13
yanzm
2
1.2k
Who owns the Service Level?
chaspy
5
1.2k
⚡Lightdashを試してみた
k_data_analyst
0
220
Graph API について
miyakemito
0
290
TypeScript 4.7と型レベルプログラミング
uhyo
6
3.5k
Dagu | オンプレ向けワークフローエンジン(WebUI 同梱)
yohamta
0
190
新規ゲームのリリース(開発)前からのSRE活動
tmkoikee
1
450
1,000万人以上が利用する「家族アルバム みてね」のSRE組織は4年間でどのように作られてきたのか/SRE NEXT 2022
isaoshimizu
6
3.3k
Featured
See All Featured
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_i
21
14k
Teambox: Starting and Learning
jrom
121
7.6k
Atom: Resistance is Futile
akmur
255
20k
GraphQLの誤解/rethinking-graphql
sonatard
24
6.2k
jQuery: Nuts, Bolts and Bling
dougneiner
56
6.4k
Thoughts on Productivity
jonyablonski
43
2.2k
Building Adaptive Systems
keathley
25
1.1k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
4
450
Designing Dashboards & Data Visualisations in Web Apps
destraynor
224
49k
The Illustrated Children's Guide to Kubernetes
chrisshort
14
35k
The Art of Programming - Codeland 2020
erikaheidi
32
5.8k
How GitHub Uses GitHub to Build GitHub
holman
465
280k
Transcript
CA × atmaCup 2nd 振り返り会 5th Place Solution ~チームマージ後の戦略を 中⼼に~
チーム: pao++ (u++ & pao) 2020年12⽉10⽇ 1
チーム紹介 public 4位 -> private 5位 u++: https://twitter.com/upura0 pao: https://twitter.com/pppaaaooo
2
最終的なベスト お互いの予測値の重み付き平均 u++: StratifiedKFoldで学習したLightGBM (public lb: 0.3015, 7位相当) pao: Timesplitで学習したLightGBM
(public lb: 0.2859, 13位相当) u++が使っている未来系特徴は最終⽇に近づくほど⽋損が増 える/paoさんのモデルの⽅が最終⽇に近づくほど性能が⾼い ので、最終⽇に近づくほどpaoさんの重みを上げている (public: 0.3072 -> 0.3089, 4位相当) 3
順位の変遷 4
チームマージ前(u++) 類似コンペのKaggle「TalkingData AdTracking Fraud Detection Challenge」の1位解法を参考にしつつ、1100程度 を作成 StratifiedKFoldで学習したLightGBMが、CV: 0.3736、LB: 0.2427
と過学習気味 (macbook pro RAM 16GB で取り組んでいた) 5
チームマージ前(pao) Timesplitで学習したLightGBM(最後1週間をValidに)で、 CV: 0.2460、LB: 0.2319 特徴量を作成しCVを確認しながら追加し、100程度 「特徴量を追加してもCVが下がってばかりで苦戦している」 -> 順位的には上にいたが過学習に苦しんでいたu++と、 特徴量のアイディアを欲していたpaoさんの利害が⼀致した
6
チームマージ後の戦略 . Slack に private channel を作成 . お互いの取り組みを簡単に共有 .
予想通り⽅向性がある程度異なっていたので、アンサンブル に期待しつつ、多様性を保ちながら互いのモデルを育ててい くことに . バリデーション、特徴量、ハイパーパラメータなどの気付き は積極的に議論 7
サブミット回数 ⽔曜夜のチームマージ時点で残り32サブ(23サブ消化) 最初にサブミット回数について確認 ひとまず1⼈10サブくらいは⾃由に 残りはアンサンブル? ⾦曜朝に2⼈ともLB: 0.264に到達 アンサンブル上げ幅の確認のため平均を提出し、LB: 0.280(相関は0.836) 改めて個々のモデルを伸ばす⽅針に(残り20サブ)
終了までどれくらい時間が使えるか、いつ最後のアンサ ンブルをするかも確認 8
モデルの改善(u++) paoさんのアドバイスに沿って、trainとtestで解離しがちな特徴量 を除いていくことでLBが向上 たとえば「⽇付の day 部分を抽出した特徴はtestの期間が8 ⽇間しかないので危険かも」など 1⼈で取り組んでいると気付きづらい点を指摘してもらった 具体的には特徴量を10個ほど削除することで、⼀気にLB: 0.2643
-> 0.2996 (チームマージで決意を固め、GCP RAM 128GB に課⾦) 9
モデルの改善(pao) u++側で効いていた特徴量のアイディアを活⽤ ユーザ単位で次の imp_at との差分など、未来特徴量 詳細はDiscussion参照(参加者のみ) https://www.guruguru.science/competitions/12/discussions/81f b3840-8902-4def-905f-a9a246f9aa39/ 10
未来特徴量の⼯夫 trainとtestでは期間が異なるので、同じように作るとtrainと testで解離が発⽣ trainの最初の⽅では、次の imp_at が14⽇後というデ ータが存在するが、testは8⽇間しかない testの最終⽇は、最⼤でも24時間後のデータ ⼀定の期間以上のデータを null
に置換すると解離が防 げる⼀⽅で、情報量が落ちる testの⽇付分の8モデルを作成(LB: 0.2705 -> 0.2869) 初⽇モデル: 8⽇後以降は null 、2⽇⽬モデル: 7⽇後以 降は null 、、、最終⽇モデル: 24時間以降は null 11
⽇付別モデルの⽐較 12
Date Weight Ensemble paoさんモデルの⽅がtest後半に強くなると想定した重み付き平均 (LB: 0.3072 -> 0.3089) pao_weight =
{ '2020-06-27': 0.1, '2020-06-28': 0.18, '2020-06-29': 0.26, '2020-06-30': 0.33999999999999997, '2020-07-01': 0.42000000000000004, '2020-07-02': 0.5, '2020-07-03': 0.58, '2020-07-04': 0.66 } ※ 重みは適当だが、late subしても超えられず 13
まとめ CA × atmaCup 2nd の 5位解法の紹介 paoさんとのチームマージ後の戦略を中⼼に 14