Kaggle Notebookの計算資源だけ使って画像コンペでソロ金を取る秘訣

by Yusuke-Takagi-Q

Slide 1

Slide 1 text

Kaggle Notebookの計算資源だけ使って画像コンペでソロ金を取る秘訣 2023年11月26日髙木優介

Slide 2

Slide 2 text

CONFIDENTIAL Copyright © LPIXEL Inc. 2 自己紹介 ● 名前：髙木優介 ○ Xアカウント名：たっかー（@takka__Q） ○ Kaggle ：Q_takka（https://www.kaggle.com/qtakka） ● 所属：エルピクセル株式会社研究開発本部シニアエンジニア ○ AI画像診断支援技術のアルゴリズム開発などを行っています ■ Kaggleはめちゃくちゃ役に立ってます😄 ○ Software Design誌にて「画像解析AIの作り方」連載中 ● Kaggle Competitions Master ○ 主に画像コンペにソロで参加 ○ 無課金Master ■ 直近2回は public金 → private銀をやらかしているので反省中

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

CONFIDENTIAL Copyright © LPIXEL Inc. 5 実際に・・・約1年前のコンペ「HuBMAP + HPA - Hacking the Human Body」において、Kaggle Notebookの計算資源だけで7位！ ● 病理画像内の組織をセマンティックセグメンテーションするコンペ ● 前回のHuBMAPでも残り2週間までKaggle Notebookのみで頑張って金圏にしがみついていました次スライド以降で秘訣を説明します！ ⇦ Solutionの最後に書いたこと :)

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

CONFIDENTIAL Copyright © LPIXEL Inc. 9 秘訣2：計算資源と時間の活用方法 Kaggle NotebookのGPUは基本的に週30時間しか使えない・・・なので、時間の使い方が肝に 1. データセットの作られ方を分析し、どのようにLBを活用すべきか検討 ○ 使用できる時間の関係上どうしてもLBの結果に頼る必要があるため ○ 正しいvalidationの作り方の方針も定まる 2. 1実験 4~5時間程度で終わるアーキテクチャを探してその周辺を探索 ○ 基本的に1日1モデル学習する（4時間/日 x 7日 = 28時間） ○ コンペに参加しているときは、1日も休まない気持ちで ○ 8時間くらい学習しないと精度が出ない時は諦めて強いサーバに頼る😭

Slide 10

Slide 10 text

CONFIDENTIAL Copyright © LPIXEL Inc. 10 秘訣2：計算資源と時間の活用方法 Kaggle NotebookのGPUは基本的に週30時間しか使えない・・・なので、時間の使い方が肝に 3. 1日の内、1subは作成したモデルを投げ、残り4subは細かな条件（閾値など）を探索するのに使用 ○ とりあえず何かきっかけを掴むためにも毎日5subする ○ アンサンブルする段階に入ったら、4subはアンサンブル方法探索にも使う

Slide 11

Slide 11 text

Slide 12

Slide 12 text

CONFIDENTIAL Copyright © LPIXEL Inc. 12 秘訣3：アンサンブル戦略前述の通り、Kaggle Notebookにはモデル作成時間も計算資源もないそのような中で高スコアのsubmitを作る必要ある → コンペでは高性能な単体モデルが求められている訳ではない ● コンペ中盤あたりから早々にアンサンブルに取り掛かるのが吉 ● 作成するモデルもアンサンブルに有効なものを作ることに注力

Slide 13

Slide 13 text

CONFIDENTIAL Copyright © LPIXEL Inc. 13 まとめ ● モデル作成の王道からは少し離れたことも紹介しましたが、 Kaggle Notebookの計算資源でもソロ金を取ることは可能！ ● 今回紹介した秘訣を参考に、Kaggle Notebookの計算資源だけで金メダルにチャレンジしてみてはいかがでしょうか？ ○ やることなくてモチベーション低下中のGMの方いかがですか？（Appendixに無課金Masterになった経緯なども載せています）

Slide 14

Slide 14 text

Slide 15

Slide 15 text

CONFIDENTIAL Copyright © LPIXEL Inc. 15 Appendix：無課金でMasterに ● 最初のメダルは、学生時代に参加したTwo Sigmaコンペ（株価予測） ○ 運よく銀メダルを取れた ○ Kaggle Notebookのみ（学習自体Kaggle Notebookでやらないといけないルール） ● 以降もいくつかコンペに参加したがメダルは取れず ○ 研究室に配属になってからは Kaggle < 研究

Slide 16

Slide 16 text

CONFIDENTIAL Copyright © LPIXEL Inc. 16 Appendix：無課金でMasterに ● 就職してから再びKaggleに参加 ● 次のメダルは現職の自己研鑽制度で会社の計算資源を借りて出た UW-Madison GI Tract Image Segmentation コンペ ○ 銅メダル ○ これでもわかる通り、過去全てのコンペでKaggle Notebookだけの資源で挑戦したわけではない ● 次はHuBMAP ○ 紹介済み

Slide 17

Slide 17 text

CONFIDENTIAL Copyright © LPIXEL Inc. 17 Appendix：無課金でMasterに ● その次は、RSNA コンペで銀メダル ○ 自己研鑽制度で会社の計算資源を借りた ○ ここでMasterに ● 最後に前回のHuBMAPで銀メダル ○ 残り2週間までKaggle Notebookで頑張って金圏にいました ○ 最終盤でより大きいモデルの方が精度が出ることが分かったので、自己研鑽制度で会社の計算資源を借りた

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

CONFIDENTIAL Copyright © LPIXEL Inc. 20 Appendix：弊社紹介ホームページ：https://lpixel.net/ note : https://note.com/lpixel/ 採用情報： ● https://herp.careers/v1/lpixel ● https://www.wantedly.com/companies/lpixel お問い合わせ：https://lpixel.net/lpixel_contact_form/