「おすすめコンペは何？」の答え方を真面目に考える / How to Choose Kaggle Competitions

Slide 1

Slide 1 text

「おすすめコンペは何？」の答え方を真面目に考える u++, 2020年7月31日（更新：2021年6月21日） 1

Slide 2

Slide 2 text

Q. おすすめコンペは何？ 2

Slide 3

Slide 3 text

Q. おすすめコンペは何？ A. 人それぞれだと思います 3

Slide 4

Slide 4 text

発表の概要「おすすめコンペは何？」という質問への自分なりの答え（2020年7月） 4

Slide 5

Slide 5 text

対象の聴衆参加者：KaggleやSignateなどデータ分析コンペに参加経験がある中級以上の方比較的経験が浅めの方回答内容自体が参考になれば嬉しい比較的経験が豊富な方回答方法自体が参考になれば嬉しい（資料のリンクを共有する形でご活用ください） 5

Slide 6

Slide 6 text

自己紹介 u++ (@upura0, sishihara) Kaggle PetFinderコンペ 1位、SIGNATE 糖尿病コンペ 3位、 Nishika 株主価値コンペ 2位『Weekly Kaggle News』の発行『PythonではじめるKaggleスタートブック』（講談社） 4.1「参加するコンペの選び方」の内容を掘り下げました 6

Slide 7

Slide 7 text

選ぶ上での観点下記の点から、自分に合ったコンペを選ぶ扱うデータの種類・サイズタスクの種類開催期間メダルの有無実行環境の制限タスクの面白さプラットフォームの性質 7

Slide 8

Slide 8 text

扱うデータの種類・サイズ業務で使う？知的好奇心？利用可能な計算資源？テーブル画像テキスト音声強化学習 ※ 複数を扱う「マルチモーダル」なコンペも 8

Slide 9

Slide 9 text

タスクの種類テーブル：分類・回帰画像：分類・回帰・セグメンテーション・物体検出などテキスト：分類・回帰・質問応答など 9

Slide 10

Slide 10 text

開催期間 2〜3カ月くらいのコンペが多い個人的なおすすめは、終了2週間前くらいの開催中のコンペ NotebookやDiscussionに情報が転がっている（Vote数でソート）「良コンペ」か否かの評判も出ている最後の順位開示の瞬間の一喜一憂がたまらない終了後の上位解法が勉強になる過去の良コンペも選択肢になり得る（後述） 10

Slide 11

Slide 11 text

メダルの有無 Kaggleではコンペごとに、メダルやポイントが獲得できる・できないが設定されている獲得できる方が、参加者の質が高く議論も活発で学びが得やすい傾向にある Kaggleでメダルが獲得できるコンペか否か確認する, u++の備忘録 11

Slide 12

Slide 12 text

実行環境の制限コンペのルール最近は実行環境の制限（処理内容・アクセラレータ・時間など）が設定されているコンペが増えている個々人の計算資源自分のパソコンのスペック、Kaggle Notebook、Google Colab、クラウド課金など 12

Slide 13

Slide 13 text

タスクの面白さ背景や社会的意義例：Deepfake Detection Challenge 現実で適用できるコンペ設計か？例：NFL Big Data Bowl 機械学習が必要か？例：ルールベースでは難しい、データが十分にある評価指標例：「運ゲー」になりづらいか？ 13

Slide 14

Slide 14 text

プラットフォームの性質 Kaggle以外のプラットフォームも SIGNATE ProbSpace Nishika TopCoder atmaCup Quevico ※ Discussionの有無や情報開示の可否などに注意 14

Slide 15

Slide 15 text

おすすめ過去コンペ kaggler-ja wiki 自分の場合はPetFinderコンペテーブル・画像・テキストのマルチモーダル当時使わなかったBERTやEfficientNetで良いスコアが出て面白い人は良い成績だったコンペをおすすめしがち 15

Slide 16

Slide 16 text

コンペ情報を知る twitterのKaggleリスト『Weekly Kaggle News』 16

Slide 17

Slide 17 text

まとめ Q. おすすめコンペは何？ A. 自分に合ったコンペを選びましょう扱うデータの種類・サイズタスクの種類開催期間メダルの有無実行環境の制限タスクの面白さプラットフォームの性質 17

Slide 18

Slide 18 text

By Marios Michailidis (KazAnova), KDD 2018 at London, from @0verfit ’s tweet 18

Slide 19

Slide 19 text

おまけ：賞金は？時給換算して金銭面だけを見ると、割りに合わない場合がほとんど「たまにお金がもらえるネトゲ」くらいの位置づけ ※ Deepfake Detection Challengeくらいになると別 19

Slide 20

Slide 20 text

おまけ：個人的印象 SIGNATE：日本最大級だが、コンペの質に不安も。コンペごとの情報開示の可否が明確になったが、成果物が公開できない場合も多い。 ProbSpace：コンペ設計に工夫が見られる。優勝解法のピアレビュー制が面白い。最終提出選択がない。日本語。 Nishika：立ち上がり期で、オープンデータを用いたコンペが多い。日本語。 Solafune：衛星データを題材にしたコンペを過去2度開催。 TopCoder：競技プログラミング。 atmaCup：最近は日本のKaggle Grandmaster/Masterが集結し、しのぎを削っている。運営のサポートが手厚く、初学者おすすめ度も高い。日本語。 Quevico：Discussionなし。日本語も対応。 20