Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
「おすすめコンペは何?」の答え方を真面目に考える / How to Choose Kaggle Competitions
Shotaro Ishihara
July 31, 2020
Technology
2
3.9k
「おすすめコンペは何?」の答え方を真面目に考える / How to Choose Kaggle Competitions
「Rist主催 Kaggle Workshop #1」での発表資料
https://rist.connpass.com/event/182932/
Shotaro Ishihara
July 31, 2020
Tweet
Share
More Decks by Shotaro Ishihara
See All by Shotaro Ishihara
Analysis and Estimation of News Article Reading Time with Multimodal Machine Learning
upura
0
92
データ分析の進め方とニュースメディアでのデータ活用事例 / data-analysis-in-kaggle-and-news-media
upura
0
490
国際会議参加報告 AACL-IJCNLP 2022 / AACL-IJCNLP 2022 Report
upura
0
270
spoana 2022年の活動報告と 来年以降の企画募集 / spoana-2022
upura
0
500
Semantic Shift Stability: Efficient Way to Detect Performance Degradation of Word Embeddings and Pre-trained Language Models
upura
0
830
実践:日本語文章生成 Transformers ライブラリで学ぶ実装の守破離 / Introduction of Japanese Text Generation with Transformers
upura
5
7.6k
Nikkei at SemEval-2022 Task 8: Exploring BERT-based Bi-Encoder Approach for Pairwise Multilingual News Article Similarity
upura
0
440
[Poster] Nikkei at SemEval-2022 Task 8: Exploring BERT-based Bi-Encoder Approach for Pairwise Multilingual News Article Similarity
upura
0
400
新聞記事のクリック率予測に向けたペアワイズ学習用データセットの構築手法の検討 / JSAI2022 Generating Pairwise Dataset for CTR Prediction
upura
0
86
Other Decks in Technology
See All in Technology
API連携に伴う規制と対応 / Regulations and responses to API linkage
moneyforward
0
160
OpenShiftクラスターのアップグレード自動化への挑戦! / OpenShift Cluster Upgrade Automation
skitamura7446
0
200
re:Invent発表のサービスを取り入れて加速する弥生のSecurity&Governance / accelerating YAYOI's Security and Governance with services announced at reinvent
yayoi_dd
0
140
AWS Cloud Forensics & Incident Response
e11i0t_4lders0n
0
400
目指せCoverage100%! AutoScale環境におけるSavings Plans購入戦略 / JAWS-UG_SRE_Coverage
taishin
0
520
AI Services 概要 / AI Services overview
oracle4engineer
PRO
0
170
組織に対してSREを適用するとどうなるか
kuniim
9
3k
AWS re:Invent 2022で発表された新機能を試してみた ~Cloud OperationとSecurity~ / New Cloud Operation and Security Features Announced at AWS reInvent 2022
yuj1osm
1
220
NGINXENG JP#2 - 3-NGINX Plus・プロダクトのアップデート
hiropo20
0
250
創業1年目のスタートアップでAWSコストを抑えるために取り組んでいること / How to Keep AWS Costs Down at a Startup
yuj1osm
3
2.2k
SignalR を使ったアプリケーション開発をより快適に!
nenonaninu
0
670
UEでPLATEAU触ってみた
41h0_shiho
0
210
Featured
See All Featured
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
217
21k
The Illustrated Children's Guide to Kubernetes
chrisshort
22
43k
StorybookのUI Testing Handbookを読んだ
zakiyama
8
3.2k
YesSQL, Process and Tooling at Scale
rocio
159
12k
Music & Morning Musume
bryan
37
4.6k
The Pragmatic Product Professional
lauravandoore
21
3.5k
Embracing the Ebb and Flow
colly
75
3.6k
GitHub's CSS Performance
jonrohan
1020
430k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
109
16k
Building Applications with DynamoDB
mza
85
5k
No one is an island. Learnings from fostering a developers community.
thoeni
12
1.5k
Facilitating Awesome Meetings
lara
33
4.6k
Transcript
「おすすめコンペは何?」 の答え方を真面目に考える u++, 2020年7月31日(更新:2021年6月21日) 1
Q. おすすめコンペは何? 2
Q. おすすめコンペは何? A. 人それぞれだと思います 3
発表の概要 「おすすめコンペは何?」という質問への自分なりの答え (2020年7月) 4
対象の聴衆 参加者:KaggleやSignateなどデータ分析コンペに参加経験 がある中級以上の方 比較的経験が浅めの方 回答内容自体が参考になれば嬉しい 比較的経験が豊富な方 回答方法自体が参考になれば嬉しい (資料のリンクを共有する形でご活用ください) 5
自己紹介 u++ (@upura0, sishihara) Kaggle PetFinderコンペ 1位、SIGNATE 糖尿病コンペ 3位、 Nishika
株主価値コンペ 2位 『Weekly Kaggle News』の発行 『PythonではじめるKaggleスタートブック』(講談社) 4.1「参加するコンペの選び方」の内容を掘り下げました 6
選ぶ上での観点 下記の点から、自分に合ったコンペを選ぶ 扱うデータの種類・サイズ タスクの種類 開催期間 メダルの有無 実行環境の制限 タスクの面白さ プラットフォームの性質 7
扱うデータの種類・サイズ 業務で使う?知的好奇心?利用可能な計算資源? テーブル 画像 テキスト 音声 強化学習 ※ 複数を扱う「マルチモーダル」なコンペも 8
タスクの種類 テーブル:分類・回帰 画像:分類・回帰・セグメンテーション・物体検出など テキスト:分類・回帰・質問応答など 9
開催期間 2〜3カ月くらいのコンペが多い 個人的なおすすめは、終了2週間前くらいの開催中のコンペ NotebookやDiscussionに情報が転がっている (Vote数でソート) 「良コンペ」か否かの評判も出ている 最後の順位開示の瞬間の一喜一憂がたまらない 終了後の上位解法が勉強になる 過去の良コンペも選択肢になり得る(後述) 10
メダルの有無 Kaggleではコンペごとに、メダルやポイントが獲得できる・ できないが設定されている 獲得できる方が、参加者の質が高く議論も活発で学びが得や すい傾向にある Kaggleでメダルが獲得できるコンペか否か確認する, u++の備忘録 11
実行環境の制限 コンペのルール 最近は実行環境の制限(処理内容・アクセラレータ・時間など) が設定されているコンペが増えている 個々人の計算資源 自分のパソコンのスペック、Kaggle Notebook、Google Colab、 クラウド課金 など
12
タスクの面白さ 背景や社会的意義 例:Deepfake Detection Challenge 現実で適用できるコンペ設計か? 例:NFL Big Data Bowl
機械学習が必要か? 例:ルールベースでは難しい、データが十分にある 評価指標 例:「運ゲー」になりづらいか? 13
プラットフォームの性質 Kaggle以外のプラットフォームも SIGNATE ProbSpace Nishika TopCoder atmaCup Quevico ※ Discussionの有無や情報開示の可否などに注意
14
おすすめ過去コンペ kaggler-ja wiki 自分の場合はPetFinderコンペ テーブル・画像・テキストのマルチモーダル 当時使わなかったBERTやEfficientNetで良いスコアが出 て面白い 人は良い成績だったコンペをおすすめしがち 15
コンペ情報を知る twitterのKaggleリスト 『Weekly Kaggle News』 16
まとめ Q. おすすめコンペは何? A. 自分に合ったコンペを選びましょう 扱うデータの種類・サイズ タスクの種類 開催期間 メダルの有無 実行環境の制限
タスクの面白さ プラットフォームの性質 17
By Marios Michailidis (KazAnova), KDD 2018 at London, from @0verfit
’s tweet 18
おまけ:賞金は? 時給換算して金銭面だけを見ると、割りに合わない場合がほ とんど 「たまにお金がもらえるネトゲ」くらいの位置づけ ※ Deepfake Detection Challengeくらいになると別 19
おまけ:個人的印象 SIGNATE:日本最大級だが、コンペの質に不安も。コンペご との情報開示の可否が明確になったが、成果物が公開できな い場合も多い。 ProbSpace:コンペ設計に工夫が見られる。優勝解法のピア レビュー制が面白い。最終提出選択がない。日本語。 Nishika:立ち上がり期で、オープンデータを用いたコンペが 多い。日本語。 Solafune:衛星データを題材にしたコンペを過去2度開催。 TopCoder:競技プログラミング。
atmaCup:最近は日本のKaggle Grandmaster/Masterが集結 し、しのぎを削っている。運営のサポートが手厚く、初学者 おすすめ度も高い。日本語。 Quevico:Discussionなし。日本語も対応。 20