Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データコンペを開いた話
Search
Yamaguchi Takahiro
September 19, 2019
Science
0
420
データコンペを開いた話
データコンペを開いた時のあれこれのお話です
Yamaguchi Takahiro
September 19, 2019
Tweet
Share
More Decks by Yamaguchi Takahiro
See All by Yamaguchi Takahiro
コンペを気楽に開催しよーぜ!@関西Kaggler会
nyk510
0
1.3k
Django のセキュリティリリースを見る
nyk510
0
97
3分でMLアプリを作る 〜推論コードにちょっとのStreamlitを添えて〜
nyk510
1
1.1k
硬派で真面目なグラフを描く
nyk510
0
520
CORSをちゃんと理解する atmaバックエンド勉強会#4
nyk510
0
410
pythonで気軽にパッケージを作るのは良いという話。
nyk510
14
9.7k
RestAPIのページネーション atma バックエンド勉強会 #3
nyk510
1
970
AWS CPU Credit を完全に理解する
nyk510
0
460
atmaCup#8 Opening
nyk510
0
270
Other Decks in Science
See All in Science
Gemini Prompt Engineering: Practical Techniques for Tangible AI Outcomes
mfonobong
2
150
安心・効率的な医療現場の実現へ ~オンプレAI & ノーコードワークフローで進める業務改革~
siyoo
0
320
Hakonwa-Quaternion
hiranabe
1
120
A Guide to Academic Writing Using Generative AI - A Workshop
ks91
PRO
0
130
07_浮世満理子_アイディア高等学院学院長_一般社団法人全国心理業連合会代表理事_紹介資料.pdf
sip3ristex
0
600
ウェブ・ソーシャルメディア論文読み会 第25回: Differences in misinformation sharing can lead to politically asymmetric sanctions (Nature, 2024)
hkefka385
0
130
Agent開発フレームワークのOverviewとW&B Weaveとのインテグレーション
siyoo
0
330
深層学習を用いた根菜類の個数カウントによる収量推定法の開発
kentaitakura
0
180
オンプレミス環境にKubernetesを構築する
koukimiura
0
340
Lean4による汎化誤差評価の形式化
milano0017
1
300
白金鉱業Meetup Vol.16_【初学者向け発表】 数理最適化のはじめの一歩 〜身近な問題で学ぶ最適化の面白さ〜
brainpadpr
11
2.3k
[Paper Introduction] From Bytes to Ideas:Language Modeling with Autoregressive U-Nets
haruumiomoto
0
130
Featured
See All Featured
Reflections from 52 weeks, 52 projects
jeffersonlam
351
21k
It's Worth the Effort
3n
187
28k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Agile that works and the tools we love
rasmusluckow
330
21k
Into the Great Unknown - MozCon
thekraken
40
2k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Faster Mobile Websites
deanohume
309
31k
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.5k
The Straight Up "How To Draw Better" Workshop
denniskardys
236
140k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
Why Our Code Smells
bkeepers
PRO
339
57k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Transcript
データコンペ を開いた話
Hello! 山口貴大 twitter @nyker_goto atma 株式会社 取締役/ DS / ふろんと
/ ばっくえんど / いんふら Kaggle Master kaggle.com/nyk510 京都大学大学院 最適化数理卒 SGDが好き 2
3 とつぜんですが
4 atmaCup ご存知ですよね?
5 え、知らない?
atmaCupとは atma 株式会社が主催するオンサイトデータコンペ https://atma-cup.atma.co.jp • 実際に会場に集まり、準備されたデータをテーマに沿って 分析・予測を行いその精度を競うイベント • 全員で一斉にスタートし短い時間で決着するため参加者のスキ ルがオンラインのデータコンペより強く結果に表れます。
6
atmaCup #1 8/3 #1(第2回)を開催 全参加者: 26人 (東京から10人以上) 参加者の半数が Kaggler の超ハイレベルな大会
Kaggle GrandMaster: 1人 Kaggle Master: 5人 Kaggle Expert: 7人 終了後のアンケートでは 全員が次回も参加したい(5段階評価)と回答 :D 7
しかし!! 8
コンペを作るのは なかなか大変!!! 9
大変だったこと × システムを作るのが大変 × 使うデータの選定が大変 × いい感じの解ける問題を作るのが大変 10
Kaggle っぽいシステムを作る必要性 • スコア計算/ランキング • ディスカッション・Vote • チームマージ… Vue.js +
Nuxt ✖ DjangoRestFramework GitlabCIによる自動デプロイ + AWS(ECS) つくってわかるアプリとしての Kaggle の凄さ 1.システムを作るのが大変 11
2.使うデータの選定が大変 それを解いてためになる問題にしたい • 匿名データではないリアルなデータを用意 (まあまあ大変) Train/Public/Private の分割は慎重に…… • Leakage があると何を言われるかわからないこわい
いい感じ(要出典)にハンドリングできるデータ量に • 一日しかないのでその中で扱えるぐらいのいい感じ(要出典)の データ 12
3.いい感じの解ける問題を作るのが大変 Leak とかなかったらいいかというとそうでもない • 解けないと面白くない • でも簡単すぎると差がつかない いい感じ(要出典)に差がつくような問題設定にする必要がある 13
結果どうなるか… 14
いい感じに作るの 大変すぎて病む 15
16 *コンペ前日
よかったこと!! × みんなで解くのは楽しい これは本当に、たのしい!! × [回答者として]とても勉強になる みんなが何をやっているか知れるのは大きい × [出題者として]出題の難しさを知れる 17
よだん AutoMLも参戦してました (8位/31) くわしい顛末はブログで AutoML Tablesを使ってKagglerを倒せなかった話 #atmaCup https://atma.hatenablog.com/entry/2019/08/26/180951 18
次回 10月 ~ 11月頃 開催予定 データ提供元募集中! atmaCup #2
THANKS! Arigato Gozaimashita !! 20