Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データコンペを開いた話
Search
Yamaguchi Takahiro
September 19, 2019
Science
0
420
データコンペを開いた話
データコンペを開いた時のあれこれのお話です
Yamaguchi Takahiro
September 19, 2019
Tweet
Share
More Decks by Yamaguchi Takahiro
See All by Yamaguchi Takahiro
コンペを気楽に開催しよーぜ!@関西Kaggler会
nyk510
0
1.3k
Django のセキュリティリリースを見る
nyk510
0
90
3分でMLアプリを作る 〜推論コードにちょっとのStreamlitを添えて〜
nyk510
1
1.1k
硬派で真面目なグラフを描く
nyk510
0
510
CORSをちゃんと理解する atmaバックエンド勉強会#4
nyk510
0
400
pythonで気軽にパッケージを作るのは良いという話。
nyk510
14
9.6k
RestAPIのページネーション atma バックエンド勉強会 #3
nyk510
1
950
AWS CPU Credit を完全に理解する
nyk510
0
450
atmaCup#8 Opening
nyk510
0
260
Other Decks in Science
See All in Science
06_浅井雄一郎_株式会社浅井農園代表取締役社長_紹介資料.pdf
sip3ristex
0
530
Factorized Diffusion: Perceptual Illusions by Noise Decomposition
tomoaki0705
0
400
機械学習 - ニューラルネットワーク入門
trycycle
PRO
0
820
A Guide to Academic Writing Using Generative AI - A Workshop
ks91
PRO
0
120
Agent開発フレームワークのOverviewとW&B Weaveとのインテグレーション
siyoo
0
280
統計学入門講座 第4回スライド
techmathproject
0
150
データベース09: 実体関連モデル上の一貫性制約
trycycle
PRO
0
770
創薬における機械学習技術について
kanojikajino
16
5.3k
IWASAKI Hideo
genomethica
0
120
局所保存性・相似変換対称性を満たす機械学習モデルによる数値流体力学
yellowshippo
1
280
メール送信サーバの集約における透過型SMTP プロキシの定量評価 / Quantitative Evaluation of Transparent SMTP Proxy in Email Sending Server Aggregation
linyows
0
960
Machine Learning for Materials (Challenge)
aronwalsh
0
310
Featured
See All Featured
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
Docker and Python
trallard
45
3.5k
Six Lessons from altMBA
skipperchong
28
3.9k
Bash Introduction
62gerente
613
210k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.4k
A better future with KSS
kneath
238
17k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
How to train your dragon (web standard)
notwaldorf
96
6.1k
Fireside Chat
paigeccino
37
3.5k
Scaling GitHub
holman
460
140k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
830
Transcript
データコンペ を開いた話
Hello! 山口貴大 twitter @nyker_goto atma 株式会社 取締役/ DS / ふろんと
/ ばっくえんど / いんふら Kaggle Master kaggle.com/nyk510 京都大学大学院 最適化数理卒 SGDが好き 2
3 とつぜんですが
4 atmaCup ご存知ですよね?
5 え、知らない?
atmaCupとは atma 株式会社が主催するオンサイトデータコンペ https://atma-cup.atma.co.jp • 実際に会場に集まり、準備されたデータをテーマに沿って 分析・予測を行いその精度を競うイベント • 全員で一斉にスタートし短い時間で決着するため参加者のスキ ルがオンラインのデータコンペより強く結果に表れます。
6
atmaCup #1 8/3 #1(第2回)を開催 全参加者: 26人 (東京から10人以上) 参加者の半数が Kaggler の超ハイレベルな大会
Kaggle GrandMaster: 1人 Kaggle Master: 5人 Kaggle Expert: 7人 終了後のアンケートでは 全員が次回も参加したい(5段階評価)と回答 :D 7
しかし!! 8
コンペを作るのは なかなか大変!!! 9
大変だったこと × システムを作るのが大変 × 使うデータの選定が大変 × いい感じの解ける問題を作るのが大変 10
Kaggle っぽいシステムを作る必要性 • スコア計算/ランキング • ディスカッション・Vote • チームマージ… Vue.js +
Nuxt ✖ DjangoRestFramework GitlabCIによる自動デプロイ + AWS(ECS) つくってわかるアプリとしての Kaggle の凄さ 1.システムを作るのが大変 11
2.使うデータの選定が大変 それを解いてためになる問題にしたい • 匿名データではないリアルなデータを用意 (まあまあ大変) Train/Public/Private の分割は慎重に…… • Leakage があると何を言われるかわからないこわい
いい感じ(要出典)にハンドリングできるデータ量に • 一日しかないのでその中で扱えるぐらいのいい感じ(要出典)の データ 12
3.いい感じの解ける問題を作るのが大変 Leak とかなかったらいいかというとそうでもない • 解けないと面白くない • でも簡単すぎると差がつかない いい感じ(要出典)に差がつくような問題設定にする必要がある 13
結果どうなるか… 14
いい感じに作るの 大変すぎて病む 15
16 *コンペ前日
よかったこと!! × みんなで解くのは楽しい これは本当に、たのしい!! × [回答者として]とても勉強になる みんなが何をやっているか知れるのは大きい × [出題者として]出題の難しさを知れる 17
よだん AutoMLも参戦してました (8位/31) くわしい顛末はブログで AutoML Tablesを使ってKagglerを倒せなかった話 #atmaCup https://atma.hatenablog.com/entry/2019/08/26/180951 18
次回 10月 ~ 11月頃 開催予定 データ提供元募集中! atmaCup #2
THANKS! Arigato Gozaimashita !! 20