データコンペを開いた話

 データコンペを開いた話

データコンペを開いた時のあれこれのお話です

C4c6c7b4fdf9285bcf12c5caa58c8d53?s=128

Yamaguchi Takahiro

September 19, 2019
Tweet

Transcript

  1. データコンペ を開いた話

  2. Hello! 山口貴大 twitter @nyker_goto atma 株式会社 取締役/ DS / ふろんと

    / ばっくえんど / いんふら Kaggle Master kaggle.com/nyk510 京都大学大学院 最適化数理卒 SGDが好き 2
  3. 3 とつぜんですが

  4. 4 atmaCup ご存知ですよね?

  5. 5 え、知らない?

  6. atmaCupとは atma 株式会社が主催するオンサイトデータコンペ https://atma-cup.atma.co.jp • 実際に会場に集まり、準備されたデータをテーマに沿って 分析・予測を行いその精度を競うイベント • 全員で一斉にスタートし短い時間で決着するため参加者のスキ ルがオンラインのデータコンペより強く結果に表れます。

    6
  7. atmaCup #1 8/3 #1(第2回)を開催 全参加者: 26人 (東京から10人以上) 参加者の半数が Kaggler の超ハイレベルな大会

    Kaggle GrandMaster: 1人 Kaggle Master: 5人 Kaggle Expert: 7人 終了後のアンケートでは 全員が次回も参加したい(5段階評価)と回答 :D 7
  8. しかし!! 8

  9. コンペを作るのは なかなか大変!!! 9

  10. 大変だったこと × システムを作るのが大変 × 使うデータの選定が大変 × いい感じの解ける問題を作るのが大変 10

  11. Kaggle っぽいシステムを作る必要性 • スコア計算/ランキング • ディスカッション・Vote • チームマージ… Vue.js +

    Nuxt ✖ DjangoRestFramework GitlabCIによる自動デプロイ + AWS(ECS) つくってわかるアプリとしての Kaggle の凄さ 1.システムを作るのが大変 11
  12. 2.使うデータの選定が大変 それを解いてためになる問題にしたい • 匿名データではないリアルなデータを用意 (まあまあ大変) Train/Public/Private の分割は慎重に…… • Leakage があると何を言われるかわからないこわい

    いい感じ(要出典)にハンドリングできるデータ量に • 一日しかないのでその中で扱えるぐらいのいい感じ(要出典)の データ 12
  13. 3.いい感じの解ける問題を作るのが大変 Leak とかなかったらいいかというとそうでもない • 解けないと面白くない • でも簡単すぎると差がつかない いい感じ(要出典)に差がつくような問題設定にする必要がある 13

  14. 結果どうなるか… 14

  15. いい感じに作るの 大変すぎて病む 15

  16. 16 *コンペ前日

  17. よかったこと!! × みんなで解くのは楽しい これは本当に、たのしい!! × [回答者として]とても勉強になる みんなが何をやっているか知れるのは大きい × [出題者として]出題の難しさを知れる 17

  18. よだん AutoMLも参戦してました (8位/31) くわしい顛末はブログで AutoML Tablesを使ってKagglerを倒せなかった話 #atmaCup https://atma.hatenablog.com/entry/2019/08/26/180951 18

  19. 次回 10月 ~ 11月頃 開催予定 データ提供元募集中! atmaCup #2

  20. THANKS! Arigato Gozaimashita !! 20