分析コンペの開催と運営について / Organization and Management of the Data Analysis Competition

■イベント 
：分析コンペ勉強会
https://sansan.connpass.com/event/202716/

■登壇概要
タイトル：分析コンペの開催と運営について
発表者： 
DSOC R&D研究員 　黒木 裕鷹

▼Twitter
https://twitter.com/SansanRandD

Transcript

1. 分析コンペの開催と運営について Sansan株式会社 DSOC R&D研究員 ⿊⽊裕鷹 分析コンペ勉強会 (2021.03.02)
2. Data Strategy and Operation Center ⾃⼰紹介 ⿊⽊ 裕鷹 オンライン名刺 • 2020年4⽉⼊社 • kaggle expert （よわめ） Yutaka Kuroki Sansan 株式会社 DSOC（Data Strategy & Operation Center） R&D Data Analysis Group 研究員 @kur0cky_y
3. 2020年10⽉
4. atmaCup #6 を開催しました
5. Data Strategy and Operation Center atmaCup #6 課題：企業の業種ラベルを予測せよ • 企業間の名刺交換トランザクション*や企業情報を元に，企業の業種を予測 • 評価指標は Accuracy@top2 出題の意図 • Sansan や Eight におけるニュース配信や採⽤サービスのパーソナライズ / レコメンデーションに活⽤ • ビジネスの意思決定においては，機械学習による予測だけでなく，解釈可能な 情報の作成が必要 *当社で公開情報をもとに作成した企業情報と個⼈向け名刺アプリ「Eight」のデータ． 「Eight」のデータに関しては，個⼈を匿名化し，Eightのユーザによって登録された名刺の情報をEightの利⽤規約で許諾を得ている範囲において使⽤．
6. Data Strategy and Operation Center コンペ開催の⽬的 • コンセプト：”Activating Business Data” • ブランディング • 会社でなく組織 (DSOC) の知名度も上げていきたい • 採⽤ブランディング：事業拡⼤にともなう採⽤拡⼤ • 技術者へのブランディング：特に，コンペ界隈に対しては弱くなってきた．かつて はGMが複数⼈いた（現在は1⼈） • 知⾒獲得 • トッププレイヤーによるスコアの確認 • 多様な EDA
7. 結論：コンペ開催は良いこと尽くし
8. Data Strategy and Operation Center 開催側のはなし • ⾮常に良い資料がある • atma ⼭⼝さんの発表：コンペ設計のはなし • CyberAgent ⾦⼦さんの発表：コンペ主催のはなし（ビジネス観点） https://speakerdeck.com/ykaneko1992/bizinesu- falseren-de-nixi-siikonpekai-cui-falseyarifang https://speakerdeck.com/nyk510/onsaitodetakonpe falsemei-li-guan-waruquan-yuan-gale-siikonpeshe- ji-falsetamefalsequ-rizu-mi
9. 本発表では 実務寄りの裏側をお伝えしたい
10. Data Strategy and Operation Center アジェンダ 1. コンペ開催に関わっていた部署紹介 2. 企画から振り返りまで 3. まとめ
11. コンペ開催に関わっていた部署紹介
12. Data Strategy and Operation Center 携わった部署 atma 株式会社 さん 役割：タスク設計，当⽇の運営，LT会の審査 ⽬的：組織・技術ブランディング / 知⾒の獲得 R&D 役割：運営（予算・会場・契約・etc…） ⽬的：採⽤ブランディング ⼈事部 役割：connpass 運営，コンテンツのデザイン， 情報公開のチェック DSOC Creative / 広報 役割：契約内容の確認，情報公開のチェック 法務部 ⼭⼝さん 様々な調整 契約・コミュニケーション
13. 企画から振り返りまでの流れ
14. Data Strategy and Operation Center 全体の流れ 2020年6⽉ 7⽉ 9⽉ 8⽉ 11⽉ 10⽉ ⼈事 R&D 法務 採⽤媒体告知 課題設計 課題データチェック 企画 媒体選定・契約・調整 connpass, 資料調整 契約確認 （採⽤） 当 ⽇ 盛り上げ Twitter 振り返り会 Creative 広報
15. Data Strategy and Operation Center 企画・媒体選び • 企画 > コロナ禍で，サマーインターンの⾒通しが不明瞭 > R&D としても，オンラインイベントを開催していきたい > コンペは開催実績があった • 選定の基準：様々な要件のトレードオフ > 参加⼈数，費⽤，秘密保持契約（参加者）が結べるか，準備期間，⺟集団，⼯数 > すべて⾃前で開催するという選択肢もあった > ターゲット：強い DS ⼈材，広く技術者 à SNS などで盛り上がることも重要 • atma さんとの契約・秘密保持契約の締結 > 共同研究や過去開催などの経験が豊富なマネージャ・法務との連携体制（超重要） 2020年6⽉ 7⽉ 9⽉ 8⽉ 11⽉ 10⽉
16. Data Strategy and Operation Center タスク選定 • R&D 数名による様々な案 > 問題が出せないことだけは避ける à スピード感もって複数案出しする必要があった > Sansan らしいデータ（名刺画像？名刺交換？） • 仮タスク設計 > いけるイメージのあるものをいくつか à いくつか解いてみる à atma さんと議論 > 使えそうな課題やデータの洗い出し：個⼈情報は使わない > マスクの⼯夫：企業が特定されないようなデータになっているか > ベースラインモデルの構築：コンペとして成⽴するかどうか • R&D 内での役割分担 > タスク設計，出せる情報のチェック，データ正規化（human computation のエキスパートが 活躍） 2020年6⽉ 7⽉ 9⽉ 8⽉ 11⽉ 10⽉
17. Data Strategy and Operation Center atma さんとのやりとり • 参加⼈数やオフラインの有無などのすり合わせ • タスクに対する認識すり合わせ > お互い解く > 精度と取り組み共有 à 同じような精度になることを確認 à もう⼀度解いて共有 > goto さんの綿密な検証：shake や leak はなさそうだという判断 2020年6⽉ 7⽉ 9⽉ 8⽉ 11⽉ 10⽉
18. Data Strategy and Operation Center 周知・集客 • connpass サイト作成 > 他イベントも多数開催しており，お決まりフロー • 抽選 > 参加枠を⼤幅に超える応募（⼤感謝！！） > 実⼒者の⽅々も落選するデメリットはあったが，広いブランディングを優先 • 各種媒体での周知（⼈事） > ⼈事：各種採⽤媒体や既存の繋がり > DSOC：Twitter 2020年6⽉ 7⽉ 9⽉ 8⽉ 11⽉ 10⽉
19. Data Strategy and Operation Center コンペ期間中 • Twitter実況 • LT会・結果発表 > LT 賞・学⽣部⾨・Sansan(33)賞 も設けた > 全員で楽しみたい • オフライン・オンラインのハイブリッド配信 > zoom + youtube live > 現地からは zoom で何台か接続． • 賞⾦とノベルティの送付 2020年6⽉ 7⽉ 9⽉ 8⽉ 11⽉ 10⽉
20. Data Strategy and Operation Center 当⽇の様⼦ • オフラインは LT 発表者と運営に限った • 機材のレイアウトも邪魔にならないよう⼯夫
21. Data Strategy and Operation Center 後⽇ • アンケートの確認 > データ削除 > タスクや運営に関するフィードバック • 振り返りとして KPT を実施（Keep, Problem, Try） > K：学会その他よりも濃い接触・ブランディングができた > P：直近の成果を求めるより⻑期的なブランディングに振り切ったほうが良い？ > P：課題重かった？（FB: ハンドリング難しかった＆質が良かった） 1回のサブミッションに時間がかかる à 盛り上がりにくい？ > T：より短期間（2daysとか）で盛り上げる > T：枠をもっと増やす
22. まとめ
23. Data Strategy and Operation Center まとめ • コンペ開催の裏側を実務よりの⽬線でお伝えしました • たくさんの⽬的が絡み合う⼿段になり得る．連携が重要 • より多くの楽しいコンペが開催される助けとなれれば幸いです！！