関西kaggler会_2025_1_Mujirushi.pdf

Transcript

1. データ分析 学会コンペは ”何か”の役に立つ Mujirushi
2. ・名前：鈴木 明作（スズキ メイサク） ・所属：NTT docomo R&D ・学会コンペ参加歴： - KDDCUP 2023(Amazon Task3) : 9位入賞 - Human Mobility Challenge 2023 : 3位入賞 - KDDCUP 2024(清華大学 Task1,Task2) : 6位入賞, 6位入賞 - Human Mobility Challenge 2024(geo-bleu部門) : 3位入賞 自己紹介
3. データ分析 学会コンペとは データ分析 学会コンペ(通称:学会コンペ)とは学会に併設されているコンペ 例）主催学会と学会コンペ - KDD（データマイニング）：KDDCUP - Recsys（推薦システム）：Recsys Challenge - NeurIPS （AI・機械学習）： NeurIPSコンペ - WSDM （Web・データマイニング）： WSDMCUP etc. → KDDCUPをベースに学会コンペを紹介
4. 学会コンペ vs Kaggle 学会コンペ（KDDCUPの場合） Kaggle 課題設定 学術的・研究的な課題が多い 実務（ビジネス）寄りな課題が多い コンペ開催時期 学会開催前 常時開設 最終順位 Public LeaderBoardで決定 Private LeaderBoardで決定 予測提出形式 コンペに完全依存(github, csv, etc.) お決まりパターンがある(csv, コード, etc.) 入賞順位 上位5~10位 参加チーム数に応じた 上位数%にメダル付与 参加チーム数 数十〜数百チーム 数百〜数千チーム 解法公開 論文 & 学会発表 winners call & Kaggleのdiscussion, code ※ 一般化しているため、あくまで参考です
5. ・KDDCUP2024では、①Amazon, ②Meta, ③清華大/ZhipuAIの3社がコンペ主催 ・その結果、合計で11個のコンペが開催(Task1つ=1コンペ) ① Amazon主催 オンラインショップLLM応答 ② Meta主催 RAG応答精度の向上 ③ 清華大学/ZhipuAI主催 論文データベース関連予測 TASK1. ショッピングコンセプト理解 TASK2. ショッピング知識推論 TASK3. ユーザ行動の調整 TASK4. 多言語での応答 TASK5. TASK1~4の総合評価 TASK1: 著者と紐付く論文を予測 TASK2: 学術質問に紐づく論文を予測 TASK3: 引用論文の影響度を予測 TASK1:検索要約 TASK2:ナレッジ予約とweb検索 TASK3: E2Eの検索拡張生成 KDDCUP2024の例
6. ここが良いよ、学会コンペ ・先進的な知見を得られる - Kaggleの先駆け的な技術知見が得られることも ・入賞すると、論文投稿/海外発表/賞金獲得 - トップカンファレンス投稿論文として名を残せる - 海外Kagglerと技術討論できることも - 賞金でKaggleができる KDDCUP2024 ①Amazonにおける 優勝チームQwen2-72B-awq(オレンジ) vs GPT-4 Turbo(青)
7. ここが辛いよ、学会コンペ ・コンペが不安定なときもある - ホストの返信がない - スケジュール遅延(最終順位が発表されない) etc. KDDCUP2024 ②meta ホストのスライド(反省スライド) 和訳（一部抜粋） ・フォーラムの質問は素早く回答する ・想定外な事態に驚かない
8. 学会コンペは”Kaggle”の役に立つ 学会コンペ解法がKaggleの先駆けになることも KDDCUP2024 ①Amazon優勝チーム解法 1.LLMによる学習データ生成 2.QLoRAでファインチューニング 3. 制限時間内&制限ハードウェア上で高速推論(vLLMなど) https://arxiv.org/pdf/2408.04658
9. 学会コンペは”業務”の役に立つ 「Kaggleは”業務”の役に立つ」は学会コンペでも当てはまる ・最新技術キャッチ, 仮説思考, コミュニティ構築, 検証戦略(validation strategy) etc. https://note.com/nash_efp/n/n914471142caf https://speakerdeck.com/yu4u/jing-ji-tositenokaggle-yi-nili-tukaggle
10. 学会コンペは”研究”の役に立つ(Kaggle advent calendar 2024 Yyamaさん記事の一部抜粋) “Kaggleは研究の役に立ってる： ソリューションとコンペデータのその後 (医用画像を中心に)” ・コンペのソリューションが研究に用いられた事例 “この研究では、読影レポートから臓器別の異常所見の有無について構造化ラベルを構築した上で、 教師あり学習を行うことによりCTの異常所見を検出することに成功しています。 …RSNAのCervical Spine Fracture Detectionで用いられた手法にヒントを得たことが明言 されています。” https://note.com/yyama0/n/n290a5a28708c KaggleのRSNA(放射線科学会) が研究に役立ってる事例を紹介
11. “学会コンペで論文執筆の流れを学んだ話” “執筆・査読の期間が短い 学会コンペでは、執筆・査読の期間が短い場合が多いです” https://upura.hatenablog.com/entry/kaggle-advent-20241217 学会コンペは”論文執筆”の役に立つ (Kaggle advent calendar 2024 u++さん記事の一部抜粋) “論文とは2週間で書くものである (という認知)”の役に立つ
12. 学会コンペはKaggleは学会コンペの役に立つ！ 過去のKaggle上位解法を活用して学会コンペ6位入賞 例）3rd place solution Kaggle: Learning Equality ・概要：幼稚園~高校3年生の教材同士マッチング ・上位解法：検索&リランキング,対照学習 etc. 学会コンペ: KDDCUP2024 ③清華大学Task2 ・概要：学術質問と対応する論文をマッチング ・上位解法：検索&リランキング,対照学習 etc. リランキング 論文 40万件 予測 検索 100件 20件
13. 学会コンペは”技術革新”の役に立つ ・深層学習（Deep Learning）が一躍有名になったきっかけも学会コンペ ・画像認識の学会コンペであるILSVRC 2012 (ImageNet Large Scale Visual Recognition Challenge) にて、深層学習が他手法を精度で圧倒するなどして、第三次AIブーム到来 https://www.image-net.org/challenges/LSVRC/
14. さいごに 学会コンペに参加していれば、 歴史的な”技術革新”の瞬間を目撃 or 自らの手で起こせるかもしれない… ※ Kaggle, atmacup etc.も同じく。
15. Let’s 学会コンペ！ ご清聴ありがとうございました
16. 参考. 学会コンペの参加方法＆ルール ・基本的に参加方法やルールはKaggleと同じ（KDDCUP2024 Amazonの場合は”AIcrowd”から参加) ・チーム参加が可能(プライベートシェアリングはNG) ・1日のサブミット回数が制限 etc. 参加登録
17. 参考. NTT docomo KDDCUP2024参加記事 ・KDDCUP2024に入賞したので現地でポスター発表してきました https://nttdocomo-developers.jp/entry/2024/10/16/090000 ・データ分析コンペ KDDCUP 2024 OAG-IND 入賞解法の紹介 https://nttdocomo-developers.jp/entry/2024/11/14/090000 ・データ分析コンペKDDCUP 2024 OAG-AQA 6位入賞解法の紹介 https://nttdocomo-developers.jp/entry/2024/10/17/090000 ・「引用論文の影響度合いを予測せよ」：データ分析コンペKDDCUP2024 OAG-PST 8位入賞解法紹介 https://nttdocomo-developers.jp/entry/2024/11/06/090000 https://qiita.com/dcm_chida/items/5da1530ab69961c2c828