Upgrade to Pro — share decks privately, control downloads, hide ads and more …

[関西Kaggler会 20261113] 続・コミュニティコンペのススメ

YuyaYAMAMOTO
November 14, 2026

[関西Kaggler会 20261113] 続・コミュニティコンペのススメ

2023年の発表「コミュニティコンペの継続的な開催について」の続編です。50件以上の開催経験をもとに、賞金対応、コンペのクローン、Submissionの再採点、カスタム評価関数などの機能と活用方法を紹介します。漫画のセリフ生成やVLAによるクレーンゲームの事例を通して、評価設計の工夫と難しさについても振り返ります。

YuyaYAMAMOTO

November 14, 2026

Transcript

16 slides
  1. 自己紹介 山本 祐也 Yuya Yamamoto AI Solution Engineer CoreWeave /

    Weights & Biases 前職 Kaggle DataRobot Competitions Grandmaster 製造業を担当 ID: nejumi 大手製造業 2社 研究開発に従事
  2. コミュニティコンペ機能のアップデート 1. Cash Prizeへの対応 • 現在は最⼤$25,000相当まで、賞⾦‧賞品を 設定可能になった • 地域コミュニティや社内勉強会では、実⽤上 は賞⾦制限を気にすることはほとんどなく

    なったのではないか • 賞⾦‧賞品の配布はホストが⾏う Cash Prize Community 2023年 現在 不可 $25,000 (約400万円) 相当まで 前回資料の⽐較表をもとに作成 https://www.kaggle.com/docs/competitions-setup
  3. コミュニティコンペ機能のアップデート 3. HostによるSubmissionのRescore / Invalidate • Hostが参加者のSubmission⼀覧から対 象を選択して操作できる • Rescoreは再採点、

    Invalidateは提出結果の無効化 • 進⾏中に評価指標を修正した場合でも、 過去のSubmissionに新しい指標を適⽤ できる • 漫画のセリフ予測コンペで実際に利⽤し た https://www.kaggle.com/competition-hosting/446752 操作ボタン(拡⼤)
  4. コミュニティコンペ機能のアップデート 4. Custom Metricの柔軟化:Pass Complete Submission • 通常はSubmissionをPublicとPrivateに 分割して評価関数に渡す仕組み •

    この設定を有効にすると、 Submission全体を分割せずに渡せる • 全⾏をまとめて使うモデルやパラメータ を、提出ファイルに含めることも可能
  5. LoRAアダプターのCSV形式での提出 列名 内容 id シーンID lora_chunk 全シーン共通のLoRAをBase64に変換し、分割した⽂字列 prompts そのシーンで実⾏する指⽰⽂を、順番に並べたJSON配列 •

    LoRA重みをBase64に変換し、全50⾏のlora_chunkに分割 • 採点時にid順で結合し、1個の共通LoRAとして復元 • Pass Complete Submissionにより、分割で重みが⽋けることを避けられる • ⾏数等の形式チェックを満たせば、各⾏の解釈は評価関数側で決められる
  6. カスタム評価関数の実⾏制約 • インターネットなし、CPUのみ、30分以内で 採点する必要がある 計測例(テスト時のみ) • 必要なモデルやライブラリ、データはKaggle Datasetとして事前に準備してマウントする import time

    • テスト時に経過秒を返せば、 採点環境での実⾏時間を測定できる • 復元‧ロード‧推論‧シミュレーションまで 含め、制限時間に余裕を持たせる def score(solution, submission, row_id_column_name): started = time.perf_counter() # 採点処理 elapsed = ( time.perf_counter() - started ) return float(elapsed) 測定後は本来の評価値を返す処理に戻す
  7. Custom Metricの応⽤例 提出物 評価関数内の処理 評価指標‧状況 漫画のセリフ LLM-Judgeで採点 ⽂脈適合度等 実施済み SmolVLAのLoRAと指⽰⽂

    LoRAを復元して シミュレータを実⾏ 景品の回収得点 開催中 別のAIと対戦させる 対戦勝率 未検証のアイデア 格闘ゲームAI (Base64形式等) • いずれも、CPUのみ‧インターネットなし‧30分以内で採点できることが前提
  8. CoreWeave Forge (W&B) for Kagglers • ARIAをUIに統合 • コード編集‧実験 結果の分析に対応

    • 公式iOSアプリ からARIAを利⽤ • API経由で提出 • 期間限定で無料 2026年11⽉13⽇時点

More Decks by YuyaYAMAMOTO

Other Decks in Technology