飛び込み 話題提供 LT 2連発

Transcript

1. 飛び込み 話題提供 LT 2連発 2025.10.12 沖縄Kaggler (かぐるんちゅ) 会 ※ 発言は個人の見解に基づくものであり、所属組織を代表するものではありません
2. アジェンダ - 自己紹介 - LT①: Vibe Kaggling - LT②: 基盤モデルとKaggle
3. 自己紹介 仕事：ちゅら◯ータ (Data Scientist, 1年)← 製造業 (R&D Engineer, 6年) Kaggle：転職を機に本格的に開始、 Competitions Expert (🥉x3) 最近：🥈/🥇/Masterへの道は険しい… 自 動運転AIチャレンジ2025に出場中 一言：Kaggleコミュニティ初発表！知識不足 で至らない点がたくさんあるかと思いますがよ ろしくお願いします！沖縄のKaggle/データサ イエンス界隈を盛り上げたい
4. Vibe Kaggling 先に結論： こんなの出来たらよさそうだよね～な構想レベルです、Let’s 議論！
5. Vibe Kagglingとは？ “シュってやったらいい感じにKaggleしてくれること、またはそのさま ” (ネットで見つからなかった？ので私が命名者ということにしてほしい ) 世の中にはいくつか情報がある - 妙だな...をLLMに気付かせる (EDAはできてしまうレベル、@データ分析コンペxコード生成AI 勉強会) - Kaggle の Notebook 環境を VS Code (Cursor) で触りたい (環境構築不要、GPUもリモートで使用可能！) - AI搭載エディタCursorの紹介と機械学習コンペでの使用レビュー - Kaggle Agent Kggleに留まらず現実的な課題解決を目的とした Science Agentも存在 - RD-Agent 現状これだ！というデファクトスタンダードは存在しない？ (出てきたら我々は失業してしまいますね …)
6. VS Code / Cursor 構成案 Agent (GitHub Copilot) Kaggle Kernel (リモートで使用可能、 当然リッチなGPUも) Jupyter Folder (meta kaggle, memo, etc.) Web Brawser Kaggle API 内部 外部
7. VS Code / Cursor 構成案 Agent (GitHub Copilot) Kaggle Kernel (リモートで使用可能、 当然リッチなGPUも) Jupyter Folder (meta kaggle, memo, etc.) Web Brawser Kaggle API 内部 外部 Qwen3-4Bベース → Ollamaでセルフホスト (4bit GGUF)
8. Vibe Kagglingを探し求める旅は続く…
9. 基盤モデルとKaggle 先に結論： 自然言語/画像はKaggle応用あり、時系列/テーブルは確認できず、モダリティに差 時系列基盤モデルMOMENTによる類似波形検索を紹介
10. 基盤モデル (Foundation Model) とは？ 「幅広いデータで訓練され、下流の幅広い タスクに適用できるモデル」 Kaggleでは、Image Matching Challenge 2025にて、画像基盤モデルDINOv2よる類 似画像検索や3D基盤モデルMASt3Rによ るマッチングなど、上位ソリューションでの 使用例あり 解きたいタスクのデータが少ない/集めにく いときに頼りたい気持ち Bommasani, On the Opportunities and Risks of Foundation Models, 2021
11. IMC2025を終えた私 「え？画像基盤モデル強 いな🤔他モダリティもそん な感じなの？」→ 調べまし た
12. Kaggleにおける基盤モデルの応用例 過去1年間のメダルコンペ 1st~3rdソリューションを対象に集計 自然言語/画像はKaggle応用あり、時系列/テーブルは確認できず、モダリティに差 モダリティ 基盤モデル Kaggleでの応用先タスク コンピュータビジョン DINO v2 3D Reconstruction, SfM MASt3R 3D Reconstruction, SfM 自然言語 Qwen2.5, gemma2, llama3, Deepseek-R1 SigLIP 音声 (なし) テーブル (なし)
13. 近年のMLカンファレンスにおける基盤モデル研究 自然言語が最多、次いで画像 グラフ、時系列、テーブルは件数が少ない → Kaggle応用傾向と相関しており納得 時系列の基盤モデルは まだKaggleや現実課題へ応用できない…？ Boris van Breugel, Why Tabular Foundation Models Should Be a Research Priority, 2024
14. 時系列の基盤モデル、 全然知らないなぁ…🤔 → 触ってみました
15. 時系列基盤モデル 思ったよりたくさんある 直感で面白そうと思った 「MOMENT」をチョット紹介 SRK Kottapalli, Foundation Models for Time Series: A Survey, 2025
16. MOMENT - MOMENT: A Family of Open Time-series Foundation Models (2024, ) - [2402.03885] MOMENT: A Family of Open Time-series Foundation Models - MOMENT: A Family of Open Time-series Foundation Models, ICML'24 - 時系列データの多様なタスク（予測、分類、異常検知、補間など）に対応可能な汎 用の時系列基盤モデルとして提案されているモデルファミリー - Small, Base, Large - Transformerベース (アーキテクチャ・優位性、詳細理解できていないですごめんなさい ) - 時系列の表現学習が可能、Embedding 計算が可能 - 先人による日本語詳細解説：時系列基盤モデルへ①：MOMENT【論文】
17. MOMENTをCMI2025に応用 CMI - Detect Behavior with Sensor Data : 手首センサデータから、髪を引っ張るなどの 身体集中反復行動 と メガネを直すなどの日常的な動作を区別する このタスクにMOMENTを応用して、他手法と比較・考察をしたかった (ごめんなさい未完了、土下座) 方法 メトリックスコア MOMENT - Classification xxx (LB順位も…) MOMENT - Embedding + MLP xxx (LB順位も…) シンプルなLSTM (公開ノートブック) xxx (LB順位も…)
18. MOMENTをCMI2025に応用 代わりに… MOMENT - Embeddingによる類似波形検索をトライ - 信号：加速度3軸 + 角速度3軸の計6ch. - 類似度：コサイン類似度 - モデル：Base - 前処理：ジェスチャー部分のみ切り出し → 信号長を揃えるためにリサンプリング → ch.ごとに標準化 →Embedding計算 参考：時系列基盤モデルによる株価データ(多変量)の類似度算出と検索
19. ※ 波形は似ているがラベル名が一致しないのでなにかバグってるかも …
20. 位相ずれも対応？ ※ 波形は似ているがラベル名が一致しないのでなにかバグってるかも …
23. ※ 波形は似ているがラベル名が一致しないのでなにかバグってるかも …
24. まとめ - Vibe kagglingの構成案を考えてみた - 量子化 Jupyter Agent 2 だと厳しい - Kaggleにおける基盤モデル応用を調査、時系列/テーブルは伸び代あり - MOMENT - Embeddingで遊んでみた [上記に加えて懇親会で話せます他トピック、LTネタ供養] - Competitions Expertへの道 - 自動運転AIチャレンジについて [逆に皆さんに聞きたいトピック] - Competitions Masterへの道 - データサイエンティストという職種・お仕事 - 生成AI・RAG・AI Agentなどに関する議論・情報交換