LINEヤフー データサイエンス Meetup「三井物産コモディティ予測チャレンジ」の舞台裏-AlpacaTechパート

LINEヤフー データサイエンス Meetupの「三井物産コモディティ予測チャレンジ」の舞台裏で発表したAlpacaTechパートの資料です。
https://lycorptech-jp.connpass.com/event/387344/

Transcript

1. 11 これまで日本で開催した2つ の金融時系列コンペの両方 で、問題設計とデータ作成、 コンペ運営サポート業務を担 当させていただきました。 AlpacaTechは金融コンペ設計の専門家集団
2. 12 Develop a robust model for accurate and stable prediction of commodity prices MITSUI & CO., LTD. · Featured Code Competition MITSUI&CO. Commodity Prediction Challenge 約半年間 （2025年7月24日 ~ 2026年1月16日） 1~4日後のコモディティリターン予測 予測対象 $100,000 賞金総額 ロンドン金属取引所(LME) / 日本取引所グループ(JPX) / 米国株式市場 / 外国為替市場のヒストリカルデータ 利用可能データ 11,387人 参加者 1,730モデル 投稿された予測モデル数 15モデル 1,730モデ ル 1,730モデルの中からコンペを勝ち抜いた”上位15のモデル”を検証し実運用で活用可能な形へ
3. 13 Time Series APIの金融コンペでは、 頑張って特徴量を作っても、 テスト期間のレジームチェンジやラッキーパンチに Kagglerの努力が無に帰すことが多く トレーニングデータと将来のテストデータの 「ドリフト」が最小となるような問題設計が必須 ※Time Series API: 予測を出力する 関数を提出し、提出後の未来のデータ で評価を行う仕組み(Kaggleの金融コンペは ほぼこの仕組みを採用)
4. 14 コンペ名 JPX Tokyo Stock Exchange Prediction(2023) MITSUI & CO. Commodity Prediction Challenge(2025) 評価指標 予測を毎営業日実施、トレードパフォー マンスのシャープレシオ 毎日計算されるスプレッドの順位と実際 の順位の順位相関の時系列に対する 平均 / 標準偏差(IC Sharp) ロバスト性確保 あくまでユーザーがモデル設計でロバ スト性に対応する スプレッドによるボラティリティの影響低 減と1-4日後のシグナルの持続性で自 動的に確保 金融コンペを成立させるために進化する問題設計 データドリフトを問題設計で最小にするアプローチ 予測対象 2日先の日本株のリターン予測 為替・コモディティ・米国株のアセット間の 424ペアのスプレッドの1-4日後の順位
5. 15 なぜ、為替・コモディティ・米国株のアセット間の スプレッドの1-4日後の順位を予測することが問題をロバストにするのか 複数要因を積み重ねることで、問題設計自体に金融時系列であってもロバスト性を付与することにフォーカス • スプレッド予測：単一のアセットではなくアセット間の価格差（スプレッド）を予測対象にすることで定常性を仮定可 能となり、市場全体が大きく動く際のマクロ的な共通要因や、個別のノイズが相殺され、相場環境に左右されにくい 純粋な価格変動シグナルを抽出可能とする • 複数ホライズン：1日先だけに最適化したモデルは崩れやすく、実務では使いづらい。だからあえて1〜4日を混ぜ ることで、滑らかに効き続ける実務的なシグナル（Aftermath）を強制的に捉え、単なるKaggleハックではなく、実運 用に耐えうるモデルの構築を強制化した • 順位相関のIC Sharpによる評価：金融商品の価格変動は必ずしも正規分布にならないため、予測値の絶対的な 差ではなく「相対順位（スピアマンの順位相関）」で評価することで特定の分布を仮定する必要がなくなるため、金融 マーケット特有のノイズに強くなる
6. 16 実際の上位モデルはトレーニング期間と テスト期間のパフォーマンスの差異が ほぼ発生しないモデルが多数を占め また、素晴らしいバラエティのモデルが サブミッションされた
7. 17 解法共有済みの 紹介するモデル
8. 18 解法共有1 8th Transformer Based Solution 実際にトークンベースのTransformerを金融時系列の予測に活用した初めての公開事例と思われるモデル • 全目的変数を同時予測する単一のTransformerモデルの採用：各数値特徴量をトークンとして扱い（特徴量 トークナイザーと列埋め込みを使用）、424個すべての目的変数を同時予測するTransformerエンコーダーを採用。 複雑なアンサンブル手法を使わず、この単一モデルのみを提出(kaggleでは珍しい) • 「4日前の過去値（lag4）」を特徴量として追加：提供された元データ（587特徴量）に加え、すべての目的 変数の4日前の過去値（424特徴量）を合わせた計981個のデータを入力として活用しています。これにより、モデ ルに短期的な時間依存性や自己回帰的なパターンを効果的に学習 • 欠損値に対応した損失関数と高速・軽量な学習パイプライン：欠損のある正解ラベルを除外してロスを計 算できる「Masked MSE Loss（マスキングされた平均二乗誤差）」を採用。勾配クリッピングやコサイン学習率スケ ジュールと組み合わせて学習を安定化させている。
9. 19 解法共有2 15th Place Solution Writeup トラディッショナルな金融時系列に対するベストプラクティスを愚直に積み重ねたモデル • 7日ごとの継続的なモデル追加：推論フェーズで新しいデータと正解ラベルが手に入るたびに蓄積し、7日分貯まる ごとに既存モデルを上書きせず「新しいモデル」として学習させ、アンサンブルのリストに追加し続ける(金融コンペ のベストプラクティスの一つ) • 性能とモデルの鮮度に基づく動的な重み付け：蓄積した複数のモデルで予測を出す際、単純平均するのではなく、 直近のデータにおける性能とモデル鮮度の両方を評価し、より状況に合った有効なモデルの比重が高くなるよう動 的に調整(金融向けバンデッドモデルと解釈可能)。 • 市場のレジーム変化への適応：金融市場のルールや相関関係が時間とともに変化しても、常に最新のデータを取 り込んでシステムを更新し続けることで、市場の変化に素早く適応し、長期的な予測の安定性を実現
10. 20 Kaggleコンペの未来
11. 21 コンペ名 主催 事例 ビジネス上の示唆 ARC Prize 2025 学習データのほぼない状況で、 限られたデータからAIエージェント が法則を見つけ出すコンペ AIエージェントは少ない情報からの 判断能力が重要となってくることを示唆 LLM 20 Questions AIエージェント同士が会話・交渉し てゴールを目指す「振る舞い」を 競争するコンペ AIエージェント同士のやりとりの 最適解を探り、今後の大量AIエージェン ト時代に対する検証を実施 世界標準の潮流は「モデルのコンテスト」から「AIエージェントの実験場」へ AI Mathematical Olympiad (AIMO) Prize 「価格予測」ではなく「数学的な 推論と検証」を行うAIエージェント の開発コンペ 難解な数学の問題（国際数学オリンピッ クレベル）を解くAIを作成するコンペを主 催し、実務利用可能な AIをイチから作りはじめている 世界最大規模の マーケットメーカー
12. 22 生成AIの発達により解法ではなくエージェント作成を競う時代がくる これまでの開催コンペ 生成AI時代に 可能となるコンペ 大量データから生まれる 極めて強力なモデル 自律的に思考・実装する 「AIエージェント」の構築 成果物 人間による泥臭い分析と 職人芸的な特徴量作成による 唯一無二のモデルの作成 エージェントが仮説検証と コード生成を仕組み化 プロセス 問題設計＝ビジネス価値を 定義できる企業にとっては 最高の環境だった 少ないデータ、新規課題に 対応できる解決能力を競う ビジネス価値
13. 23 AIエージェントがコードを書き、 仮説検証を行う時代において、人間の役割は 『努力が性能に直結する堅牢な問題設計を行うこと』 にシフトする