Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Numerai2024年のアップデートと戦略
Search
Nishimoto
July 18, 2024
Programming
0
600
Numerai2024年のアップデートと戦略
Numerai2024 Tokyoでトーク予定の資料です
Nishimoto
July 18, 2024
Tweet
Share
Other Decks in Programming
See All in Programming
20250704_教育事業におけるアジャイルなデータ基盤構築
hanon52_
5
800
Composerが「依存解決」のためにどんな工夫をしているか #phpcon
o0h
PRO
1
270
Discover Metal 4
rei315
2
140
LT 2025-06-30: プロダクトエンジニアの役割
yamamotok
0
770
Railsアプリケーションと パフォーマンスチューニング ー 秒間5万リクエストの モバイルオーダーシステムを支える事例 ー Rubyセミナー 大阪
falcon8823
5
1.1k
テストから始めるAgentic Coding 〜Claude Codeと共に行うTDD〜 / Agentic Coding starts with testing
rkaga
13
4.6k
0626 Findy Product Manager LT Night_高田スライド_speaker deck用
mana_takada
0
180
『自分のデータだけ見せたい!』を叶える──Laravel × Casbin で複雑権限をスッキリ解きほぐす 25 分
akitotsukahara
2
640
NPOでのDevinの活用
codeforeveryone
0
840
5つのアンチパターンから学ぶLT設計
narihara
1
170
Systèmes distribués, pour le meilleur et pour le pire - BreizhCamp 2025 - Conférence
slecache
0
120
たった 1 枚の PHP ファイルで実装する MCP サーバ / MCP Server with Vanilla PHP
okashoi
1
260
Featured
See All Featured
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
8
690
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.3k
Testing 201, or: Great Expectations
jmmastey
43
7.6k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.4k
The Cost Of JavaScript in 2023
addyosmani
51
8.5k
Mobile First: as difficult as doing things right
swwweet
223
9.7k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
2.9k
Build The Right Thing And Hit Your Dates
maggiecrowley
36
2.8k
Rails Girls Zürich Keynote
gr2m
95
14k
Raft: Consensus for Rubyists
vanstee
140
7k
The Invisible Side of Design
smashingmag
301
51k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Transcript
Updates and Strategy for Numerai in 2024 - v4.3 &
v5.0 data analysis - Numerai Tokyo Meetup 2024/07/20
- Nishimoto - Twitter: @nishimt_general - Kaggle: nishimoto -
ML Engineer at Web service company - NLPやLLMで業務効率化 自己紹介 2
目次 3 • Numerai Updates from 2023 to 2024 ◦
データのアップデート ◦ 評価指標がTCからMMCに • Numerai Strategy for 2024 ◦ V4.3 ベンチマークデータ解析 ◦ Targetを使わないでEraの特徴を捉える ◦ V5.0 データ解析 • まとめ
Numerai Updates from 2023 to 2024 • メジャーなアップデート ◦
評価指標がTCからMMCに (link) ◦ データのアップデート (v4.2 → v4.3 → v5.0; link) • その他アップデート ◦ Model uploads(link) ◦ とても便利 4
https://numer.ai/data/v4.3 特徴量大幅増加(2376 features) もはやメモリで読み込めないデータ量 ベンチマークが使用可能に メジャーアップデート - data update(v4.3) 5
https://numer.ai/data/v5.0 (発表の3日前に公開された) - (たぶん)新しい特徴はない - Universe(ターゲット)が増えた メジャーアップデート - data update(v5.0)
6 Copilot
・MMC(Meta Model Contribution) とCorrelationが評価指標に ・Staking は 0.5corr + 2MMCに ・MMCはローカルで計算可能;
参考 メジャーアップデート - 評価指標の変化 7
目次 8 • Numerai Updates from 2023 to 2024 ◦
データのアップデート ◦ 評価指標がTCからMMCに • Numerai Strategy for 2024 ◦ V4.3 ベンチマークデータ解析 ◦ Targetを使わないでEraの特徴を捉える ◦ V5.0 データ解析 • まとめ
・ベンチマークとは? → Numeraiによりベンチマークの予測結果が配布されている Announcements ・ベンチマークとメタモデルの相関を計算 ・ベンチマークのMMCを算出 V4.3 ベンチマークデータ解析 9
v4.2データ系モデルが Era > 1083以降は強く相関 ベンチマーク vs メタモデルの相関 10
ベンチマーク vs メタモデルの相関 11 最新10Eraでの相関平均値 All benchmark
ベンチマークのMMC値(全ベンチマーク) 12 全体的な動きは似てる...かも?
→ Targetとの相関が高いと、MMCも高くなる ベンチマークのMMC値 13 Correlation between Benchmark vs Target
全Era 最新10 Era X: ベンチマークのTarget値との相関係数 Y: MMC
→ メタモデルと相関が低い方が、MMC値は高くなる しかし、最新10Eraではその傾向は見られない ベンチマークのMMC値(ベンチマーク vs メタモデル) 14 Correlation between
metamodel 全Era 最新10 Era X: ベンチマーク予測値とメタモデル予測値の相関 Y: MMC
・ベンチマークにより検証が簡単に → 「V4.2 rain ensemble」がメタモデルと高い相関(疑似メタモデルとして使用し てもいいかも) ・高MMC取得のために → Targetと高い相関+メタモデルと低い相関が重要
まとめ - v4.3ベンチマーク解析 15
目次 16 • Numerai Updates from 2023 to 2024 ◦
データのアップデート ◦ 評価指標がTCからMMCに • Numerai Strategy for 2024 ◦ V4.3 ベンチマークデータ解析 ◦ Targetを使わないでEraの特徴を捉える ◦ V5.0 データ解析 • まとめ
知りたいこと:各Eraの特徴を知りたい → 各Eraごとに特徴量間の相関係数を全通り計算、相関係数の値を各Eraの特徴とする feat1-feat2 feat1-feat3 feat2-feat3 Era1 0.5 -1
0.5 Era2 1 -1 0.7 Era3 ... ... ... Targetを使わないでEraの特徴を捉える 17 era feat1 feat2 feat3 sample1 1 3 2 1 sample2 1 1 2 2 sample3 2 1 2 2 sample4 2 3 4 1 sample5 ... ... ... ... Numerai data feat vs feat per Era data Era1 vs Era2 correlation: 0.8 Era1 vs Era3 correlation: 0.7.... Use medium(705features) data
古いEraはかなり相関が低い(Era < 106) 逆に、近いEraがかなり相関高い Targetを使わないでEraの特徴を捉える 18 Correlation(Spearman) Latest era
Era
データをよく見てみると、Eraが小さいところではすべての値が同じ列などが散見される Targetを使わないでEraの特徴を捉える 19
Targetを使わないでEraの特徴を捉える - 評価 20 Mean: 0.017, Sharpe: 0.832 Era Era
Mean: 0.017, Sharpe: 0.835 全Era 古いEra除外(Era > 106) Corr → 除外すればうまくいく...わけではない
目次 21 • Numerai Updates from 2023 to 2024 ◦
データのアップデート ◦ 評価指標がTCからMMCに • Numerai Strategy for 2024 ◦ V4.3 ベンチマークデータ解析 ◦ Targetを使わないでEraの特徴を捉える ◦ V5.0 データ解析 • まとめ
https://numer.ai/data/v5.0 (発表の3日前に公開された) - (たぶん)新しい特徴はない - Universe(ターゲット)が増えた - Trainingだと20%くらいターゲットが 増えてる メジャーアップデート
- data update(v5.0) 22 Copilot
V5.0 データ解析 23 v4.3(Mean: 0.0223, Sharpe: 0.8976) v5.0(Mean: 0.0264,
Sharpe: 1.1396) Era Era Correlation とりあえず予測(medium features, target only)
V5.0 データ解析 24 v4.3(Mean: 0.0174, Sharpe: 0.9028) v5.0(Mean: 0.0003,
Sharpe: 0.0237) Era Era Correlation とりあえず予測(medium features, target only, 100% feature neutlization )
Targetを使わないでEraの特徴を捉える(v4.3 & v5.0) 25 v4.3 v5.0 Era Era Correlation 前章の「Targetを使わないでEraの特徴を捉える」を
v4.3 & v5.0 データで実施
まとめ ・評価指標のアプデがあった ・V4.3のベンチマークの解析から - targetとの相関は高く - メタモデルとの相関は低く ・V4.3データのtargetを使わないEra解析より - 特徴量間の関係性が古いデータでは変わっている
- 新規データの方が関係性が保たれている ・V5.0データ解析 - Feature neutralizationいらないかも? - 予測Universeは変わったが、特徴量間の相関の雰囲気は変わってなさそう 26
Links - Analyze benchmark - Non target era features -
Simple prediction 27
Thank you! 28