第6回関東Kaggler会「Deep Past Challenge振り返り（+α）」

Deep Past Challenge振り返り（+α） 2026年8⽉7⽇奥村悠希第6回関東Kaggler会

⾃⼰紹介 • 奥村悠希 • ⼤学時代はメタマテリアルの研究 • 電磁気学 • 物理Kaggler（?）
• Competitions Grandmaster • 最近はCodinGameが気になっている CodinGame: https://www.codingame.com/ 第6回関東Kaggler会 2

コンペ戦績 NLPが多いが、NLP が好きな訳では無い第6回関東Kaggler会 3

今⽇の内容 • Deep Past Challenge 5位解法概要 • Orbit Wars追試の記録 •
コスパ良く⾦メダル / Prizeを取るには︖ 第6回関東Kaggler会 4

Deep Past Challenge 概要 • 通称アッカド語コンペ • アッカド語の翻字を英語に翻訳する • 評価指標
• BLEUとchrF++の幾何平均 • データ • train.csv︓翻字と英語の⽂章の組が約1500件 • published_texts.csv︓翻字のみの⽂章が約8000件 • pdf︓翻訳が掲載されている学術論⽂が約20件 • その他固有名詞の辞書等第6回関東Kaggler会 5

アッカド語 • 古代メソポタミアで話されていた⾔語 • 北部︓アッシリア⽅⾔、南部︓バビロニア⽅⾔ • コンペでは約4000年前の古アッシリア語が対象 • 特徴 •
語形変化が多い • 動詞の形に主語の⼈称・数・性を含められる • 時代や地域で綴りや表現が変化する第6回関東Kaggler会 6

翻字 • 楔の組み合わせをラテン⽂字に置き換えたもの • 専⾨家が⽂脈に応じて判断 • ⽋損や注釈も表記翻字翻訳 https://www.ebl.lmu.de/library/U.30198
第6回関東Kaggler会 7

例⽂商⼈たちが残した⽂書が対象 a-na en-nam-a-šur qí-bi-ma um-ma ša-ta-na-ma 30 ma-na URUDU
SIG₅ kunu-ki-a a-lu-ú-a na-áš-a-ku-um a-ma-kam ma-lá ta-le-e-ú a-na KÙ.BABBAR ta-e-er-ma To Ennam-Aššur from Šāt-Anna: Aluwa brings you 30 minas of good copper under my seal. Convert it to silver there as best you can. （シャト・アンナからエンナム・アッシュルへ。アルワが、私の封印を施した良質の銅30ミナをあなたのもとへ運びます。そちらで、できるだけ有利な条件で銀に換えてください。）第6回関東Kaggler会 8

不完全なtrain.csv • 翻字と翻訳でアラインしていないサンプルが多かった • 1位はtrain.csvを捨てている • 原⽂はPDFファイルにあるため <gap> TÚG ku-ta-ni
<gap> 1.5 GÍN.TA a-na 2 mana 6.5 GÍN KÙ.BABBAR a-na ir-nu-id a-dí-in ù-ku-tani a-na <gap> ma-na 2 GÍN KÙ.BABBAR a-ḫu-qar il₅-qé <gap> ku-ta-ni SIG₅-tim <gap> ma-na KÙ.BABBAR <gap> i-dí-in <gap> ku-sí-tám <gap> ma-na 8 GÍN <gap> il₅-qé <gap> ma lu-kà-i-il₅ ana-aḫ-DINGIR i-dí-in <gap> ší-tí KÙ.BABBAR DUMU <gap>-ḫi-im <gap> 0.5 ma-na.TA <gap> il₅-qé <gap> ta <gap> šu-ut-ma il₅-qé e-zi-ib ša 0.6666 ma-na i-nu-mì <gap> I sold <gap> kutānu-textiles at <gap> 1.5 shekels a piece for 2 minas 6.5 shekels of silver to Irnuid. 翻字翻訳第6回関東Kaggler会 9

PDF • 翻訳が英語、トルコ語、ドイツ語と⾊々 • 翻字／翻訳の配置レイアウトが異なる • ここから綺麗に対訳ペアを抽出するゲーム第6回関東Kaggler会 10

ベースライン • train.csvでByT5を学習 • ByT5︓テキストを1⽂字ずつUTF-8のバイト単位で処理 • 表記揺れが多いアッカド語と相性が良い áàéèíìúù āēīū âêîû
šṣṭḫ a₂ a₃ il₅ lu₂ na₄ https://arxiv.org/pdf/2105.13626 第6回関東Kaggler会 11

5位解法サマリー • • • • モデル︓ByT5 variants（best submission︓ByT5-xl）データ •
PDFデータ︓VLMベースのパイプラインを⽤いて抽出 • EvaCun（時代が異なるアッカド語対訳コーパス） • Pseudo-labelingとback-translationによって⽣成した合成データ学習 • • • 推論 • • stage1︓published_texts.csvの翻字データで継続事前学習 → EvaCun FT→ PDFデータ FT stage2︓stage1モデルで合成データ⽣成 & FT stage3︓PDFデータで最終FT fold間でweight averaging（no ensemble） CTranslate2とビームサーチを使⽤第6回関東Kaggler会 12

VLMを⽤いた対訳ペア抽出 • • • VLMにPDFをそのまま⼊⼒しても、⼀定の精度で対訳ペアは抽出可能 • ただ完璧ではなく、対訳ペアの対応付け誤りやハルシネーションも発⽣抽出精度を⾼めるため、VLMによる処理を3段階に分割 1.
⽂書のヘッダから発掘番号を抽出 2. 発掘番号に対応する翻字と翻訳を抽出 3. ドイツ語・トルコ語の翻訳⽂を英訳 VLMはQwen3.5-27BやQwen 3.5 Plus (397B) を使⽤第6回関東Kaggler会 13

発掘番号の抽出第6回関東Kaggler会 14

翻字／翻訳の抽出 • 発掘番号ごとに、対応する翻字と翻訳を抽出 • train.csvまたはpublished_texts.csvに収録されている⽂章は、既存データを利⽤第6回関東Kaggler会 15

翻訳⽂の英訳 • Gemini 3.1 Flash-LiteやQwen3.5-27Bを⽤いて英訳 • Few-shot例をプロンプトに追加 • レーベンシュタイン距離に基づき、⼊⼒翻字に類似したサンプルを選択

合成データ • Pseudo-labeling • published_texts.csvに収録された英訳のない翻字を順⽅向モデルに⼊⼒し、疑似英訳を⽣成 • Back-translation • Qwen3.5-27Bを⽤いて、アッカド語⽂書の英訳を模し
た英⽂を1万件⽣成 • ⽣成した英⽂を逆翻訳モデルに⼊⼒し、対応する疑似翻字を⽣成第6回関東Kaggler会 17

学習基礎的な翻字表現の学習、合成データによる学習、対象時代（古アッシリア語）のPDFデータへの適応を段階的に実施 • • • Stage1︓ベースモデルの構築 • published_texts.csvの翻字データを⽤いて継続事前学習 •
• T5のspan corruptionを使⽤ EvaCun（新アッシリア語や新バビロニア語）でFT -> PDFデータでFT Stage2︓合成データによる学習 • Stage1のモデルを使⽤し、擬似ラベリングと逆翻訳によって学習⽤ペアを⽣成 • 合成データでFT Stage3︓PDFデータによる最終FT • 対象時代の学術PDFから抽出した翻字・翻訳ペアを使⽤ • PDFデータで最終FTを⾏い、対象時代の語彙や表現にモデルを適応第6回関東Kaggler会 18

推論 • 推論の最適化 • モデルをCTranslate2形式に変換し、Hugging Face⽐で推論を約5倍⾼速化 • ByT5はvLLM未対応 •
int8_float32量⼦化により、2基のT4 GPUでByT5-xxl （13Bくらい）が動作可能 • Model Soups • 複数のfoldモデルの重みを平均 https://github.com/opennmt/ctranslate2 第6回関東Kaggler会 19

評価 • train.csvの25%をhold-outセットとして使⽤ • 教師強制時のCE損失を主なローカル評価指標に採⽤ • LBスコアとの相関を確認 • 速い •
train.csvには不完全な対訳が含まれるためか、BLEU・ chrF++は不安定 • CE損失は安定する⼀⽅、対訳の不整合を捉えにくい点に注意（⻑い⼊⼒を途中までしか翻訳しないなど）第6回関東Kaggler会 20

Ablation Study ハイパラ（学習step数、lr、バッチサイズ等）を揃えて、ByT5-xlを学習 Model PDF data only + CPT (T5
span corruption) + EvaCun + tablet context(*) + synthetic data + 4 fold weight average CPT EvaCun Synthetic Tablet Private LB data context 35.4 ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ Public LB 35.1 38.9 38.0 39.7 39.8 40.7 38.7 39.2 40.2 40.8 40.1 (*)5位解法参照︓https://www.kaggle.com/competitions/deep-past-initiative-machine-translation/writeups/5th-solution 第6回関東Kaggler会 21

まとめ • コンペ概要 • アッカド語の翻字を英語に翻訳 • 勝ち筋 • PDFから⾼品質な対訳ペアを抽出 •
pseudo-labelingやback-translation等、有効な合成データの作成他上位解法は素敵記事を参照（ihiratchさん「Kaggle アッカド語コンペの振り返りと1位解法 + α の紹介」、 https://zenn.dev/ihiratch/articles/3f8a1d2873ebca）第6回関東Kaggler会 22

Orbit Wars 概要中⽴・敵惑星を奪って⽣産拠点を増やし、艦船総数を最⼤化する • 2⼈戦 / 4⼈戦 • 500ターン
• ⾏動空間 • • [from_planet_id, direction_angle, num_ships] どの惑星から、どの⽅向に、何隻発射するか第6回関東Kaggler会 23

上位解法の傾向 • • • 盤⾯特徴量 • 前⽅予測した結果を含む • 「Nターン後に、この惑星に、どのプレイヤーから何隻の艦隊が到着するか」
アーキテクチャ • 惑星のみを⼊⼒とするtransformer • モデルは「どの惑星に発射するか」を選び、発射⾓度は後で計算する • 艦船の情報は前⽅予測特徴量で処理学習⽅法 • Self-play RL • 模倣学習スタートではなく、スクラッチからの学習が多め第6回関東Kaggler会 24

計算機事情 1st B200 x 32 2nd H100 x 8 3rd
RTX Pro 6000 Blackwell x 2 第6回関東Kaggler会 25

モデルサイズ 1st 200M 2nd 4.3M 3rd 6.5M 第6回関東Kaggler会 26

追試の⽅針 • • スクラッチからのRL • 4⼈戦は省略m(_ _)m • 2⼈戦に⽐べてランダム性が⾼いため •
できるだけ低コストでモデル性能を向上させる • 学習効率を⾼める • モデルサイズを⼩さく抑える⽬標勝率 • ⾦メダル圏︓最終提出モデルに対して65％以上 • Prize圏︓最終提出モデルに対して80％以上（?）第6回関東Kaggler会 27

最終提出モデルとの勝率（11位~20位）最終LB順位チーム 2⼈戦の勝率 11 moriiiiiiiiim（53986435） 6/30 = 20.00% 12
One Man Wrecking Machine（53993035） 9/27 = 33.33% 13 Luca（53993524） 16/43 = 37.21% 14 M & J & M.ver2（53992808） 8/24 = 33.33% 15 dragon warrior（53977843） 16/38 = 42.11% 16 Azat Akhtyamov（53993443） 22/48 = 45.83% 17 Vadasz & Ascalon（53993965） 15/50 = 30.00% 18 Slawek Biel（53992086） 26/57 = 45.61% 19 Golden Orbit Goblins（53993589） 34/87 = 39.08% 20 LuckyXC&me（53967856） 54/113 = 47.79% 第6回関東Kaggler会⾦圏 28

最終提出モデルとの勝率（1位~10位）最終LB順位チーム 2⼈戦の勝率 1 Isaiah @ Tufa Labs（53993189） —（0試合）
2 Hober Malloc（53982490） 2/10 = 20.00% 3 Felix M Neumann（53974193） 0/5 = 0.00% 4 Jake Will（53961520） 0/5 = 0.00% 5 TonyK（53983137） 0/6 = 0.00% 6 flg（53913042） 2/12 = 16.67% 7 Audun Ljone Henriksen（53993677） 0/5 = 0.00% 8 Ender（53979034） 1/8 = 12.50% 9 Boey（53992481） 2/22 = 9.09% 10 Xiangyu Liu（53945598） 6/23 = 26.09% 第6回関東Kaggler会 Prize圏 29

私なりのお安い構成 • • • • 盤⾯特徴量 • 20ターン先の前⽅予測を含む • 惑星の位置は相対特徴量で表現
アーキテクチャ • 惑星のみを⼊⼒とするtransformer • 相対特徴量はedge attentionで処理⾏動空間 • 全発射かつ20ターン以内に到着する発射に限定（2位と同様）学習⽅法 • スクラッチからのvanilla self-play RL（PPO） • 最初に600Kモデルを学習→2.6Mモデルに蒸留 & 学習第6回関東Kaggler会 30

特徴量惑星特徴量（これが20ターン分） Edge特徴量特徴量名内容特徴量名内容 timestep ゲーム全体における予測時点 distance
現在の惑星中⼼間距離 orbital_radius ボード中⼼から惑星までの距離 orbital_radius_delta targetとsourceの公転半径差 production 惑星の⽣産⼒中⼼から⾒たsourceと targetの⾓度差のsin/cos player_ships ⾃分が所有している場合の艦船数 orbit_angle_delta_s in/cos all_in_turns neutral_ships 中⽴惑星の場合の艦船数 sourceの全艦船を送った場合の到着ターン opponent13_ships 敵1-3が所有している場合の艦船数 capture_margin 到着時点での艦船数余裕 angular_velocity 惑星の公転⾓速度第6回関東Kaggler会 31

アーキテクチャ • 2位と6位のハイブリッド • 惑星特徴量は時間⽅向に畳み込んで埋め込みを⽣成（2位） • Edge特徴量はattentionとpolicy headの計算に使⽤（6位） Source惑星をi、target惑星をjとして q#!
k" + 𝑾𝑬 𝒆𝒊𝒋 𝑠!" = 𝑑' 𝛼!" = softmax" 𝑠!" z! = 2 𝛼!" 𝑊( h" + b( + 𝑾𝑬 𝒆𝒊𝒋 " self-attentionの計算（keyとvalueにEdge特徴量を加算） 2位のアーキテクチャ https://www.kaggle.com/competitions/orbit-wars/writeups/2nd-place-solution-for-orbit-wars https://www.kaggle.com/competitions/orbit-wars/writeups/6th-rl-league-search-with-a-custom-edge-atte 第6回関東Kaggler会 32

損失関数通常のPolicy Loss、Value Loss、Entropy Bonusに加え、以下を追加 • Best checkpointとのKL Loss、Value Loss
• 惑星ごとの平均発射率を10%に抑える正則化項（4位） ℒ!"!#$ = ℒ%%& + 𝑐' ℒ' − 𝑐( ℋ +𝒄𝑵 𝓛𝑵𝒐𝑶𝒑 +𝒄𝝅𝑻 𝓛𝐭𝐞𝐚𝐜𝐡𝐞𝐫)𝒑𝒐𝒍𝒊𝒄𝒚 + 𝒄𝑽𝑻 𝓛𝐭𝐞𝐚𝐜𝐡𝐞𝐫)𝒗𝒂𝒍𝒖𝒆 4位解法: https://www.kaggle.com/competitions/orbit-wars/discussion/723325 第6回関東Kaggler会艦船の乱射 33

結果 600Kでも⾦メダルは射程圏内に⼊りそう学習環境step数パラメータ数⼆⼿先貪欲探索(*) 821,035,008 600K 57.2% 1,753,546,752 600K
62.2% 2,625,110,016 600K 65.4% 2,625,110,016 600K 3,529,179,136 600K 3,529,179,136 600K ✓ 最終サブに対する勝率 69.2% 66.2% ✓ 68.0% (*)6位解法を参照: https://www.kaggle.com/competitions/orbit-wars/writeups/6th-rl-league-search-with-a-custom-edge-atte 第6回関東Kaggler会 34

結果 • 600Kを2.6Mに蒸留してから学習 • 2.6Mなら⾦メダルは堅そうだが、Prize獲得にはまだ改善が必要そう学習環境step数パラメータ数 569,311,232 2.6M 569,311,232
2.6M 1,101,594,624 2.6M 1,101,594,624 2.6M 1,505,886,208 2.6M 1,505,886,208 2.6M 2,000,000,000 2.6M 2,000,000,000 2.6M ⼆⼿先貪欲探索最終サブに対する勝率 70.6% ✓ 71.2% 72.2% ✓ 74.8% 75.4% ✓ 73.2% 75.6% ✓ 第6回関東Kaggler会 76.0% 35

まとめ • • • コンペ概要 • 惑星を奪って⽣産拠点を増やし、艦船総数を最⼤化するゲーム計算コスト軽めの構成を組んで追試を実施 • 前⽅予測の特徴量
• 相対特徴量を作り、edge attentionで考慮 • ⼩さいモデルで先に学習してから、⼤きいモデルに蒸留⾦メダルは堅そうだが、Prize獲得はまだ改善が必要 • ここまではRTX5090 x 1で2~3週間くらい計算すればいけるはず • （実はまだ計算中だが、性能は伸び続けている）第6回関東Kaggler会 36

第6回関東Kaggler会「Deep Past Challenge振り返り（+α）」

第6回関東Kaggler会「Deep Past Challenge振り返り（+α）」

Featured

Transcript