【IR Reading 2026春】 Mixture of Sequence: Theme-Aware MoE for Long-Sequence Recommendation

IR Reading 2026春にて登壇した際に使用した資料です。
TheWebConf2026で発表された論文「Mixture of Sequence: Theme-Aware MoE for Long-Sequence Recommendation」を紹介しています。

論文: https://dl.acm.org/doi/10.1145/3774904.3792483

Transcript

1. 筑波大学 加藤・ファム研究室（KASYS） M1 中野暁登 MoS: 時系列アイテム推薦のための 履歴アイテムのジャンルに着目したMoE手法 IR Reading 2026 春
2. • タイトル – Mixture of Sequence: Theme-Aware MoE for Long-Sequence Recommendation • 著者 – Xiao Lin, et al.（イリノイ大学アーバナ・シャンペーン校, Meta） • 発表 – WWW 2026 書誌情報 2
3. • 何の研究？ – 長い行動履歴から「次に買うアイテム」を予測する推薦モデル • 何が問題？ – 長い履歴中の無関係なジャンルのアイテムが原因で予測精度が低下 • どう解いた？ – 履歴をジャンル別に振り分け、各ジャンルのExpertで処理（MoE） • どんな結果？ – 4種類のバックボーンに適用 – 「次に買うアイテム」の予測タスクで最高の推薦精度 この論文は要するに・・・ 3
4. 背景と問題: 購入履歴中のノイズが原因でうまく推薦できない 4 履歴中の無関係なジャンルのアイテムが原因で うまく推薦できない ？ キーボード ディスプレイ 泡立て器 購入履歴 次に購入するアイテム アイロン 家庭用品？ 電子機器？ ノイズ
5. デスク周り電子機器 Expert 家庭用品Expert 提案: 購入履歴をジャンルに分別 + ジャンル別の推薦タスク 5 ジャンル別に分別 + ジャンル別の推薦タスクで ノイズが除去された履歴から推薦可能に 購入履歴 ジャンル 分別 既存の 推薦手法 既存の 推薦手法 推薦対象アイテム
6. 提案: アイテムのジャンル分類方法 6 全アイテム 事前学習済み 埋め込みモデル アイテムの埋め込みベースで各ジャンルに分類 k-means クラスタリング 各クラスタのセントロイドを 代表ベクトルとして採用 ： 履歴中の アイテム 事前学習済み 埋め込みモデル cos類似度 ジャンル10Expert ジャンル1Expert
7. 提案: 時系列を保持するためのセッション別MoE 7 アイテム・セッションに注目することで ジャンル・時系列を考慮した推薦が可能に！ 履歴そのまま 時系列 推薦手法 アイテム別MoE セッション別MoE Expert1 Expert10 Expert3 Expert1 Expert10
8. • タスク：CTR予測（履歴→クリック確率） • データセット – MicroVideo（ショート動画） – KuaiVideo（ショート動画） – EBNeRD（ニュース） • バックボーン – Mamba4Rec – TransAct – TWIN – SDIM • 評価指標 – AUC / GAUC、FLOPs 評価：タスク・データ・指標 8
9. 結果：全バックボーンで精度向上 9 バックボーン全てで MoS が Vanilla を上回る バックボーン AUC GAUC Mamba4Rec (Vanilla) 66.55 69.16 Mamba4Rec + MoS 69.46 70.01 TransAct (Vanilla) 70.58 69.90 TransAct + MoS 71.34 70.51 TWIN (Vanilla) 70.34 69.67 TWIN + MoS 71.11 70.26 SDIM (Vanilla) 70.50 69.62 SDIM + MoS 71.36 70.23 （MicroVideoデータセット）
10. • 長い履歴を使ったアイテム推薦の問題点 – 長い履歴を一括処理すると他テーマがノイズになる • 提案手法 MoS – 履歴をジャンルで仕分け，専門家が分担して解釈 – 全体・アイテム別・セッション別の3視点を統合して予測 • 本研究の意義 – 既存バックボーンに後付け可能で、アーキテクチャ非依存 本発表のまとめ 10