論文読み会 KDD2022 | Multi-Behavior Hypergraph-Enhanced Transformer for Sequential Recommendation

論文読み会の資料です．

(A slide for the paper-reading activity at my company, written in Japanese.)

Transcript

1. Multi-Behavior Hypergraph-Enhanced Transformer for Sequential Recommendation (KDD'22) 読む人: @cocomoff Feb. 27, 2024 （マニアックすぎるので、数式の細かい読解まではやっていません…）
2. 概要 多数の振る舞い (Multi-Behavior) が含まれる系列推薦では、長短期のアイ テム間の関係性を考慮しながら、次のアイテムを推薦する必要がある KDD'22では、アイテム間のハイパーグラフとTransformerを適用して、高精 度に推薦する手法 (MBHE) を提案した コンセプト (TKDEの別の論文より拝借)
3. 結果の表 (一部) 2つの要素 (グラフ構造＆Multi-Behavior) をうまく併用した コンセプト (TKDEの別の論文より拝借)
4. 結果の図 (一部) ユーザ毎に振る舞いの関係性や、系列をいい感じに見る仕組み (fine- grained length )、対象とする振る舞い毎の差、などが観察できる コメント: これだけ見ても意味分からんわ… 本文図6 (いろいろな重みの観察)
5. 提案手法のやりたいことのコンセプト図 (載せただけ) コメント: 特に情報量なし… 本文図1 (a)コンセプト (b)長期・短期に関する重みの違い
6. 提案手法のコンセプト図 構成要素 (a) 埋め込み (b) 低次元埋め込み (Transformerなどを楽にする) (c) (ハイパー)グラフでアイテムなどの情報を集約して伝搬 本文図2
7. はじめに & やりたいタスク 注意事項 細かい数式の解説は全部やりません 無限に系列推薦の手法が世の中にあり、マニア以外興味ない… 系列推薦 ≒ 系列予測なので、 似たアイデアはどこかで使えるかも？ぐらいの気持ちで説明します 所与: 振る舞いラベル付きデータ 全アイテム 、全ユーザ ユーザ のログ 目的の振る舞い (target behav.) とそれ以外 (aux. behav.) がある タスク 入力: 出力: target behavior (e.g., 購入) なアイテム を予測する (ような モデルを得たい、ということ)
8. 手法の説明(1): 埋め込み 全ては埋め込みからはじめる 系列 中のアイテム の 特徴ベクトル アイテム 、振る舞い 、位置 の要素和 それぞれ 次元に埋め込みする 長さ の を表現する行列 を料理する (e.g., Attention, Transformer) どこかで見覚えのある式 アイテム数 がヤバそうな気配がある (行列積) Transformer を軽くする提案は色々研究されている (はず) 今回も低ランクな Self-Attention モジュールを採用する
9. 手法の説明(2): 低ランク Self-Attention 学習可能な行列: を用いて とかは前ページの とかの意味です (learnable weight mat.) 論文による解説 変換行列 が定義できる (省略) ( )-次元のkey/valueに相当する を ( )-次元の 低ランク埋め込み に変形して、 サイズの計算を避ける
10. 手法の説明(3): 短期・長期パターンの考慮 系列の短期・長期パターンを考慮して aggregation する 簡単な例: 長さ の列に対して、 ずつ移動平均を取る 式: 論文の表記 はあまりよく分からないけど… に集約されているので、ここにもself-attentionを使う こちらのQ/K/Vの重みは適当な型でいい感じに… ( に応じて) コメント: ギュっとしたらここまではすぐできる (たぶん)
11. 続き ここまでで計算したもの : 低ランク埋め込みした情報 : 短期・長期を見た情報 ノリ: 3つの行列を列方向にconcat ( ) して 学習可能な を通す これを1つのヘッドとして、複数用いる ただし 最後に FFN と活性化関数 GELU を通してエンコード完了 コメント: ここまでは Transformer しただけとも言える（？）
12. 寄り道: グラフ構造の利用 トピック2: グラフ構造を利用するとは? 何らかの方法で構築したグラフ構造から、埋め込みベクトルを集約したりし て、新しい特徴ベクトルにする枠組み (e.g., GNN) とあるMDPI論文のグラフィカルアブストラクト (コメント: こういうタイプの研究 (e.g., グラフの作り方) も無限にあるので本当にオタク以外どうでもいい…)
13. 手法の説明(4): Hypergraph-Enhanced Features 提案手法ではハイパーグラフを使う: 隣接 (普通の辺) より高次の関係性を使 いたいから (コメント: ちょっと珍しい (かも)) 提案の超辺構造 (1) 長期間の相関関係によるもの (下) (2) アイテム自身のmulti-behaviorによるもの (上) 本文図 (コメント: 図だけだと、何が言いたいのか最初まったく分からん…→次ページへ!)
14. 参考: グラフとハイパーグラフ
15. 続き 提案手法 列 に出現するユニークなアイテム数の超辺を考える 超辺 (ユニークなアイテム に対応) は、 別に定義する重み (略) が大きい順に 個の と超辺をつくる 二部グラフっぽい情報は隣接行列 で表現できる コメント: なので一見、どこがハイパーグラフかよく分からなかった これを2つ作る ( ) ユニークアイテムが2つ (灰色・オレンジ)なので、こうなる (たぶん)。 点線は超辺の関係性を二部グラフっぽくかいたもの (たぶん)。同じ色しかつながってないのはたまたま (たぶん)。
16. 続き ( ) から2つの重み行列を持つので、くっつけて とする ハイパーグラフと行っているが、要するに2部グラフ (アイテムと超辺) グラフなので、思考停止してmessage passingする アイテム 超辺、頂点 アイテム Hypergraph conv. layer と呼ばれているらしい (なんだそりゃ…) 普通のGraph conv. layerと見た目は一緒 (数式書くのが辛くなった): 何層かpassingして、 を求める 一旦雑に振り返る 持っているもの Transformerっぽい構造から埋め込んできた ハイパーグラフから埋め込んできたもの データが2種類ある (data from different view、と呼ばれている) 2つあるので、重みつけてまとめる (cross-view aggregationと呼ぶ) 何か埋め込みベクトルが出てくるので、クロスエントロピー学習する
17. 提案手法のコンセプト図 (振り返り) 構成要素 (a) 埋め込み (b) 低次元埋め込み (Transformerなどを楽にする) (c) (ハイパー)グラフでアイテムなどの情報を集約して伝搬 本文図2
18. 実験 よくあるデータセットで実験
19. 実験結果 (一部のみ)
20. 実験結果 (ablation) それぞれを引き算した結果
21. viewの重み と のcross-view aggregation の寄与 系列的な情報 (Transformer部) と、グラフ情報でどちらが寄与したか
22. 手法の性能と系列の長さの関係 正直あまりよく分からない… Groupは長さに応じて5つぐらのクラスタで実験した、という意味らしい
23. HRと学習エポック 序盤から性能が良い LightGCNとかのシンプルモデルじゃないので結構ムズそうだが、学習が 早いのは確かに良い気がする
24. ケーススタディ (再掲) 言えそうなこと 2つのaggregationパラメータ で特徴が違う behaivor間と個人間で特徴が違う コメント: 何が嬉しいのか分からん…