Upgrade to Pro — share decks privately, control downloads, hide ads and more …

論文読み会 AAAI2021 | Knowledge-Enhanced Top-K Recommendation in Poincaré Ball

論文読み会 AAAI2021 | Knowledge-Enhanced Top-K Recommendation in Poincaré Ball

論文読み会の資料です.

(A slide for the paper-reading activity at my company, written in Japanese.)

cocomoff

July 04, 2023
Tweet

More Decks by cocomoff

Other Decks in Research

Transcript

  1. Knowledge-Enhanced
    Top-K Recommendation in Poincaré Ball
    著者: Chen Ma, Liheng Ma, Yingxue Zhang, Haolun Wu, Xue Liu, Mark Coates
    (McGill Univ. & Huawei Noah's Ark Lab Montreal)
    学会: AAAI2021
    2023-7-4
    @cocomoff
    1/17

    View full-size slide

  2. 発表の内容
    推薦モデル + 知識グラフ
    推薦モデル: 過去のログから (未知) アイテムの評価値を推定する
    知識グラフ: 外部知識を表現する (e.g., 同じ監督の作品; directed_by)
    著者らの4つの貢献 (3つの技術的な貢献+実験)
    (1) 双極空間を活用した推薦(RS)+知識グラフ(KG)を提案した
    (2) KGの情報を活用するためにアテンションのような構造を導入した
    (3) ハイパーパラメータに対処するためにバイレベル最適化を導入した
    (4) 実験で性能を確認した
    2/17

    View full-size slide

  3. 概要 (イントロ)
    推薦モデル (例: アイテムの評価値を計算する) + 知識グラフ (例: 同じ監督)
    KG活用のこれまでのアプローチと課題
    [アプローチ] Path-based: KG上の経路を使って高次の情報を活用する
    [アプローチ] Regularization-based: KG由来のロスを追加する
    [課題] KG埋め込みがユークリッド空間
    [課題] KG上で隣接するentityの扱いが効率的ではなかった
    [課題] KG由来のロスを制御するハイパーパラメータの調整が難しかった
    提案手法 (後述) は前ページの3つの技術的な貢献によって良い性能を出した
    3/17

    View full-size slide

  4. (1) 双極空間を活用した推薦(RS)+知識グラフ(KG)を提案した
    (2) KGの情報を活用するためにアテンションのような構造を導入した
    4/17

    View full-size slide

  5. ポアンカレ埋め込みの復習
    非ユークリッド空間の1つである、双極空間に埋め
    込む手法の代表例 (NeurIPS2017)
    次元 、半径 の空間 ;
    .
    局所的な測り方
    ユークリッド空間:
    ; 円周に近づくと無限
    距離 (歪んでるので測地線を使う)
    として
    : メビウス和 (右)
    歴史的には他にもあった
    勾配法は少し改造 (Riemannian SGD)
    勾配を求めて、軽量を直して (歪み補正)、更新して、歪んだ空間に戻す
    5/17

    View full-size slide

  6. 埋め込みベクトルとランキングロス・知識グラフ
    ランキングロス
    [前ページ] ベクトル の間の距離 が得られた
    ユーザ と アイテム の距離 を用いてランキングロスを考える
    ユーザ 、正例 、負例 について:
    KG
    知識グラフ
    あるアイテム のKG情報
    TransE-styleの埋め込みを考える (ユークリッド空間で のこと)
    ポアンカレ空間上の距離が近いと大きくなる重み
    6/17

    View full-size slide

  7. 知識グラフの活用
    近傍の情報を集約すれば良いが、曲がっている空間で重み付き集約できるのか
    提案手法: hyperbolic attention
    [知見1] 双極空間モデルの1つであるクライン円盤モデルでは、Einstein midpoint
    という名前のものが存在することが知られている
    [知見2] クライン円盤モデル( )とポアンカレボール( )は対応関係がある
    対応関係は
    7/17

    View full-size slide

  8. 知識グラフの活用(全体のロス)
    ポアンカレ埋め込みを学習するとき、知識グラフのデータを活用したい
    英語: "The goal is to transfer the inductive bias in KG to the item
    representation:"
    乖離具合を評価するために、集約したものと学習している埋め込みベクトルとの距離
    を使う
    全体のロスは
    8/17

    View full-size slide

  9. (3) ハイパーパラメータに対処するためにバイレベル最適化を導入した
    9/17

    View full-size slide

  10. ロスのパラメータ化とバイレベル最適化
    これまでもロスをくっつけるタイプの枠組みはあったが
    [課題1] ハイパラ の扱いが微妙だった (固定するとデータセットで異なる)
    [課題2] そもそもアイテム によって の強さが変わりそう
    [課題3] 学習が進んでいくとそもそも の調整がいりそう
    対策: ロスをパラメタライズする:
    .
    バイレベル最適化 (最適化が入れ子になったやつ。NASがとかもそう) に落とし込む
    内側 (inner): を固定したときの全体ロス最良な を求める
    外側 (outer): に対してランキングロス最良な を求める
    10/17

    View full-size slide

  11. バイレベル最適化を交互最適化と正則化を着けて解く
    入れ子になっていても勾配は近似できる
    近似関係を使って更新式を代用する (define a proxy function to link ...)
    あとは と を順番に更新する
    Adamを使う
    正則化も乗っている
    結局ハイパラ は復活したけど、[課題
    2]と[課題3] は対応できてそう
    11/17

    View full-size slide

  12. バイレベル最適化のブロック図
    12/17

    View full-size slide

  13. (4) 実験で性能を確認した
    13/17

    View full-size slide

  14. データセット・比較手法・結果
    推薦でよく出てくるデータセット: Amazon-book、Last-FM、Yelp2018
    いずれも80%を学習データ (内10%がvalidation)に、20%をテストデータに
    評価指標: Recall@K と NDCG@K
    比較手法
    Factorization Machine とそのニューラルタイプ: MF/NMF
    既存のKG活用手法: CKE (MF+TransR)/CFKG (TransE)/RippleNet/GC-
    MC (GCN)/KGAT
    提案手法 Hyper-Know
    14/17

    View full-size slide

  15. Ablation
    BPR + E/H (Euclidean v.s. Hyperbolic)
    BPR + Att + E/H (Hyperbolic Attentionの比較)
    BPR + Avg + H (BPR + Att + H のAttをただの平均に置き換えた)
    Hyper-Know (全部)
    15/17

    View full-size slide

  16. 計算時間・埋め込みの可視化
    効率的
    埋め込みを可視化した例 (3階層ぐらいを学習した)
    16/17

    View full-size slide

  17. まとめ (再掲)
    推薦モデル + 知識グラフ
    推薦モデル: 過去のログから (未知) アイテムの評価値を推定する
    知識グラフ: 外部知識を表現する (e.g., 同じ監督の作品; directed_by)
    著者らの4つの貢献 (3つの技術的な貢献+実験)
    (1) 双極空間を活用した推薦(RS)+知識グラフ(KG)を提案した
    (2) KGの情報を活用するためにアテンションのような構造を導入した
    (3) ハイパーパラメータに対処するためにバイレベル最適化を導入した
    (4) 実験で性能を確認した
    17/17

    View full-size slide