深層強化学習を用いたノード分類 / Deep Reinforcement Learning For Node Classification

柳田雄輝, 加藤誠. 深層強化学習を用いたノード分類. 第13回データ工学と情報マネジメントに関するフォーラム(DEIM 2021). オンライン, Mar. 2021.

Transcript

1. セッション番号: E14-3
   柳田雄輝(筑波大学)，加藤誠(筑波大学)
   深層強化学習を用いたノード分類
   2021-03-01
   第13回データ工学と情報マネジメントに関するフォーラム(DEIM2021)
   

   View Slide

2. ノード分類手法は重要
   背景 2
   • グラフ構造は様々な対象をモデル化可能
   • 分子 (ノード: 原子 エッジ: 結合)
   • SNS (ノード: ユーザ，投稿 エッジ: いいね，フォロー)
   • ノード分類手法を適用することで，ユーザ行動や分子の反応
   などの予測や改善が可能となる
   つくば
   なう
   1億円
   GET!
   SNSのネットワーク
   ユーザ
   投稿
   post
   post
   like
   follow
   グラフで表現
   雨だ！
   つくば
   なう
   ユーザ
   B
   1億円
   GET!
   ユーザ
   A
   SNSのグラフ
   B
   A
   雨だ！
   

   View Slide

3. • ニューラルネットワークを用いたノード分類手法が広く提案
   されている [1][2]
   ○ 隣接ノードの特徴を重み付けしつつ集約，ノードを分類する手法
   (GAT: Graph Attention Network)が提案されている [3]
   • スパム判定の例
   [1] Kipf et al. Semi-supervised classification with graph convolutional networks. Proceedings of the 5th
   International Conference on Learning Representations. 2017.
   [2] Hamilton et al. Inductive representation learning on large graphs. Advances in neural information
   processing systems. 2017.
   [3] Veličković et al. GRAPH ATTENTION NETWORKS. Proceedings of the 6th International
   Conference on Learning Representations. 2018.
   関連研究: ノード分類 3
   雨だ！
   つくば
   なう
   ユーザ
   B
   1億円
   GET!
   ユーザ
   A
   出力
   ユーザAはスパム
   SNSのグラフ
   ノードラベルの予測結果
   予測ノード
   -0.2
   +0.6
   +0.1
   

   View Slide

4. 既存のノード分類手法では2点の限界がある
   1. グラフ内の多くのノードについて計算する必要がある
   2. 分類の予測を妨げる情報も含んでしまう可能性がある
   関連研究: 既存のノード分類手法の限界 4
   出力
   出力
   ニューラル
   ネットワーク
   ニューラル
   ネットワーク
   出力
   ニューラル
   ネットワーク
   出力
   ニューラル
   ネットワーク
   グラフ内の多くのノードに
   ついて計算する必要がある
   分類の予測を
   妨げる情報
   雨だ！
   ユーザ
   B
   1億円
   GET!
   ユーザ
   A つくば
   なう
   SNSのグラフ
   予測ノード
   ユーザAは
   スパム
   ノードラベルの予測結果
   ユーザ
   A
   ユーザ
   A
   ユーザ
   A
   雨だ！
   ユーザ
   B
   つくば
   なう
   1億円
   GET!
   

   View Slide

5. ︙
   • ノードを選択的に探索し，計算するノードを絞るグラフ分類
   手法(GAM: Graph Attention Model)が提案されている [4]
   ○ 強化学習によって各ノードを起点にグラフを探索，たどった
   ノードの埋め込みを入力としてグラフラベルを予測
   [4] Lee et al. Graph classification using structural attention. Proceedings of the 24th ACM SIGKDD
   International Conference on Knowledge Discovery & Data Mining. 2018.
   関連研究: ノードを選択的に探索する既存手法 5
   4
   5
   2
   1 3
   1 3 1
   2 1 4
   5 4 1
   ニューラル
   ネットワーク
   ニューラル
   ネットワーク
   ニューラル
   ネットワーク
   出力
   出力
   出力
   ニューラル
   ネットワーク
   出力
   分子は有害
   分子のグラフ
   各ノードを起点として
   たどったノード
   グラフラベルの予測結果
   

   View Slide

6. • 既存のノード分類手法(GAT)では，多くのノードについて
   計算する必要がある
   • ノードを選択的に探索することにより計算するノードを絞る
   グラフ分類手法(GAM)が提案されている
   • 本研究ではノードを選択的に探索し，かつGATとは異なる
   分類根拠を表現できるノード分類手法を提案
   関連研究: 既存手法との比較 6
   分類対象 計算ノード数 説明可能性
   GAT ノード 多
   隣接ノードの
   重み
   GAM グラフ 少 パス
   本研究の目的 ノード 少
   パラメータ
   とパス
   既存手法との比較
   

   View Slide

7. 分類に用いるノードを探索可能とするノード分類手法を提案
   本研究の目指すところ 7
   出力
   ユーザAは
   スパム
   ノードラベルの予測結果
   探索で得た
   分類根拠
   1億円GET!を根拠に
   ユーザAをスパム
   として分類
   • 計算するノードを探索したノードのみに絞ることを可能とする
   • 分類の過程で得たパスをノード分類の根拠として用いる
   1. パスを用いることで多様な分類根拠を表現可能に
   2. どのようなノードを根拠にノードが分類されたかを明らかにする
   雨だ！
   ユーザ
   B
   1億円
   GET!
   ユーザ
   A つくば
   なう
   SNSのグラフ
   予測ノード
   ユーザ
   B
   1億円
   GET!
   ユーザ
   A
   

   View Slide

8. をたどらずに予測
   • 分類対象のノードを起点に，強化学習のエージェントがグラフを探索
   • エージェントkは，ラベルがクラスkに属する可能性が高いと判断した
   場合にsuccessという特殊な判断を下す
   ○ エージェントはラベルの種類ごとに存在
   ○ successと判断した回数の多いエージェントのラベルを採用
   • エージェントは自身のクラスを担当するように探索しないと報酬をもらえ
   ないようにすることで，各エージェントが根拠となるパスをたどるように
   動作させる
   手法のアイデア 8
   エージェント0
   エージェント1
   ︙
   ︙
   1 3 1 3
   0と予測
   1
   4
   5
   2
   1 3
   1 4 1 3
   1 4
   3 1
   1回success
   8回success
   success 2 6
   3
   6
   5
   1 4 success
   5
   の後にクラス0に属する
   可能性が高いと判断
   1 4 5
   

   View Slide

9. 強化学習の設定 9
   学習方法 Q学習
   状態 たどってきたノードの情報
   ノードラベル，ノード埋め込み
   行動 選択したエッジおよびsuccessからなる集合
   ε-greedy法に基づき行動を決定
   人工的に作成した2種類のグラフデータで実験
   1. ノードとエッジがラベルを持つグラフ
   2. ノードが特徴量を持つグラフ
   

   View Slide

10. 遷移確率の計算(ノードとエッジがラベルを持つグラフ) 10
    0 2
    現在のノードラベルを表す
    one-hotベクトル
    各ノードラベルのたどった
    回数を表すベクトル
    1
    0
    0
    2
    1
    0
    softmax
    現在の状態を表すベクトルを
    線形変換して足し合わせる
    0.2
    0.0
    0.1
    𝟎. 𝟕
    採用確率
    エッジラベル
    エッジ 0
    エッジ 1
    エッジ 2
    success
    エージェントは
    successと判断
    −0.2
    0.1
    0.2
    0.6
    0.4
    −0.3
    0.1
    0.8
    線形変換
    線形変換
    足す サンプリング
    success
    たどってきたノード
    エッジラベル
    例
    ?
    ノードラベルに基づき解釈可能なモデルを作成
    次に選択するエッジラベルを決定
    線形変換を用いることで，分類
    に寄与する成分を明らかにする
    softmax関数の出力をもとに
    行動をサンプリング
    ベクトルの各成分が各エッジ
    ラベルの採用確率に対応
    

    View Slide

11. • 100個のノードの未知ラベルを予測する2値分類問題
    ○ ノードとエッジのラベルに基づいてノードを探索
    ○ 次のように予測するのが最適となるようにデータを設計
    • エッジラベルを 1→2 とたどった先のノードが，
    ○ 黒なら未知ラベルは0
    ○ 赤なら未知ラベルは1
    ○ 分類精度: 1.00
    実験1(ノードとエッジがラベルを持つグラフへの適用) 11
    0
    0
    0
    0
    0
    1
    1
    2
    2
    2
    このノードの未知ラベル(0)を予測
    遷移事例
    0
    0
    0
    1
    1
    2
    2
    2
    →未知ラベルは0と予測
    0
    エッジ
    ラベル
    

    View Slide

12. 実験1でのエージェント0の事例 12
    success
    2
    2
    2
    3
    0
    1
    0
    3
    0
    0
    0.002
    0.998
    0.001
    0.999
    0.003
    0.997
    エッジラベル
    ノード
    ラベル
    エッジラベルの
    採用確率
    このノードの
    未知ラベルを
    予測
    エージェント0はエッジラベルを1→2とたどった
    後にsuccessを採用(ラベル0と予測)
    エッジラベルの
    採用しやすさ
    エージェント0は黒のノードラベルを
    たどるとsuccessを採用する確率が高い
    遷移事例
    各エッジラベルの採用しやすさ
    エージェント0はエッジラベルと黒のノードラベルを根拠に未知ラベル
    を予測しており，最適な行動を採用できている
    0
    1
    2 3
    4
    エッジラベル
    

    View Slide

13. 遷移確率の計算(ノードが特徴量を持つグラフ) 13
    出力
    たどってきたノード
    例
    ノードが持つ特徴量に基づき解釈可能な
    モデルを作成
    次に遷移するノードを決定
    ?
    採用確率
    遷移先
    ノード 0
    ノード 1
    エージェントは
    ノード1へ遷移
    サンプリング
    ノード1
    0.2
    𝟎. 𝟕
    0.1
    現在のノード
    の埋め込み
    各隣接ノード
    の特徴量
    開始ノード
    たどってきた
    ノードの平均
    出力
    隣接ノード
    への遷移確率
    successの
    採用確率
    結合して
    softmax
    success
    ベクトルの各成分が各隣接ノード
    の採用確率に対応
    

    View Slide

14. • 100個のノードの未知ラベルを予測する2値分類問題
    ○ ラベルを持たないグラフに対しては，ノードの特徴量に基づいて
    ノードを探索
    ○ 次のように予測するのが最適となるようにデータを設計
    • 特徴量が大きい次元を 2→0 とたどったなら 未知ラベルは0
    • 特徴量が大きい次元を 2→1 とたどったなら 未知ラベルは1
    ○ 分類精度: 0.60 (開始ノードの影響を強く受けたと考えられる)
    実験2(ノードが特徴量を持つグラフへの適用) 14
    0
    特徴量
    ベクトル
    遷移事例
    このノードの未知ラベル(0)を予測
    →未知ラベルは
    0と予測
    

    View Slide

15. success
    0.266
    0.135
    0.137
    0.229
    0.256
    0.020
    0.277
    0.129
    0.238
    実験2 (ノードが特徴量を持つグラフへの適用)でのエージェント1の事例 15
    このノードの未知
    ラベルを予測
    エージェント1は特徴量が大きい次元を2→0と
    たどった後にsuccessを採用していない
    エージェント1のsuccessの採用確率は
    たどった特徴量の1次元目に強く依存
    遷移事例
    特徴量ベクトルの各次元がsuccessの
    採用確率に与える影響の大きさ
    ノードへの
    遷移確率
    開始ノードの
    特徴量
    たどったノード
    の特徴量の平均
    エージェント1はたどった特徴量の1次元目を根拠に未知ラベルを予測
    しており，最適な行動を採用している
    エージェント1は，特徴量が大きい次元を
    2→1とたどった場合にsuccessすべき
    

    View Slide

16. • 分類に用いるノードを探索可能とするノード分類手法を提案
    ○ どのようなノードを根拠にノードが分類されたかを明らかにする
    • 実験の結果，従来手法とは異なる分類根拠の可視化に成功
    • 分類対象のノードを起点にグラフを探索
    ○ エージェントkは，ラベルがクラスkに属する可能性が高いと判断
    した場合にsuccessという特殊な判断を下す
    ○ successと判断した回数の多いエージェントのラベルを採用
    • エージェントは自身のクラスを担当するように探索しないと報酬
    をもらえないようにすることで，各エージェントが，根拠となる
    パスをたどるように動作させる
    • 今後の課題: 一般のグラフデータセットへの適用
    まとめ 16
    

    View Slide

17. 補足資料
    

    View Slide

18. 隣接ノードの集約例 18
    例 A
    B C
    特徴量を持ったノード
    NN
    A
    B C
    グラフ構造を加味した
    特徴量を持ったノード
    • グラフにNN(ニューラルネットワーク)を適用した例
    • ノードが持つ各特徴量について，グラフ構造を加味した
    特徴量となるように計算する
    

    View Slide

19. 次の状態で理想的な遷移をした場合に期待される報酬と，
    実際の遷移で期待される報酬の差を最小化
    学習方法(Q学習) 19
    • 𝑬 𝒔𝒕
    , 𝒂𝒕
    : 損失関数
    ○ 学習を安定させるため，𝐸の絶対値が1未満の場合は𝐸! ，それ以外
    では 𝐸 を損失とする
    • 𝒔𝒕
    : 現在の状態(たどってきたノードの情報)
    • 𝒂𝒕
    : 採用した行動(選択したエッジ)
    • 𝒓𝒕"𝟏
    : 次の状態へ遷移するときに得る報酬
    • 𝑸: 行動価値関数
    ○ 行動価値関数: 将来的に得られることが期待される報酬を表す関数
    ○ 𝑚𝑎𝑥"
    𝑄: 理想的な行動𝑎を採用したときに得られる𝑄
    𝐸 𝑠1
    , 𝑎1
    = 𝑟123
    + 𝑚𝑎𝑥4
    𝑄 𝑠123
    , 𝑎1
    − 𝑄 𝑠1
    , 𝑎1
    実際の期待報酬
    次の状態での理想的な期待報酬
    

    View Slide

20. • エージェントkについて，開始ノードのラベルがクラスkに
    属する場合
    ○ successを採用した場合には正の報酬を与え，successを採用せず
    に規定回数遷移した場合には負の報酬を与える
    • 開始ノードのラベルがクラスkに属する場合はsuccessを採用する回数
    が多い方が望ましい
    • エージェントkについて，開始ノードのラベルがクラスkに
    属さない場合
    ○ successを採用した場合には負の報酬を与え，success以外の行動
    を採用した場合には 1 / 規定回数 の報酬を与える
    • 開始ノードのラベルがクラスkに属さない場合は，success以外の行動
    を採用し続けることが望ましい
    報酬の設計 20
    

    View Slide

21. 他のヒートマップ 21
    実験1，エージェント1 実験2，エージェント0
    エージェント1は黒のノードラベルを
    たどるとsuccessを採用する確率が高い
    エッジラベル
    ノード
    ラベル
    エッジラベルの
    選択しやすさ
    エージェント0のsuccessの採用確率は
    たどってきた特徴量の0次元目に強く依存
    特徴量ベクトルの各次元がsuccessの
    採用確率に与える影響の大きさ
    各エッジラベルの採用しやすさ
    開始ノードの
    特徴量
    たどったノード
    の特徴量の平均
    

    View Slide