Spark MLlib でやってみる協調フィルタリング

2014-11-20 Machine Learning with Apache Spark の発表資料です。

Transcript

1. Spark  MLlib  でやってみる 協調フィルタリング 2014-‐‑‒11-‐‑‒20 Machine  Learning  with  Apache  Spark @soonraah
2. 発表内容 •  MLlib  の協調フィルタリング •  性能評価実験 •  システム適⽤用時の課題
3. 発表内容 •  MLlib  の協調フィルタリング •  性能評価実験 •  システム適⽤用時の課題
4. 協調フィルタリング •  レコメンデーションシステムにおける推薦⼿手法の 分類の⼀一つ •  広義では •  ユーザ同⼠士の過去の挙動を⼊入⼒力力とする •  商品⾃自体の特徴は利利⽤用しない •  ⼝口コミの⾃自動化
5. MLlib  における 協調フィルタリング •  現時点（Spark  1.1.0）でレコメンデーション アルゴリズムとして提供されているのは1つだけ •  org.apache.spark.mllib.recommendation.ALS •  ⾏行行列列因⼦子分解をALSで解くという実装
6. ⾏行行列列因⼦子分解 •  ユーザの商品への評価をユーザ数  ×  商品数の⾏行行列列 で表す •  この⾏行行列列を  nf  個の特徴を持つユーザ特徴量量⾏行行列列と 商品特徴量量⾏行行列列の積で表すことを⽬目的とする
7. 評価値⾏行行列列
8. ユーザ／商品特徴量量⾏行行列列
9. ALS •  交互最⼩小⼆二乗法（Alternative  Least  Square） •  2つの特徴量量⾏行行列列を交互に学習 •  Spark  の得意とする繰り返し処理理
10. ALS  step  1 ユーザ 特徴量量⾏行行列列 商品 特徴量量⾏行行列列 最初の特徴量量をそれぞれの商品の 平均の評価値で初期化 それ以外はランダムな ⼩小さい値で初期化
11. ALS  step  2 ユーザ 特徴量量⾏行行列列 商品 特徴量量⾏行行列列 各ユーザについて、 予測値と実際の評価値の誤差を最⼩小化 商品側は固定
12. ALS  step  3 ユーザ 特徴量量⾏行行列列 商品 特徴量量⾏行行列列 各商品について、 予測値と実際の評価値の誤差を最⼩小化 ユーザ側は固定 以下、収束するまで  step  2,  3  を繰り返し
13. ALS-‐‑‒WR •  ALS  with  Weighted  λ  Regularization •  Spark  1.1.0  から •  Tikhonov  の正則化の導⼊入 •  Over-‐‑‒fitting  を防ぐのが⽬目的
14. パラメータ  λ •  第2項はモデルパラメータの起伏を⼩小さくする働き •  ハイパーパラメータ  λ  が⼤大きいほど強く働く •  λ  は精度度と頑健性のバランスを司る Tikhonov  の正則化項 評価値予測誤差
15. 発表内容 •  MLlib  の協調フィルタリング •  性能評価実験 •  システム適⽤用時の課題
16. 実験の⽬目的 •  特徴量量の数（rank）および  λ  が評価値の予測精度度 に与える影響を調べる
17. 使⽤用データ •  MovieLens  1M •  http://grouplens.org/datasets/movielens/ •  ユーザが映画を5段階評価 •  データ数 •  ユーザ数:  6,040 •  映画数:  3,883 •  評価件数:  1,000,209 •  疎性:  0.957
18. 実験⼿手順 Cross  Validation  (Shuffle  &  Split) ※以下を繰り返し 1.  データセットをランダムに分割し、⼀一⽅方を学習⽤用、他⽅方 を評価⽤用とする 2.  学習⽤用データを使って⾏行行列列因⼦子分解モデルを学習 3.  学習されたモデルで評価⽤用データに含まれる ユーザ・映画の組み合わせについて評価値を予測 4.  予測された評価値と実際の評価値から  MAE  を計算
19. MAE •  平均絶対誤差（Mean  Absolute  Error） •  実際のユーザ評価値と予測されたユーザ評価値が どのくらい離離れているかを⽰示す •  値が⼩小さい程、予測精度度が⾼高い
20. 実験結果① 特徴量量数(rank)  vs.  MAE
21. 実験結果② λ  vs.  MAE λ  の推移による精度度と頑健性のトレードオフが⾒見見えている
22. 発表内容 •  MLlib  の協調フィルタリング •  性能評価実験 •  システム適⽤用時の課題
23. システム適⽤用時の課題 •  EMR  で最新版  Spark  を使うための設定 •  Bootstrap  スクリプトを⾃自分で⽤用意 •  ハイパーパラメータの実験的な決定 •  速度度の問題 •  推薦対象のユーザ、商品の数が多いと… •  MLlib  が提供している⾏行行列列因⼦子分解モデルの メソッドでは無理理がある
24. MatrixFactorizationModel   クラス RDD<scala.Tuple2<Object,  double[]>> count()  ==  ユーザ数 RDD<scala.Tuple2<Object,  double[]>> count()  ==  商品数 MatrixFactorizationModel
25. MatrixFactorizationModel   クラス RDD<scala.Tuple2<Object,  double[]>> count()  ==  ユーザ数 RDD<scala.Tuple2<Object,  double[]>> count()  ==  商品数 MatrixFactorizationModel List  化  & broadcast
26. 推薦処理理の⾼高速化 •  全ユーザに対して推薦を出す場合、商品特徴量量⾏行行列列 を⾮非  RDD  化して  broadcast  することで処理理速度度 の改善が⾒見見られた •  〜～12倍 •  RDD  同⼠士の  CROSS  JOIN  的な処理理はなるべく 避けるべき
27. まとめ •  MLlib  の協調フィルタリング実装は、⾏行行列列因⼦子分解 モデルを  ALS-‐‑‒WR  で学習する⽅方式 •  パラメータによる評価値予測精度度への影響を確認 •  処理理速度度がネックとなるときは、データを RDD  として持つかどうかも検討
28. 参考 •  MLlib  –  Collaborative  Filtering http://spark.apache.org/docs/latest/mllib-‐‑‒collaborative-‐‑‒ filtering.html •  MovieLens http://www.grouplens.org/datasets/movielens/ •  Y.  Zhou  et  al.,  “Large-‐‑‒Scale  Parallel  Collaborative   Filtering  for  the  Netflix  Prize,”  Proc.  4th  Intʼ’l  Conf.   Algorithmic  Aspects  in  Information  and  Management,   LNCS  5034,  Springer,  2008,  pp.  337-‐‑‒348
29. ご清聴ありがとうございました！