PredictionIO構築入門

PredictionIOの構成とインストール方法について説明します。

Transcript

1. Apache BizReach, Inc. Shinsuke Sugaya PredictionIO勉強会 第2回 構築入門
2. 自己紹介 名前：菅谷 信介 会社：株式会社ビズリーチ AI室 興味があること： ・機械学習やDeep Learning等で解決方法を考える ・オープンソースのプロダクトを作る
3. Topics ・PredictionIOの構成について ・PredictionIOの導入方法
4. PredictionIOの構成
5. 構成要素 PredictionIOはこの部分を提供
6. 構成要素 データソース
7. 必要なもの ・必ず必要なもの 　→Spark+Hadoop ・どれかの組み合わせで入れるもの 　→Database 　→HBase+Database 　→Elasticsearch 　　など…
8. データソース データソースには3種類あり、選択して入れる ・イベントデータ 　→JDBC, HBase, Elasticsearch ・設定(メタデータ) 　→JDBC, Elasticsearch ・モデルデータ 　→JDBC, HDFS, Local, S3(0.12〜) ※JDBCと書いてあるがPostgreSQL以外でどこまで動くか不明
9. PredictionIOの インストール
10. インストールの流れ 1. Sparkのインストール 2. データソースのインストール 3. PredicitionIOのインストール 4. テンプレートからエンジンの作成
11. Sparkのインストール PredictionIOはSpark 1.6と2.1をサポートしている (Spark 1.4以上に対応しているが、個人的には1.x系は捨てたい…) 今回はSpark 2.1.1をインストールする $ cd /opt # 今回の例では/opt以下に入れる想定 $ wget http://d3kbcqa49mib13.cloudfront.net/spark-2.1.1-bin-hadoop2.6.tgz $ tar zxvf spark-2.1.1-bin-hadoop2.6.tgz $ cd spark-2.1.1-bin-hadoop2.6 $ echo "spark.locality.wait.node 0s" > conf/spark-defaults.conf ↑Standalone版での回避策
12. データソースの準備 イベント/メタデータにElasticsearch 5.4.2を利用する (構築が一番簡単なので…) モデルデータの保存にはファイルシステムを利用する $ cd /opt $ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.2.tar.gz $ tar zxvf elasticsearch-5.4.2.tar.gz $ cd elasticsearch-5.4.2 $ ./bin/elasticsearch &
13. PreidctionIOのインストール 現在、バイナリとしての配布物がない… (Apacheでの提供する際のライセンス問題を解決していないので…) GitHubから取得して、まずビルドする $ cd /opt $ git clone https://github.com/apache/incubator-predictionio.git $ cd incubator-predictionio/ $ ./make-distribution.sh \ -Dscala.version=2.11.8 \ -Dspark.version=2.1.1 \ -Dhadoop.version=2.6.5 \ -Delasticsearch.version=5.4.2
14. PreidctionIOのインストール ビルドが成功したら、成果物を展開する $ cd /opt $ tar zxvf incubator-predictionio/PredictionIO-0.11.1-SNAPSHOT.tar.gz $ cd PredictionIO-0.11.1-SNAPSHOT
15. PreidctionIOの設定 設定ファイルconf/pio-env.shを修正する $ vi conf/pio-env.sh SPARK_HOME=/opt/spark-2.1.1-bin-hadoop2.6 PIO_STORAGE_REPOSITORIES_METADATA_SOURCE=ELASTICSEARCH PIO_STORAGE_REPOSITORIES_EVENTDATA_SOURCE=ELASTICSEARCH PIO_STORAGE_REPOSITORIES_MODELDATA_SOURCE=LOCALFS PIO_STORAGE_SOURCES_ELASTICSEARCH_TYPE=elasticsearch PIO_STORAGE_SOURCES_ELASTICSEARCH_HOSTS=localhost PIO_STORAGE_SOURCES_ELASTICSEARCH_PORTS=9200 PIO_STORAGE_SOURCES_ELASTICSEARCH_SCHEMES=http PIO_STORAGE_SOURCES_LOCALFS_TYPE=localfs PIO_STORAGE_SOURCES_LOCALFS_PATH=$PIO_FS_BASEDIR/models 以下のように変更する
16. PreidctionIOの確認 pio statusを実行して、エラーが出なければOK $ ./bin/pio status … [INFO] [Management$] Apache Spark 2.1.1 detected [INFO] [Management$] Inspecting storage backend connections... [INFO] [Storage$] Verifying Meta Data Backend (Source: ELASTICSEARCH)... [INFO] [Storage$] Verifying Model Data Backend (Source: LOCALFS)... [INFO] [Storage$] Verifying Event Data Backend (Source: ELASTICSEARCH)... [INFO] [Storage$] Test writing to Event Store (App Id 0)... [INFO] [Management$] Your system is all ready to go.
17. イベントサーバの起動 pio eventserverコマンドで起動する これによりREST APIで訓練例を登録できる $ ./bin/pio eventserver & … [INFO] [HttpListener] Bound to /0.0.0.0:7070 [INFO] [EventServerActor] Bound received. EventServer is ready.
18. PredictionIOで テンプレートを 利用して学習
19. テンプレートで学習 テンプレートは機械学習を用いた1つのサービス テンプレートギャラリーとして公開されている (メンテナンスされていないものが多い…) ApacheのGitHubで基本的なテンプレートを提供 (ゼロから作るならskeletonを利用すると良い) 今回は分類問題用のテンプレートを利用する (他のテンプレートでの基本的な流れは同じはず…)
20. 準備 pioコマンドのパスを通す 今回、データ登録にPythonを利用する predictionioモジュールも利用するので入れておく $ export PATH=/opt/PredictionIO-0.11.1-SNAPSHOT/bin:$PATH $ pio status # 確認 $ pip install predictionio
21. テンプレートの取得 GitHubからテンプレートをcloneする $ cd /opt $ git clone https://github.com/apache/incubator-predictionio-template-attribute-based-classifi er.git $ cd incubator-predictionio-template-attribute-based-classifier
22. アプリの登録 PredictionIOにアプリの登録をする $ pio app new TEST_APP # TEST_APPという名前のアプリを登録 "appName": "TEST_APP" アクセスキーが発行される(pio app listで確認可能) テンプレートのengine.jsonのappNameを更新する
23. 学習対象データの登録 data/data.txtにある訓練例をイベントサーバに登録 $ python data/import_eventserver.py --access_key=XXXXX Importing data... 153 events are imported. 0,51 35 12 $ curl -XGET "http://localhost:7070/events.json?accessKey=XXXXX” 今回のデータ例：(クラス,属性…) 登録されたデータの確認
24. テンプレートのビルド build.sbtの先頭行にscalaVersionを指定する (将来のバージョンでは修正されるはず…) $ pio build scalaVersion in ThisBuild := "2.11.8" ソースコードを変更したときにpio buildを実行する テンプレートをビルドする
25. 学習 pio trainを実行する モデルデータは~/.pio_store/modelsに保存される $ pio train … [INFO] [CoreWorkflow$] Training completed successfully.
26. 予測 pio deployで予測サーバを起動する $ pio deploy & … [INFO] [MasterActor] Engine is deployed and running. Engine API is live at http://0.0.0.0:8000. $ curl -H "Content-Type: application/json" -d '{"attr0":90,"attr1":15,"attr2":73}' \ http://localhost:8000/queries.json {"label":3.0} data/data.txtのデータを投げてみる (たとえば、「3,90 15 73」の場合、3がlabelとして返却される(予測成功！))
27. Apache Thank You