WEARにおけるGAE(Google App Engine)を用いた機械学習アプリケーションの運用について

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

© ZOZO Technologies, Inc. https://wear.jp/  ・日本最大級のファッションコーディネートアプリ  ・ 1,300万ダウンロード突破、コーディネート投稿総数は900万件   以上（ともに2019年5月末時点）  ・全世界（App Store / Google Playが利用可能な全ての国）で  ダウンロードが可能  ・ 200万人以上のフォロワーを持つユーザー（WEARISTA）も誕生  4

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

© ZOZO Technologies, Inc. 14 GAEって何だっけ ● フルマネージドなPlatform as a Service(PaaS)  ○ サーバーの環境構築や面倒を見る必要がない  ● Node.js, Python, Rubyなどの言語に対応  ○ 対応していない場合も「カスタムランタイム」をDocker上で使用可能  ● アプリケーションのバージョニング、開発、テスト環境を簡単に構築できる  ● 受信したトラフィックを分割してA/Bテストみたいなのもできる  ● Stackdriverを用いたモニタリングやロギングが可能 

Slide 15

Slide 15 text

© ZOZO Technologies, Inc. 15 GAEの環境 Standard Flexible (Go, Python, ..) Flexible (Custom Runtime) 実行環境サンドボックス Compute Engine Compute Engine ランタイムの自由度 ✗ ▲ ◯ リソースの制限有有(Standardより緩い) 有(Standardより緩い) スケーリングの速さ早い(数十 ms) 場合によっては遅い(数分) 場合によっては遅い(数分) [参考] https://cloud.google.com/appengine/docs/flexible/java/flexible-for-standard-users?hl=ja

Slide 16

Slide 16 text

© ZOZO Technologies, Inc. 16 GAEの環境 Standard Flexible (Go, Python, ..) Flexible (Custom Runtime) 実行環境サンドボックス Compute Engine Compute Engine ランタイムの自由度 ✗ ▲ ◯ リソースの制限有有(Standardより緩い) 有(Standardより緩い) スケーリングの速さ早い(数十 ms) 場合によっては遅い(数分) 場合によっては遅い(数分) [参考] https://cloud.google.com/appengine/docs/flexible/java/flexible-for-standard-users?hl=ja Docker環境があった＋ Modelのロードも必要

Slide 17

Slide 17 text

© ZOZO Technologies, Inc. 17 GAEのデプロイ各環境で必要なファイル Standard Environment 構成ファイル(app.yaml, dispatch.yaml,..)とソースファイル Flexible (任意処理系) Environment 構成ファイルとソースファイルとライブラリに関するファイル(requirements.txt) Flexible Custom Runtime Environment 構成ファイルとDockerfile DockerfileにADD句でソースファイルを含めるようにする $ gcloud app deploy

Slide 18

Slide 18 text

© ZOZO Technologies, Inc. 18 GAEのチューニングパラメータアプリケーションのパフォーマンス関する主なチューニングパラメータ    パラメータ名概要 instance_class(Standard) or resources(Flexible) 必要なコンピュータリソース(CPUやメモリ)要件を定義する automatic_scaling スケーリングポリシーを決める例. CPU使用率50%以上でスケールアウトチューニングパラメータが少なくて楽 

Slide 19

Slide 19 text

Slide 20

Slide 20 text

© ZOZO Technologies, Inc. 20 GAEのStackdriver Logging [参考] https://cloud.google.com/appengine/articles/logging リクエストログアプリケーションに到達したリクエストのログアプリログ App Engine内のアプリケーションログ(stdout) ランタイムログロギングエージェントからのログ(e.g., 例外スタックトレース) Flexible リクエストログアプリケーションに到達したリクエストのログアプリログ App logs consist of additional app information included in the request logs. サードパーティパッケージログ nginxなどのサードパーティ製のログ Standard 各環境のStackdriverで取得できるログ一覧   

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

© ZOZO Technologies, Inc. 23 New Relic Synthetics 以下の項目を監視 ● アプリケーションの死活監視(HTTP Status) ● HTTPリクエストのトレーシング他にも下記のことが可能 ● ブラウザレンダリングした時のレイテンシ ● 仮想ブラウザを用いたWebページのテスト [参考] https://newrelic.nissho-ele.co.jp/products/newrelic-synthetics

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

© ZOZO Technologies, Inc. 28 機械学習の学習パイプライン 1. digdagで jobを実行 Cron Job 2. Compute Engine上で学習スクリプトのキック 3. 学習データの作成 CircleCI 4. モデルの学習 digdag on CircleCI 5. モデルを GCSへコピー BigQuery Compute Engine Compute Engine Compute Engine Cloud Storage 6. GCSへモデルがコピーされるまで待つ digdag on CircleCI 7. デプロイの開始 CircleCI 毎日発火!!