Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Cloud Vizierに関する調査

8fa31051503b09846584c49cd53d2f80?s=47 Asei Sugiyama
November 25, 2020

Cloud Vizierに関する調査

ブラックボックス最適化を行うサービスである Cloud Vizier についてRepro 社内で調査を行った際の資料です。

Google Vizier に関する論文 https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/46180.pdf
Cloud Vizier に関するブログポスト
https://cloud.google.com/blog/products/gcp/hyperparameter-tuning-cloud-machine-learning-engine-using-bayesian-optimization

8fa31051503b09846584c49cd53d2f80?s=128

Asei Sugiyama

November 25, 2020
Tweet

Transcript

  1. Cloud Vizier に関する調査結果 Asei Sugiyama

  2. ⽬次 背景 <- Google Vizier の概要 Cloud Vizier の概要 Tutorial

    まとめ
  3. 背景 A/B テストにおいてパラメーターの最適化を⾃動で⾏うための技術が今 後必要になる⾒込み 上記のタスクはブラックボックス最適化なので、ハイパーパラメーター チューニングのための技術、とくにガウス過程を⽤いたベイズ最適化が 有⼒候補 実装⽅法はいくつか候補 (Optuna, etc.)

    があるものの必要な計算資源の ⾯で困難が⾒込まれるため、マネージド・サービスが望ましい ブラックボックス最適化を⾏うためのクラウドサービス Cloud Vizier が そろそろ GA なので試してみる
  4. ⽬次 背景 Google Vizier の概要 <- Cloud Vizier の概要 Tutorial

    まとめ
  5. Google Vizier の概要 Google Vizier とは Google Vizier と Cloud

    Vizier の関係 主要なユースケース 補⾜: Vizier Google Vizier の主要な機能
  6. Google Vizier とは Google 社内で使われている ブラックボックス最適化サ ービス 論⽂が公開されている Hyperparameter tuning

    in Cloud Machine Learning Engine using Bayesian Optimization | Google Cloud Blog
  7. Google Vizier と Cloud Vizier の関係 名称 要約 Google Vizier

    Google 社内⽤のハイパーパラメーターチューニングサー ビス Cloud Vizier Google Vizier を GCP で利⽤できるようにしたもの AI Platform Training ハイパーパラメーターチューニングで Cloud Vizier 相当の ものを利⽤している
  8. 主要なユースケース . ハイパーパラメーターチュ ーニング . A/B テストの⾃動化 how should the

    search results returned from Google Maps trade off search-relevance for distance from the user?
  9. 補⾜: Vizier ⽀配者を補佐する⼈ 右図の右側の⼈

  10. Google Vizier の主要な 機能 ベイズ最適化 Early stopping Automated stopping Transfer

    learning
  11. ベイズ最適化 ガウス過程 (バイオリンプロットをイ メージすると良い) を⽤いて、現在分 かっているデータから、次に試すべ きデータを求める 実数型、整数型、離散型、カテゴリ カル型を扱う 離散型は実数に対応させる

    カテゴリカル型はone-hot-encoding
  12. Early stopping いわゆる early stopping に 同じ ブラックボックス最適化時 に指定したアルゴリズムに したがって

    Early stopping を⾃動的にやると⾔ってい る 詳細不明
  13. Automated stopping パフォーマンスカーブに基 づくルール: 改善幅が⾒られ なくなったら停⽌ 中央値に基づくルール: 中央 値よりも悪くなったら停⽌

  14. Transfer learning ガウス過程はデータ数が増 えると計算量が で 増加 (逆⾏列の計算) 全データを対象にするので はなく、バッチ化 それまでのバッチで学習し

    たモデルの出⼒と、実際の データの残差を学習 O(n ) 3
  15. ⽬次 背景 Google Vizier の概要 Cloud Vizier の概要 <- Tutorial

    まとめ
  16. Cloud Vizier の概要 AI Platform Optimizer を⾒ると わかりやすい Study Configuration

    Study Trial
  17. Study Configuration 最適化するシステムの⼊⼒ の定義 最適化する指標の定義

  18. Study 最適化を⾏うための場所 Study Configuration の実体 のようなもの?

  19. Trial それぞれの試⾏ Cloud Vizier は次に試すべ きパラメーターを指⽰する

  20. ⽬次 背景 Google Vizier の概要 Cloud Vizier の概要 <- Tutorial

    まとめ
  21. Tutorial Optimizing a machine learning model | AI Platform Vizier

    Optimizing multiple objectives | AI Platform Vizier | Google Cloud
  22. ⽬次 背景 Google Vizier の概要 Cloud Vizier の概要 Tutorial 今後の課題とまとめ

    <-
  23. 今後の課題 使いみちはありそうなもの の、実装がそれなりに複雑 価格が不明

  24. まとめ Cloud Vizier はガウス過程を⽤いてベイズ最適化を⾏うサービスであ り、Google 社内の同名サービス Google Vizier をクラウドサービス化し たもの

    Google 社内ではハイパーパラメーターチューニング、A/B テストの⾃動 化に⽤いられている ベイズ最適化に加え、Early stopping, Automated Stopping が実装され ているほか、パフォーマンスのために転移学習を⽤いている 最適化したいタスクの定義とタスクそのものの実装を⾏えば、サービス が次に試すべきパラメーターを推薦してくれる