Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Cloud Vizierに関する調査

Asei Sugiyama
November 25, 2020

Cloud Vizierに関する調査

ブラックボックス最適化を行うサービスである Cloud Vizier についてRepro 社内で調査を行った際の資料です。

Google Vizier に関する論文 https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/46180.pdf
Cloud Vizier に関するブログポスト
https://cloud.google.com/blog/products/gcp/hyperparameter-tuning-cloud-machine-learning-engine-using-bayesian-optimization

Asei Sugiyama

November 25, 2020
Tweet

More Decks by Asei Sugiyama

Other Decks in Technology

Transcript

  1. 背景 A/B テストにおいてパラメーターの最適化を⾃動で⾏うための技術が今 後必要になる⾒込み 上記のタスクはブラックボックス最適化なので、ハイパーパラメーター チューニングのための技術、とくにガウス過程を⽤いたベイズ最適化が 有⼒候補 実装⽅法はいくつか候補 (Optuna, etc.)

    があるものの必要な計算資源の ⾯で困難が⾒込まれるため、マネージド・サービスが望ましい ブラックボックス最適化を⾏うためのクラウドサービス Cloud Vizier が そろそろ GA なので試してみる
  2. Google Vizier の概要 Google Vizier とは Google Vizier と Cloud

    Vizier の関係 主要なユースケース 補⾜: Vizier Google Vizier の主要な機能
  3. Google Vizier と Cloud Vizier の関係 名称 要約 Google Vizier

    Google 社内⽤のハイパーパラメーターチューニングサー ビス Cloud Vizier Google Vizier を GCP で利⽤できるようにしたもの AI Platform Training ハイパーパラメーターチューニングで Cloud Vizier 相当の ものを利⽤している
  4. 主要なユースケース . ハイパーパラメーターチュ ーニング . A/B テストの⾃動化 how should the

    search results returned from Google Maps trade off search-relevance for distance from the user?
  5. Tutorial Optimizing a machine learning model | AI Platform Vizier

    Optimizing multiple objectives | AI Platform Vizier | Google Cloud
  6. まとめ Cloud Vizier はガウス過程を⽤いてベイズ最適化を⾏うサービスであ り、Google 社内の同名サービス Google Vizier をクラウドサービス化し たもの

    Google 社内ではハイパーパラメーターチューニング、A/B テストの⾃動 化に⽤いられている ベイズ最適化に加え、Early stopping, Automated Stopping が実装され ているほか、パフォーマンスのために転移学習を⽤いている 最適化したいタスクの定義とタスクそのものの実装を⾏えば、サービス が次に試すべきパラメーターを推薦してくれる