Upgrade to Pro — share decks privately, control downloads, hide ads and more …

MLOps関連の注目セッション&アップデート / Google Cloud Next '23 Recap

CyberAgent
November 10, 2023

MLOps関連の注目セッション&アップデート / Google Cloud Next '23 Recap

CyberAgent

November 10, 2023
Tweet

More Decks by CyberAgent

Other Decks in Technology

Transcript

  1. 1
    Google Cloud Next '23 Recap/
    Warming up for Tokyo
    株式会社CyberAgent IU事業部
    ML Engineer 原 和希
    MLOps関連の注目セッション&アップデート

    View full-size slide

  2. 自己紹介
    2
    原 和希
    2021年 CyberAgent入社
    所属:株式会社CAM
    【主な業務】
    MLOps基盤・レコメンドモデルの開発/ 生成AIの検証・導入
    ・Google Cloud Champion Innovators (Cloud AI/ML)
    ・CyberAgent Next Experts (GCP ML)
    はら かずき
    @Harappa80

    View full-size slide

  3. Agenda
    3
    1. 本発表のゴール
    2. 本発表での想定視聴者
    3. 本日話すこと/ 話さないこと
    4. 生成AI時代のMLOps基盤
    5. アップデートと新機能
    6. まとめ

    View full-size slide

  4. 1. 本発表のゴール

    Google Cloud Next’23 で発表があった/今日までにリリースがあった新機能・アッ
    プデートを共有する

    Google Cloud での MLOps の現在を知ってもらう

    必要なプロダクトをキャッチアップする足がかりをつくる
    ○ 各機能の紹介時に公式ドキュメント・ブログ・Next’23のセッション等のリンクを載せています
    4
    会場のモスコーンセンター

    View full-size slide

  5. 2. 本発表での想定視聴者

    AI/ML・MLOps に関しての基礎知識がある

    Vertex AI を知っており、新機能をキャッチアップしたい
    5

    View full-size slide

  6. 3. 本日話すこと/ 話さないこと
    6
    【話すこと】
    ● Vertex AI の新機能・アップデートの紹介
    ● 各機能で実現可能なこと
    【話さないこと】
    ● 理論やアルゴリズムの詳細
    ● 実装例、サイバーエージェントでの活用事例
    ● MLOps 以外の新機能 (Duet AI, Imagenなど)
    ● 時間の都合上、全てのアップデートはお話し出来ません...。

    View full-size slide

  7. ● Next’23では、生成AIの運用をサポートする多くの機能が発表された
    ● とはいえ、今までのMLと共通する箇所もあるので、十分に知見は活かせる
    4. 生成AI時代のMLOps基盤
    7
    Google Cloud 公式ブログより引用

    View full-size slide

  8. 5. アップデートと新機能
    8

    View full-size slide

  9. Vertex AI Vector Search
    【アップデート】
    ● Vertex AI Matching Engine から名称が変更
    ● コンソール画面からインデックスの作成/監視が可能に
    ● インデックスの構築時間が数時間から数分に短縮
    ● クエリ時に、従来のタグベースのフィルタリングに加えて、メタデータでも行えるように
    【ポイント】
    ● 導入時のハードル・パフォーマンスが改善
    【キャッチアップ】
    ● 公式ブログ: Build your own gen AI-powered vector search applications with Vertex AI Search
    ● Google Cloud Tech YouTube: Get Started with Vector Search using Vertex AI
    9

    View full-size slide

  10. Vertex AI Feature Store [プレビュー]
    10
    【アップデート】
    ● BigQuery から直接特徴量を参照可能に
    ○ 特徴量をインポートする必要がなくなった
    ● 最近傍探索を実行することが可能に
    ● Dataplex と統合され、特徴量のバージョンやラベルを管理可能に
    【ポイント】
    ● データ管理/ MLOpsの基盤がシンプルに
    ● メンテナンスコストが改善

    View full-size slide

  11. 【キャッチアップ】
    ● 公式ドキュメント: About Vertex AI Feature Store
    ● Next’23 セッション: High performance feature engineering for predictive and generative AI projects with
    Vertex AI Feature Platform
    Vertex AI Feature Store [プレビュー]
    11
    Google Cloud 公式ブログより引用

    View full-size slide

  12. Colab Enterprise [プレビュー]
    12
    【新機能】
    ● Vertex AI に統合された Google Colaboratory
    ○ Google Cloud との連携が容易
    ○ IAM でアクセス管理が可能
    ● Duet AI によるコード補完
    ● Model Garden との連携
    【ポイント】
    ● Vertex AI プロダクトを使用する際のハブとなる
    【キャッチアップ】
    ● 公式ブログ: Colab Enterprise と生成 AI 用の MLOps で Vertex AI を強化
    ● 公式ドキュメント: Introduction to Colab Enterprise
    ● Next’23 セッション: Build AI quickly, collaboratively, and with confidence with Colab using Vertex AI

    View full-size slide

  13. Vertex AI Model Garden
    【アップデート】
    ● OSS, サードパーティの基盤モデルが追加
    ○ Meta: Llama2/ Code Llama
    ○ Technology Innovation Institute: Falcon
    ○ Anthropic: Claude 2(追加予定)
    【ポイント】
    ● 豊富なモデルのデプロイを Vertex AI Endpoint への数クリックで行える
    ● Fine-Tuning を Colab Enterprise から行える
    【キャッチアップ】
    ● 公式ドキュメント: Explore AI models in Model Garden
    13

    View full-size slide

  14. Vertex AI での Fine-Tuning
    14
    ● Vertex AI では2種類のFine-Tuningの方法が提供されている(Google製のLLMモデルにおいて)
    ○ Supervised Fine-Tuning
    ○ Reinforcement Learning from Human Feedback
    参考: 公式ドキュメントTune language foundation models

    View full-size slide

  15. 【新機能】
    ● 教師ありによるFine-Tuning
    ● text, chat, code, codechat-bisonをサポート
    ● 100〜500サンプルを使用が推奨
    【キャッチアップ】
    ● 公式ドキュメント: Tune text models by using supervised tuning
    ● 公式ドキュメント: Tune code models
    Supervised Fine-Tuning
    15

    View full-size slide

  16. 【新機能】
    ● 強化学習を用いたFine-Tuning
    ● 人間からのフィードバックデータセットを使って、人間が好む応答を学習
    ● 5,000~10000件のサンプルが推奨
    ● Vertex AI Generative AI StudioおよびPipeline Templateから実行可能
    ● text-bison, T5をサポート
    【キャッチアップ】
    ● 公式ドキュメント: RLHF チューニングでテキストモデルを調整する
    Reinforcement Learning from Human Feedback [プレビュー]
    16

    View full-size slide

  17. Vertex AI での LLMの評価
    17
    ● Prompt EngineeringやFine-Tuning, RAG等でモデルの改善を行ったが、どのように評価すれ
    ばよい?
    ● 改善前後のモデルでどちらが良いかどうかは、どのように判断すればよい?

    View full-size slide

  18. 【新機能】
    ● 自身で Ground Truth データセットを用意して、ML の評価指標で評価をする
    ● Vertex AI Pipelines Template から実行可能
    【ポイント】
    ● LLM の定量的な評価をカバー
    【キャッチアップ】
    ● 公式ドキュメント: Evaluate model performance
    ● Next’23 セッション:
    Building your ML Ops strategy for generative AI
    Automatic Metrics [プレビュー]
    18
    対応している評価指標(公式ドキュメントより)
    セッション動画より引用

    View full-size slide

  19. Automatic Side by Side [プライベートプレビュー]
    19
    【新機能】
    ● 複数のモデルの出力を評価する際に、評価用モデルを利用して人間による評価をサポート
    ○ A/Bテストのような仕組み
    【ポイント】
    ● LLM の定性的な評価をカバー
    【キャッチアップ】
    ● 公式ブログ:
    All 161 things we announced at Google Cloud Next ‘23 – a recap
    ● Next’23 セッション:
    Building your ML Ops strategy for generative AI
    セッション動画より引用

    View full-size slide

  20. 【新機能】
    ● Agent を実装可能な機能
    ○ 関数呼び出しや、外部システムの API に接続する拡張機能を作成可能
    ■ モデルがアクションを実行・情報をリアルタイムで取得/処理
    ● LangChain と互換性がある
    【ポイント】
    ● Google Cloud の製品との連携した Agent の開発が容易そう
     ※使用するためには、Trusted Tester プログラムにて承認される必要がある
    【キャッチアップ】
    ● 公式ドキュメント: Connect models to APIs by using extensions
    ● Next’23 セッション: Build extensions and extension-powered applications with Vertex AI
    Vertex AI Extensions [プライベートプレビュー]
    20

    View full-size slide

  21. 6. まとめ
    21

    View full-size slide

  22. まとめ
    ● 大規模モデルの運用を支えるために、多くのアップデートがあった
    ● Model Evaluation のようなモデル評価の機能は今後必須になる
    ○ LLM の活用が脚光を浴びているが、本番導入のためには適切な評価が重要
    ● 検証・導入事例の詳細に関しては今後、ブログにて公開していきます
    22

    View full-size slide