Share
Embed
Transcript
22 slides
-
1 Google Cloud Next '23 Recap/ Warming up for Tokyo
株式会社CyberAgent IU事業部 ML Engineer 原 和希 MLOps関連の注目セッション&アップデート -
自己紹介 2 原 和希 2021年 CyberAgent入社 所属:株式会社CAM 【主な業務】 MLOps基盤・レコメンドモデルの開発/ 生成AIの検証・導入
・Google Cloud Champion Innovators (Cloud AI/ML) ・CyberAgent Next Experts (GCP ML) はら かずき @Harappa80 -
Agenda 3 1. 本発表のゴール 2. 本発表での想定視聴者 3. 本日話すこと/ 話さないこと 4.
生成AI時代のMLOps基盤 5. アップデートと新機能 6. まとめ -
1. 本発表のゴール • Google Cloud Next’23 で発表があった/今日までにリリースがあった新機能・アッ プデートを共有する • Google
Cloud での MLOps の現在を知ってもらう • 必要なプロダクトをキャッチアップする足がかりをつくる ◦ 各機能の紹介時に公式ドキュメント・ブログ・Next’23のセッション等のリンクを載せています 4 会場のモスコーンセンター -
3. 本日話すこと/ 話さないこと 6 【話すこと】 • Vertex AI の新機能・アップデートの紹介 •
各機能で実現可能なこと 【話さないこと】 • 理論やアルゴリズムの詳細 • 実装例、サイバーエージェントでの活用事例 • MLOps 以外の新機能 (Duet AI, Imagenなど) • 時間の都合上、全てのアップデートはお話し出来ません...。 -
Vertex AI Vector Search 【アップデート】 • Vertex AI Matching Engine
から名称が変更 • コンソール画面からインデックスの作成/監視が可能に • インデックスの構築時間が数時間から数分に短縮 • クエリ時に、従来のタグベースのフィルタリングに加えて、メタデータでも行えるように 【ポイント】 • 導入時のハードル・パフォーマンスが改善 【キャッチアップ】 • 公式ブログ: Build your own gen AI-powered vector search applications with Vertex AI Search • Google Cloud Tech YouTube: Get Started with Vector Search using Vertex AI 9 -
Vertex AI Feature Store [プレビュー] 10 【アップデート】 • BigQuery から直接特徴量を参照可能に
◦ 特徴量をインポートする必要がなくなった • 最近傍探索を実行することが可能に • Dataplex と統合され、特徴量のバージョンやラベルを管理可能に 【ポイント】 • データ管理/ MLOpsの基盤がシンプルに • メンテナンスコストが改善 -
【キャッチアップ】 • 公式ドキュメント: About Vertex AI Feature Store • Next’23
セッション: High performance feature engineering for predictive and generative AI projects with Vertex AI Feature Platform Vertex AI Feature Store [プレビュー] 11 Google Cloud 公式ブログより引用 -
Colab Enterprise [プレビュー] 12 【新機能】 • Vertex AI に統合された Google
Colaboratory ◦ Google Cloud との連携が容易 ◦ IAM でアクセス管理が可能 • Duet AI によるコード補完 • Model Garden との連携 【ポイント】 • Vertex AI プロダクトを使用する際のハブとなる 【キャッチアップ】 • 公式ブログ: Colab Enterprise と生成 AI 用の MLOps で Vertex AI を強化 • 公式ドキュメント: Introduction to Colab Enterprise • Next’23 セッション: Build AI quickly, collaboratively, and with confidence with Colab using Vertex AI -
Vertex AI Model Garden 【アップデート】 • OSS, サードパーティの基盤モデルが追加 ◦ Meta:
Llama2/ Code Llama ◦ Technology Innovation Institute: Falcon ◦ Anthropic: Claude 2(追加予定) 【ポイント】 • 豊富なモデルのデプロイを Vertex AI Endpoint への数クリックで行える • Fine-Tuning を Colab Enterprise から行える 【キャッチアップ】 • 公式ドキュメント: Explore AI models in Model Garden 13 -
Vertex AI での Fine-Tuning 14 • Vertex AI では2種類のFine-Tuningの方法が提供されている(Google製のLLMモデルにおいて) ◦
Supervised Fine-Tuning ◦ Reinforcement Learning from Human Feedback 参考: 公式ドキュメントTune language foundation models -
【新機能】 • 教師ありによるFine-Tuning • text, chat, code, codechat-bisonをサポート • 100〜500サンプルを使用が推奨
【キャッチアップ】 • 公式ドキュメント: Tune text models by using supervised tuning • 公式ドキュメント: Tune code models Supervised Fine-Tuning 15 -
【新機能】 • 強化学習を用いたFine-Tuning • 人間からのフィードバックデータセットを使って、人間が好む応答を学習 • 5,000~10000件のサンプルが推奨 • Vertex AI
Generative AI StudioおよびPipeline Templateから実行可能 • text-bison, T5をサポート 【キャッチアップ】 • 公式ドキュメント: RLHF チューニングでテキストモデルを調整する Reinforcement Learning from Human Feedback [プレビュー] 16 -
Vertex AI での LLMの評価 17 • Prompt EngineeringやFine-Tuning, RAG等でモデルの改善を行ったが、どのように評価すれ ばよい?
• 改善前後のモデルでどちらが良いかどうかは、どのように判断すればよい? -
【新機能】 • 自身で Ground Truth データセットを用意して、ML の評価指標で評価をする • Vertex AI
Pipelines Template から実行可能 【ポイント】 • LLM の定量的な評価をカバー 【キャッチアップ】 • 公式ドキュメント: Evaluate model performance • Next’23 セッション: Building your ML Ops strategy for generative AI Automatic Metrics [プレビュー] 18 対応している評価指標(公式ドキュメントより) セッション動画より引用 -
Automatic Side by Side [プライベートプレビュー] 19 【新機能】 • 複数のモデルの出力を評価する際に、評価用モデルを利用して人間による評価をサポート ◦
A/Bテストのような仕組み 【ポイント】 • LLM の定性的な評価をカバー 【キャッチアップ】 • 公式ブログ: All 161 things we announced at Google Cloud Next ‘23 – a recap • Next’23 セッション: Building your ML Ops strategy for generative AI セッション動画より引用 -
【新機能】 • Agent を実装可能な機能 ◦ 関数呼び出しや、外部システムの API に接続する拡張機能を作成可能 ▪ モデルがアクションを実行・情報をリアルタイムで取得/処理
• LangChain と互換性がある 【ポイント】 • Google Cloud の製品との連携した Agent の開発が容易そう ※使用するためには、Trusted Tester プログラムにて承認される必要がある 【キャッチアップ】 • 公式ドキュメント: Connect models to APIs by using extensions • Next’23 セッション: Build extensions and extension-powered applications with Vertex AI Vertex AI Extensions [プライベートプレビュー] 20 -
まとめ • 大規模モデルの運用を支えるために、多くのアップデートがあった • Model Evaluation のようなモデル評価の機能は今後必須になる ◦ LLM の活用が脚光を浴びているが、本番導入のためには適切な評価が重要
• 検証・導入事例の詳細に関しては今後、ブログにて公開していきます 22