1 Google Cloud Next '23 Recap/ Warming up for Tokyo 株式会社CyberAgent IU事業部 ML Engineer 原 和希 MLOps関連の注目セッション＆アップデート

自己紹介 2 原 和希 2021年 CyberAgent入社 所属：株式会社CAM 【主な業務】 MLOps基盤・レコメンドモデルの開発/ 生成AIの検証・導入 ・Google Cloud Champion Innovators (Cloud AI/ML) ・CyberAgent Next Experts (GCP ML) はら かずき @Harappa80

Agenda 3 1. 本発表のゴール 2. 本発表での想定視聴者 3. 本日話すこと/ 話さないこと 4. 生成AI時代のMLOps基盤 5. アップデートと新機能 6. まとめ

1. 本発表のゴール ● Google Cloud Next’23 で発表があった/今日までにリリースがあった新機能・アッ プデートを共有する ● Google Cloud での MLOps の現在を知ってもらう ● 必要なプロダクトをキャッチアップする足がかりをつくる ○ 各機能の紹介時に公式ドキュメント・ブログ・Next’23のセッション等のリンクを載せています 4 会場のモスコーンセンター

2. 本発表での想定視聴者 ● AI/ML・MLOps に関しての基礎知識がある ● Vertex AI を知っており、新機能をキャッチアップしたい 5

3. 本日話すこと/ 話さないこと 6 【話すこと】 ● Vertex AI の新機能・アップデートの紹介 ● 各機能で実現可能なこと 【話さないこと】 ● 理論やアルゴリズムの詳細 ● 実装例、サイバーエージェントでの活用事例 ● MLOps 以外の新機能 (Duet AI, Imagenなど) ● 時間の都合上、全てのアップデートはお話し出来ません...。

● Next’23では、生成AIの運用をサポートする多くの機能が発表された ● とはいえ、今までのMLと共通する箇所もあるので、十分に知見は活かせる 4. 生成AI時代のMLOps基盤 7 Google Cloud 公式ブログより引用

5. アップデートと新機能 8

Vertex AI Vector Search 【アップデート】 ● Vertex AI Matching Engine から名称が変更 ● コンソール画面からインデックスの作成/監視が可能に ● インデックスの構築時間が数時間から数分に短縮 ● クエリ時に、従来のタグベースのフィルタリングに加えて、メタデータでも行えるように 【ポイント】 ● 導入時のハードル・パフォーマンスが改善 【キャッチアップ】 ● 公式ブログ: Build your own gen AI-powered vector search applications with Vertex AI Search ● Google Cloud Tech YouTube: Get Started with Vector Search using Vertex AI 9

Vertex AI Feature Store [プレビュー] 10 【アップデート】 ● BigQuery から直接特徴量を参照可能に ○ 特徴量をインポートする必要がなくなった ● 最近傍探索を実行することが可能に ● Dataplex と統合され、特徴量のバージョンやラベルを管理可能に 【ポイント】 ● データ管理/ MLOpsの基盤がシンプルに ● メンテナンスコストが改善

【キャッチアップ】 ● 公式ドキュメント: About Vertex AI Feature Store ● Next’23 セッション: High performance feature engineering for predictive and generative AI projects with Vertex AI Feature Platform Vertex AI Feature Store [プレビュー] 11 Google Cloud 公式ブログより引用

Colab Enterprise [プレビュー] 12 【新機能】 ● Vertex AI に統合された Google Colaboratory ○ Google Cloud との連携が容易 ○ IAM でアクセス管理が可能 ● Duet AI によるコード補完 ● Model Garden との連携 【ポイント】 ● Vertex AI プロダクトを使用する際のハブとなる 【キャッチアップ】 ● 公式ブログ: Colab Enterprise と生成 AI 用の MLOps で Vertex AI を強化 ● 公式ドキュメント: Introduction to Colab Enterprise ● Next’23 セッション: Build AI quickly, collaboratively, and with confidence with Colab using Vertex AI

Vertex AI Model Garden 【アップデート】 ● OSS, サードパーティの基盤モデルが追加 ○ Meta: Llama2/ Code Llama ○ Technology Innovation Institute: Falcon ○ Anthropic: Claude 2（追加予定） 【ポイント】 ● 豊富なモデルのデプロイを Vertex AI Endpoint への数クリックで行える ● Fine-Tuning を Colab Enterprise から行える 【キャッチアップ】 ● 公式ドキュメント: Explore AI models in Model Garden 13

Vertex AI での Fine-Tuning 14 ● Vertex AI では2種類のFine-Tuningの方法が提供されている（Google製のLLMモデルにおいて） ○ Supervised Fine-Tuning ○ Reinforcement Learning from Human Feedback 参考: 公式ドキュメントTune language foundation models

【新機能】 ● 教師ありによるFine-Tuning ● text, chat, code, codechat-bisonをサポート ● 100〜500サンプルを使用が推奨 【キャッチアップ】 ● 公式ドキュメント: Tune text models by using supervised tuning ● 公式ドキュメント: Tune code models Supervised Fine-Tuning 15

【新機能】 ● 強化学習を用いたFine-Tuning ● 人間からのフィードバックデータセットを使って、人間が好む応答を学習 ● 5,000～10000件のサンプルが推奨 ● Vertex AI Generative AI StudioおよびPipeline Templateから実行可能 ● text-bison, T5をサポート 【キャッチアップ】 ● 公式ドキュメント: RLHF チューニングでテキストモデルを調整する Reinforcement Learning from Human Feedback [プレビュー] 16

Vertex AI での LLMの評価 17 ● Prompt EngineeringやFine-Tuning, RAG等でモデルの改善を行ったが、どのように評価すれ ばよい？ ● 改善前後のモデルでどちらが良いかどうかは、どのように判断すればよい？

【新機能】 ● 自身で Ground Truth データセットを用意して、ML の評価指標で評価をする ● Vertex AI Pipelines Template から実行可能 【ポイント】 ● LLM の定量的な評価をカバー 【キャッチアップ】 ● 公式ドキュメント: Evaluate model performance ● Next’23 セッション: Building your ML Ops strategy for generative AI Automatic Metrics [プレビュー] 18 対応している評価指標(公式ドキュメントより) セッション動画より引用

Automatic Side by Side [プライベートプレビュー] 19 【新機能】 ● 複数のモデルの出力を評価する際に、評価用モデルを利用して人間による評価をサポート ○ A/Bテストのような仕組み 【ポイント】 ● LLM の定性的な評価をカバー 【キャッチアップ】 ● 公式ブログ: All 161 things we announced at Google Cloud Next ‘23 – a recap ● Next’23 セッション: Building your ML Ops strategy for generative AI セッション動画より引用

【新機能】 ● Agent を実装可能な機能 ○ 関数呼び出しや、外部システムの API に接続する拡張機能を作成可能 ■ モデルがアクションを実行・情報をリアルタイムで取得/処理 ● LangChain と互換性がある 【ポイント】 ● Google Cloud の製品との連携した Agent の開発が容易そう 　※使用するためには、Trusted Tester プログラムにて承認される必要がある 【キャッチアップ】 ● 公式ドキュメント: Connect models to APIs by using extensions ● Next’23 セッション: Build extensions and extension-powered applications with Vertex AI Vertex AI Extensions [プライベートプレビュー] 20

6. まとめ 21

まとめ ● 大規模モデルの運用を支えるために、多くのアップデートがあった ● Model Evaluation のようなモデル評価の機能は今後必須になる ○ LLM の活用が脚光を浴びているが、本番導入のためには適切な評価が重要 ● 検証・導入事例の詳細に関しては今後、ブログにて公開していきます 22