● Next’23では、生成AIの運用をサポートする多くの機能が発表された
● とはいえ、今までのMLと共通する箇所もあるので、十分に知見は活かせる
4. 生成AI時代のMLOps基盤
7
Google Cloud 公式ブログより引用
Slide 8
Slide 8 text
5. アップデートと新機能
8
Slide 9
Slide 9 text
Vertex AI Vector Search
【アップデート】
● Vertex AI Matching Engine から名称が変更
● コンソール画面からインデックスの作成/監視が可能に
● インデックスの構築時間が数時間から数分に短縮
● クエリ時に、従来のタグベースのフィルタリングに加えて、メタデータでも行えるように
【ポイント】
● 導入時のハードル・パフォーマンスが改善
【キャッチアップ】
● 公式ブログ: Build your own gen AI-powered vector search applications with Vertex AI Search
● Google Cloud Tech YouTube: Get Started with Vector Search using Vertex AI
9
【キャッチアップ】
● 公式ドキュメント: About Vertex AI Feature Store
● Next’23 セッション: High performance feature engineering for predictive and generative AI projects with
Vertex AI Feature Platform
Vertex AI Feature Store [プレビュー]
11
Google Cloud 公式ブログより引用
Slide 12
Slide 12 text
Colab Enterprise [プレビュー]
12
【新機能】
● Vertex AI に統合された Google Colaboratory
○ Google Cloud との連携が容易
○ IAM でアクセス管理が可能
● Duet AI によるコード補完
● Model Garden との連携
【ポイント】
● Vertex AI プロダクトを使用する際のハブとなる
【キャッチアップ】
● 公式ブログ: Colab Enterprise と生成 AI 用の MLOps で Vertex AI を強化
● 公式ドキュメント: Introduction to Colab Enterprise
● Next’23 セッション: Build AI quickly, collaboratively, and with confidence with Colab using Vertex AI
Slide 13
Slide 13 text
Vertex AI Model Garden
【アップデート】
● OSS, サードパーティの基盤モデルが追加
○ Meta: Llama2/ Code Llama
○ Technology Innovation Institute: Falcon
○ Anthropic: Claude 2(追加予定)
【ポイント】
● 豊富なモデルのデプロイを Vertex AI Endpoint への数クリックで行える
● Fine-Tuning を Colab Enterprise から行える
【キャッチアップ】
● 公式ドキュメント: Explore AI models in Model Garden
13
Slide 14
Slide 14 text
Vertex AI での Fine-Tuning
14
● Vertex AI では2種類のFine-Tuningの方法が提供されている(Google製のLLMモデルにおいて)
○ Supervised Fine-Tuning
○ Reinforcement Learning from Human Feedback
参考: 公式ドキュメントTune language foundation models
Slide 15
Slide 15 text
【新機能】
● 教師ありによるFine-Tuning
● text, chat, code, codechat-bisonをサポート
● 100〜500サンプルを使用が推奨
【キャッチアップ】
● 公式ドキュメント: Tune text models by using supervised tuning
● 公式ドキュメント: Tune code models
Supervised Fine-Tuning
15
Slide 16
Slide 16 text
【新機能】
● 強化学習を用いたFine-Tuning
● 人間からのフィードバックデータセットを使って、人間が好む応答を学習
● 5,000~10000件のサンプルが推奨
● Vertex AI Generative AI StudioおよびPipeline Templateから実行可能
● text-bison, T5をサポート
【キャッチアップ】
● 公式ドキュメント: RLHF チューニングでテキストモデルを調整する
Reinforcement Learning from Human Feedback [プレビュー]
16
【新機能】
● 自身で Ground Truth データセットを用意して、ML の評価指標で評価をする
● Vertex AI Pipelines Template から実行可能
【ポイント】
● LLM の定量的な評価をカバー
【キャッチアップ】
● 公式ドキュメント: Evaluate model performance
● Next’23 セッション:
Building your ML Ops strategy for generative AI
Automatic Metrics [プレビュー]
18
対応している評価指標(公式ドキュメントより)
セッション動画より引用
Slide 19
Slide 19 text
Automatic Side by Side [プライベートプレビュー]
19
【新機能】
● 複数のモデルの出力を評価する際に、評価用モデルを利用して人間による評価をサポート
○ A/Bテストのような仕組み
【ポイント】
● LLM の定性的な評価をカバー
【キャッチアップ】
● 公式ブログ:
All 161 things we announced at Google Cloud Next ‘23 – a recap
● Next’23 セッション:
Building your ML Ops strategy for generative AI
セッション動画より引用
Slide 20
Slide 20 text
【新機能】
● Agent を実装可能な機能
○ 関数呼び出しや、外部システムの API に接続する拡張機能を作成可能
■ モデルがアクションを実行・情報をリアルタイムで取得/処理
● LangChain と互換性がある
【ポイント】
● Google Cloud の製品との連携した Agent の開発が容易そう
※使用するためには、Trusted Tester プログラムにて承認される必要がある
【キャッチアップ】
● 公式ドキュメント: Connect models to APIs by using extensions
● Next’23 セッション: Build extensions and extension-powered applications with Vertex AI
Vertex AI Extensions [プライベートプレビュー]
20