MLOps関連の注目セッション&アップデート / Google Cloud Next '23 Recap

Transcript

1. 1 Google Cloud Next '23 Recap/ Warming up for Tokyo 株式会社CyberAgent IU事業部 ML Engineer 原 和希 MLOps関連の注目セッション＆アップデート
2. 自己紹介 2 原 和希 2021年 CyberAgent入社 所属：株式会社CAM 【主な業務】 MLOps基盤・レコメンドモデルの開発/ 生成AIの検証・導入 ・Google Cloud Champion Innovators (Cloud AI/ML) ・CyberAgent Next Experts (GCP ML) はら かずき @Harappa80
3. Agenda 3 1. 本発表のゴール 2. 本発表での想定視聴者 3. 本日話すこと/ 話さないこと 4. 生成AI時代のMLOps基盤 5. アップデートと新機能 6. まとめ
4. 1. 本発表のゴール • Google Cloud Next’23 で発表があった/今日までにリリースがあった新機能・アッ プデートを共有する • Google Cloud での MLOps の現在を知ってもらう • 必要なプロダクトをキャッチアップする足がかりをつくる ◦ 各機能の紹介時に公式ドキュメント・ブログ・Next’23のセッション等のリンクを載せています 4 会場のモスコーンセンター
5. 2. 本発表での想定視聴者 • AI/ML・MLOps に関しての基礎知識がある • Vertex AI を知っており、新機能をキャッチアップしたい 5
6. 3. 本日話すこと/ 話さないこと 6 【話すこと】 • Vertex AI の新機能・アップデートの紹介 • 各機能で実現可能なこと 【話さないこと】 • 理論やアルゴリズムの詳細 • 実装例、サイバーエージェントでの活用事例 • MLOps 以外の新機能 (Duet AI, Imagenなど) • 時間の都合上、全てのアップデートはお話し出来ません...。
7. • Next’23では、生成AIの運用をサポートする多くの機能が発表された • とはいえ、今までのMLと共通する箇所もあるので、十分に知見は活かせる 4. 生成AI時代のMLOps基盤 7 Google Cloud 公式ブログより引用
8. 5. アップデートと新機能 8
9. Vertex AI Vector Search 【アップデート】 • Vertex AI Matching Engine から名称が変更 • コンソール画面からインデックスの作成/監視が可能に • インデックスの構築時間が数時間から数分に短縮 • クエリ時に、従来のタグベースのフィルタリングに加えて、メタデータでも行えるように 【ポイント】 • 導入時のハードル・パフォーマンスが改善 【キャッチアップ】 • 公式ブログ: Build your own gen AI-powered vector search applications with Vertex AI Search • Google Cloud Tech YouTube: Get Started with Vector Search using Vertex AI 9
10. Vertex AI Feature Store [プレビュー] 10 【アップデート】 • BigQuery から直接特徴量を参照可能に ◦ 特徴量をインポートする必要がなくなった • 最近傍探索を実行することが可能に • Dataplex と統合され、特徴量のバージョンやラベルを管理可能に 【ポイント】 • データ管理/ MLOpsの基盤がシンプルに • メンテナンスコストが改善
11. 【キャッチアップ】 • 公式ドキュメント: About Vertex AI Feature Store • Next’23 セッション: High performance feature engineering for predictive and generative AI projects with Vertex AI Feature Platform Vertex AI Feature Store [プレビュー] 11 Google Cloud 公式ブログより引用
12. Colab Enterprise [プレビュー] 12 【新機能】 • Vertex AI に統合された Google Colaboratory ◦ Google Cloud との連携が容易 ◦ IAM でアクセス管理が可能 • Duet AI によるコード補完 • Model Garden との連携 【ポイント】 • Vertex AI プロダクトを使用する際のハブとなる 【キャッチアップ】 • 公式ブログ: Colab Enterprise と生成 AI 用の MLOps で Vertex AI を強化 • 公式ドキュメント: Introduction to Colab Enterprise • Next’23 セッション: Build AI quickly, collaboratively, and with confidence with Colab using Vertex AI
13. Vertex AI Model Garden 【アップデート】 • OSS, サードパーティの基盤モデルが追加 ◦ Meta: Llama2/ Code Llama ◦ Technology Innovation Institute: Falcon ◦ Anthropic: Claude 2（追加予定） 【ポイント】 • 豊富なモデルのデプロイを Vertex AI Endpoint への数クリックで行える • Fine-Tuning を Colab Enterprise から行える 【キャッチアップ】 • 公式ドキュメント: Explore AI models in Model Garden 13
14. Vertex AI での Fine-Tuning 14 • Vertex AI では2種類のFine-Tuningの方法が提供されている（Google製のLLMモデルにおいて） ◦ Supervised Fine-Tuning ◦ Reinforcement Learning from Human Feedback 参考: 公式ドキュメントTune language foundation models
15. 【新機能】 • 教師ありによるFine-Tuning • text, chat, code, codechat-bisonをサポート • 100〜500サンプルを使用が推奨 【キャッチアップ】 • 公式ドキュメント: Tune text models by using supervised tuning • 公式ドキュメント: Tune code models Supervised Fine-Tuning 15
16. 【新機能】 • 強化学習を用いたFine-Tuning • 人間からのフィードバックデータセットを使って、人間が好む応答を学習 • 5,000～10000件のサンプルが推奨 • Vertex AI Generative AI StudioおよびPipeline Templateから実行可能 • text-bison, T5をサポート 【キャッチアップ】 • 公式ドキュメント: RLHF チューニングでテキストモデルを調整する Reinforcement Learning from Human Feedback [プレビュー] 16
17. Vertex AI での LLMの評価 17 • Prompt EngineeringやFine-Tuning, RAG等でモデルの改善を行ったが、どのように評価すれ ばよい？ • 改善前後のモデルでどちらが良いかどうかは、どのように判断すればよい？
18. 【新機能】 • 自身で Ground Truth データセットを用意して、ML の評価指標で評価をする • Vertex AI Pipelines Template から実行可能 【ポイント】 • LLM の定量的な評価をカバー 【キャッチアップ】 • 公式ドキュメント: Evaluate model performance • Next’23 セッション: Building your ML Ops strategy for generative AI Automatic Metrics [プレビュー] 18 対応している評価指標(公式ドキュメントより) セッション動画より引用
19. Automatic Side by Side [プライベートプレビュー] 19 【新機能】 • 複数のモデルの出力を評価する際に、評価用モデルを利用して人間による評価をサポート ◦ A/Bテストのような仕組み 【ポイント】 • LLM の定性的な評価をカバー 【キャッチアップ】 • 公式ブログ: All 161 things we announced at Google Cloud Next ‘23 – a recap • Next’23 セッション: Building your ML Ops strategy for generative AI セッション動画より引用
20. 【新機能】 • Agent を実装可能な機能 ◦ 関数呼び出しや、外部システムの API に接続する拡張機能を作成可能 ▪ モデルがアクションを実行・情報をリアルタイムで取得/処理 • LangChain と互換性がある 【ポイント】 • Google Cloud の製品との連携した Agent の開発が容易そう 　※使用するためには、Trusted Tester プログラムにて承認される必要がある 【キャッチアップ】 • 公式ドキュメント: Connect models to APIs by using extensions • Next’23 セッション: Build extensions and extension-powered applications with Vertex AI Vertex AI Extensions [プライベートプレビュー] 20
21. 6. まとめ 21
22. まとめ • 大規模モデルの運用を支えるために、多くのアップデートがあった • Model Evaluation のようなモデル評価の機能は今後必須になる ◦ LLM の活用が脚光を浴びているが、本番導入のためには適切な評価が重要 • 検証・導入事例の詳細に関しては今後、ブログにて公開していきます 22