Vertex AI を中心に 生成AIのアップデートを共有します ～Google Cloud Next’24 Recap～ アライアンス事業部　村田 一紘

自己紹介 1 名前：村田 一紘 所属：アライアンス事業部 エンジニアG 業務内容： Google Cloud インフラ・セキュリティ 設計・構築 支援 経歴： ネットワーク・サーバを中心としたオンプレミスインフラエンジニアを経て、 昨年10月より当社で活動開始。入社を機に Google Cloud を中心としたインフラエンジニアに。 資格：IPA ネットワークスペシャリスト、情報処理安全確保支援士 試験合格 　　　Google Cloud Professional資格 x 2 その他：二児の父、プロレス好き

Google Cloud 公式の発表によると Next ‘24 で 218 のアナウンス ※ ’23 は 161

Vertex AI を中心にアップデートの共有 と 簡単なデモ

Vertex AI (Next ‘24 直前の情報) Vertex AI Vertex AI Search Vertex AI Conversation Vertex AI Studio 様々な生成AIモデルを使ったプロトタイピング、テストをコンソールから簡単に行う Model Garden Gemini PaLM2 130以上の生成AI基盤モデルのコレクション Google 基盤モデル パートナー& OSS 基盤モデル AutoML チューニング・評価 ツール 拡張機能 特定分野向けソリューション Contact Center AI 小売業向け Vertex AI Search Document AI ・・・ 学習済API 生成AIベースの検索エンジンを簡単に構築 生成AIベースのチャット/音声ボットを簡単に構築 Imagen Chirp Codey Embeddings Med-LM Sec-PaLM ※特定ユースケース向け ※産業別 Llama2(Meta) Mixtral 8x7B(Mistral AI) Claude 3(Anthropic) ● 生成AI含む機械学習ワークロード構築のためのツール群

Vertex AI アップデート ● より多くの AI モデルを構築、デプロイ、スケールできる統合プラットフォームとして、以下のようにシンプルな 3つの カテゴライズに基づいてアップデートが紹介されていました。 Vertex AI Model Garden Model Builder Agent Builder 自然言語命令、ローコードツール、または LangChain のようなフレームワークによるコーディングを使用したカスタム生成 AIエージェントを構築す るためのプラットフォーム ユーザデータを使用して事前学習済みモデルを強化・カスタマイズするためのツールや、 MLOpsのためのプロンプト管理、評価ツール Google開発、パートナー、オープンソースの事前学習済みモデルのコレクション Search チューニングツー ル 拡張機能 Gemini PaLM2 Google 基盤モデル パートナー& OSS 基盤モデル Imagen Chirp Codey Embeddings Med-LM Sec-PaLM Llama2(Meta) Mixtral 8x7B(Mistral AI) Claude 3(Anthropic) Agent Recommendation Chat MLOps 評価ツール

Model Garden アップデート ● Gemini 1.5 Pro が Public Preview 非常に大きなコンテキストウインドウ(約100万トークン)を提供するモデル。 音声を含むオーディオストリームやビデオのオーディオ部分を処理する機能 もサポート。 ● 画像生成モデル Imagen 2.0 アップデート 画像生成モデルの Imagen 2.0 は、テキストプロンプトから4秒間の短いライ ブ画像を作成するための Text-to-Live images が Preview。広告、素材利 用、コンセプトのアイデア出しといったユースケースを想定。 ● Gemma モデルの追加 Model Garden に、Gemmaファミリーのコード生成に特化した新しいモデル CodeGemma が追加。 ● Anthropic社 Claude 3モデルの Opus が Preview。 Sonnet / Haiku は既にGA済。

Model Builder アップデート ● Vertex AI Prompt Management が Public Preview 大規模な生成AIモデルの管理とデプロイ支援のための MLOps 機能。プロンプトの実験、移行、チーム間での共有のためのプロ ンプトのライブラリやパラメータの追跡、バージョン管理、プロンプトのパフォーマンスを改善するためのAI生成提案、プロンプトの 比較と評価やコラボレーション機能などが提供されます。 ● Evaluation tools (評価ツール) のアップデート ● Rapid Evaluation (Preview) 少量のデータセットにより、ユーザーが最適なプロンプトデザインに関するモデルパフォーマンス評価を迅速に繰り返し行うため の支援ツールとなります。 ● AutoSxS (Auto Side-by-Side) (GA) 一つのプロンプトから二つのモデルのパフォーマンスを比較し、Autorator により評価データを生成し自動評価を行います。一方 のモデルが評価された理由の説明や評価の精度指標となるスコア表示などにより、直感的にパフォーマンスの比較が行えます。

Agent Builder アップデート ● Vertex AI Agent Builder 以前より提供されていた Vertex AI Search や Vertex AI Conversation はそれらを纏めて Vertex AI Agent Builder という名称で 再編成。 アプリタイプとして Search, Chat, Recommendations に加え Agent が Preview にて利用可能に。 Agent は、大規模言語モデル単体で実現できないタスク(ビジネスデータへのアクセスやAPIアクセスなど)をToolを通じて実行す ることができるアプリタイプです。LangChain の Agents モジュールで実現するような複雑な処理を自然言語とコンソール操作の みで構築できます。 Prompt LLM Agents Promptの内容に応じて、 LLMへのリクエストの 他に、別のAgentやToolsを呼び出し Agents Tools Request Response Data Store Code Interpreter API 自然言語と コンソール操作の みで構築

Agent Builder アップデート ● Grounding with Google Search (Preview) ハルシネーション抑止のための Grounding 機能は、Vertex AI Search が利用可能でしたが、Google Search が Preview で利用 可能となりました。Vertex AI Search による Grounding によって自社所有のドメインのみWeb検索して要約することが可能でした が、これにより最新の情報を Internet でWeb検索して要約した上でLLMの回答の根拠とできるようになりました。 本機能は Gemini Pro 1.0 のみ対応しています。 LLM Vertex AI Search Grounding BigQuery 構造化データ Cloud Storage 検索と要約をして参考 情報をLLMに渡す Internet 非構造化データ Google Search ※自社ドメインのみ new

Agent Builder アップデート ● LangChain on Vertex AI (Preview) LangChain オープンソースライブラリを活用したカスタムの生成AIアプリケーションを Vertex AI 上にデプロイし、Veretx AI 上の モデル(Gemini)やツール(Function Calling や Extentions といった外部APIと連携する拡張機能など)との連携を提供したり、セ キュアなマネージド環境での開発・運用を提供するサービスです。 LangChain による柔軟な生成AIアプリケーション開発に Vertex AI 上の強力なインフラストラクチャとツールを統合。

デモ 1. Vertex AI Agent Builder 2. Grounding with Google Search