Google CloudのLLM活用の選択肢を広げる Vertex AIのパートナーモデル 2024/9/11(水) Midosuji.Tech #2 クラスメソッド株式会社 鈴木那由太 1

名前：鈴木 那由太（スズキ ナユタ） 所属：クラスメソッド株式会社 データ事業本部 インテグレーション部 機械学習チーム 現在の業務： 機械学習用途のデータ分析基盤構築 機械学習システム構築 X：@nayuyu_ns 2 自己紹介 Osaka

3 今日の内容 人気のLLMがAPI（パートナーモデル）としてGoogle CloudのVertex AIで 提供されているので、ご紹介します！ <うれしいこと> • GoogleのGemini以外の人気モデルである、Anthropic ClaudeやMistral AIなどが 利用できる • Vertex AIのAPIとして利用できる • LLMをホストするインスタンスの用意が不要、入出力トークンの従量課金で利用できる • BigQuery MLからの利用も可能（現時点では一部モデル） Vertex AI

4 Vertex AIについて • Google Cloudで生成AIを構築・使用するためのフルマネージド統合AI開発プラットフォーム • 従来の機械学習モデル開発 + 生成AI開発 • Googleが開発したLLMであるGeminiに加え、Googleパートナーのモデルが利用できる • LLMはインスタンスを手軽にデプロイできるタイプと、マネージドAPIとして 提供されているタイプ（パートナーモデル）がある

5 パートナーモデルについて • Google パートナーが開発した厳選されたモデルで、MaaS（model as a service）のマネージドAPI として提供されている。 • 現在提供されているモデルは以下 • AI21 Labs（プレビュー） • Anthropic Claude • Llama（プレビュー） • Mistral AI • いろんなモデルを使ってよりタスクに適したものを選択したいが、多くの場合で自前で 大きなインスタンスを用意しホストする必要があったり、新たにAPIの契約を結んだりして、 費用面などでネックがあった。

6 パートナーモデルの利用イメージ • APIにプロンプトを入力することで回答してくれる request.json リクエスト例 レスポンス例

7 パートナーモデルの有効化 • Model Gardenよりパートナーモデルのモデルカードを探し、有効化する • モデルカードにはcurlやPythonなどさまざまな利用方法やユースケースが記載されている

8 BigQuery MLからの利用 <利用するための手順> 1.Anthropic Claudeの使用したいモデルのマネージドAPIを有効化する。 2.BigQueryで外部接続を作成する。 3.BigQueryでリモートモデルを作成する。 4.BigQueryでML.GENERATE_TEXT関数を使い、マネージドAPIにリクエストを送る。 • パートナーモデルのうちAnthropic ClaudeはプレビューでBigQueryから利用できるように リモートモデル作成例

9 ユースケース • BigQueryに格納したデータのLLMによる分析 • ML.GENERATE_TEXT関数で直接Vertex AIにリクエストする • ML.GENERATE_TEXT関数で対応していないものはリモート関数を 使うことで利用できる BigQuery Cloud Functions Vertex AI • AI21 Labs（プレビュー） • Llama（プレビュー） • Mistral AI • Gemini • Anthropic Claude ML.GENERATE_TEXT リモート関数 いずれの場合も、LLMは インスタンスの料金・管理 なく利用できる点がポイント ※BigQuery LMとの統合はプレビュー

10 まとめ • Vertex AIで提供されるMaaSであるパートナーモデルについてご紹介した。 • マネージドで、インスタンスの管理・費用なく、入出力のトークンでの従量課金で利用できる。 • Anthropic ClaudeやMistral AIなど人気のモデルをサポートしている。 • プレビューではあるが、Anthropic ClaudeはBigQuery MLのML.GENERATE_TEXT関数でも サポートされるようになり、ますますLLM利用の選択肢が広がってきている。

11