Gemini + Vertex AI を使って 作業を自動化「していく」 AIミーティング 2024/11/13 株式会社スリーシェイク Sreake事業部 佐藤 Copyright © 3-shake, Inc. All Rights Reserved.

自己紹介 佐藤 慧太@SatohJohn ● 2012/4 フリュー株式会社 入社 ToC 向けのアプリケーション開発を 10年ほど経験 リードエンジニアとして 0からサービスを 設計開発運用を経験 ● 2023/1 株式会社スリーシェイク 入社 SRE として労苦 を減らす仕事に従事 Google Cloud Partner Top Engineer ’24 生成 AI とかやってます

目的 Google Cloud Vertex AI で どういう自動化ができるのか、Toil を無くせるか を知ってもらう プロンプトエンジニアリングについて話します モデルのチューニングについては話しません

プロンプトを作成するうえでのサイクルの1例 1. プロンプトを考える 2. プロンプトを評価する 3. プロンプトをチューニングする

プロンプトを作成するうえでの流れの例 プロンプトを 考える プロンプトを チューニングする プロンプトを 評価する

1. プロンプトを考える どんなプロンプトを書けばいいかがわからない

1. プロンプトを考える Vertex AI には プロンプトギャラリー があります https://cloud.google.com/vertex-ai/generative-ai/docs/prompt-gallery

1. プロンプトを考える ● 動画からの広告コピー作成 ● 企業財務分析 ● コードの一貫性のチェック ● 2つのドキュメントの比較 ● 面接準備Q&A ● 水泳Q&A ● 料理の分類 etc… https://cloud.google.com/vertex-ai/generative-ai/docs/prompt-gallery 動画や音声ファイルなどを使った抽出、 分類タスクなど、様々あるので参考になる

2. プロンプトを評価する 出力された結果、どうなんだろう？ 出力が多く自分で確認するの大変だ 前のプロンプトとの差分がわからん

2. プロンプトを評価する 出力を機械的に 評価する 他のバージョンと 比較する

2. プロンプトを評価する ~ 出力を機械的に評価する ~ Vertex AI には Evaluation Service API があります Pointwise、 Pairwise など 様々な観点において API を叩くことで 評価することができます https://cloud.google.com/vertex-ai/generative-ai/docs/model-reference/evaluation https://sreake.com/blog/google-cloud-rapid-evaluation-api-verification/

2. プロンプトを評価する ~ 他のバージョンと比較する ~ Vertex AI には プロンプトの比較機能 があります ただし マルチモーダルだと評価ができません 比較は3つまでです https://cloud.google.com/vertex-ai/generative-ai/docs/start/quickstarts/quickstart?hl=ja https://sreake.com/blog/google-cloud-prompt-design/

2. プロンプトを評価する ~ 他のバージョンと比較する ~ それぞれでパラメータや モデルを変更した結果で 比べることができる 想定結果と見比べて ROUGE の値や目視での比較を 行うことができる https://cloud.google.com/vertex-ai/generative-ai/docs/start/quickstarts/quickstart?hl=ja https://sreake.com/blog/google-cloud-prompt-design/

2. プロンプトを評価する ここで注意していただきたいのは 本当にユーザにとって良いものなのか？は 別の話です あくまでも定量的な評価、開発者の 評価を行うものです

3. プロンプトをチューニングする 結果あんま良くなかったけど、どうしよう どうすれば良いんだろう

3. プロンプトをチューニングする Vertex AI には プロンプトの最適化 という機能があります

3. プロンプトをチューニングする 更に Notebook 環境で さらなる最適化が試せます 先程の評価と同じように、 特定の性能の評価軸に基づいて 最適化をしていきます https://cloud.google.com/vertex-ai/generative-ai/docs/learn/prompts/prompt-optimizer

まとめ Vertex AI を使うとプロンプトエンジニアリングに便利な機能が 揃っており、その機能を使うと手作業が自動化できます 生成 AI 開発をやっていくのに辛い部分 を少しでも 無くしていきましょう 免責事項 ちなみに、ほとんど Gemini について話していないように見えますが Vertex AI の評価、チューニングに Gemini が利用されています

ありがとうございました Copyright © 3-shake, Inc. All Rights Reserved.