Gemini + Vertex AI を使って作業を自動化「していく」

Gemini + Vertex AI を使って作業を自動化「していく」 AIミーティング 2024/11/13 株式会社スリーシェイク Sreake事業部
佐藤 Copyright © 3-shake, Inc. All Rights Reserved.

自己紹介佐藤慧太@SatohJohn • 2012/4 フリュー株式会社入社 ToC 向けのアプリケーション開発を 10年ほど経験
リードエンジニアとして 0からサービスを設計開発運用を経験 • 2023/1 株式会社スリーシェイク入社 SRE として労苦 <Toil>を減らす仕事に従事 Google Cloud Partner Top Engineer ’24 生成 AI とかやってます

目的 Google Cloud Vertex AI でどういう自動化ができるのか、Toil を無くせるかを知ってもらうプロンプトエンジニアリングについて話します
モデルのチューニングについては話しません

プロンプトを作成するうえでのサイクルの1例 1. プロンプトを考える 2. プロンプトを評価する 3. プロンプトをチューニングする

プロンプトを作成するうえでの流れの例プロンプトを考えるプロンプトをチューニングするプロンプトを評価する

1. プロンプトを考えるどんなプロンプトを書けばいいかがわからない

1. プロンプトを考える Vertex AI にはプロンプトギャラリーがあります https://cloud.google.com/vertex-ai/generative-ai/docs/prompt-gallery

1. プロンプトを考える • 動画からの広告コピー作成 • 企業財務分析 • コードの一貫性のチェック • 2つのドキュメントの比較
• 面接準備Q&A • 水泳Q&A • 料理の分類 etc… https://cloud.google.com/vertex-ai/generative-ai/docs/prompt-gallery 動画や音声ファイルなどを使った抽出、分類タスクなど、様々あるので参考になる

2. プロンプトを評価する出力された結果、どうなんだろう？出力が多く自分で確認するの大変だ前のプロンプトとの差分がわからん

2. プロンプトを評価する出力を機械的に評価する他のバージョンと比較する

2. プロンプトを評価する ~ 出力を機械的に評価する ~ Vertex AI には Evaluation Service
API があります Pointwise、 Pairwise など様々な観点において API を叩くことで評価することができます https://cloud.google.com/vertex-ai/generative-ai/docs/model-reference/evaluation https://sreake.com/blog/google-cloud-rapid-evaluation-api-verification/

2. プロンプトを評価する ~ 他のバージョンと比較する ~ Vertex AI にはプロンプトの比較機能があります
ただしマルチモーダルだと評価ができません比較は3つまでです https://cloud.google.com/vertex-ai/generative-ai/docs/start/quickstarts/quickstart?hl=ja https://sreake.com/blog/google-cloud-prompt-design/

2. プロンプトを評価する ~ 他のバージョンと比較する ~ それぞれでパラメータやモデルを変更した結果で比べることができる想定結果と見比べて ROUGE
の値や目視での比較を行うことができる https://cloud.google.com/vertex-ai/generative-ai/docs/start/quickstarts/quickstart?hl=ja https://sreake.com/blog/google-cloud-prompt-design/

2. プロンプトを評価するここで注意していただきたいのは本当にユーザにとって良いものなのか？は別の話ですあくまでも定量的な評価、開発者の評価を行うものです

3. プロンプトをチューニングする結果あんま良くなかったけど、どうしようどうすれば良いんだろう

3. プロンプトをチューニングする Vertex AI にはプロンプトの最適化という機能があります

3. プロンプトをチューニングする更に Notebook 環境でさらなる最適化が試せます先程の評価と同じように、特定の性能の評価軸に基づいて最適化をしていきます https://cloud.google.com/vertex-ai/generative-ai/docs/learn/prompts/prompt-optimizer

まとめ Vertex AI を使うとプロンプトエンジニアリングに便利な機能が揃っており、その機能を使うと手作業が自動化できます生成 AI 開発をやっていくのに辛い部分 <Toil> を少しでも
無くしていきましょう免責事項ちなみに、ほとんど Gemini について話していないように見えますが Vertex AI の評価、チューニングに Gemini が利用されています

Gemini + Vertex AI を使って作業を自動化「していく」

Gemini + Vertex AI を使って作業を自動化「していく」

SatohJohn

More Decks by SatohJohn

Other Decks in Programming

Featured

Transcript