Slide 1

Slide 1 text

Gemini + Vertex AI を使って 作業を自動化「していく」 AIミーティング 2024/11/13 株式会社スリーシェイク Sreake事業部 佐藤 Copyright © 3-shake, Inc. All Rights Reserved.

Slide 2

Slide 2 text

自己紹介 佐藤 慧太@SatohJohn ● 2012/4 フリュー株式会社 入社 ToC 向けのアプリケーション開発を 10年ほど経験 リードエンジニアとして 0からサービスを 設計開発運用を経験 ● 2023/1 株式会社スリーシェイク 入社 SRE として労苦 を減らす仕事に従事 Google Cloud Partner Top Engineer ’24 生成 AI とかやってます

Slide 3

Slide 3 text

目的 Google Cloud Vertex AI で どういう自動化ができるのか、Toil を無くせるか を知ってもらう プロンプトエンジニアリングについて話します モデルのチューニングについては話しません

Slide 4

Slide 4 text

プロンプトを作成するうえでのサイクルの1例 1. プロンプトを考える 2. プロンプトを評価する 3. プロンプトをチューニングする

Slide 5

Slide 5 text

プロンプトを作成するうえでの流れの例 プロンプトを 考える プロンプトを チューニングする プロンプトを 評価する

Slide 6

Slide 6 text

1. プロンプトを考える どんなプロンプトを書けばいいかがわからない

Slide 7

Slide 7 text

1. プロンプトを考える Vertex AI には プロンプトギャラリー があります https://cloud.google.com/vertex-ai/generative-ai/docs/prompt-gallery

Slide 8

Slide 8 text

1. プロンプトを考える ● 動画からの広告コピー作成 ● 企業財務分析 ● コードの一貫性のチェック ● 2つのドキュメントの比較 ● 面接準備Q&A ● 水泳Q&A ● 料理の分類 etc… https://cloud.google.com/vertex-ai/generative-ai/docs/prompt-gallery 動画や音声ファイルなどを使った抽出、 分類タスクなど、様々あるので参考になる

Slide 9

Slide 9 text

2. プロンプトを評価する 出力された結果、どうなんだろう? 出力が多く自分で確認するの大変だ 前のプロンプトとの差分がわからん

Slide 10

Slide 10 text

2. プロンプトを評価する 出力を機械的に 評価する 他のバージョンと 比較する

Slide 11

Slide 11 text

2. プロンプトを評価する ~ 出力を機械的に評価する ~ Vertex AI には Evaluation Service API があります Pointwise、 Pairwise など 様々な観点において API を叩くことで 評価することができます https://cloud.google.com/vertex-ai/generative-ai/docs/model-reference/evaluation https://sreake.com/blog/google-cloud-rapid-evaluation-api-verification/

Slide 12

Slide 12 text

2. プロンプトを評価する ~ 他のバージョンと比較する ~ Vertex AI には プロンプトの比較機能 があります ただし マルチモーダルだと評価ができません 比較は3つまでです https://cloud.google.com/vertex-ai/generative-ai/docs/start/quickstarts/quickstart?hl=ja https://sreake.com/blog/google-cloud-prompt-design/

Slide 13

Slide 13 text

2. プロンプトを評価する ~ 他のバージョンと比較する ~ それぞれでパラメータや モデルを変更した結果で 比べることができる 想定結果と見比べて ROUGE の値や目視での比較を 行うことができる https://cloud.google.com/vertex-ai/generative-ai/docs/start/quickstarts/quickstart?hl=ja https://sreake.com/blog/google-cloud-prompt-design/

Slide 14

Slide 14 text

2. プロンプトを評価する ここで注意していただきたいのは 本当にユーザにとって良いものなのか?は 別の話です あくまでも定量的な評価、開発者の 評価を行うものです

Slide 15

Slide 15 text

3. プロンプトをチューニングする 結果あんま良くなかったけど、どうしよう どうすれば良いんだろう

Slide 16

Slide 16 text

3. プロンプトをチューニングする Vertex AI には プロンプトの最適化 という機能があります

Slide 17

Slide 17 text

3. プロンプトをチューニングする 更に Notebook 環境で さらなる最適化が試せます 先程の評価と同じように、 特定の性能の評価軸に基づいて 最適化をしていきます https://cloud.google.com/vertex-ai/generative-ai/docs/learn/prompts/prompt-optimizer

Slide 18

Slide 18 text

まとめ Vertex AI を使うとプロンプトエンジニアリングに便利な機能が 揃っており、その機能を使うと手作業が自動化できます 生成 AI 開発をやっていくのに辛い部分 を少しでも 無くしていきましょう 免責事項 ちなみに、ほとんど Gemini について話していないように見えますが Vertex AI の評価、チューニングに Gemini が利用されています

Slide 19

Slide 19 text

ありがとうございました Copyright © 3-shake, Inc. All Rights Reserved.