Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Gemini + Vertex AI を使って作業を自動化「していく」
Search
SatohJohn
November 13, 2024
Programming
0
92
Gemini + Vertex AI を使って作業を自動化「していく」
AIミーティング 2024/11/13 で発表した資料になります
https://osaka-driven-dev.connpass.com/event/334176/
SatohJohn
November 13, 2024
Tweet
Share
More Decks by SatohJohn
See All by SatohJohn
Feature Flag 開発を標準化し、加速させる OpenFeature を導入する
satohjohn
3
2.2k
ADK Java が出たので AI Agent を作ろう
satohjohn
0
130
NotebookLM + Agentspace を使った(開発)体験
satohjohn
1
750
Open Feature 面白いぞ
satohjohn
0
93
Workforce Identity を使った 権限管理で Cloud Run を動かしてみた
satohjohn
0
600
Cloud_Run_GPU___Gemma_2_を使った_LLM_アプリケーション開発のススメ.pdf
satohjohn
0
34
Firebase Authenticationのセッション管理術
satohjohn
2
2.5k
お客様とすすめる_フロントエンドの技術支援.pdf
satohjohn
1
1.2k
コンテナ環境のKotlinアプリケーション を運用しよう _ Google Cloudを使って
satohjohn
0
180
Other Decks in Programming
See All in Programming
デザイナーが Androidエンジニアに 挑戦してみた
874wokiite
0
360
How Android Uses Data Structures Behind The Scenes
l2hyunwoo
0
440
そのAPI、誰のため? Androidライブラリ設計における利用者目線の実践テクニック
mkeeda
2
290
旅行プランAIエージェント開発の裏側
ippo012
2
900
テストコードはもう書かない:JetBrains AI Assistantに委ねる非同期処理のテスト自動設計・生成
makun
0
260
Testing Trophyは叫ばない
toms74209200
0
860
MCPとデザインシステムに立脚したデザインと実装の融合
yukukotani
4
1.4k
ユーザーも開発者も悩ませない TV アプリ開発 ~Compose の内部実装から学ぶフォーカス制御~
taked137
0
160
Navigating Dependency Injection with Metro
zacsweers
3
260
go test -json そして testing.T.Attr / Kyoto.go #63
utgwkk
3
300
Rancher と Terraform
fufuhu
2
400
知っているようで知らない"rails new"の世界 / The World of "rails new" You Think You Know but Don't
luccafort
PRO
1
110
Featured
See All Featured
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
33
2.4k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
8
520
Designing Experiences People Love
moore
142
24k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.9k
Gamification - CAS2011
davidbonilla
81
5.4k
How GitHub (no longer) Works
holman
315
140k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
333
22k
GitHub's CSS Performance
jonrohan
1032
460k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.9k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
252
21k
The Invisible Side of Design
smashingmag
301
51k
Transcript
Gemini + Vertex AI を使って 作業を自動化「していく」 AIミーティング 2024/11/13 株式会社スリーシェイク Sreake事業部
佐藤 Copyright © 3-shake, Inc. All Rights Reserved.
自己紹介 佐藤 慧太@SatohJohn • 2012/4 フリュー株式会社 入社 ToC 向けのアプリケーション開発を 10年ほど経験
リードエンジニアとして 0からサービスを 設計開発運用を経験 • 2023/1 株式会社スリーシェイク 入社 SRE として労苦 <Toil>を減らす仕事に従事 Google Cloud Partner Top Engineer ’24 生成 AI とかやってます
目的 Google Cloud Vertex AI で どういう自動化ができるのか、Toil を無くせるか を知ってもらう プロンプトエンジニアリングについて話します
モデルのチューニングについては話しません
プロンプトを作成するうえでのサイクルの1例 1. プロンプトを考える 2. プロンプトを評価する 3. プロンプトをチューニングする
プロンプトを作成するうえでの流れの例 プロンプトを 考える プロンプトを チューニングする プロンプトを 評価する
1. プロンプトを考える どんなプロンプトを書けばいいかがわからない
1. プロンプトを考える Vertex AI には プロンプトギャラリー があります https://cloud.google.com/vertex-ai/generative-ai/docs/prompt-gallery
1. プロンプトを考える • 動画からの広告コピー作成 • 企業財務分析 • コードの一貫性のチェック • 2つのドキュメントの比較
• 面接準備Q&A • 水泳Q&A • 料理の分類 etc… https://cloud.google.com/vertex-ai/generative-ai/docs/prompt-gallery 動画や音声ファイルなどを使った抽出、 分類タスクなど、様々あるので参考になる
2. プロンプトを評価する 出力された結果、どうなんだろう? 出力が多く自分で確認するの大変だ 前のプロンプトとの差分がわからん
2. プロンプトを評価する 出力を機械的に 評価する 他のバージョンと 比較する
2. プロンプトを評価する ~ 出力を機械的に評価する ~ Vertex AI には Evaluation Service
API があります Pointwise、 Pairwise など 様々な観点において API を叩くことで 評価することができます https://cloud.google.com/vertex-ai/generative-ai/docs/model-reference/evaluation https://sreake.com/blog/google-cloud-rapid-evaluation-api-verification/
2. プロンプトを評価する ~ 他のバージョンと比較する ~ Vertex AI には プロンプトの比較機能 があります
ただし マルチモーダルだと評価ができません 比較は3つまでです https://cloud.google.com/vertex-ai/generative-ai/docs/start/quickstarts/quickstart?hl=ja https://sreake.com/blog/google-cloud-prompt-design/
2. プロンプトを評価する ~ 他のバージョンと比較する ~ それぞれでパラメータや モデルを変更した結果で 比べることができる 想定結果と見比べて ROUGE
の値や目視での比較を 行うことができる https://cloud.google.com/vertex-ai/generative-ai/docs/start/quickstarts/quickstart?hl=ja https://sreake.com/blog/google-cloud-prompt-design/
2. プロンプトを評価する ここで注意していただきたいのは 本当にユーザにとって良いものなのか?は 別の話です あくまでも定量的な評価、開発者の 評価を行うものです
3. プロンプトをチューニングする 結果あんま良くなかったけど、どうしよう どうすれば良いんだろう
3. プロンプトをチューニングする Vertex AI には プロンプトの最適化 という機能があります
3. プロンプトをチューニングする 更に Notebook 環境で さらなる最適化が試せます 先程の評価と同じように、 特定の性能の評価軸に基づいて 最適化をしていきます https://cloud.google.com/vertex-ai/generative-ai/docs/learn/prompts/prompt-optimizer
まとめ Vertex AI を使うとプロンプトエンジニアリングに便利な機能が 揃っており、その機能を使うと手作業が自動化できます 生成 AI 開発をやっていくのに辛い部分 <Toil> を少しでも
無くしていきましょう 免責事項 ちなみに、ほとんど Gemini について話していないように見えますが Vertex AI の評価、チューニングに Gemini が利用されています
ありがとうございました Copyright © 3-shake, Inc. All Rights Reserved.