Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Gemini + Vertex AI を使って作業を自動化「していく」
Search
SatohJohn
November 13, 2024
Programming
0
79
Gemini + Vertex AI を使って作業を自動化「していく」
AIミーティング 2024/11/13 で発表した資料になります
https://osaka-driven-dev.connpass.com/event/334176/
SatohJohn
November 13, 2024
Tweet
Share
More Decks by SatohJohn
See All by SatohJohn
Feature Flag 開発を標準化し、加速させる OpenFeature を導入する
satohjohn
3
1.9k
ADK Java が出たので AI Agent を作ろう
satohjohn
0
65
NotebookLM + Agentspace を使った(開発)体験
satohjohn
1
640
Open Feature 面白いぞ
satohjohn
0
85
Workforce Identity を使った 権限管理で Cloud Run を動かしてみた
satohjohn
0
470
Cloud_Run_GPU___Gemma_2_を使った_LLM_アプリケーション開発のススメ.pdf
satohjohn
0
32
Firebase Authenticationのセッション管理術
satohjohn
2
2.4k
お客様とすすめる_フロントエンドの技術支援.pdf
satohjohn
1
1.1k
コンテナ環境のKotlinアプリケーション を運用しよう _ Google Cloudを使って
satohjohn
0
170
Other Decks in Programming
See All in Programming
新メンバーも今日から大活躍!SREが支えるスケールし続ける組織のオンボーディング
honmarkhunt
4
6.5k
NPOでのDevinの活用
codeforeveryone
0
810
20250628_非エンジニアがバイブコーディングしてみた
ponponmikankan
0
670
PipeCDのプラグイン化で目指すところ
warashi
1
270
プロダクト志向ってなんなんだろうね
righttouch
PRO
0
180
Code as Context 〜 1にコードで 2にリンタ 34がなくて 5にルール? 〜
yodakeisuke
0
120
CursorはMCPを使った方が良いぞ
taigakono
1
250
第9回 情シス転職ミートアップ 株式会社IVRy(アイブリー)の紹介
ivry_presentationmaterials
1
290
iOS 26にアップデートすると実機でのHot Reloadができない?
umigishiaoi
0
130
コードの90%をAIが書く世界で何が待っているのか / What awaits us in a world where 90% of the code is written by AI
rkaga
52
33k
『自分のデータだけ見せたい!』を叶える──Laravel × Casbin で複雑権限をスッキリ解きほぐす 25 分
akitotsukahara
2
630
Modern Angular with Signals and Signal Store:New Rules for Your Architecture @enterJS Advanced Angular Day 2025
manfredsteyer
PRO
0
210
Featured
See All Featured
A Tale of Four Properties
chriscoyier
160
23k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
181
53k
Music & Morning Musume
bryan
46
6.6k
Done Done
chrislema
184
16k
Docker and Python
trallard
44
3.5k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.3k
The World Runs on Bad Software
bkeepers
PRO
69
11k
Java REST API Framework Comparison - PWX 2021
mraible
31
8.7k
[RailsConf 2023] Rails as a piece of cake
palkan
55
5.7k
Optimising Largest Contentful Paint
csswizardry
37
3.3k
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
Transcript
Gemini + Vertex AI を使って 作業を自動化「していく」 AIミーティング 2024/11/13 株式会社スリーシェイク Sreake事業部
佐藤 Copyright © 3-shake, Inc. All Rights Reserved.
自己紹介 佐藤 慧太@SatohJohn • 2012/4 フリュー株式会社 入社 ToC 向けのアプリケーション開発を 10年ほど経験
リードエンジニアとして 0からサービスを 設計開発運用を経験 • 2023/1 株式会社スリーシェイク 入社 SRE として労苦 <Toil>を減らす仕事に従事 Google Cloud Partner Top Engineer ’24 生成 AI とかやってます
目的 Google Cloud Vertex AI で どういう自動化ができるのか、Toil を無くせるか を知ってもらう プロンプトエンジニアリングについて話します
モデルのチューニングについては話しません
プロンプトを作成するうえでのサイクルの1例 1. プロンプトを考える 2. プロンプトを評価する 3. プロンプトをチューニングする
プロンプトを作成するうえでの流れの例 プロンプトを 考える プロンプトを チューニングする プロンプトを 評価する
1. プロンプトを考える どんなプロンプトを書けばいいかがわからない
1. プロンプトを考える Vertex AI には プロンプトギャラリー があります https://cloud.google.com/vertex-ai/generative-ai/docs/prompt-gallery
1. プロンプトを考える • 動画からの広告コピー作成 • 企業財務分析 • コードの一貫性のチェック • 2つのドキュメントの比較
• 面接準備Q&A • 水泳Q&A • 料理の分類 etc… https://cloud.google.com/vertex-ai/generative-ai/docs/prompt-gallery 動画や音声ファイルなどを使った抽出、 分類タスクなど、様々あるので参考になる
2. プロンプトを評価する 出力された結果、どうなんだろう? 出力が多く自分で確認するの大変だ 前のプロンプトとの差分がわからん
2. プロンプトを評価する 出力を機械的に 評価する 他のバージョンと 比較する
2. プロンプトを評価する ~ 出力を機械的に評価する ~ Vertex AI には Evaluation Service
API があります Pointwise、 Pairwise など 様々な観点において API を叩くことで 評価することができます https://cloud.google.com/vertex-ai/generative-ai/docs/model-reference/evaluation https://sreake.com/blog/google-cloud-rapid-evaluation-api-verification/
2. プロンプトを評価する ~ 他のバージョンと比較する ~ Vertex AI には プロンプトの比較機能 があります
ただし マルチモーダルだと評価ができません 比較は3つまでです https://cloud.google.com/vertex-ai/generative-ai/docs/start/quickstarts/quickstart?hl=ja https://sreake.com/blog/google-cloud-prompt-design/
2. プロンプトを評価する ~ 他のバージョンと比較する ~ それぞれでパラメータや モデルを変更した結果で 比べることができる 想定結果と見比べて ROUGE
の値や目視での比較を 行うことができる https://cloud.google.com/vertex-ai/generative-ai/docs/start/quickstarts/quickstart?hl=ja https://sreake.com/blog/google-cloud-prompt-design/
2. プロンプトを評価する ここで注意していただきたいのは 本当にユーザにとって良いものなのか?は 別の話です あくまでも定量的な評価、開発者の 評価を行うものです
3. プロンプトをチューニングする 結果あんま良くなかったけど、どうしよう どうすれば良いんだろう
3. プロンプトをチューニングする Vertex AI には プロンプトの最適化 という機能があります
3. プロンプトをチューニングする 更に Notebook 環境で さらなる最適化が試せます 先程の評価と同じように、 特定の性能の評価軸に基づいて 最適化をしていきます https://cloud.google.com/vertex-ai/generative-ai/docs/learn/prompts/prompt-optimizer
まとめ Vertex AI を使うとプロンプトエンジニアリングに便利な機能が 揃っており、その機能を使うと手作業が自動化できます 生成 AI 開発をやっていくのに辛い部分 <Toil> を少しでも
無くしていきましょう 免責事項 ちなみに、ほとんど Gemini について話していないように見えますが Vertex AI の評価、チューニングに Gemini が利用されています
ありがとうございました Copyright © 3-shake, Inc. All Rights Reserved.