Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Gemini + Vertex AI を使って作業を自動化「していく」
Search
SatohJohn
November 13, 2024
Programming
0
98
Gemini + Vertex AI を使って作業を自動化「していく」
AIミーティング 2024/11/13 で発表した資料になります
https://osaka-driven-dev.connpass.com/event/334176/
SatohJohn
November 13, 2024
Tweet
Share
More Decks by SatohJohn
See All by SatohJohn
検索システムにおけるセキュリティ
satohjohn
0
56
Feature Flag 開発を標準化し、加速させる OpenFeature を導入する
satohjohn
3
2.2k
ADK Java が出たので AI Agent を作ろう
satohjohn
0
140
NotebookLM + Agentspace を使った(開発)体験
satohjohn
1
770
Open Feature 面白いぞ
satohjohn
0
99
Workforce Identity を使った 権限管理で Cloud Run を動かしてみた
satohjohn
0
660
Cloud_Run_GPU___Gemma_2_を使った_LLM_アプリケーション開発のススメ.pdf
satohjohn
0
35
Firebase Authenticationのセッション管理術
satohjohn
2
2.5k
お客様とすすめる_フロントエンドの技術支援.pdf
satohjohn
1
1.2k
Other Decks in Programming
See All in Programming
AIで開発生産性を上げる個人とチームの取り組み
taniigo
0
130
複雑化したリポジトリをなんとかした話 pipenvからuvによるモノレポ構成への移行
satoshi256kbyte
1
780
Pythonスレッドとは結局何なのか? CPython実装から見るNoGIL時代の変化
curekoshimizu
4
1.3k
Swift Concurrency - 状態監視の罠
objectiveaudio
2
460
After go func(): Goroutines Through a Beginner’s Eye
97vaibhav
0
230
CSC509 Lecture 06
javiergs
PRO
0
240
株式会社 Sun terras カンパニーデック
sunterras
0
230
CSC509 Lecture 04
javiergs
PRO
0
300
CSC509 Lecture 05
javiergs
PRO
0
300
フロントエンド開発に役立つクライアントプログラム共通のノウハウ / Universal client-side programming best practices for frontend development
nrslib
7
3.9k
AI Coding Meetup #3 - 導入セッション / ai-coding-meetup-3
izumin5210
0
590
なぜGoのジェネリクスはこの形なのか? Featherweight Goが明かす設計の核心
ryotaros
7
1k
Featured
See All Featured
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.6k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.6k
Docker and Python
trallard
46
3.6k
Building a Modern Day E-commerce SEO Strategy
aleyda
43
7.7k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
890
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
54
3k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.6k
Done Done
chrislema
185
16k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3.1k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
Become a Pro
speakerdeck
PRO
29
5.5k
Fantastic passwords and where to find them - at NoRuKo
philnash
52
3.4k
Transcript
Gemini + Vertex AI を使って 作業を自動化「していく」 AIミーティング 2024/11/13 株式会社スリーシェイク Sreake事業部
佐藤 Copyright © 3-shake, Inc. All Rights Reserved.
自己紹介 佐藤 慧太@SatohJohn • 2012/4 フリュー株式会社 入社 ToC 向けのアプリケーション開発を 10年ほど経験
リードエンジニアとして 0からサービスを 設計開発運用を経験 • 2023/1 株式会社スリーシェイク 入社 SRE として労苦 <Toil>を減らす仕事に従事 Google Cloud Partner Top Engineer ’24 生成 AI とかやってます
目的 Google Cloud Vertex AI で どういう自動化ができるのか、Toil を無くせるか を知ってもらう プロンプトエンジニアリングについて話します
モデルのチューニングについては話しません
プロンプトを作成するうえでのサイクルの1例 1. プロンプトを考える 2. プロンプトを評価する 3. プロンプトをチューニングする
プロンプトを作成するうえでの流れの例 プロンプトを 考える プロンプトを チューニングする プロンプトを 評価する
1. プロンプトを考える どんなプロンプトを書けばいいかがわからない
1. プロンプトを考える Vertex AI には プロンプトギャラリー があります https://cloud.google.com/vertex-ai/generative-ai/docs/prompt-gallery
1. プロンプトを考える • 動画からの広告コピー作成 • 企業財務分析 • コードの一貫性のチェック • 2つのドキュメントの比較
• 面接準備Q&A • 水泳Q&A • 料理の分類 etc… https://cloud.google.com/vertex-ai/generative-ai/docs/prompt-gallery 動画や音声ファイルなどを使った抽出、 分類タスクなど、様々あるので参考になる
2. プロンプトを評価する 出力された結果、どうなんだろう? 出力が多く自分で確認するの大変だ 前のプロンプトとの差分がわからん
2. プロンプトを評価する 出力を機械的に 評価する 他のバージョンと 比較する
2. プロンプトを評価する ~ 出力を機械的に評価する ~ Vertex AI には Evaluation Service
API があります Pointwise、 Pairwise など 様々な観点において API を叩くことで 評価することができます https://cloud.google.com/vertex-ai/generative-ai/docs/model-reference/evaluation https://sreake.com/blog/google-cloud-rapid-evaluation-api-verification/
2. プロンプトを評価する ~ 他のバージョンと比較する ~ Vertex AI には プロンプトの比較機能 があります
ただし マルチモーダルだと評価ができません 比較は3つまでです https://cloud.google.com/vertex-ai/generative-ai/docs/start/quickstarts/quickstart?hl=ja https://sreake.com/blog/google-cloud-prompt-design/
2. プロンプトを評価する ~ 他のバージョンと比較する ~ それぞれでパラメータや モデルを変更した結果で 比べることができる 想定結果と見比べて ROUGE
の値や目視での比較を 行うことができる https://cloud.google.com/vertex-ai/generative-ai/docs/start/quickstarts/quickstart?hl=ja https://sreake.com/blog/google-cloud-prompt-design/
2. プロンプトを評価する ここで注意していただきたいのは 本当にユーザにとって良いものなのか?は 別の話です あくまでも定量的な評価、開発者の 評価を行うものです
3. プロンプトをチューニングする 結果あんま良くなかったけど、どうしよう どうすれば良いんだろう
3. プロンプトをチューニングする Vertex AI には プロンプトの最適化 という機能があります
3. プロンプトをチューニングする 更に Notebook 環境で さらなる最適化が試せます 先程の評価と同じように、 特定の性能の評価軸に基づいて 最適化をしていきます https://cloud.google.com/vertex-ai/generative-ai/docs/learn/prompts/prompt-optimizer
まとめ Vertex AI を使うとプロンプトエンジニアリングに便利な機能が 揃っており、その機能を使うと手作業が自動化できます 生成 AI 開発をやっていくのに辛い部分 <Toil> を少しでも
無くしていきましょう 免責事項 ちなみに、ほとんど Gemini について話していないように見えますが Vertex AI の評価、チューニングに Gemini が利用されています
ありがとうございました Copyright © 3-shake, Inc. All Rights Reserved.