Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Gemini + Vertex AI を使って作業を自動化「していく」
Search
SatohJohn
November 13, 2024
Programming
0
58
Gemini + Vertex AI を使って作業を自動化「していく」
AIミーティング 2024/11/13 で発表した資料になります
https://osaka-driven-dev.connpass.com/event/334176/
SatohJohn
November 13, 2024
Tweet
Share
More Decks by SatohJohn
See All by SatohJohn
Open Feature 面白いぞ
satohjohn
0
12
Workforce Identity を使った 権限管理で Cloud Run を動かしてみた
satohjohn
0
240
Cloud_Run_GPU___Gemma_2_を使った_LLM_アプリケーション開発のススメ.pdf
satohjohn
0
17
Firebase Authenticationのセッション管理術
satohjohn
2
2.2k
お客様とすすめる_フロントエンドの技術支援.pdf
satohjohn
1
1.1k
コンテナ環境のKotlinアプリケーション を運用しよう _ Google Cloudを使って
satohjohn
0
160
GCPでのバッチ処理パターンを考えてみる
satohjohn
1
1.2k
GCPと連携してマスターデータ更新
satohjohn
0
200
Nuxt.js + Google App Engine でのアプリケーション開発の勘所
satohjohn
0
460
Other Decks in Programming
See All in Programming
Ruby on cygwin 2025-02
fd0
0
180
一休.com のログイン体験を支える技術 〜Web Components x Vue.js 活用事例と最適化について〜
atsumim
0
950
Introduction to kotlinx.rpc
arawn
0
760
SwiftUI Viewの責務分離
elmetal
PRO
2
270
なぜイベント駆動が必要なのか - CQRS/ESで解く複雑系システムの課題 -
j5ik2o
14
4.6k
パスキーのすべて ── 導入・UX設計・実装の紹介 / 20250213 パスキー開発者の集い
kuralab
3
890
コードを読んで理解するko build
bells17
1
110
ナレッジイネイブリングにAIを活用してみる ゆるSRE勉強会 #9
nealle
0
160
dbt Pythonモデルで実現するSnowflake活用術
trsnium
0
260
ファインディLT_ポケモン対戦の定量的分析
fufufukakaka
0
920
Datadog Workflow Automation で圧倒的価値提供
showwin
1
160
Serverless Rust: Your Low-Risk Entry Point to Rust in Production (and the benefits are huge)
lmammino
1
150
Featured
See All Featured
The World Runs on Bad Software
bkeepers
PRO
67
11k
Automating Front-end Workflow
addyosmani
1368
200k
Testing 201, or: Great Expectations
jmmastey
42
7.2k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
12
990
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
133
33k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
30
4.6k
Designing for humans not robots
tammielis
250
25k
Become a Pro
speakerdeck
PRO
26
5.2k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
100
18k
Building Adaptive Systems
keathley
40
2.4k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Facilitating Awesome Meetings
lara
52
6.2k
Transcript
Gemini + Vertex AI を使って 作業を自動化「していく」 AIミーティング 2024/11/13 株式会社スリーシェイク Sreake事業部
佐藤 Copyright © 3-shake, Inc. All Rights Reserved.
自己紹介 佐藤 慧太@SatohJohn • 2012/4 フリュー株式会社 入社 ToC 向けのアプリケーション開発を 10年ほど経験
リードエンジニアとして 0からサービスを 設計開発運用を経験 • 2023/1 株式会社スリーシェイク 入社 SRE として労苦 <Toil>を減らす仕事に従事 Google Cloud Partner Top Engineer ’24 生成 AI とかやってます
目的 Google Cloud Vertex AI で どういう自動化ができるのか、Toil を無くせるか を知ってもらう プロンプトエンジニアリングについて話します
モデルのチューニングについては話しません
プロンプトを作成するうえでのサイクルの1例 1. プロンプトを考える 2. プロンプトを評価する 3. プロンプトをチューニングする
プロンプトを作成するうえでの流れの例 プロンプトを 考える プロンプトを チューニングする プロンプトを 評価する
1. プロンプトを考える どんなプロンプトを書けばいいかがわからない
1. プロンプトを考える Vertex AI には プロンプトギャラリー があります https://cloud.google.com/vertex-ai/generative-ai/docs/prompt-gallery
1. プロンプトを考える • 動画からの広告コピー作成 • 企業財務分析 • コードの一貫性のチェック • 2つのドキュメントの比較
• 面接準備Q&A • 水泳Q&A • 料理の分類 etc… https://cloud.google.com/vertex-ai/generative-ai/docs/prompt-gallery 動画や音声ファイルなどを使った抽出、 分類タスクなど、様々あるので参考になる
2. プロンプトを評価する 出力された結果、どうなんだろう? 出力が多く自分で確認するの大変だ 前のプロンプトとの差分がわからん
2. プロンプトを評価する 出力を機械的に 評価する 他のバージョンと 比較する
2. プロンプトを評価する ~ 出力を機械的に評価する ~ Vertex AI には Evaluation Service
API があります Pointwise、 Pairwise など 様々な観点において API を叩くことで 評価することができます https://cloud.google.com/vertex-ai/generative-ai/docs/model-reference/evaluation https://sreake.com/blog/google-cloud-rapid-evaluation-api-verification/
2. プロンプトを評価する ~ 他のバージョンと比較する ~ Vertex AI には プロンプトの比較機能 があります
ただし マルチモーダルだと評価ができません 比較は3つまでです https://cloud.google.com/vertex-ai/generative-ai/docs/start/quickstarts/quickstart?hl=ja https://sreake.com/blog/google-cloud-prompt-design/
2. プロンプトを評価する ~ 他のバージョンと比較する ~ それぞれでパラメータや モデルを変更した結果で 比べることができる 想定結果と見比べて ROUGE
の値や目視での比較を 行うことができる https://cloud.google.com/vertex-ai/generative-ai/docs/start/quickstarts/quickstart?hl=ja https://sreake.com/blog/google-cloud-prompt-design/
2. プロンプトを評価する ここで注意していただきたいのは 本当にユーザにとって良いものなのか?は 別の話です あくまでも定量的な評価、開発者の 評価を行うものです
3. プロンプトをチューニングする 結果あんま良くなかったけど、どうしよう どうすれば良いんだろう
3. プロンプトをチューニングする Vertex AI には プロンプトの最適化 という機能があります
3. プロンプトをチューニングする 更に Notebook 環境で さらなる最適化が試せます 先程の評価と同じように、 特定の性能の評価軸に基づいて 最適化をしていきます https://cloud.google.com/vertex-ai/generative-ai/docs/learn/prompts/prompt-optimizer
まとめ Vertex AI を使うとプロンプトエンジニアリングに便利な機能が 揃っており、その機能を使うと手作業が自動化できます 生成 AI 開発をやっていくのに辛い部分 <Toil> を少しでも
無くしていきましょう 免責事項 ちなみに、ほとんど Gemini について話していないように見えますが Vertex AI の評価、チューニングに Gemini が利用されています
ありがとうございました Copyright © 3-shake, Inc. All Rights Reserved.