Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon BedrockでClaude 3.5 Sonnet v2のComputer u...
Search
Champ
October 29, 2024
Technology
0
88
Amazon BedrockでClaude 3.5 Sonnet v2のComputer useを試す
Champ
October 29, 2024
Tweet
Share
More Decks by Champ
See All by Champ
【re:Invent 2024 アプデ】 Prompt Routing の紹介
champ
1
450
【Bedrock×Athena】生成系AIでSlackデータの分析に挑戦
champ
0
150
Amazon Qの全体像を掴んでみよう!
champ
0
54
神アプデ?Amazon Comprehendで 生成系AIの毒性検出に挑戦!
champ
0
310
Bedrockで挑戦! 生成系AIで Slackコミュニケーションの活性化!
champ
0
430
Other Decks in Technology
See All in Technology
使いたいMCPサーバーはWeb APIをラップして自分で作る #QiitaBash
bengo4com
0
1.4k
高速なプロダクト開発を実現、創業期から掲げるエンタープライズアーキテクチャ
kawauso
1
400
KubeCon + CloudNativeCon Japan 2025 Recap
ren510dev
1
310
あなたの声を届けよう! 女性エンジニア登壇の意義とアウトプット実践ガイド #wttjp / Call for Your Voice
kondoyuko
4
510
B2C&B2B&社内向けサービスを抱える開発組織におけるサービス価値を最大化するイニシアチブ管理
belongadmin
0
290
How Community Opened Global Doors
hiroramos4
PRO
1
130
AWS Summit Japan 2025 Community Stage - App workflow automation by AWS Step Functions
matsuihidetoshi
1
310
さくらのIaaS基盤のモニタリングとOpenTelemetry/OSC Hokkaido 2025
fujiwara3
2
260
250627 関西Ruby会議08 前夜祭 RejectKaigi「DJ on Ruby Ver.0.1」
msykd
PRO
2
370
GitHub Copilot の概要
tomokusaba
1
150
作曲家がボカロを使うようにPdMはAIを使え
itotaxi
0
390
プロダクトエンジニアリング組織への歩み、その現在地 / Our journey to becoming a product engineering organization
hiro_torii
0
140
Featured
See All Featured
Code Reviewing Like a Champion
maltzj
524
40k
Balancing Empowerment & Direction
lara
1
390
Being A Developer After 40
akosma
90
590k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
48
2.9k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
124
52k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
800
Why Our Code Smells
bkeepers
PRO
337
57k
Making the Leap to Tech Lead
cromwellryan
134
9.4k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
20k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
48
5.4k
Stop Working from a Prison Cell
hatefulcrawdad
270
20k
Transcript
Amazon Bedrock で Claude 3.5 Sonnet v2 の Computer use
を試す
自己紹介
1. Computer Use API とは Claude 3.5 Sonnet V2 の新機能(ベータ版)
生成系 AI が画面のスクショを見て、マウスカーソルの移動、クリック、キーボー ド入力などの操作を実行可能 以下から利用可能: Anthropic API Amazon Bedrock 主な特徴: スクリーンショットベース操作 マウス・キーボード制御 ブラウザ操作
2. Computer Use Demo について Anthropic が提供する公式サンプルコード: GitHub: anthropics/anthropic-quickstarts Computer
Use API を簡単に試せる環境を提供 デモ環境の特徴: Docker コンテナで起動 Streamlit による Web UI が用意されており、Computer Use API を利用した画面操作 の様子が見れる
3. デモ <別画面で動画を開く>
3. デモ すごい!うごいた! でも、どうやっているの?
4. Computer Use API の処理の流れ 処理の流れ: 1. 入力 2. Claude
の処理 3. 実行
4. Computer Use API の処理の流れ 処理の流れ: 1. 入力 ユーザーからの指示(プロンプト) 画面のスクリーンショット
Anthropic が定義したツール Computer Tool(マウス・キーボード操作) Text Editor Tool(テキスト編集) Bash Tool(コマンド実行) 2. Claude の処理 3. 実行
4. Computer Use API の処理の流れ 処理の流れ: 1. 入力 2. Claude
の処理 スクリーンショットの解析 ユーザーからの指示を理解 適切なツールの選択 アクションのシミュレーションし実行すべき操 作を生成 3. 実行
4. Computer Use API の処理の流れ 処理の流れ: 1. 入力 2. Claude
の処理 3. 実行 Claude から実行すべきコマンド・操作を受信 アプリケーション側で実際の操作を実装・実行 結果を新しいスクリーンショットとして取得
5. まとめ 1. Computer Use Demo を使うことで簡単に Computer Use API
を試せる 2. Claude がやってくれるのはコマンドやアクションの生成まで 3. コマンドやアクションを実行するには自分たちが実装する必要があるが、サンプ ルコードが充実しているのでそこまで難しくない