Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon BedrockでClaude 3.5 Sonnet v2のComputer u...
Search
Champ
October 29, 2024
Technology
0
53
Amazon BedrockでClaude 3.5 Sonnet v2のComputer useを試す
Champ
October 29, 2024
Tweet
Share
More Decks by Champ
See All by Champ
【re:Invent 2024 アプデ】 Prompt Routing の紹介
champ
1
390
【Bedrock×Athena】生成系AIでSlackデータの分析に挑戦
champ
0
130
Amazon Qの全体像を掴んでみよう!
champ
0
45
神アプデ?Amazon Comprehendで 生成系AIの毒性検出に挑戦!
champ
0
280
Bedrockで挑戦! 生成系AIで Slackコミュニケーションの活性化!
champ
0
410
Other Decks in Technology
See All in Technology
30→150人のエンジニア組織拡大に伴うアジャイル文化を醸成する役割と取り組みの変化
nagata03
0
190
データベースの負荷を紐解く/untangle-the-database-load
emiki
2
530
OSS構成管理ツールCMDBuildを使ったAWSリソース管理の自動化
satorufunai
0
650
JAWS DAYS 2025 アーキテクチャ道場 事前説明会 / JAWS DAYS 2025 briefing document
naospon
0
150
EMConf JP 2025 懇親会LT / EMConf JP 2025 social gathering
sugamasao
2
200
AWSを活用したIoTにおけるセキュリティ対策のご紹介
kwskyk
0
390
急成長する企業で作った、エンジニアが輝ける制度/ 20250227 Rinto Ikenoue
shift_evolve
0
140
Exadata Database Service on Cloud@Customer セキュリティ、ネットワーク、および管理について
oracle4engineer
PRO
2
1.5k
事業モメンタムを生み出すプロダクト開発
macchiitaka
0
100
データエンジニアリング領域におけるDuckDBのユースケース
chanyou0311
9
2.2k
いまからでも遅くない!コンテナでWebアプリを動かしてみよう!コンテナハンズオン編
nomu
0
160
マーケットプレイス版Oracle WebCenter Content For OCI
oracle4engineer
PRO
3
530
Featured
See All Featured
Making Projects Easy
brettharned
116
6k
Embracing the Ebb and Flow
colly
84
4.6k
Docker and Python
trallard
44
3.3k
Designing Experiences People Love
moore
140
23k
Build The Right Thing And Hit Your Dates
maggiecrowley
34
2.5k
Music & Morning Musume
bryan
46
6.4k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
4
380
Automating Front-end Workflow
addyosmani
1368
200k
Side Projects
sachag
452
42k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
193
16k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
YesSQL, Process and Tooling at Scale
rocio
172
14k
Transcript
Amazon Bedrock で Claude 3.5 Sonnet v2 の Computer use
を試す
自己紹介
1. Computer Use API とは Claude 3.5 Sonnet V2 の新機能(ベータ版)
生成系 AI が画面のスクショを見て、マウスカーソルの移動、クリック、キーボー ド入力などの操作を実行可能 以下から利用可能: Anthropic API Amazon Bedrock 主な特徴: スクリーンショットベース操作 マウス・キーボード制御 ブラウザ操作
2. Computer Use Demo について Anthropic が提供する公式サンプルコード: GitHub: anthropics/anthropic-quickstarts Computer
Use API を簡単に試せる環境を提供 デモ環境の特徴: Docker コンテナで起動 Streamlit による Web UI が用意されており、Computer Use API を利用した画面操作 の様子が見れる
3. デモ <別画面で動画を開く>
3. デモ すごい!うごいた! でも、どうやっているの?
4. Computer Use API の処理の流れ 処理の流れ: 1. 入力 2. Claude
の処理 3. 実行
4. Computer Use API の処理の流れ 処理の流れ: 1. 入力 ユーザーからの指示(プロンプト) 画面のスクリーンショット
Anthropic が定義したツール Computer Tool(マウス・キーボード操作) Text Editor Tool(テキスト編集) Bash Tool(コマンド実行) 2. Claude の処理 3. 実行
4. Computer Use API の処理の流れ 処理の流れ: 1. 入力 2. Claude
の処理 スクリーンショットの解析 ユーザーからの指示を理解 適切なツールの選択 アクションのシミュレーションし実行すべき操 作を生成 3. 実行
4. Computer Use API の処理の流れ 処理の流れ: 1. 入力 2. Claude
の処理 3. 実行 Claude から実行すべきコマンド・操作を受信 アプリケーション側で実際の操作を実装・実行 結果を新しいスクリーンショットとして取得
5. まとめ 1. Computer Use Demo を使うことで簡単に Computer Use API
を試せる 2. Claude がやってくれるのはコマンドやアクションの生成まで 3. コマンドやアクションを実行するには自分たちが実装する必要があるが、サンプ ルコードが充実しているのでそこまで難しくない