Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon BedrockでClaude 3.5 Sonnet v2のComputer u...
Search
Champ
October 29, 2024
Technology
0
60
Amazon BedrockでClaude 3.5 Sonnet v2のComputer useを試す
Champ
October 29, 2024
Tweet
Share
More Decks by Champ
See All by Champ
【re:Invent 2024 アプデ】 Prompt Routing の紹介
champ
1
400
【Bedrock×Athena】生成系AIでSlackデータの分析に挑戦
champ
0
140
Amazon Qの全体像を掴んでみよう!
champ
0
48
神アプデ?Amazon Comprehendで 生成系AIの毒性検出に挑戦!
champ
0
280
Bedrockで挑戦! 生成系AIで Slackコミュニケーションの活性化!
champ
0
410
Other Decks in Technology
See All in Technology
OCI IAM Identity Domains Entra IDとの認証連携設定手順 / Identity Domain Federation settings with Entra ID
oracle4engineer
PRO
1
1.3k
【内製開発Summit 2025】イオンスマートテクノロジーの内製化組織の作り方/In-house-development-summit-AST
aeonpeople
2
1.2k
20250309 無冠のわたし これからどう先生きのこれる?
akiko_pusu
9
1.4k
月間180PBのストリーム処理されたイベントデータを使用した, KARTEのリアルタイムインタラクションマネジメント
plaidtech
PRO
0
170
貧民的プログラミングのすすめ
kakehashi
PRO
2
230
自分のやることに価値を見出だせるようになり、挑戦する勇気をもらったベイトソンの考え / Scrum Fest Fukuoka 2025
bonbon0605
0
160
Cracking the Coding Interview 6th Edition
gdplabs
14
28k
Aurora PostgreSQLがCloudWatch Logsに 出力するログの課金を削減してみる #jawsdays2025
non97
1
270
事業を差別化する技術を生み出す技術
pyama86
2
570
プロダクト開発者目線での Entra ID 活用
sansantech
PRO
0
180
マーケットプレイス版Oracle WebCenter Content For OCI
oracle4engineer
PRO
3
550
AWSアカウントのセキュリティ自動化、どこまで進める? 最適な設計と実践ポイント
yuobayashi
7
2k
Featured
See All Featured
The Cult of Friendly URLs
andyhume
78
6.2k
RailsConf 2023
tenderlove
29
1k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.7k
Art, The Web, and Tiny UX
lynnandtonic
298
20k
Optimizing for Happiness
mojombo
377
70k
Gamification - CAS2011
davidbonilla
80
5.2k
The Invisible Side of Design
smashingmag
299
50k
BBQ
matthewcrist
87
9.5k
Adopting Sorbet at Scale
ufuk
75
9.2k
Navigating Team Friction
lara
183
15k
How GitHub (no longer) Works
holman
314
140k
Transcript
Amazon Bedrock で Claude 3.5 Sonnet v2 の Computer use
を試す
自己紹介
1. Computer Use API とは Claude 3.5 Sonnet V2 の新機能(ベータ版)
生成系 AI が画面のスクショを見て、マウスカーソルの移動、クリック、キーボー ド入力などの操作を実行可能 以下から利用可能: Anthropic API Amazon Bedrock 主な特徴: スクリーンショットベース操作 マウス・キーボード制御 ブラウザ操作
2. Computer Use Demo について Anthropic が提供する公式サンプルコード: GitHub: anthropics/anthropic-quickstarts Computer
Use API を簡単に試せる環境を提供 デモ環境の特徴: Docker コンテナで起動 Streamlit による Web UI が用意されており、Computer Use API を利用した画面操作 の様子が見れる
3. デモ <別画面で動画を開く>
3. デモ すごい!うごいた! でも、どうやっているの?
4. Computer Use API の処理の流れ 処理の流れ: 1. 入力 2. Claude
の処理 3. 実行
4. Computer Use API の処理の流れ 処理の流れ: 1. 入力 ユーザーからの指示(プロンプト) 画面のスクリーンショット
Anthropic が定義したツール Computer Tool(マウス・キーボード操作) Text Editor Tool(テキスト編集) Bash Tool(コマンド実行) 2. Claude の処理 3. 実行
4. Computer Use API の処理の流れ 処理の流れ: 1. 入力 2. Claude
の処理 スクリーンショットの解析 ユーザーからの指示を理解 適切なツールの選択 アクションのシミュレーションし実行すべき操 作を生成 3. 実行
4. Computer Use API の処理の流れ 処理の流れ: 1. 入力 2. Claude
の処理 3. 実行 Claude から実行すべきコマンド・操作を受信 アプリケーション側で実際の操作を実装・実行 結果を新しいスクリーンショットとして取得
5. まとめ 1. Computer Use Demo を使うことで簡単に Computer Use API
を試せる 2. Claude がやってくれるのはコマンドやアクションの生成まで 3. コマンドやアクションを実行するには自分たちが実装する必要があるが、サンプ ルコードが充実しているのでそこまで難しくない