Amazon Bedrockでブラウザを操作するAIエージェントを作ってみた

Bedrock Night 2025 〜AIエージェント祭り！〜 の登壇資料です。
https://jawsug.connpass.com/event/344030/

デモ用のリポジトリ
https://github.com/ymd65536/bedrock_for_webdriver.git

スライド内のリンク

【AWS】Amazon Bedrockを使ってブラウザをプロンプトだけで操作してみた（bedrock_browser_agentの開発）
https://qiita.com/ymd65536/items/5f747a9a7c9e0deda84d

MicrosoftのOSSだけでAIによるブラウザテストを構成する
https://speakerdeck.com/ymd65536/microsoftnoossdakedeainiyoruburauzatesutowogou-cheng-suru

Authenticated Delegation and Authorized AI Agents
https://www.arxiv.org/abs/2501.09674

Auth for Generative AI Applications
https://www.auth0.ai/

Transcript

1. 山田 顕人 Amazon Bedrockで ブラウザを操作するAIエージェントを作ってみた 2025/02/14 アイレット株式会社 クラウドインテグレーション事業部 MSP開発セクション
2. 自己紹介 2 山田顕人（Kento.Yamada） @ymd65536 所属：アイレット株式会社 仕事：次世代監視基盤(AMS)の開発、クラウドの運用分析 ロール：クラウドエンジニア/デベロッパー 活動：.NETラボ勉強会運営 受賞歴 Google Cloud Partner Top Engineer 2025 DataAnalytics（2024年〜） Google Cloud Partner Tech Blog Challenge 2023 Cloud AI/ML 部門 LINE API Expert（2024年〜） Microsoft MVP for Developer Technologies（2024年〜） LAPRAS OUTPUT AWARD 2024 01
3. 3 OpenAI Claude Google DeepMind
4. 4 AIによるブラウザ操作とは
5. AIがブラウザを操作するってどう考えたらいいのか 5 受けた指示を元にツールやファンクションの実行を代行する。 指示（プロンプト） アクション Tool Use
6. つまりどういうこと（ 1つの考えを述べると） 6 プロンプトの内容を元にTool Useを使ってブラウザの操作を実行する。 ブラウザを起動して ブラウザを起動 Tool Use
7. Amazon Bedrockによる実装 7 Converse APIとAmazon Bedrock Tool Useを使ってWebDriverにリクエストを送る 参考：https://qiita.com/ymd65536/items/5f747a9a7c9e0deda84d
8. Amazon Bedrockによる実装 8 AWS SDK for Python（boto3）で簡単に実装できる 1. 関数定義 2. 関数のtoolSpecを作成 3. Converse APIを実行 ※model_Id、プロンプト、toolconfig、inferrence_configが必要
9. 関数定義 （Amazon Bedrockによる実装） 9
10. 関数のtoolSpecを作成（Amazon Bedrockによる実装） 10
11. Converse APIを実行（Amazon Bedrockによる実装） 11
12. AIによるブラウザ操作を実装する際の注意点 12 • 本番環境においてはサンドボックス環境でやること • 検証や開発環境で実行する場合はリスクを承知の上で実行すること • Webスクレイピングを実行する場合はアクセス先の利用規約を確認すること • アクセス先に高負荷を与えないこと
13. 13 デモ
15. その他の実装 15 参考：https://speakerdeck.com/ymd65536/microsoftnoossdakedeainiyoruburauzatesutowogou-cheng-suru
16. AIエージェントの理想系 16 抽象的なプロンプトを元にToolを使ってブラウザの操作を実行する。 指示（プロンプト） アクション ツール実行 上記は簡単な例だが、アクセス先には必ず認証があるため実際にはもっと複雑 従来のデジタルアイデンティではなく、 AIエージェントにおけるデジタルアイデンティティも必要 フォームにメールアドレスと名前を入力して登録をクリックしてください。 登録した内容をカレンダーにリマインダーとして登録してください。
17. 余談：AIエージェントの認証・認可のフレームワーク 17 引用：https://www.arxiv.org/abs/2501.09674
18. 余談：あの OktaがGenAI向けサービスを開発 18 Auth0 AI: https://www.auth0.ai/
19. まとめ 19 • ブラウザを操作するAIエージェントのトレンドを確認したよ • Bedrockベースでブラウザを操作するAIエージェントを開発したよ • AIエージェントの理想系について確認したよ
20. 20 参考：ブラウザを操作する AIエージェントの話
21. OpenAIからついにキタ！ Operator 21 引用：https://openai.com/index/introducing-operator/
22. AnthropicからはComputer use (beta) 22 引用: https://docs.anthropic.com/en/docs/build-with-claude/computer-use
23. Google DeepMindからはProject Mariner 23 引用: https://deepmind.google/technologies/project-mariner/