Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AI Agent implement browser test by browser-use ...
Search
SatakeYusuke
January 24, 2025
1
230
AI Agent implement browser test by browser-use on Azure
AI Agentがブラウザテストを自動化する仕組みをAzure上に構築しました
SatakeYusuke
January 24, 2025
Tweet
Share
More Decks by SatakeYusuke
See All by SatakeYusuke
Completely Understanding AutoGen
satakeyusuke19920527
0
250
deep dive to voice rag
satakeyusuke19920527
0
290
Microsoft for Startups Founders Hub
satakeyusuke19920527
0
47
Cram school DX - Tried to Make English Conversation Application
satakeyusuke19920527
0
240
Can't RAGs be cheaper?
satakeyusuke19920527
1
400
Implemented payment processing with Azure Functions and Stripe.
satakeyusuke19920527
1
230
platform engineering meetup wrapup
satakeyusuke19920527
0
310
Try to make a call center ver3
satakeyusuke19920527
0
3.5k
Try to make a call center
satakeyusuke19920527
1
250
Featured
See All Featured
Mobile First: as difficult as doing things right
swwweet
222
9.1k
The Cost Of JavaScript in 2023
addyosmani
47
7.3k
How to Ace a Technical Interview
jacobian
276
23k
RailsConf 2023
tenderlove
29
980
Bash Introduction
62gerente
610
210k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
27
1.9k
A designer walks into a library…
pauljervisheath
205
24k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
160
15k
Art, The Web, and Tiny UX
lynnandtonic
298
20k
Practical Orchestrator
shlominoach
186
10k
Building Your Own Lightsaber
phodgson
104
6.2k
Music & Morning Musume
bryan
46
6.3k
Transcript
Agentにブラウザテストをやってもらえる 仕組みをAzure上に構築してみた話 .NETラボ1月 YUSUKE SATAKE
@fe_js_engineer @fe_js_engineer satyus Yusuke Satake Microsoft Japan スタートアップチーム Microsoft Evangelist
Works • 日本マイクロソフトのスタートアップチームのAzure担当 • 佐竹塾 経営 • 1seki2cho 経営 本発表は個人的な見解であり、所属する会社・組織とは全く関係ありませ んのでご了承ください。 comunity • .NETラボ • PoC部
Microsoft for Startups Founders Hub Microsoft Products Partner Products Power
Platform Microsoft 365 Visual Studio OpenAI GitHub LinkedIn Stripe Dynamics 365 Miro Azure OpenAI Service Azure AI Studio Microsoft Azure 最大 $150K 無償 (約2,100万円) Bubble MongoDB Atlas 入会していただけ るスタートアップ企 業を募集していま す!
Agenda はじめに AI エージェントについておさらい Browser-useについて Azure上に構築
動かしてみよう! まとめ
はじめに 今日はBrowser-useについて色々 触る機会があったので、まとめを報 告したいと思います。 後ほどAI Agentが自動でブラウザ テストをするDEMOをやってみたいと 思います。
すごく便利な機能なので、ご興味あ る方は是非触ってみてください! https://github.com/browser- use/browser-use
AI Agentについておさらい
AI Agentについておさらい AI Agentとは、複雑な目標を自律的に遂行できるAIシステムを指します 従来のAIシステムが特定のタスクに特化していたのに対し、LLMを活用したAI エージェントは、与えられた目標を達成するために必要な行動を自ら決定し、 実行することが可能
理想を言えば、人がやってほしい抽象度高い指示から、AIが自分でやるべきこ とを考えて、さまざまなツールを活用して人間が求める目標に向かって積極的 にタスクをこなしてくれるようにしたい
Multi-Agentとは? 一連の処理の中で、複数のシステムプロンプトを使って、役割やステップごとに 別々のAIエージェントで処理を行う、ワークフローの最適化を目的とした処理
マルチエージェント型のアーキテクチャの動作例 Your Copilots Chat Proxy Agent 経費申請アシスタント ホテル予約アシスタント 品川の飲食店探しアシスタント ヌッシがなんか言
うとんで。 会議してくれや。 まとめたるわ。 上司に聞いたら、1月25日 やったらええやって ほな、1月25日でええ感じの 品川のAPAホテル取るわ 品川って大阪のやつが思う ほど飲食店ないで。 東京に出張したいからええ感じ にアレンジしてくれや 1/25の経費申請とホテルの手 配が完了致しました。 当日のお食事はXXXなどいかが でしょうか
今回のAI Agentのユースケース ブラウザテストを自動的に実施してくれるAgentをAzure上に構築 BrowserTest Agent 承知いたしました どの処理が必要か考えます BrowserのUIのぽちぽちTest やっといてーや
Userが ブラウザテストを指示 Agentが該当するサイトにアクセスする Agentが該当するサイトのUIテストを 実施
Browser-useについて
Browser-useについて Browser Use は、高度な AI 機能と強力なブラウザ自動化を組み合わせて、AI エージェントによる Web 対話をシームレスにします。
Browser-useについて
Browser-useについて ブラウザテストのAI Agentの中でもかなりパフォーマンスが高いシステム
Browser-useについて Get Startedがとても簡 単 以下のモジュールをイン ストールしてpythonのコー ドを実行するだけ
Browser-useをAzure上へ構築
Azure上に構築すると…
Azure上に構築すると… 1.User が Static Web Apps にアクセス 2.テスト実行を依頼 3.Azure App
Service に hosting されて いる browser-use が指定したブラウ ザのテストを実行 4.テスト結果をAI Foundryを使って要 約 5.テスト結果を Azure CosmosDB へ保 存 6.Static Web Apps よりテスト結果を確 認
DEMO
Browser-useを用いたサーバサイドの動きのDEMO
Browser-useを用いたサーバサイドの動きのDEMO
Browser-useを用いたサーバサイドの動きのDEMO
Application全体の動きのDEMO
Browser-useを用いたサーバサイドの動きのDEMO
最後に いかがだったでしょうか。 今回はbrowser-useに焦点を当てて発表致しました。 ブラウザのぽちぽちテストは私も経験あるのですが、UIをぽちぽちしてExcelに結 果のスクショを貼って…みたいなかなり退屈な作業ですが、ミスると結構怒られ るテストでもあります。(懐かしい7年前の新卒時代…) そのような単純かつ精度が必要な作業をAgentに任せるのもかなり良い作戦
の一つだと感じました。 また、UIテストに関わらず、こうした作業をAI Agentが代替してくれるように日々 の作業を組み直すことも必要かもしれません。
Thank you!!
参考資料 https://github.com/browser-use/browser-use https://github.com/SatakeYusuke19920527/poc-auto-browser-test