Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AI Agent implement browser test by browser-use ...

SatakeYusuke
January 24, 2025
230

AI Agent implement browser test by browser-use on Azure

AI Agentがブラウザテストを自動化する仕組みをAzure上に構築しました

SatakeYusuke

January 24, 2025
Tweet

Transcript

  1. @fe_js_engineer @fe_js_engineer satyus Yusuke Satake Microsoft Japan スタートアップチーム Microsoft Evangelist

    Works • 日本マイクロソフトのスタートアップチームのAzure担当 • 佐竹塾 経営 • 1seki2cho 経営 本発表は個人的な見解であり、所属する会社・組織とは全く関係ありませ んのでご了承ください。 comunity • .NETラボ • PoC部
  2. Microsoft for Startups Founders Hub Microsoft Products Partner Products Power

    Platform Microsoft 365 Visual Studio OpenAI GitHub LinkedIn Stripe Dynamics 365 Miro Azure OpenAI Service Azure AI Studio Microsoft Azure 最大 $150K 無償 (約2,100万円) Bubble MongoDB Atlas 入会していただけ るスタートアップ企 業を募集していま す!
  3. AI Agentについておさらい  AI Agentとは、複雑な目標を自律的に遂行できるAIシステムを指します  従来のAIシステムが特定のタスクに特化していたのに対し、LLMを活用したAI エージェントは、与えられた目標を達成するために必要な行動を自ら決定し、 実行することが可能 

    理想を言えば、人がやってほしい抽象度高い指示から、AIが自分でやるべきこ とを考えて、さまざまなツールを活用して人間が求める目標に向かって積極的 にタスクをこなしてくれるようにしたい
  4. マルチエージェント型のアーキテクチャの動作例 Your Copilots Chat Proxy Agent 経費申請アシスタント ホテル予約アシスタント 品川の飲食店探しアシスタント ヌッシがなんか言

    うとんで。 会議してくれや。 まとめたるわ。 上司に聞いたら、1月25日 やったらええやって ほな、1月25日でええ感じの 品川のAPAホテル取るわ 品川って大阪のやつが思う ほど飲食店ないで。 東京に出張したいからええ感じ にアレンジしてくれや 1/25の経費申請とホテルの手 配が完了致しました。 当日のお食事はXXXなどいかが でしょうか
  5. Azure上に構築すると… 1.User が Static Web Apps にアクセス 2.テスト実行を依頼 3.Azure App

    Service に hosting されて いる browser-use が指定したブラウ ザのテストを実行 4.テスト結果をAI Foundryを使って要 約 5.テスト結果を Azure CosmosDB へ保 存 6.Static Web Apps よりテスト結果を確 認