Browser UseをWeb化してみた

Transcript

1. Brouser UseをWEB化してみた
2. はじめに • 2025年は、AIエージェントが注目される(かな？) • Browser Use • オープンソースなブラウザ自動操作 2024年3月 UFO 2024年10月 2024年11月 • 非エンジニアな人には難易度が高い • だれでも試せるようにWebサービス化してみた 2025年1月 DeepSeek R1
3. Browuser Useとは？ • LLMがブラウザを自動操作するライブラリ • https://github.com/browser-use • LangChainのAgentとして実装 • Playwrightによるブラウザ操作 • https://github.com/microsoft/playwright
4. Browser Useの使い方 • ネット上で紹介記事も多い • pythonで環境構築 • READMEのサンプルを実行する̲̲だけ̲̲ • 非エンジニアの方々にはハードルが高すぎ • 誰でも簡単に試せるようにWebサービス化
5. 特設デモサイト 本日のイベント時間限定 社内公開前の負荷テストにご協力ください。 • 接続先は、チャットメッセージにて • 注意点）ユーザ・パスワード・個人情報・機密事項は入力しないこと • ログに残るので全部丸見え。通信経路が平文。 • しょぼいサーバなので、過負荷で落ちたら笑ってください。 • 同時実行は、5ユーザまで。 • Google Geminiの無料枠を使い切ったら終了
6. デモサイトの使い方 例) amazonでxxxxを探して 明日のxxxxの天気は？ 実行とキャンセル Dont touch 接続完了 => 使えます 使い終わったらタブを閉じて 接続待機中 -> 他の人が使い終わるまで そのままお待ちください
7. 基本的な仕組み • 自分のPCのブラウザを操作する 自分のPC 環境構築めんどう Pythonコード Browser Use ブラウザ Google Chrome LangChain Agent LangChain Tools Playwright LLM OpenAI/Gemini
8. Webサービス化の課題 • クライアントPCのブラウザをサーバ側から自動操作できない • できないこともないけど・・・ムズカシすぎる（セキュリティ突破とか） • サーバ側でブラウザを実行、画面だけユーザ側のブラウザに表示する • 面倒だけど、伝統的で古典的な技術 • マルチユーザ同時処理 • Webサービス化の宿命。めんどくさ
9. サーバ側でブラウザを実行 • VNCサーバでGoogle Chromeを実行 • RFB(RemoteFrameBu er)プロトコルを、WebSock経由で転送 • ブラウザ上で動作するVNC-Viewerで表示する 自分のPC サーバ Webサービス ブラウザ Browser Use サーバの ブラウザの WebSock 画面 ff 画面転送 VNC ブラウザ Google Chrome
10. マルチユーザ • 接続毎に、ブラウザなどのプロセスを独立して管理する • Xvnc,WebSock,Google Chromeのプロセス管理 Aさん ブラウザ Bさん ブラウザ Cさん ブラウザ サーバ ブラウザ Google Chrome ブラウザ Google Chrome ブラウザ Google Chrome
11. まとめ • Webサービス化 • だれでも簡単、すぐに使える • 役立つ・・・のか？ あなた次第w • 問題点 • なんだか遅い 通信やJavaScriptでの画面更新まち時間 Html構造解析とLLM処理 • トークン消費、お財布に厳しい！
12. おまけ • macos-use • macの画面を操作、マックのアプリをなんでも自動操作 https://github.com/browser-use/macOS-use • browser use WebUI • OpenAI Deep Reserch類似機能を開発中？！ https://github.com/browser-use/web-ui/releases/tag/v1.5 https://www.youtube.com/watch?v=sguzGWuiRT8