Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LLMを使ったブラウザ操作紹介

Avatar for Yuki Matsukura Yuki Matsukura
February 03, 2025
Technology
0
22

 LLMを使ったブラウザ操作紹介

社内での15分のプレゼン用資料
Marpで作りました。

Avatar for Yuki Matsukura

Yuki Matsukura

February 03, 2025
Tweet

More Decks by Yuki Matsukura

See All by Yuki Matsukura
IRONMAN World Championshipを旅行としてもオススメする理由
Avatar for Yuki Matsukura matsubo
0
69
Practice for AWS access key leakage.
Avatar for Yuki Matsukura matsubo
0
420

Other Decks in Technology

See All in Technology
新規プロダクトでプロトタイプから正式リリースまでNext.jsで開発したリアル
Avatar for かわりく / Kawano Riku kawanoriku0
1
220
2つのフロントエンドと状態管理
Avatar for MIXI ENGINEERS mixi_engineers
PRO
3
160
Generative AI Japan 第一回生成AI実践研究会「AI駆動開発の現在地──ブレイクスルーの鍵を握るのはデータ領域」
Avatar for KoheiOgawa shisyu_gaku
0
330
ブロックテーマ時代における、テーマの CSS について考える Toro_Unit / 2025.09.13 @ Shinshu WordPress Meetup
Avatar for Toro_Unit (Hiroshi Urabe) torounit
0
130
S3アクセス制御の設計ポイント
Avatar for tommy tommy0124
3
210
CDK CLIで使ってたあの機能、CDK Toolkit Libraryではどうやるの？
Avatar for Makky12 smt7174
4
190
Aurora DSQLはサーバーレスアーキテクチャの常識を変えるのか
Avatar for TomoyaIwata iwatatomoya
1
1.2k
JTCにおける内製×スクラム開発への挑戦〜内製化率95%達成の舞台裏/JTC's challenge of in-house development with Scrum
Avatar for AEON aeonpeople
0
270
Unlocking the Power of AI Agents with LINE Bot MCP Server
Avatar for LINE Developers Thailand linedevth
0
120
20250910_障害注入から効率的復旧へ_カオスエンジニアリング_生成AIで考えるAWS障害対応.pdf
Avatar for sh_fk2 sh_fk2
3
280
これでもう迷わない！Jetpack Composeの書き方実践ガイド
Avatar for ZOZO Developers zozotech
PRO
0
1.1k
品質視点から考える組織デザイン/Organizational Design from Quality
Avatar for miisan mii3king
0
210

Featured

See All Featured
Building Applications with DynamoDB
Avatar for Matt Wood mza
96
6.6k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
Avatar for Eileen M. Uchitelle eileencodes
139
34k
Making the Leap to Tech Lead
Avatar for Ryan Cromwell cromwellryan
135
9.5k
The Illustrated Children's Guide to Kubernetes
Avatar for Chris Short chrisshort
48
50k
A designer walks into a library…
Avatar for Paul Jervis Heath pauljervisheath
207
24k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
Avatar for Michelle Schulp Hunt marktimemedia
31
2.5k
Optimizing for Happiness
Avatar for Tom Preston-Werner mojombo
379
70k
Large-scale JavaScript Application Architecture
Avatar for Addy Osmani addyosmani
513
110k
Practical Tips for Bootstrapping Information Extraction Pipelines
Avatar for Matthew Honnibal honnibal
PRO
23
1.4k
Product Roadmaps are Hard
Avatar for C. Todd Lombardo iamctodd
PRO
54
11k
Java REST API Framework Comparison - PWX 2021
Avatar for Matt Raible mraible
33
8.8k
Build The Right Thing And Hit Your Dates
Avatar for Maggie C. maggiecrowley
37
2.9k

Transcript

  1. LLMを使ったブラウザ操作紹介 @matsubokkuri AI朝会 2025/2/4 @matsubokkuri

  2. サマリー 発表の目的 LLMを利用したブラウザ操作アプリと現状を紹介 概要 LLMがブラウザを使えるとできることの例 LLMブラウザでできることの事例 3つのブラウザ操作ツールの紹介 マインディアビジネス、業務への示唆、効果 RPAが作れそう 2

    AI朝会 2025/2/4 @matsubokkuri

  3. LLMを使ったブラウザ操作とは 「抽象的な指示の元、LLMが自律的にブラウザ 操作を行ってゴールへ向かって進む。 」 3 AI朝会 2025/2/4 @matsubokkuri

  4. ブラウザが使えるとなにが嬉しいのか？ => LLM(脳)に目と手が追加される 4 AI朝会 2025/2/4 @matsubokkuri

  5. OpenAIがOperatorを発表 日本では未だ公開されていない。専用アプリの中でブラウザが立ち上がって いるっぽい。 5 AI朝会 2025/2/4 @matsubokkuri

  6. 紹介されているユースケース タスク自動化 繰り返し業務の自動処理 複数アプリケーション間のワークフロー連携 インテリジェントアシスタント 自然言語でのユーザー問い合わせへの即時応答 個人スケジュール管理とリマインダー設定 データ分析支援 大規模データセットからの傾向抽出 予測モデルの自動構築と可視化

    開発者向けツール コード生成とデバッグ支援 API連携の自動セットアップ カスタマーサポート 6 AI朝会 2025/2/4 @matsubokkuri

  7. 事例 みんなで飲みにいくんですけど、Devinさんも来ます？ - Devin観察日記 居酒屋のWeb注文QRコードを読んで、口頭で注文を指示するとよしなに画面 遷移して注文。 7 AI朝会 2025/2/4 @matsubokkuri

  8. 既存のツール OpenHands: LLMを活用したプログラミングツール WebPilot: Chrome Extensionで動く Browser Use UI: ホストOSのブラウザを子プロセスで立ち上げて操作

    8 AI朝会 2025/2/4 @matsubokkuri

  9. OpenHandsとは 無料 LLMはAPI呼び出し 実行環境はDockerでコマンド1発 9 AI朝会 2025/2/4 @matsubokkuri

  10. 動作アーキテクチャ コンテナ上で動作する ヘッドレスブラウザを立ち上げている 1つの命令でコンテナを作り直しているので初回は遅い。安全。 1 0 AI朝会 2025/2/4 @matsubokkuri

  11. 1 1 AI朝会 2025/2/4 @matsubokkuri

  12. 1 2 AI朝会 2025/2/4 @matsubokkuri

  13. ちょっと複雑なUIだと止まる。 。 。 1 3 AI朝会 2025/2/4 @matsubokkuri

  14. WebPilotとは Chromeブラウザプラグインで使うのが一番良いUX 既存のブラウザが使えるのが良い。 独自LLMの無料枠あり。APIでLLMも呼べる。 (ちょっと毛色が違うけど便利だから紹介) 1 4 AI朝会 2025/2/4 @matsubokkuri

  15. Web試験と相性が良さそう。 。 1 5 AI朝会 2025/2/4 @matsubokkuri

  16. 1 6 AI朝会 2025/2/4 @matsubokkuri

  17. 1 7 AI朝会 2025/2/4 @matsubokkuri

  18. 1 8 AI朝会 2025/2/4 @matsubokkuri

  19. Browser-use-webui OSS 見た目が面白い Xでよく見るやつはこれ 1 9 AI朝会 2025/2/4 @matsubokkuri

  20. setup 2 0 AI朝会 2025/2/4 @matsubokkuri

  21. run 2 1 AI朝会 2025/2/4 @matsubokkuri

  22. setting 2 2 AI朝会 2025/2/4 @matsubokkuri

  23. 「NISSANのEVを試乗予約して！」 2 3 AI朝会 2025/2/4 @matsubokkuri

  24. EV探してる 2 4 AI朝会 2025/2/4 @matsubokkuri

  25. 近くのディーラーを探してる 2 5 AI朝会 2025/2/4 @matsubokkuri

  26. 適当な名前名前で申し込みを入れようとしている 2 6 AI朝会 2025/2/4 @matsubokkuri

  27. 動画へのリンク 2 7 AI朝会 2025/2/4 @matsubokkuri

  28. 考察 どれも動作が重いので何度もPCが不安定になる OpenAI OperatorはOpenHandsに近そう 2 8 AI朝会 2025/2/4 @matsubokkuri

  29. おまけ note 2 9 AI朝会 2025/2/4 @matsubokkuri