Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LLMを使ったブラウザ操作紹介

Avatar for Yuki Matsukura Yuki Matsukura
February 03, 2025
Technology
29
0

 LLMを使ったブラウザ操作紹介

社内での15分のプレゼン用資料
Marpで作りました。

Avatar for Yuki Matsukura

Yuki Matsukura

February 03, 2025

More Decks by Yuki Matsukura

See All by Yuki Matsukura
IRONMAN World Championshipを旅行としてもオススメする理由
Avatar for Yuki Matsukura matsubo
0
77
Practice for AWS access key leakage.
Avatar for Yuki Matsukura matsubo
0
450

Other Decks in Technology

See All in Technology
DatadogのBits Chatが開発組織にもたらしたもの / What Bits Chat Has Brought Us
Avatar for SMS tech sms_tech
1
140
Service Connect 上のサービスに ECS Service の外側から到達できなかった話
Avatar for Itaru Ota ota1022
1
200
ラジオの科学
Avatar for Frieve-A frievea
0
280
今こそ聞きたいソフトウェア設計　ドメイン駆動設計再入門
Avatar for 増田 亨 masuda220
PRO
17
6.9k
ガバメント AI 源内を地方自治体は活用できるのか 可能性と課題、期待について
Avatar for takeda_h takeda_h
1
370
MIRU 2026 チュートリアル
Avatar for Keisuke Fujii keisuke198619
0
870
Issue設計から始める仕様駆動開発 / 20260731 Mizuki Hirata
Avatar for SHIFT EVOLVE shift_evolve
PRO
1
150
組織にどうSREを根付かせるか？〜IVRyの場合〜
Avatar for abnoumaru abnoumaru
0
330
新しい SLO が良い感じにハマっている話
Avatar for kaita z63d
5
2.2k
[しろおび夏祭り2026] チャットするAIから、作業するAIへ - 使われ方の変化と、その裏側で起きていること
Avatar for kk0n kk0n
0
1.7k
OSPN.JPバージョンアップ作業進捗のご報告 / 20260801-osc26kyoto
Avatar for Akira Ouchi akkiesoft
0
430
【CEDEC2026】『Relink』を拡張せよ - 『GRANBLUE FANTASY: Relink - Endless Ragnarok』の開発速度と品質を守るCI運用
Avatar for Cygames, Inc. cygames
PRO
0
140

Featured

See All Featured
SERP Conf. Vienna - Web Accessibility: Optimizing for Inclusivity and SEO
Avatar for Sara Fernández Carmona sarafernandez
2
1.5k
Why Your Marketing Sucks and What You Can Do About It - Sophie Logan
Avatar for Sophie Logan marketingsoph
0
360
The untapped power of vector embeddings
Avatar for Frank van Dijk frankvandijk
2
1.8k
The Organizational Zoo: Understanding Human Behavior Agility Through Metaphoric Constructive Conversations (based on the works of Arthur Shelley, Ph.D)
Avatar for Dr. Kim W Petersen kimpetersen
PRO
0
400
Unsuck your backbone
Avatar for Amy Palamountain ammeep
672
58k
Accessibility Awareness
Avatar for Sarah Abderemane sabderemane
1
170
Information Architects: The Missing Link in Design Systems
Avatar for Michelle Chin soysaucechin
0
1.1k
Building Experiences: Design Systems, User Experience, and Full Site Editing
Avatar for Michelle Schulp Hunt marktimemedia
0
570
Agile Leadership in an Agile Organization
Avatar for Dr. Kim W Petersen kimpetersen
PRO
0
200
Chasing Engaging Ingredients in Design
Avatar for Sebastian Deterding codingconduct
0
260
Visualization
Avatar for Eitan Lees eitanlees
152
17k
[RailsConf 2023 Opening Keynote] The Magic of Rails
Avatar for Eileen M. Uchitelle eileencodes
31
10k

Transcript

  1. LLMを使ったブラウザ操作紹介 @matsubokkuri AI朝会 2025/2/4 @matsubokkuri

  2. サマリー 発表の目的 LLMを利用したブラウザ操作アプリと現状を紹介 概要 LLMがブラウザを使えるとできることの例 LLMブラウザでできることの事例 3つのブラウザ操作ツールの紹介 マインディアビジネス、業務への示唆、効果 RPAが作れそう 2

    AI朝会 2025/2/4 @matsubokkuri

  3. LLMを使ったブラウザ操作とは 「抽象的な指示の元、LLMが自律的にブラウザ 操作を行ってゴールへ向かって進む。 」 3 AI朝会 2025/2/4 @matsubokkuri

  4. ブラウザが使えるとなにが嬉しいのか？ => LLM(脳)に目と手が追加される 4 AI朝会 2025/2/4 @matsubokkuri

  5. OpenAIがOperatorを発表 日本では未だ公開されていない。専用アプリの中でブラウザが立ち上がって いるっぽい。 5 AI朝会 2025/2/4 @matsubokkuri

  6. 紹介されているユースケース タスク自動化 繰り返し業務の自動処理 複数アプリケーション間のワークフロー連携 インテリジェントアシスタント 自然言語でのユーザー問い合わせへの即時応答 個人スケジュール管理とリマインダー設定 データ分析支援 大規模データセットからの傾向抽出 予測モデルの自動構築と可視化

    開発者向けツール コード生成とデバッグ支援 API連携の自動セットアップ カスタマーサポート 6 AI朝会 2025/2/4 @matsubokkuri

  7. 事例 みんなで飲みにいくんですけど、Devinさんも来ます？ - Devin観察日記 居酒屋のWeb注文QRコードを読んで、口頭で注文を指示するとよしなに画面 遷移して注文。 7 AI朝会 2025/2/4 @matsubokkuri

  8. 既存のツール OpenHands: LLMを活用したプログラミングツール WebPilot: Chrome Extensionで動く Browser Use UI: ホストOSのブラウザを子プロセスで立ち上げて操作

    8 AI朝会 2025/2/4 @matsubokkuri

  9. OpenHandsとは 無料 LLMはAPI呼び出し 実行環境はDockerでコマンド1発 9 AI朝会 2025/2/4 @matsubokkuri

  10. 動作アーキテクチャ コンテナ上で動作する ヘッドレスブラウザを立ち上げている 1つの命令でコンテナを作り直しているので初回は遅い。安全。 1 0 AI朝会 2025/2/4 @matsubokkuri

  11. 1 1 AI朝会 2025/2/4 @matsubokkuri

  12. 1 2 AI朝会 2025/2/4 @matsubokkuri

  13. ちょっと複雑なUIだと止まる。 。 。 1 3 AI朝会 2025/2/4 @matsubokkuri

  14. WebPilotとは Chromeブラウザプラグインで使うのが一番良いUX 既存のブラウザが使えるのが良い。 独自LLMの無料枠あり。APIでLLMも呼べる。 (ちょっと毛色が違うけど便利だから紹介) 1 4 AI朝会 2025/2/4 @matsubokkuri

  15. Web試験と相性が良さそう。 。 1 5 AI朝会 2025/2/4 @matsubokkuri

  16. 1 6 AI朝会 2025/2/4 @matsubokkuri

  17. 1 7 AI朝会 2025/2/4 @matsubokkuri

  18. 1 8 AI朝会 2025/2/4 @matsubokkuri

  19. Browser-use-webui OSS 見た目が面白い Xでよく見るやつはこれ 1 9 AI朝会 2025/2/4 @matsubokkuri

  20. setup 2 0 AI朝会 2025/2/4 @matsubokkuri

  21. run 2 1 AI朝会 2025/2/4 @matsubokkuri

  22. setting 2 2 AI朝会 2025/2/4 @matsubokkuri

  23. 「NISSANのEVを試乗予約して！」 2 3 AI朝会 2025/2/4 @matsubokkuri

  24. EV探してる 2 4 AI朝会 2025/2/4 @matsubokkuri

  25. 近くのディーラーを探してる 2 5 AI朝会 2025/2/4 @matsubokkuri

  26. 適当な名前名前で申し込みを入れようとしている 2 6 AI朝会 2025/2/4 @matsubokkuri

  27. 動画へのリンク 2 7 AI朝会 2025/2/4 @matsubokkuri

  28. 考察 どれも動作が重いので何度もPCが不安定になる OpenAI OperatorはOpenHandsに近そう 2 8 AI朝会 2025/2/4 @matsubokkuri

  29. おまけ note 2 9 AI朝会 2025/2/4 @matsubokkuri