Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LLMを使ったブラウザ操作紹介

Sponsored · Ship Features Fearlessly Turn features on and off without deploys. Used by thousands of Ruby developers. →
Avatar for Yuki Matsukura Yuki Matsukura
February 03, 2025
Technology
29
0

 LLMを使ったブラウザ操作紹介

社内での15分のプレゼン用資料
Marpで作りました。

Avatar for Yuki Matsukura

Yuki Matsukura

February 03, 2025

More Decks by Yuki Matsukura

See All by Yuki Matsukura
IRONMAN World Championshipを旅行としてもオススメする理由
Avatar for Yuki Matsukura matsubo
0
77
Practice for AWS access key leakage.
Avatar for Yuki Matsukura matsubo
0
450

Other Decks in Technology

See All in Technology
取引先から届く 「セキュリティチェックシート」の読み解き方
Avatar for かーでぃ kamadamakoto
0
140
オートロックマンションなのに、各部屋は施錠なし！？ 攻撃者が組織内ネットワークで大暴れする理由 / The Front Door Is Locked, but the Rooms Are Wide Open: Why Attackers Move Freely Inside Enterprise Networks
Avatar for NTT docomo Business nttcom
1
1.6k
LLM・AIエージェントシステムベストプラクティス
Avatar for shibuiwilliam shibuiwilliam
2
730
クラウドセキュリティ入門　～安全なクラウド利用のための基礎知識～
Avatar for LHazy lhazy
12
8.4k
【CEDEC2026】コードレビュー支援ツール開発から学ぶ：LLMを用いた業務システムの実践的な運用設計と誤出力対策
Avatar for Cygames, Inc. cygames
PRO
0
630
AIエージェントを前提としたプラットフォーム エンジニアリング：GKEで作るAgent-Ready Golden Path
Avatar for LegalOn Technologies, Inc legalontechnologies
PRO
2
220
個人OSSが、机の上から世界に広がるまでの話
Avatar for Shinya Saita shinyasaita
1
370
ガバメント AI 源内を地方自治体は活用できるのか 可能性と課題、期待について
Avatar for takeda_h takeda_h
1
380
Issue設計から始める仕様駆動開発 / 20260731 Mizuki Hirata
Avatar for SHIFT EVOLVE shift_evolve
PRO
1
150
20260608_Codexの可能性_ノンプログラマー向け_大城追記
Avatar for NobuakiOshiro doradora09
PRO
0
780
AI時代の強いチームの作り方
Avatar for yuukiyo yuukiyo
26
16k
モダンフロントエンド 開発研修
Avatar for Recruit recruitengineers
PRO
4
570

Featured

See All Featured
Easily Structure & Communicate Ideas using Wireframe
Avatar for Afnizar Nur Ghifari afnizarnur
194
17k
Exploring anti-patterns in Rails
Avatar for Elle Meredith aemeredith
3
460
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
Avatar for Marc Duiker marcduiker
35
2.5k
Leveraging Curiosity to Care for An Aging Population
Avatar for Cassini Nazir cassininazir
1
460
What’s in a name? Adding method to the madness
Avatar for The Alliance productmarketing
PRO
24
4.1k
Tell your own story through comics
Avatar for letsgokoyo letsgokoyo
1
1k
Darren the Foodie - Storyboard
Avatar for Kevinho.art khoart
PRO
3
3.6k
Why Mistakes Are the Best Teachers: Turning Failure into a Pathway for Growth
Avatar for Umar Saidu Auna auna
0
200
Bioeconomy Workshop: Dr. Julius Ecuru, Opportunities for a Bioeconomy in West Africa
Avatar for AKADEMIYA2063 akademiya2063
PRO
1
210
BBQ
Avatar for Matthew Crist matthewcrist
89
10k
jQuery: Nuts, Bolts and Bling
Avatar for Doug Neiner dougneiner
66
8.5k
Side Projects
Avatar for Sacha Greif sachag
455
43k

Transcript

  1. LLMを使ったブラウザ操作紹介 @matsubokkuri AI朝会 2025/2/4 @matsubokkuri

  2. サマリー 発表の目的 LLMを利用したブラウザ操作アプリと現状を紹介 概要 LLMがブラウザを使えるとできることの例 LLMブラウザでできることの事例 3つのブラウザ操作ツールの紹介 マインディアビジネス、業務への示唆、効果 RPAが作れそう 2

    AI朝会 2025/2/4 @matsubokkuri

  3. LLMを使ったブラウザ操作とは 「抽象的な指示の元、LLMが自律的にブラウザ 操作を行ってゴールへ向かって進む。 」 3 AI朝会 2025/2/4 @matsubokkuri

  4. ブラウザが使えるとなにが嬉しいのか？ => LLM(脳)に目と手が追加される 4 AI朝会 2025/2/4 @matsubokkuri

  5. OpenAIがOperatorを発表 日本では未だ公開されていない。専用アプリの中でブラウザが立ち上がって いるっぽい。 5 AI朝会 2025/2/4 @matsubokkuri

  6. 紹介されているユースケース タスク自動化 繰り返し業務の自動処理 複数アプリケーション間のワークフロー連携 インテリジェントアシスタント 自然言語でのユーザー問い合わせへの即時応答 個人スケジュール管理とリマインダー設定 データ分析支援 大規模データセットからの傾向抽出 予測モデルの自動構築と可視化

    開発者向けツール コード生成とデバッグ支援 API連携の自動セットアップ カスタマーサポート 6 AI朝会 2025/2/4 @matsubokkuri

  7. 事例 みんなで飲みにいくんですけど、Devinさんも来ます？ - Devin観察日記 居酒屋のWeb注文QRコードを読んで、口頭で注文を指示するとよしなに画面 遷移して注文。 7 AI朝会 2025/2/4 @matsubokkuri

  8. 既存のツール OpenHands: LLMを活用したプログラミングツール WebPilot: Chrome Extensionで動く Browser Use UI: ホストOSのブラウザを子プロセスで立ち上げて操作

    8 AI朝会 2025/2/4 @matsubokkuri

  9. OpenHandsとは 無料 LLMはAPI呼び出し 実行環境はDockerでコマンド1発 9 AI朝会 2025/2/4 @matsubokkuri

  10. 動作アーキテクチャ コンテナ上で動作する ヘッドレスブラウザを立ち上げている 1つの命令でコンテナを作り直しているので初回は遅い。安全。 1 0 AI朝会 2025/2/4 @matsubokkuri

  11. 1 1 AI朝会 2025/2/4 @matsubokkuri

  12. 1 2 AI朝会 2025/2/4 @matsubokkuri

  13. ちょっと複雑なUIだと止まる。 。 。 1 3 AI朝会 2025/2/4 @matsubokkuri

  14. WebPilotとは Chromeブラウザプラグインで使うのが一番良いUX 既存のブラウザが使えるのが良い。 独自LLMの無料枠あり。APIでLLMも呼べる。 (ちょっと毛色が違うけど便利だから紹介) 1 4 AI朝会 2025/2/4 @matsubokkuri

  15. Web試験と相性が良さそう。 。 1 5 AI朝会 2025/2/4 @matsubokkuri

  16. 1 6 AI朝会 2025/2/4 @matsubokkuri

  17. 1 7 AI朝会 2025/2/4 @matsubokkuri

  18. 1 8 AI朝会 2025/2/4 @matsubokkuri

  19. Browser-use-webui OSS 見た目が面白い Xでよく見るやつはこれ 1 9 AI朝会 2025/2/4 @matsubokkuri

  20. setup 2 0 AI朝会 2025/2/4 @matsubokkuri

  21. run 2 1 AI朝会 2025/2/4 @matsubokkuri

  22. setting 2 2 AI朝会 2025/2/4 @matsubokkuri

  23. 「NISSANのEVを試乗予約して！」 2 3 AI朝会 2025/2/4 @matsubokkuri

  24. EV探してる 2 4 AI朝会 2025/2/4 @matsubokkuri

  25. 近くのディーラーを探してる 2 5 AI朝会 2025/2/4 @matsubokkuri

  26. 適当な名前名前で申し込みを入れようとしている 2 6 AI朝会 2025/2/4 @matsubokkuri

  27. 動画へのリンク 2 7 AI朝会 2025/2/4 @matsubokkuri

  28. 考察 どれも動作が重いので何度もPCが不安定になる OpenAI OperatorはOpenHandsに近そう 2 8 AI朝会 2025/2/4 @matsubokkuri

  29. おまけ note 2 9 AI朝会 2025/2/4 @matsubokkuri