Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LLMを使ったブラウザ操作紹介

Sponsored · Ship Features Fearlessly Turn features on and off without deploys. Used by thousands of Ruby developers. →
Avatar for Yuki Matsukura Yuki Matsukura
February 03, 2025
Technology
27
0

 LLMを使ったブラウザ操作紹介

社内での15分のプレゼン用資料
Marpで作りました。

Avatar for Yuki Matsukura

Yuki Matsukura

February 03, 2025

More Decks by Yuki Matsukura

See All by Yuki Matsukura
IRONMAN World Championshipを旅行としてもオススメする理由
Avatar for Yuki Matsukura matsubo
0
76
Practice for AWS access key leakage.
Avatar for Yuki Matsukura matsubo
0
440

Other Decks in Technology

See All in Technology
Navigation APIと見るSvelteKitのWeb標準志向
Avatar for Okuto Oyama yamanoku
2
140
AI時代のIssue駆動開発のススメ
Avatar for Atsushi Nakatsugawa moongift
PRO
0
330
Move Fast and Break Things: 10 in 20
Avatar for Rami McCarthy ramimac
0
110
契約書からの情報抽出を行うLLMのスループットを、バッチ処理を用いて最大40%改善した話
Avatar for SansanTech sansantech
PRO
3
340
JAWS DAYS 2026でAIの「もやっと」感が解消された話
Avatar for Makky12 smt7174
1
120
MIX AUDIO EN BROADCAST
Avatar for Erick Ralph Kionga ralpherick
0
140
40代からのアウトプット ― 経験は価値ある学びに変わる / 20260404 Naoki Takahashi
Avatar for SHIFT EVOLVE shift_evolve
PRO
4
680
トイルを超えたCREは何屋になるのか
Avatar for 弁護士ドットコム bengo4com
0
120
AIエージェント勉強会第3回 エージェンティックAIの時代がやってきた
Avatar for Y.Miyado ymiya55
0
180
GitHub Advanced Security × Defender for Cloudで開発とSecOpsのサイロを超える: コードとクラウドをつなぐ、開発プラットフォームのセキュリティ
Avatar for yuriemori yuriemori
1
120
タスク管理も1on1も、もう「管理」じゃない - KiroとBedrock AgentCoreで変わった“判断の仕事”
Avatar for Yusuke Shimizu yusukeshimizu
0
160
OPENLOGI Company Profile for engineer
Avatar for OPENLOGI hr01
1
62k

Featured

See All Featured
Faster Mobile Websites
Avatar for Dean Hume deanohume
310
31k
Build your cross-platform service in a week with App Engine
Avatar for Jose L jlugia
234
18k
Being A Developer After 40
Avatar for Adrian Kosmaczewski akosma
91
590k
Building Applications with DynamoDB
Avatar for Matt Wood mza
96
7k
Music & Morning Musume
Avatar for Bryan Veloso bryan
47
7.1k
Jamie Indigo - Trashchat’s Guide to Black Boxes: Technical SEO Tactics for LLMs
Avatar for Tech SEO Connect techseoconnect
PRO
0
92
Introduction to Domain-Driven Design and Collaborative software design
Avatar for Kenny Baas-Schwegler baasie
1
690
Are puppies a ranking factor?
Avatar for Jono Alderson jonoalderson
1
3.2k
How GitHub (no longer) Works
Avatar for Zach Holman holman
316
150k
Heart Work Chapter 1 - Part 1
Avatar for Lake Fama lfama
PRO
5
35k
Ecommerce SEO: The Keys for Success Now & Beyond - #SERPConf2024
Avatar for Aleyda Solis aleyda
1
1.9k
Sam Torres - BigQuery for SEOs
Avatar for Tech SEO Connect techseoconnect
PRO
0
230

Transcript

  1. LLMを使ったブラウザ操作紹介 @matsubokkuri AI朝会 2025/2/4 @matsubokkuri

  2. サマリー 発表の目的 LLMを利用したブラウザ操作アプリと現状を紹介 概要 LLMがブラウザを使えるとできることの例 LLMブラウザでできることの事例 3つのブラウザ操作ツールの紹介 マインディアビジネス、業務への示唆、効果 RPAが作れそう 2

    AI朝会 2025/2/4 @matsubokkuri

  3. LLMを使ったブラウザ操作とは 「抽象的な指示の元、LLMが自律的にブラウザ 操作を行ってゴールへ向かって進む。 」 3 AI朝会 2025/2/4 @matsubokkuri

  4. ブラウザが使えるとなにが嬉しいのか？ => LLM(脳)に目と手が追加される 4 AI朝会 2025/2/4 @matsubokkuri

  5. OpenAIがOperatorを発表 日本では未だ公開されていない。専用アプリの中でブラウザが立ち上がって いるっぽい。 5 AI朝会 2025/2/4 @matsubokkuri

  6. 紹介されているユースケース タスク自動化 繰り返し業務の自動処理 複数アプリケーション間のワークフロー連携 インテリジェントアシスタント 自然言語でのユーザー問い合わせへの即時応答 個人スケジュール管理とリマインダー設定 データ分析支援 大規模データセットからの傾向抽出 予測モデルの自動構築と可視化

    開発者向けツール コード生成とデバッグ支援 API連携の自動セットアップ カスタマーサポート 6 AI朝会 2025/2/4 @matsubokkuri

  7. 事例 みんなで飲みにいくんですけど、Devinさんも来ます？ - Devin観察日記 居酒屋のWeb注文QRコードを読んで、口頭で注文を指示するとよしなに画面 遷移して注文。 7 AI朝会 2025/2/4 @matsubokkuri

  8. 既存のツール OpenHands: LLMを活用したプログラミングツール WebPilot: Chrome Extensionで動く Browser Use UI: ホストOSのブラウザを子プロセスで立ち上げて操作

    8 AI朝会 2025/2/4 @matsubokkuri

  9. OpenHandsとは 無料 LLMはAPI呼び出し 実行環境はDockerでコマンド1発 9 AI朝会 2025/2/4 @matsubokkuri

  10. 動作アーキテクチャ コンテナ上で動作する ヘッドレスブラウザを立ち上げている 1つの命令でコンテナを作り直しているので初回は遅い。安全。 1 0 AI朝会 2025/2/4 @matsubokkuri

  11. 1 1 AI朝会 2025/2/4 @matsubokkuri

  12. 1 2 AI朝会 2025/2/4 @matsubokkuri

  13. ちょっと複雑なUIだと止まる。 。 。 1 3 AI朝会 2025/2/4 @matsubokkuri

  14. WebPilotとは Chromeブラウザプラグインで使うのが一番良いUX 既存のブラウザが使えるのが良い。 独自LLMの無料枠あり。APIでLLMも呼べる。 (ちょっと毛色が違うけど便利だから紹介) 1 4 AI朝会 2025/2/4 @matsubokkuri

  15. Web試験と相性が良さそう。 。 1 5 AI朝会 2025/2/4 @matsubokkuri

  16. 1 6 AI朝会 2025/2/4 @matsubokkuri

  17. 1 7 AI朝会 2025/2/4 @matsubokkuri

  18. 1 8 AI朝会 2025/2/4 @matsubokkuri

  19. Browser-use-webui OSS 見た目が面白い Xでよく見るやつはこれ 1 9 AI朝会 2025/2/4 @matsubokkuri

  20. setup 2 0 AI朝会 2025/2/4 @matsubokkuri

  21. run 2 1 AI朝会 2025/2/4 @matsubokkuri

  22. setting 2 2 AI朝会 2025/2/4 @matsubokkuri

  23. 「NISSANのEVを試乗予約して！」 2 3 AI朝会 2025/2/4 @matsubokkuri

  24. EV探してる 2 4 AI朝会 2025/2/4 @matsubokkuri

  25. 近くのディーラーを探してる 2 5 AI朝会 2025/2/4 @matsubokkuri

  26. 適当な名前名前で申し込みを入れようとしている 2 6 AI朝会 2025/2/4 @matsubokkuri

  27. 動画へのリンク 2 7 AI朝会 2025/2/4 @matsubokkuri

  28. 考察 どれも動作が重いので何度もPCが不安定になる OpenAI OperatorはOpenHandsに近そう 2 8 AI朝会 2025/2/4 @matsubokkuri

  29. おまけ note 2 9 AI朝会 2025/2/4 @matsubokkuri