Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LLMを使ったブラウザ操作紹介
Search
Sponsored
·
Ship Features Fearlessly
Turn features on and off without deploys. Used by thousands of Ruby developers.
→
Yuki Matsukura
February 03, 2025
Technology
27
0
Share
LLMを使ったブラウザ操作紹介
社内での15分のプレゼン用資料
Marpで作りました。
Yuki Matsukura
February 03, 2025
More Decks by Yuki Matsukura
See All by Yuki Matsukura
IRONMAN World Championshipを旅行としてもオススメする理由
matsubo
0
76
Practice for AWS access key leakage.
matsubo
0
440
Other Decks in Technology
See All in Technology
Navigation APIと見るSvelteKitのWeb標準志向
yamanoku
2
140
AI時代のIssue駆動開発のススメ
moongift
PRO
0
330
Move Fast and Break Things: 10 in 20
ramimac
0
110
契約書からの情報抽出を行うLLMのスループットを、バッチ処理を用いて最大40%改善した話
sansantech
PRO
3
340
JAWS DAYS 2026でAIの「もやっと」感が解消された話
smt7174
1
120
MIX AUDIO EN BROADCAST
ralpherick
0
140
40代からのアウトプット ― 経験は価値ある学びに変わる / 20260404 Naoki Takahashi
shift_evolve
PRO
4
680
トイルを超えたCREは何屋になるのか
bengo4com
0
120
AIエージェント勉強会第3回 エージェンティックAIの時代がやってきた
ymiya55
0
180
GitHub Advanced Security × Defender for Cloudで開発とSecOpsのサイロを超える: コードとクラウドをつなぐ、開発プラットフォームのセキュリティ
yuriemori
1
120
タスク管理も1on1も、もう「管理」じゃない - KiroとBedrock AgentCoreで変わった“判断の仕事”
yusukeshimizu
0
160
OPENLOGI Company Profile for engineer
hr01
1
62k
Featured
See All Featured
Faster Mobile Websites
deanohume
310
31k
Build your cross-platform service in a week with App Engine
jlugia
234
18k
Being A Developer After 40
akosma
91
590k
Building Applications with DynamoDB
mza
96
7k
Music & Morning Musume
bryan
47
7.1k
Jamie Indigo - Trashchat’s Guide to Black Boxes: Technical SEO Tactics for LLMs
techseoconnect
PRO
0
92
Introduction to Domain-Driven Design and Collaborative software design
baasie
1
690
Are puppies a ranking factor?
jonoalderson
1
3.2k
How GitHub (no longer) Works
holman
316
150k
Heart Work Chapter 1 - Part 1
lfama
PRO
5
35k
Ecommerce SEO: The Keys for Success Now & Beyond - #SERPConf2024
aleyda
1
1.9k
Sam Torres - BigQuery for SEOs
techseoconnect
PRO
0
230
Transcript
LLMを使ったブラウザ操作紹介 @matsubokkuri AI朝会 2025/2/4 @matsubokkuri
サマリー 発表の目的 LLMを利用したブラウザ操作アプリと現状を紹介 概要 LLMがブラウザを使えるとできることの例 LLMブラウザでできることの事例 3つのブラウザ操作ツールの紹介 マインディアビジネス、業務への示唆、効果 RPAが作れそう 2
AI朝会 2025/2/4 @matsubokkuri
LLMを使ったブラウザ操作とは 「抽象的な指示の元、LLMが自律的にブラウザ 操作を行ってゴールへ向かって進む。 」 3 AI朝会 2025/2/4 @matsubokkuri
ブラウザが使えるとなにが嬉しいのか? => LLM(脳)に目と手が追加される 4 AI朝会 2025/2/4 @matsubokkuri
OpenAIがOperatorを発表 日本では未だ公開されていない。専用アプリの中でブラウザが立ち上がって いるっぽい。 5 AI朝会 2025/2/4 @matsubokkuri
紹介されているユースケース タスク自動化 繰り返し業務の自動処理 複数アプリケーション間のワークフロー連携 インテリジェントアシスタント 自然言語でのユーザー問い合わせへの即時応答 個人スケジュール管理とリマインダー設定 データ分析支援 大規模データセットからの傾向抽出 予測モデルの自動構築と可視化
開発者向けツール コード生成とデバッグ支援 API連携の自動セットアップ カスタマーサポート 6 AI朝会 2025/2/4 @matsubokkuri
事例 みんなで飲みにいくんですけど、Devinさんも来ます? - Devin観察日記 居酒屋のWeb注文QRコードを読んで、口頭で注文を指示するとよしなに画面 遷移して注文。 7 AI朝会 2025/2/4 @matsubokkuri
既存のツール OpenHands: LLMを活用したプログラミングツール WebPilot: Chrome Extensionで動く Browser Use UI: ホストOSのブラウザを子プロセスで立ち上げて操作
8 AI朝会 2025/2/4 @matsubokkuri
OpenHandsとは 無料 LLMはAPI呼び出し 実行環境はDockerでコマンド1発 9 AI朝会 2025/2/4 @matsubokkuri
動作アーキテクチャ コンテナ上で動作する ヘッドレスブラウザを立ち上げている 1つの命令でコンテナを作り直しているので初回は遅い。安全。 1 0 AI朝会 2025/2/4 @matsubokkuri
1 1 AI朝会 2025/2/4 @matsubokkuri
1 2 AI朝会 2025/2/4 @matsubokkuri
ちょっと複雑なUIだと止まる。 。 。 1 3 AI朝会 2025/2/4 @matsubokkuri
WebPilotとは Chromeブラウザプラグインで使うのが一番良いUX 既存のブラウザが使えるのが良い。 独自LLMの無料枠あり。APIでLLMも呼べる。 (ちょっと毛色が違うけど便利だから紹介) 1 4 AI朝会 2025/2/4 @matsubokkuri
Web試験と相性が良さそう。 。 1 5 AI朝会 2025/2/4 @matsubokkuri
1 6 AI朝会 2025/2/4 @matsubokkuri
1 7 AI朝会 2025/2/4 @matsubokkuri
1 8 AI朝会 2025/2/4 @matsubokkuri
Browser-use-webui OSS 見た目が面白い Xでよく見るやつはこれ 1 9 AI朝会 2025/2/4 @matsubokkuri
setup 2 0 AI朝会 2025/2/4 @matsubokkuri
run 2 1 AI朝会 2025/2/4 @matsubokkuri
setting 2 2 AI朝会 2025/2/4 @matsubokkuri
「NISSANのEVを試乗予約して!」 2 3 AI朝会 2025/2/4 @matsubokkuri
EV探してる 2 4 AI朝会 2025/2/4 @matsubokkuri
近くのディーラーを探してる 2 5 AI朝会 2025/2/4 @matsubokkuri
適当な名前名前で申し込みを入れようとしている 2 6 AI朝会 2025/2/4 @matsubokkuri
動画へのリンク 2 7 AI朝会 2025/2/4 @matsubokkuri
考察 どれも動作が重いので何度もPCが不安定になる OpenAI OperatorはOpenHandsに近そう 2 8 AI朝会 2025/2/4 @matsubokkuri
おまけ note 2 9 AI朝会 2025/2/4 @matsubokkuri