Agent機能について

Transcript

1. LLMを使って Webスクレイピングやってみた
2. 自己紹介 0 名前：齊藤泰 0 Twitter : @sssaitotaish' 0 職業：気合い系エンジニア 0 キャリア 大学卒業 → 無職 → 個人事業主 0 最近 財務関係のプロダクト手伝い
3. 概要 URL情報 ユーザー Tool LLM request response
4. 共有したい3つ 1 2 3 LLMと視覚情報 Agent構築 実装範囲
5. LLMと視覚情報
6. 開発動機 参照 https://zenn.dev/turing_motors/articles/8e913f46374ede https://note.com/issei_y/n/n3f69256abc1c 自動運転を開発する上でLLMの活用が注目を集めている
7. 開発動機 ＋ 開発難易度高い ＋ 開発余地あり
8. 開発動機 https://youtube.com/shorts/_peGpVPBur8?si=nBgblvxuXlME2Gii GPT-visionモデルで64マリオを操作させる
9. Agent構築
10. Agentとは LLMにタスクの判断から実行までを一任する機能 最近だとSakana AIが開発した【The AI Science】が開発事例として有名
11. コード紹介 コード詳細は以下を確認して下さい。 参照）https://github.com/langchain-ai/langgraph/tree/main/docs/docs/tutorials/web-navigation
12. ここまでのデモ動画 動画を参照 参照）https://youtu.be/VCNWyTGEXPQ
13. コード紹介 Click, GoBack, Google, Scroll, Type, Waitを指示
14. Agentの構築手順 State Prompt 1 3 エージェント間で 共有される情報の構造 Function 4 LLMの支持をもとに 実行される関数 プロンプト文章 Agent 2 ノードとエッジを定義
15. ①ステートの定義 エージェント間で共有する情報構造を定義 “ page : pageのURL情y “ input : ユーザーからの指c “ bboxes : クリック可能な領域(ラベル付きC “ prediction : LLMが出した次に行うべき最適行3 “ img : base64でエンコード
16. ②ノードとエッジの定義 ノードとエッジの定義 順序 分岐
17. ③プロンプト文の作成 参照）https://smith.langchain.com/hub/wfh/web-voyager?organizationId=92b7200f-5725-5e89-8a53-a37a9928ef40 受け取ったステート情報をもとにLLMが次に実行する最適な関数を選択。 現状だと画像は受け取れていない
18. ④関数の定義（ツール） LLMの指示をもとに実行する関数を定義 ①のステートから共有された情報をもとに関数を実行、他の4つの関数も同じく
19. 実装範囲
20. 課題と原因
21. 実験
22. 実装の試み 視覚情報 推測・思考 別エージェント パソコンの画面を読み取らせる。 その画面の中に与えられたタスクに関する情報があるのか推測させる。
23. イメージするAgentグラフの図 confirm_screen 別エージェントへ
24. 失敗 max_tokenの上限によるエラー GPTモデルに画像を読み込ませようとするとbase64に エンコードする必要があり、トークン数の上限が来てしまった 文字化け playwrightのスクリーンショット機能を使用。 screenshot内の文字化けがひどく、画像を渡せない。 ランタイムエラー ページ遷移のメソッドであるgotoを実行。 たまにランタイムエラー、たまに実行できる。
25. 今回の開発を踏まえて https://github.com/langchain-ai/langgraph/tree/main/docs/docs/tutorials githubの公開コード
26. 今回の開発を踏まえて
27. 今回の開発を踏まえて 16通りのエージェント作成方法を記述。 ・・・・・・・・・ https://arxiv.org/abs/2405.10467v1
28. LangGraphによるエージェントの実装方法 p 最初から0 →1ベースで作ろうとすると、どのようなステートを作る か悩6 p ミニマムの構成は先ほど紹介した論文の構成を参考にするべき
29. 最後に… 2 LLMとVisionの領域（VLMと呼ばれる領域？）は個人的に注目して いる 2 LLMの出力をもとにソフトウェアを操作することができる 2 独自でエージェント構築する時は既存のものを参考にしまくる方 が良さげ それでは皆さん良い開発ライフを ご興味ある方は気軽連絡してください！！