About RAG & Agent

Transcript

1. RAG & Agent Study Group
2. number of years it took for each product to gain 50 million users Airlines ... 68yrs Automobiles ... 62yrs Telephone ... 50yrs Credit Card ... 28yrs Television ... 22yrs ATM ... 18yrs Computer ... 14yrs CellPhone ... 12yrs Internet ... 7yrs Youtube ... 4yrs Facebook ... 3yrs Twitter ... 2yrs Pokemon Go 19days ChatGPT Sprints to One Million Users Netflix 3.5yrs Airbnb 2.5years Facebook 10month Dropbox 7month Spotify 5month ChatGPT 5days prompt LLM 2022.12 ChatGPT
3. RAG Agent prompt LLM LLM LLM memory tools reasoning prompt prompt
4. RAG LLM prompt
5. Open Book/ Closed Book LLMがより正確な方法で質問に答えるために専門的な知識体系を構築
6. 大規模言語モデル 検索システム Application 1.Question 3.Generation 2.Retrieval 4.Answer フルテキスト検索 ベクトル検索 セマンティック検索 ハイブリッド検索 Application Server Ochastrator About RAG(Retrieval Augmented Generation)
7. RDB VectorDB 製品事例 データ構造 最大サイズ データの種別 クエリの仕組み クエリタイプ Oracle MySQL etc.. table 容量が増えると遅くなる 構造化データがメイン キーワード検索 テーブルjoin を使った 複雑なクエリも可能 Chroma Pinecorn Vector 容量が増えても遅くならない 非構造化データ（画像、動画、音声など） ベクトルの類似度 セマンティック検索、類似度検索が主 RDB / VectorDB
8. Word2Vec
9. (20,20) (22,18) (20,20) (20,20) (20,20) (3,25) C( , ) = 0.999 C( , ) = 0.754 Cos類似度
10. PPT テキストデータ チャンク分割 チャンク分割 チャンク分割 チャンク分割 Embeddingの生成に使用できるモデルでは、入力されるトークン数に上限があるため、トークン制限を上回るドキュメントの場合には、チャンク分割が 必要となってきます。 単にチャンク上限で分割するだけではなく、前後のチャンクでワードを20％程度被せるなど 工夫が一般的な方法となります。 Embedding
12. 通常のRAGの場合…主人公の彼女は誰？ = >回答できる ペンションで働いている人物を全員教えて => 回答できない（可能性がある） GraphRAG
13. [0.012,0,34,0.5,0.1956,0.345] GPT4o > Multimodal Vector Embeddings Vector Database Embedding Model Image text video audio 都会の景色 林間学校 山登り
14. GPT4o
16. Agent LLM memory tools reasoning prompt
17. AI Agent ? 自律的にタスクをプランニングする 外部ツールを活用 実行結果をもとに、自身で行動を修正
18. Google Palm Say Can LLMは凄まじい成果を発揮しているが、推論（Chain of Thoughtなど）と行動（検索・計画 の生成などなど）については別テーマとして研究されてきた。本論文では、LLMを使用して推 論と行動の両者を活用し、2つの相乗効果を生む方法（ReAct）を提案する。 　ReActを様々な言語タスクと意思決定タスクに適用し、効率性を実証する。具体的には、質 疑応答と事実検証においてWikipediaAPIを活用して種々の問題を克服する。更に、2つの対話 型の意思決定ベンチマーク（ALFWorldとWebShop）について、promptに1つか2つの例を入 れるのみで、模倣学習と強化学習に対して34%と10%の成功率の向上を上げた。 https://arxiv.org/abs/2210.03629 CoT & ReAct > Reasoning
20. google_search = GoogleSearchAPIWrapper() llm_math_chain = LLMMathChain(llm=llm, verbose=True) tools = [ Tool( name = "Google Search", func=google_search.run, description="最新の話題について答える場合に利用することができます。ま た、今日の日付や今日の気温、天気、為替レートなど現在の状況についても確認す ることができます。入力は検索内容です。" ), Tool( name="Calculator", func=llm_math_chain.run, description="計算をする場合に利用することができます。" ) ] agent = initialize_agent(tools, llm, agent="zero-shot-react-description", verbose=True) agent.run("レオナルド・ディカプリオの恋人は誰？そして彼女の年齢を0.43乗す ると何歳になる？") LangChain
21. iPaaS（Integration Platform as a Service）
22. レシピサイト->買い物->配送 プランニング->旅行サイト->チケット購入 Meal kit Delivery Agent Trip Adivisor Agent
26. GitHub Codespaces / GitHub Spark …
27. https://youtu.be/22wlLy7hKP4?si=lMps7Hq1C3g8KJRg Jesse Lyu - Founder and CEO - rabbit inc.