About RAG & Agent - Speaker Deck

Slide 1

Slide 1 text

RAG & Agent Study Group

Slide 2

Slide 2 text

number of years it took for each product to gain 50 million users Airlines ... 68yrs Automobiles ... 62yrs Telephone ... 50yrs Credit Card ... 28yrs Television ... 22yrs ATM ... 18yrs Computer ... 14yrs CellPhone ... 12yrs Internet ... 7yrs Youtube ... 4yrs Facebook ... 3yrs Twitter ... 2yrs Pokemon Go 19days ChatGPT Sprints to One Million Users Netflix 3.5yrs Airbnb 2.5years Facebook 10month Dropbox 7month Spotify 5month ChatGPT 5days prompt LLM 2022.12 ChatGPT

Slide 3

Slide 3 text

RAG Agent prompt LLM LLM LLM memory tools reasoning prompt prompt

Slide 4

Slide 4 text

RAG LLM prompt

Slide 5

Slide 5 text

Open Book/ Closed Book LLMがより正確な方法で質問に答えるために専門的な知識体系を構築

Slide 6

Slide 6 text

大規模言語モデル検索システム Application 1.Question 3.Generation 2.Retrieval 4.Answer フルテキスト検索ベクトル検索セマンティック検索ハイブリッド検索 Application Server Ochastrator About RAG(Retrieval Augmented Generation)

Slide 7

Slide 7 text

RDB VectorDB 製品事例データ構造最大サイズデータの種別クエリの仕組みクエリタイプ Oracle MySQL etc.. table 容量が増えると遅くなる構造化データがメインキーワード検索テーブルjoin を使った複雑なクエリも可能 Chroma Pinecorn Vector 容量が増えても遅くならない非構造化データ（画像、動画、音声など）ベクトルの類似度セマンティック検索、類似度検索が主 RDB / VectorDB

Slide 8

Slide 8 text

Word2Vec

Slide 9

Slide 9 text

(20,20) (22,18) (20,20) (20,20) (20,20) (3,25) C( , ) = 0.999 C( , ) = 0.754 Cos類似度

Slide 10

Slide 10 text

PPT テキストデータチャンク分割チャンク分割チャンク分割チャンク分割 Embeddingの生成に使用できるモデルでは、入力されるトークン数に上限があるため、トークン制限を上回るドキュメントの場合には、チャンク分割が必要となってきます。単にチャンク上限で分割するだけではなく、前後のチャンクでワードを20％程度被せるなど工夫が一般的な方法となります。 Embedding

Slide 11

Slide 11 text

No content

Slide 12

Slide 12 text

通常のRAGの場合…主人公の彼女は誰？ = >回答できるペンションで働いている人物を全員教えて => 回答できない（可能性がある） GraphRAG

Slide 13

Slide 13 text

[0.012,0,34,0.5,0.1956,0.345] GPT4o > Multimodal Vector Embeddings Vector Database Embedding Model Image text video audio 都会の景色林間学校山登り

Slide 14

Slide 14 text

GPT4o

Slide 15

Slide 15 text

No content

Slide 16

Slide 16 text

Agent LLM memory tools reasoning prompt

Slide 17

Slide 17 text

AI Agent ? 自律的にタスクをプランニングする外部ツールを活用実行結果をもとに、自身で行動を修正

Slide 18

Slide 18 text

Google Palm Say Can LLMは凄まじい成果を発揮しているが、推論（Chain of Thoughtなど）と行動（検索・計画の生成などなど）については別テーマとして研究されてきた。本論文では、LLMを使用して推論と行動の両者を活用し、2つの相乗効果を生む方法（ReAct）を提案する。　ReActを様々な言語タスクと意思決定タスクに適用し、効率性を実証する。具体的には、質疑応答と事実検証においてWikipediaAPIを活用して種々の問題を克服する。更に、2つの対話型の意思決定ベンチマーク（ALFWorldとWebShop）について、promptに1つか2つの例を入れるのみで、模倣学習と強化学習に対して34%と10%の成功率の向上を上げた。 https://arxiv.org/abs/2210.03629 CoT & ReAct > Reasoning

Slide 19

Slide 19 text

No content

Slide 20

Slide 20 text

google_search = GoogleSearchAPIWrapper() llm_math_chain = LLMMathChain(llm=llm, verbose=True) tools = [ Tool( name = "Google Search", func=google_search.run, description="最新の話題について答える場合に利用することができます。また、今日の日付や今日の気温、天気、為替レートなど現在の状況についても確認することができます。入力は検索内容です。" ), Tool( name="Calculator", func=llm_math_chain.run, description="計算をする場合に利用することができます。" ) ] agent = initialize_agent(tools, llm, agent="zero-shot-react-description", verbose=True) agent.run("レオナルド・ディカプリオの恋人は誰？そして彼女の年齢を0.43乗すると何歳になる？") LangChain

Slide 21

Slide 21 text

iPaaS（Integration Platform as a Service）

Slide 22

Slide 22 text

レシピサイト->買い物->配送プランニング->旅行サイト->チケット購入 Meal kit Delivery Agent Trip Adivisor Agent

Slide 23

Slide 23 text

No content

Slide 24

Slide 24 text

No content

Slide 25

Slide 25 text

No content

Slide 26

Slide 26 text

GitHub Codespaces / GitHub Spark …

Slide 27

Slide 27 text

https://youtu.be/22wlLy7hKP4?si=lMps7Hq1C3g8KJRg Jesse Lyu - Founder and CEO - rabbit inc.