0 ⼤規模⾔語モデルの拡張（RAG）が 終わったかも知れない件について 2024-04-05 第85回NearMe技術勉強会 @yujiosaka

1 RAG 1 = Retrieved Augmented Generation

2 LLMの最適化 RAG ハイブリッド ファインチューニング プロンプトエンジニアリング

3 プロンプトエンジニアリングとは System ニュース記事が提示されます。あなたのタスクは、政府に対して表明された意見とその感情を特定するこ とです。 このタスクにはステップバイステップで取り組み、時間をかけて、ステップを飛ばさないでください： 1. ニュース記事の段落を読む 2. その段落で意見が表明されているかどうかを判断する。そうでない場合は、次の段落に進む 3. 意見がある場合は、以下のキーを持つJSONを抽出する • opinion: 許容される値は "positive"、"negative"、"neutral" のいずれか • evidence: 意見を裏付ける文字列のリストを含む • speaker: 意見を表明した人物または政府機関 4. 意見がすでに述べられている場合でも、出来るだけ多くの証拠を集めること 明瞭な指示 考える時間を与える 複雑なタスクを分解する

4 LLMの最適化 RAG ハイブリッド ファインチューニング プロンプトエンジニアリング

5 ファインチューニングとは 学習済みのモデルから1つ以上のパラメータを追加でトレーニングすること https://learnopencv.com/fine-tuning-llms-using-peft/

6 LLMの最適化 RAG ハイブリッド ファインチューニング プロンプトエンジニアリング 今日のお話しする内容

7 去年作ったやつ 7

8 ChatIQ https://github.com/yujiosaka/ChatIQ

9

10 ChatIQの仕組み 1. Post message 6. Reply message 2. Event API 5. Chat API 3. Chat API 4. Response

11 ChatIQの仕組み 1. Post message 10. Reply message 2. Event API 9. Chat API 3. Chat API 4. Response RAG 5. Question 6. Answer 7. Chat API 8. Response

12 ChatIQの仕組み 1. Post message 10. Reply message 2. Event API 9. Chat API 3. Chat API 4. Response 5. Question 6. Answer 7. Chat API 8. Response RAG Retrieve Documents Weaviate (VectorDB)

13 RAGのプロンプト System Given the following extracted parts of a long document and a question, create a final answer. Consider the timestamp, channel and user when providing your answer. Always include the permalink in your response. If you don't know the answer, just say that you don't know. Don't try to make up an answer. ______________________ {documents} Human {question}

14 RAGのプロンプト System Given the following extracted parts of a long document and a question, create a final answer. Consider the timestamp, channel and user when providing your answer. Always include the permalink in your response. If you don't know the answer, just say that you don't know. Don't try to make up an answer. ______________________ {“user”:“F0JD6RZU6”,“message”:“<@U06FKAYEHF> is using 14 inches Mac Book Pro”,“channel”: “C024BE91L”,“timestamp”:“2024-01-01T12:34:56.000200+00:00”} Human What’s the spec of <@U06FKAYEHF>’s laptop?

15 RAGの回答 <@U06FKAYEHF> is using Mac Book Pro

16 Document RAGの処理 VectorDB Documents Question Answer Indexing Retrieval Generation

17 VectorDB 17

18 Document 0.404 0.594 0.472 0.921 0.739 0.952 0.287 0.648 0.131 0.835 … VectorDBの仕組み Vector Documents Text Model Vector DB … … … … … … … …

19 Text model • Word2Vec • Sentence Transformer • OpenAI embedding API • Cohere embedding API cat dog house car game python … cat dog house car game python … x 99999 x 99999 x 300 Word2Vec Alice was beginning to get very tired of sitting by her sister on the bank, and of having nothing to do 0.28 0.31 0.11

20 Document Splitting • ⽂字数で分割 • トークン数で分割 • HTMLの要素で分割 • セマンティック（センテンス間の類似度）で分割 • ドキュメント間のオーバーラッピング • etc. Document Document Documents Documents ドキュメントが大きすぎると ● コンテキストウィンドウ（トークン数上限）に収まらない ● 詳細な情報がベクトルから失われる ここのチューニングはかなりだるい

21 Document 0.404 0.594 0.472 0.921 0.739 0.952 0.287 0.648 0.131 0.835 … VectorDBの仕組み Vector Documents Text Model Vector DB … … … … … … … …

22 VectorDB • Pinecone（Proprietary） • Weaviate（OSS） • Milvus（OSS） • Qdrant（OSS） • Vespa（OSS） • Chroma（OSS） • Redis（OSS?） dog pet dog pet cat LSH, HNSW, IVH, Annoy, etc. k個の類似 ドキュメントを 見つける

23 VectorDBブーム

24 VectorDBブーム

25

26 RAG might be dead https://x.com/agishaun/status/1758561862764122191?s=20

27 https://docs.google.com/presentation/d/1mJUiPBdtf58NfuSEQ7pVSEQ2Oqmek7F1i4gBwR6JDss/edit#slide=id.g26c0cb8dc66_0_0

28

29 何故なのか 29

30 Context Window https://ogre51.medium.com/context-window-of-language-models-a530ffa49989

31 Context Window Gemini 1.5 Claude 3 https://ogre51.medium.com/context-window-of-language-models-a530ffa49989

32 全部プロンプトに突っ込めば良くね？ 32

33 1. ポールグレアムのエッセイに料理のレシピの秘密の⾷材の⽂章をランダムに挿⼊する 2. LLMに秘密の⾷材を答えさせ、いくつ正解するかを調べる Needle In A Haystack Test https://github.com/gkamradt/LLMTest_NeedleInAHaystack

34 Needles In A Haystack Test https://github.com/gkamradt/LLMTest_NeedleInAHaystack

35 親近性バイアス（Recency Bias） https://arxiv.org/pdf/2310.01427.pdf

36 RAGだって間違えるのでは？ 36

37 RAGによる間違い Document Question Retrieval Generation 三菱UFJ銀行は いつ誕生しましたか？ 2001年3月31日、大阪市 此花区の西部臨海エリア にがオープンした。米国 の映画会社「ユニバーサ ル・スタジオ」のテーマ パークが初め… 三菱UFJ銀行は2021年 3月31日に開業しました

38 RAGの精度向上 38

39 Multi-Vector Retriever 1. 「テキストの全⽂」と「テキストの要約」をEmbedding（＝ベクトル化）する 2. 「テキストの要約」によって「テキストの全⽂」をIndexingする 3. 「テキストの要約」がヒットしたら、代わりに「テキストの全⽂」を返却する https://arxiv.org/pdf/2312.06648.pdf

40 Recursive Abstractive Processing for Tree-Organized Retrieval (RAPTOR) 1. ドキュメントをEmbeddingによってまとめてIndexingする 2. まとめたドキュメントを要約してIndexingする 3. 1-2を何度も繰り返す https://arxiv.org/abs/2401.18059

41 Self-Reflection RAG LLMに取得したドキュ メントの関連性を評価 させ、答えが出るまで 何度も質問を書き直す https://arxiv.org/abs/2310.11511

42 Corrective Retrieval Augumented Generation (cRAG) 1. Retrieval Evaluatorによっ て、取得したドキュメント を「正しい」「曖昧」「誤 り」の3つに分類する 2. 「正しい」ドキュメント は、分解‧再構築して回答 する 3. 「誤り」ドキュメントは Web検索にかけて、検索結 果を使って回答する 4. 「曖昧」ドキュメントは上 記2つの結果を融合させて 回答する https://arxiv.org/abs/2401.15884

43 RAGのこれから 43

44 何もかもプロンプトに突っ込むのはそもそも無理がある Question Routing VectorDB RelationalDB Internet 事前にありとあらゆるデータを取得しておくことはで きないから、必要なデータソースを LLMに判断させ る必要が自ずと手でくる

45 RAGの成功事例

46 RAG One Shot コードの複雑さ 複雑になりがち 簡単に実装できる 拡張性 データソースが増えても拡張できる 単一のデータソースでないと難しい 応答時間 正確性を求めれば求めるほど遅くなる 速い 実行コスト 必要なドキュメントのトークンだけ消費する 不要なドキュメントのトークンを消費する 正確性 間違いはあるが、訂正することができる Hallucinationを防ぐことが難しい メンテナンス性 Chunk Size、Chunk Overlap等チューニングが必要 何も考えずに突っ込めばいい セキュリティ 権限のないデータソースへのアクセスを拒否できる 権限を無視してアクセスできてしまう RAG vs. One Shot

47 ChatIQの実装 • 同⼀スレッド内の会話は全てプロンプトに突っ込む • 異なるスレッドの会話はRAGから取得 • Botが招待されているPublicチャンネルの会話にはアクセスできる • Privateであっても、同⼀チャンネルの会話にはアクセスできる

48 LLMの最適化 ハイブリッド ファインチューニング RAG プロンプトエンジニアリング モデルの振る舞いの最適化 モデルの 知識の 最適化

49 知識の最適化にファインチューニングを使ってしまった失敗例 14万のSlackメッセージを使ってGPT3.5-turboをファインチューニングした結果 500文字のプロンプトエンジニアリングに関するブログ記事を書いて。 分かった。午前中にやっとくわ。 今すぐやれよ。 OK。

50 LLMの最適化 ハイブリッド ファインチューニング RAG プロンプトエンジニアリング モデルの振る舞いの最適化 モデルの 知識の 最適化

51 Retrieval Augmented Fine-Tuning (RAFT) • RAGを前提としたファインチューニング⼿法 • ファインチューニングが「勉強して教科書持ち込みなし」、RAGが「勉強しないで教科 書持ち込み」だとすれば、RAFTは「正しく教科書を引くための勉強」を指す • 正しいドキュメントに撹乱ドキュメントを混ぜて推論させた回答をファインチューニ ングに使⽤する https://arxiv.org/abs/2403.10131

52 RAFTのファインチューニングに使⽤する⽂章 Question: The Oberoi family is part of a hotel company that has a head office in what city? context: [The Oberoi family is an Indian family that is famous for its involvement in hotels, namely through The Oberoi Group]...[It is located in city center of Jakarta, near Mega Kuningan, adjacent to the sister JW Marriott Hotel. It is operated by The Ritz-Carlton Hotel Company. The complex has two towers that comprises a hotel and the Airlangga Apartment respectively]...[The Oberoi Group is a hotel company with its head office in Delhi.] Instruction: Given the question, context and answer above, provide a logical reasoning for that answer. Please use the format of: ##Reason: {reason} ##Answer: {answer}. CoT Answer: ##Reason: The document ##begin_quote## The Oberoi family is an Indian family that is famous for its involvement in hotels, namely through The Oberoi Group. ##end_quote## establishes that the Oberoi family is involved in the Oberoi group, and the document ##begin_quote## The Oberoi Group is a hotel company with its head office in Delhi. ##end_quote## establishes the head office of The Oberoi Group. Therefore, the Oberoi family is part of a hotel company whose head office is in Delhi. ##Answer: Delhi 正しいドキュメント 残りは撹乱ドキュメント 推論ステップも書かせる

53 LLMの最適化に 銀の弾丸は（今のとこ）ない 53

54 参考 • A Survey of Techniques for Maximizing LLM Performance • Fine-tuning Large Language Models (LLMs) • Vectoring Words (Word Embeddings) • RAG from Scratch

55 Thank you