生成AIをより賢くエンジニアのための RAG入門 - Oracle AI Jam Session #20

Oracle AI Jam Session #20 生成AIをより賢くエンジニアのための RAG入門日本オラクル株式会社荒川裕二

Copyright © 2024, Oracle and/or its affiliates 2 荒川裕二 (Arakawa
Yuji) Github, Discord, Qiita などのアバター自作イラスト＋ Stable Diffusion + ControleNet (reference-only) Grok：私のこれまでの投稿から私のイメージを作成してください Grokは、アバターも参考にするらしい日本オラクル株式会社クラウド事業統括クラウド・エンジニアリグCOE統括ソリューションズ・アーキテクト部 AI/機械学習を活用したソリューションを担当妻と猫二匹の４人で、埼玉県在住マクロス、まどマギ、冴えカノ、魔法科高校、リリカルなのは、お隣の天使様、転天、推しの子、本好き、16bit、ロシデレ、連れカノ… ）好きなアニメプライベート日常使いのAI（一部） Cursor Glasp Notion AI Perplexity Claude ChatGPT 自作チャットボット https://x.com/yuji_amanogawa https://qiita.com/yuji-arakawa Zoom/ Slack のアバター ChatGPT DALL-E3

Copyright © 2024, Oracle and/or its affiliates 3 1. なぜ
RAG が必要なのか？ 2. ベクトルデータベース 3. 基本的なRAG の仕組み 4. RAG の技術的課題と解決策 5. RAG の今後の展望 Agenda

Copyright © 2024, Oracle and/or its affiliates 4 なぜ RAG
が必要なのか？

入力された文字列の次の単語（トークン）を予測するように公開情報で訓練された機械学習モデル大規模言語モデル（ Large Language Model ：LLM ）とは？ Copyright ©
2024, Oracle and/or its affiliates 5 ステップ入力テキスト予測した次の単語（トークン）生成されたテキスト 1 日本で日本で 2 日本で一番日本で一番 3 日本で一番高い日本で一番高い 4 日本で一番高い山日本で一番高い山 5 日本で一番高い山富士山日本で一番高い山富士山 6 日本で一番高い山富士山では日本で一番高い山富士山では詳細は、OraJAMでお馴染みの園田さんの QIITA の記事（ChatGPTのコア技術「GPT」をざっくり理解する）をご参照ください。 https://qiita.com/ksonoda/items/b767cbd283e379303178

トークン化の可視化 Copyright © 2024, Oracle and/or its affiliates 6 https://huggingface.co/spaces/Xenova/the-tokenizer-playground
エンジニアが Bookmark しておくと良いサイト - Xenova/the-tokenizer-playground

エンジニアが Bookmark しておくと良いサイト - xu-song/tokenizer-arena トークン化の可視化 Copyright © 2024, Oracle
and/or its affiliates 7 https://huggingface.co/spaces/xu-song/tokenizer-arena ご参考：Cohere Command R/R+ トークナイザの日本語効率を調べてみた

LLMが得意なこと Copyright © 2024, Oracle and/or its affiliates 8 得意なこと
概要テキスト生成 LLMは、与えられたプロンプトに基づいて一貫性のあるテキストを生成する能力があります。これには、記事の作成、物語の執筆、製品説明の生成などがあります翻訳 LLMは、多言語に対応しており、テキストを異なる言語間で翻訳することができます。特に、文脈に応じた適切な翻訳を提供する能力に優れています要約長文の記事や文書を短く要約する能力もLLMの得意分野です。これにより、ユーザーは重要な情報を迅速に把握することができます質問応答 LLMは、質問に対して適切な回答を生成する能力があります。これには、FAQの自動応答やカスタマーサポートのチャットボットなどが考えられます分類テキストの内容を分析し、指定したカテゴリのいずれに該当するのか分類することができます。スパムフィルタリングやトピックモデリング、文書が所定の要件を満たしているかなどの判定といった応用があります感情分析テキストの感情を分析し、ポジティブ、ネガティブ、ニュートラルなどの感情を分類することができます。これにより、顧客のフィードバックやソーシャルメディアの投稿の感情を理解することができますコード生成 LLMは、膨大なプログラミングコードを学習しており、自然言語の説明に基づいてコードを生成することも得意です。これにより、プログラマーの作業効率を向上させることができますコード説明 LLMは、コードを自然言語で説明することも得意です。これによりドキュメントが整備されていないレガシーコードのメンテナンスを支援したり、初学者の学習効率を向上させることができますデバッグ支援 LLMは、プログラムコードの不具合やエラーの事例も大量に学習しており、コードとエラーメッセージを提示することでデバッグを支援することができます

9 ネタバレ注意 Copyright © 2024, Oracle and/or its affiliates 次のスライドには、「推しの子」に関するネタバ
レが含まれます。コミック１巻を未読、あるいは、アニメ１期を未視聴でネタバレを望まれない場合は、１分程、目と耳をふさいでください。

10 ChatGPT に推しの子について聞いてみた（外部データなしの場合とありの場合）外部データなし Copyright © 2024, Oracle and/or its
affiliates （ハルシネーション）

11 ChatGPT に推しの子について聞いてみた（外部データなしの場合とありの場合）外部データなし外部データあり Wikipedia の PDF ファイルを使用しています Copyright
© 2024, Oracle and/or its affiliates （ハルシネーション）

LLMが不得意なこと Copyright © 2024, Oracle and/or its affiliates 12 公開データにある常識的なことはそれらしく答えられる
※ Cohere Chat(Command R+) により生成 ※LLM は、入力された文字列の次の単語（トークン）を予測するように公開情報で事前学習された機械学習モデル（正しいとは限らずハルシネーションかもしれない）

LLMが不得意なこと Copyright © 2024, Oracle and/or its affiliates 13 公開データにある常識的なことはそれらしく答えられる
勤め先の社内手続きのことはアドバイスしてくれない ※ Cohere Chat(Command R+) により生成 ※LLM は、入力された文字列の次の単語（トークン）を予測するように公開情報で事前学習された機械学習モデル（正しいとは限らずハルシネーションかもしれない）

LLM が生成する回答について 14 アプリケーション LLM 海外出張の準備は？パスポートを用意して • ハルシネーション（幻覚）を起こす可能性がある •
LLM が事前学習した情報にない質問には回答できない • LLM の事前学習以降の新しい情報は学習していないので回答できない Copyright © 2024, Oracle and/or its affiliates

Retrieval-Augmented Generation : RAG（検索拡張生成）とは 15 アプリケーション LLM 海外出張の準備は？パスポートを用意してください Copyright
© 2024, Oracle and/or its affiliates RAG のない AI チャットボット

Retrieval-Augmented Generation : RAG（検索拡張生成）とは 16 アプリケーション LLM Copyright © 2024,
Oracle and/or its affiliates RAG のない AI チャットボット RAG を使ったAI チャットボットアプリケーション LLM 海外出張の準備は？社内規定集等のドキュメント事前に登録検索検索により回答生成を拡張データベース XXXで事前申請してください社内の事前申請手続き海外出張の準備は？パスポートを用意してください

なぜ RAG が必要なのか？ー RAG の目的 Copyright © 2024, Oracle
and/or its affiliates 17 • ハルシネーション（幻覚）を減らすことができる（ゼロにはできない） • データベースを検索することで社内固有の知識に基づいて回答できるようになる • データベースを検索することで up-to-date な情報に基づいて回答できるようになるアプリケーション LLM 質問（回答）生成社内規定集事前に登録検索検索により生成を拡張

Copyright © 2024, Oracle and/or its affiliates 18 事前学習で得た知識と外部知識（検索結果等）が矛盾したとき
矛盾した情報に LLM はどう反応する？ Adaptive Chameleon or Stubborn Sloth: Revealing the Behavior of Large Language Models in Knowledge Conflicts Jian Xie, Kai Zhang, Jiangjie Chen, Renze Lou, Yu Su ( https://arxiv.org/abs/2305.13300 ) 外部知識（検索結果等）が優先される外部知識（検索結果等）が互いに矛盾したとき事前学習で得た知識と整合する外部知識（検索結果等）が優先される

Copyright © 2024, Oracle and/or its affiliates よくあるアーキテクチャ図 RAG（Retrieval-Augmented
Generation:検索拡張生成）のアーキテクチャ 20 アプリケーションベクトルデータベース LLM ②クエリー ③検索結果 ①質問 ⑥回答 ④回答生成指示 ⑤回答様々なデータソース非構造化データナレッジベース各種ドキュメント

Copyright © 2024, Oracle and/or its affiliates ベクトルデータベース 21 ID
テキストのチャンク埋め込み（エンベディング、ベクトル）メタデータ 1 遠い昔、はるか彼方の銀河系で [1.0, 1.2, 0.8, 0.6, 0.4,…….0.2] エピソード4.pdf 2 時は内乱のさなか。凶悪な銀河帝国の [2.0, 0.3, 0.5, 0.3, 0.7,…….1.2] エピソード4,pdf 3 反乱軍にとって試練の時だった。デス・スターを [0.7, 1.5, 1.8, 0.2, 1.9,…….1.4] エピソード5.pdf 4 レイア姫は盗み出した設計図を手に [1.1, 0.2, 0.7, 2.3, 4.5,…….0.6] エピソード4,pdf 格納されているデータのイメージ問い合わせのイメージ similarity_search_with_score(“戦争を描いた映画”, k=3) 問い合わせ結果のイメージ Score テキストのチャンクメタデータ 0.610 反乱軍にとって試練の時だった。デス・スターをエピソード5.pdf 0.642 時は内乱のさなか。凶悪な銀河帝国のエピソード4,pdf 0.812 遠い昔、はるか彼方の銀河系でエピソード4,pdf LangChain の VectorStore クラスを使った例 ChromaDB の例

Copyright © 2024, Oracle and/or its affiliates ベクトルデータベース 22 ID
テキストのチャンク埋め込み（エンベディング、ベクトル）メタデータ 1 遠い昔、はるか彼方の銀河系で [1.0, 1.2, 0.8, 0.6, 0.4,…….0.2] エピソード4.pdf 2 時は内乱のさなか。凶悪な銀河帝国の [2.0, 0.3, 0.5, 0.3, 0.7,…….1.2] エピソード4,pdf 3 反乱軍にとって試練の時だった。デス・スターを [0.7, 1.5, 1.8, 0.2, 1.9,…….1.4] エピソード5.pdf 4 レイア姫は盗み出した設計図を手に [1.1, 0.2, 0.7, 2.3, 4.5,…….0.6] エピソード4,pdf 格納されているデータのイメージ問い合わせのイメージ similarity_search_with_score(“戦争を描いた映画”, k=3) 問い合わせ結果のイメージ Score テキストのチャンクメタデータ 0.610 反乱軍にとって試練の時だった。デス・スターをエピソード5.pdf 0.642 時は内乱のさなか。凶悪な銀河帝国のエピソード4,pdf 0.812 遠い昔、はるか彼方の銀河系でエピソード4,pdf LangChain の VectorStore クラスを使った例 ChromaDB の例

Copyright © 2024, Oracle and/or its affiliates 23 画像や文書などの特徴を数値ベクトルの形で表現したものを特徴ベクトルと呼びます
特徴ベクトルの中でも、特に深層学習の表現学習で得られたものを埋め込みと呼びます埋め込みのイメージ（エンベディング）埋め込みを生成する機械学習モデルを埋め込みモデルといいます。LLMの一種です。 ※四次元ベクトルを二次元へ射影したイメージ

Copyright © 2024, Oracle and/or its affiliates 埋め込みの可視化 24 ※OCI
Generative AI サービスのプレイグランドで可視化データはこちら

Copyright © 2024, Oracle and/or its affiliates 埋め込みの可視化 25 国・地方共通相談チャットボット
Govbot（ガボット）に搭載されている各分野のFAQデータ（全分野）の「問い」を WiZMap で次元削減（二次元へ射影）して可視化「RAGOpsはじめの0.1歩：高次元ベクトルの可視化」 https://qiita.com/yuji-arakawa/items/32dffa62c75e695019ef この周辺に“103万円の壁や106万円の壁”が集まっている WizMap

Copyright © 2024, Oracle and/or its affiliates 埋め込みの可視化 26 国・地方共通相談チャットボット
Govbot（ガボット）に搭載されている各分野のFAQデータ（全分野）の「問い」を UMAP で次元削減（二次元へ射影）して可視化「RAGOpsはじめの0.1歩：高次元ベクトルの可視化」 https://qiita.com/yuji-arakawa/items/32dffa62c75e695019ef

Copyright © 2024, Oracle and/or its affiliates 埋め込みの可視化 27 国・地方共通相談チャット
ボット Govbot（ガボット）に搭載されている各分野のFAQ データ（全分野）の「問い」と「回答」を連結して UMAP で次元削減（二次元へ射影）して可視化赤は「壁」が入っているQAで、青はその他 103万円、150万円、106万円、130万円の壁に関する QAが集まっている

Copyright © 2024, Oracle and/or its affiliates ベクトル検索のイメージ 28 似た事物は、似た特徴を持ち、この多次元の埋め込み
空間（ベクトル空間）の中で近くに位置します代表的な距離の指標 L2距離：ユークリッド距離とも呼ばれる。3次元空間のおける直観的な距離に相当似たものを見つけるには、埋め込み間の距離を計算して、最も近くに位置する埋め込みを見つければよいこととなりますコサイン距離：ベクトル間の角度に基づく距離（1 – コサイン類似度）内積（ドットプロダクト）：ベクトルとベクトルの内積。角度に加えて、ベクトルの大きさを反映した指標。大きさを１に正規化するとコサイン類似度と同等。

Copyright © 2024, Oracle and/or its affiliates ベクトルデータベース 29 問い合わせ発行
similarity_search_with_score(“戦争を描いた映画”, k=3) 埋め込みモデル（LLMの一種） “戦争を描いた映画” [0.8, 1.2, 1.7, 0.2, 1.8,…….1.1] ベクトル検索 ID テキストのチャンク埋め込み（エンベディング、ベクトル）メタデータ 1 遠い昔、はるか彼方の銀河系で [1.0, 1.2, 0.8, 0.6, 0.4,…….0.2] エピソード4.pdf 2 時は内乱のさなか。凶悪な銀河帝国の [2.0, 0.3, 0.5, 0.3, 0.7,…….1.2] エピソード4,pdf 3 反乱軍にとって試練の時だった。デス・スターを [0.7, 1.5, 1.8, 0.2, 1.9,…….1.4] エピソード5.pdf 4 レイア姫は盗み出した設計図を手に [1.1, 0.2, 0.7, 2.3, 4.5,…….0.6] エピソード4,pdf の中から問い合わせ文“戦争を描いた映画”の埋め込み [0.8, 1.2, 1.7, 0.2, 1.8,…….1.1] に近い順に 3 件を見つけ出し、そのスコア（問い合わせ文との距離）とテキストチャンクを返す問い合わせ結果 Score テキストのチャンクメタデータ 0.610 反乱軍にとって試練の時だった。デス・スターをエピソード5.pdf 0.642 時は内乱のさなか。凶悪な銀河帝国のエピソード4,pdf 0.812 遠い昔、はるか彼方の銀河系でエピソード4,pdf

Copyright © 2024, Oracle and/or its affiliates 30 デモー
ベクトルデータベース（ChromaDB）類似性検索 Demo_Chromadb_Similarity_Search.ipynb https://github.com/kutsushitaneko/orajam20_rag ご紹介するコードはすべて GitHub で公開しております GitHub リポジトリにはドキュメントデータは含まれません。ご自身でダウンロード（次ページご参照）して、 ./data フォルダへ格納してください。

Copyright © 2024, Oracle and/or its affiliates デモ 31 デモで使用しているドキュメントは、ウィキペディアの以下の記事を
PDF 形式でダウンロードしたものを使用しています。 ① ② 1. ハリー・ポッター_(架空の人物) 2. ハーマイオニー・グレンジャー 3. フェイト・テスタロッサ 4. マギアレコード_魔法少女まどか☆マギカ外伝 5. ロン・ウィーズリー 6. 八神はやて 7. 巴マミ 8. 暁美ほむら 9. 美樹さやか 10. 高町なのは 11. 魔法少女まどか☆マギカ 12. 魔法少女リリカルなのは 13. 魔法少女リリカルなのはA's 14. 魔法少女リリカルなのはStrikerS 15. 魔法少女リリカルなのはViVid 16. 魔法少女リリカルなのは_The_MOVIE_1st 17. 魔法少女リリカルなのは _The_MOVIE_2nd_A's 18. 魔法科高校の劣等生 19. 鹿目まどか GitHub リポジトリにはこれらのデータは含まれません。ご自身でダウンロードして、 ./data フォルダへ格納してください。

Copyright © 2024, Oracle and/or its affiliates デモ－ベクトルデータベース（ChromaDB）類似性検索
32 from dotenv import load_dotenv, find_dotenv from langchain_openai import OpenAIEmbeddings import chromadb from langchain_chroma import Chroma # 環境変数 OPENAI_API_KEY に OpenAI API Key を設定（.env ファイルの OPENAI_API_KEY からロード） _ = load_dotenv(find_dotenv()) embeddings = OpenAIEmbeddings(model="text-embedding-3-large") # 埋め込みモデルの準備 collection_name = "mycollection_200" # 検索対象のChromadb コレクション名（事前に作成済み） top_k = 4 # 取得する検索結果の数の設定 # LangChain の Chromadb VectorStore のインスタンスを作成 vector_store = Chroma( client=chromadb.PersistentClient(path="./chroma_db"), collection_name=collection_name, embedding_function=embeddings, collection_metadata={"hnsw:space": "ip"} ) query="ハグリッドがホグワーツへの入学案内書を持ってきたのはいつですか？それはどのような日でしたか？" # クエリーの定義 results =vector_store.similarity_search_with_score(query, k=top_k) # 類似性検索の実行 print("検索結果:") for i, (doc, score) in enumerate(results, 1): print(f"¥n=== 結果 {i} ===") print(f"ソース: {doc.metadata['source']}") print(f"スコア: {score:.4f}") print(f"内容: {doc.page_content}") ベクトル距離の指標として内積を使うように指示上位４件を取得スコア付きの類似性検索を実行コード例ベクトル距離の指標は一般にはコサイン距離が用いられる。OpenAI/Cohere など多くの埋め込みモデルは埋め込み（ベクトル）が正規化（大きさを１に調整済み）されているため、内積とコサイン類似度（1 – コサイン距離）は同値となる。このような場合は、計算量が少ない内積を使うとよい。

Copyright © 2024, Oracle and/or its affiliates デモ－ベクトルデータベース（ChromaDB）類似性検索
33 $ python Demo_Chromadb_Similarity_Search.py 検索結果: === 結果 1 === ソース: data¥Wikipedia-ハリー・ポッター_(架空の人物).pdf スコア: 0.4154 内容: しかし、ダーズリー家は魔法に対して、かたくななまでに否定的な態度を取っており、ハリーは両親や自分が魔法使いであることを知らされないまま、伯⺟一家の冷遇と虐待を受けながら育った。1991年7⽉31日（ハリーの11歳の誕生日）、ホグワーツ魔法魔術学校への入学案内書を手にやってきたルビウス‧ ハグリッドから自身が魔法使いであることを知らされる。そして9⽉1日、ホグワーツ魔法魔術学校に入学する[注 4]。 === 結果 2 === ソース: data¥Wikipedia-ハリー・ポッター_(架空の人物).pdf スコア: 0.4933 内容: ホグワーツ魔法魔術学校グリフィンドール寮の男子生徒となる。孤児として⺟親の親類の伯⺟夫婦の家で不遇な暮らしをして育った。11歳を迎える年のある日突然、ホグワーツから入学許可証が届いたのをきっかけに、亡くなった両親が魔法使いであったこと、そして出生時に下された予言により、闇の魔法使いヴォルデモートを倒す宿命を自分が負っていると告げられる。 === 結果 3 === ソース: data¥Wikipedia-ロン・ウィーズリー.pdf スコア: 0.5317 内容: その後、ホグワーツ魔法魔術学校に入学し、ハリー同様グリフィンドール寮生となる。種族性別家族1992年夏、ハリーを自宅に迎えるため、⽗の所有するフォード‧ アングリアを借りて、フレッド、ジョージとともにダーズリー家を訪問。軟禁されていたハリーを救出する。 === 結果 4 === ソース: data¥Wikipedia-ロン・ウィーズリー.pdf スコア: 0.5507 内容: 軟禁されていたハリーを救出する。同年9⽉1日にはドビーによりホグワーツ特急に乗⾞できなかったため、ふたたびフォード‧ アングリアを借りてハリーとともにホグワーツへ向かうが、ホグワーツ到着時に暴れ柳から攻撃を受け、杖が折れる。実行結果

前処理①（チャンキング）基本的なRAG の仕組み Copyright © 2024, Oracle and/or its affiliates
ベクトルデータベース各種ドキュメントチャンキング（ベクトル化できる小さなチャンクに分割） [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] エンベディング（ベクトル化：類似性検索ができる埋め込みという数値表現へ変換）インデキシング（データベースへ登録）チャンキングが必要な理由 • 埋め込みモデル（embedding model）が埋め込み（ベクトル）を生成する際の入力テキストのサイズには上限があるため • LLMが受け入れられる入力データ（コンテキスト長）には上限があるため

前処理②（エンベディング）基本的なRAG の仕組み Copyright © 2024, Oracle and/or its affiliates
ベクトルデータベース各種ドキュメントチャンキング（ベクトル化できる小さなチャンクに分割） [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] エンベディング（ベクトル化：類似性検索ができる埋め込みという数値表現へ変換）インデキシング（データベースへ登録）エンベディング（ベクトル化）が必要な理由 • テキストサーチではなく、セマンティックサーチにより文の意味を反映した検索を行うため。 • 文をその意味を反映した埋め込みに変換し、埋め込み同士の近さを計算することで元の文同士の類似性を判断できる。 ※用語 TIPS：エンベディング＝埋め込み＝ベクトル化

前処理③（インデキシング）基本的なRAG の仕組み Copyright © 2024, Oracle and/or its affiliates
ベクトルデータベース各種ドキュメントチャンキング（ベクトル化できる小さなチャンクに分割） [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] エンベディング（ベクトル化：類似性検索ができる埋め込みという数値表現へ変換）インデキシング（データベースへ登録）インデキシング（データベースへ登録） • ベクトルデータベースへベクトル化されたデータを登録すること • ベクトル値とその元になった文データ（テキスト）を一緒に登録することが多い • メタデータとして、元の文やドキュメントへの参照を保持することもある ※前処理３つをまとめてインデキシングと呼ぶこともある

前処理のまとめ基本的なRAG の仕組み Copyright © 2024, Oracle and/or its affiliates
ベクトルデータベース各種ドキュメントチャンキング（ベクトル化できる小さなチャンクに分割） [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] [1,4,8,2] エンベディング（ベクトル化：類似性検索ができる埋め込みという数値表現へ変換）インデキシング（データベースへ登録）インデキシング（データベースへ登録）ベクトルデータベースへベクトル化されたデータを登録することエンベディング（ベクトル化）が必要な理由テキストサーチではなく、セマンティックサーチにより文の意味を反映した検索を行うためチャンキングが必要な理由埋め込みモデル（embedding model）がベクトルを生成する際の入力テキストのサイズには上限があるため

問い合わせ基本的なRAG の仕組み Copyright © 2024, Oracle and/or its affiliates
38 アプリケーションベクトルデータベース LLM ①質問ナレッジベース ①ユーザーが自然言語で問い合わせを行うデータソース交通費を精算するにはどうしたらいい？

リトリーバル：検索基本的なRAG の仕組み Copyright © 2024, Oracle and/or its affiliates
39 アプリケーションベクトルデータベース LLM ②クエリーナレッジベース ②質問文と類似したチャンクを検索するデータソース交通費を精算するにはどうしたらいい？

リトリーバル：検索基本的なRAG の仕組み Copyright © 2024, Oracle and/or its affiliates
40 アプリケーションベクトルデータベース LLM ③検索結果ナレッジベース ③類似性検索の結果、質問文に対する類似性の高いチャンク群を返すデータソース経費精算君で精算できる経費には、交通費、…などがあります。入社したら最初に経費精算口座、経理システムに登録してください。交通費は銀行口座へ振り込まれます。

生成ー回答の生成基本的なRAG の仕組み Copyright © 2024, Oracle and/or its affiliates
41 アプリケーションベクトルデータベース LLM ④回答生成指示ナレッジベースデータソース ④質問文に検索結果を添えて、回答文の生成を指示する経費精算君で精算できる経費には、交通費、…などがあります。入社したら最初に経費精算口座、経理システムに登録してください。交通費は銀行口座へ振り込まれます。

42 アプリケーションベクトルデータベース LLM ナレッジベースデータソース ⑤生成した回答文を返却 ⑤回答経理システムに銀行口座を登録の上、経費精算君で、日時と経路を添えて申請しださい。

43 アプリケーションベクトルデータベース LLM ナレッジベースデータソース ⑥ユーザーへ回答を提示 ⑥回答経理システムに銀行口座を登録の上、経費精算君で、日時と経路を添えて申請しださい。

RAG（ChromaDB） Demo_Chromadb_RAG.ipynb

Copyright © 2024, Oracle and/or its affiliates デモ－ RAG（ChromaDB
を使用） 45 from dotenv import load_dotenv, find_dotenv from langchain_openai import ChatOpenAI from langchain_openai import OpenAIEmbeddings import chromadb from langchain_chroma import Chroma from langchain_core.prompts import ChatPromptTemplate from langchain_core.runnables import RunnablePassthrough # 環境変数 OPENAI_API_KEY に OpenAI API Key を設定（.env ファイルの OPENAI_API_KEY からロード） _ = load_dotenv(find_dotenv()) # LLMの準備 llm = ChatOpenAI( model="gpt-4o", # モデル temperature=0, # ランダムさ ) # 埋め込みモデルの準備 embeddings = OpenAIEmbeddings(model="text-embedding-3-large") # LangChain の Chromadb VectorStore のインスタンスを作成 vector_store = Chroma( client=chromadb.PersistentClient(path="./chroma_db"), collection_name="mycollection_200", # 検索対象のChromadb コレクション名（事前に作成済み） embedding_function=embeddings, collection_metadata={"hnsw:space": "ip"} ) retriever = vector_store.as_retriever( search_type="similarity", search_kwargs={"k": 4} ) ベクトル距離の指標として内積を使うように指示 LLM と埋め込みモデルのインスタンスを作成リトリーバー・インスタンスを作成コード例ベクトル距離の指標は一般にはコサイン距離が用いられる。OpenAI/Cohere など多くの埋め込みモデルは埋め込み（ベクトル）が正規化（大きさを１に調整済み）されているため、内積とコサイン類似度（1 – コサイン距離）は同値となる。このような場合は、計算量が少ない内積を使うとよい。

を使用） 46 # プロンプトテンプレートの準備 prompt_template = ChatPromptTemplate.from_messages( [ ("system", "あなたの仕事は、human の question に答えることです。以下の手順で回答してください。前置きや思考経過は出力しないでください。context の中の source のファイル名には、page_content の主題が含まれています。最初に、 context に書かれている情報だけを使用して、question の質問に答えることができるかどうか判断してください、判断結果は出力しません。次に、context にある情報だけで回答が可能と判断した場合は、context に書かれている情報だけを使用して、question の質問に答えてください。context にある情報だけでは回答できないと判断した場合は、情報がないので回答できないと答えてください。 ¥n¥ncontext: {context}"), ("human", "question: {input}"), ] ) # RAGチェーンの準備 rag_chain = ( {"context": retriever, "input": RunnablePassthrough()} | prompt_template | (lambda x: print(f"¥n=== Generated Prompt ===¥n{x}¥n========================¥n¥n") or x) # プロンプトを表示 | llm ) # 質問 query="ハグリッドがホグワーツへの入学案内書を持ってきたのはいつですか？それはどのような日でしたか？" response = rag_chain.invoke(query) # RAGの実行 print(f"=== LLM response ======¥n{response}¥n========================¥n") print(f"=== 回答 ===============¥n{response.content}¥n========================¥n") 検索結果（コンテキスト）の情報からは回答できないときにハルシネーションしないように指示コード例～続き

を使用） 47 === Generated Prompt === messages=[SystemMessage(content="あなたの仕事は、human の question に答えることです。以下の手順で回答してください。前置きや思考経過は出力しないでください。context の中の source のファイル名には、content の主題が含まれています。最初に、 context に書かれている情報だけを使用して、question の質問に答えることができるかどうか判断してください、判断結果は出力しません。次に、context にある情報だけで回答が可能と判断した場合は、context に書かれている情報だけを使用して、question の質問に答えてください。context にある情報だけでは回答できないと判断した場合は、情報がないので回答できないと答えてください。¥n¥ncontext: [Document(metadata={'source': 'data¥¥¥¥Wikipedia-ハリー・ポッター_(架空の人物).pdf'}, page_content='しかし、ダーズリー家は魔法に対して、かたくななまでに否定的な態度を取っており、ハリーは両親や自分が魔法使いであることを知らされないまま、伯⺟一家の冷遇と虐待を受けながら育った。1991年 7⽉31日（ハリーの11歳の誕生日）、ホグワーツ魔法魔術学校への入学案内書を手にやってきたルビウス‧ ハグリッドから自身が魔法使いであることを知らされる。そして9⽉1日、ホグワーツ魔法魔術学校に入学する [注 4]。'), Document(metadata={'source': 'data¥¥¥¥Wikipedia-ハリー・ポッター_(架空の人物).pdf'}, page_content='ホグワーツ魔法魔術学校グリフィンドール寮の男子生徒となる。孤児として⺟親の親類の伯⺟夫婦の家で不遇な暮らしをして育った。11歳を迎える年のある日突然、ホグワーツから入学許可証が届いたのをきっかけに、亡くなった両親が魔法使いであったこと、そして出生時に下された予言により、闇の魔法使いヴォルデモートを倒す宿命を自分が負っていると告げられる。'), Document(metadata={'source': 'data¥¥¥¥Wikipedia-ロン・ウィーズリー.pdf'}, page_content='その後、ホグワーツ魔法魔術学校に入学し、ハリー同様グリフィンドール寮生となる。種族性別家族1992年夏、ハリーを自宅に迎えるため、⽗の所有するフォード‧ アングリアを借りて、フレッド、ジョージとともにダーズリー家を訪問。軟禁されていたハリーを救出する。'), Document(metadata={'source': 'data¥¥¥¥Wikipedia-ロン・ウィーズリー.pdf'}, page_content='軟禁されていたハリーを救出する。同年9⽉1日にはドビーによりホグワーツ特急に乗⾞できなかったため、ふたたびフォード‧ アングリアを借りてハリーとともにホグワーツへ向かうが、ホグワーツ到着時に暴れ柳から攻撃を受け、杖が折れる。')]", additional_kwargs={}, response_metadata={}), HumanMessage(content='question: ハグリッドがホグワーツへの入学案内書を持ってきたのはいつですか？それはどのような日でしたか？', additional_kwargs={}, response_metadata={})] ======================== === LLM response ====== content='1991年7⽉31日、ハリーの11歳の誕生日に、ハグリッドがホグワーツへの入学案内書を持ってきました。' additional_kwargs={'refusal': None} response_metadata={'token_usage': {'completion_tokens': 40, 'prompt_tokens': 874, 'total_tokens': 914, 'completion_tokens_details': {'accepted_prediction_tokens': 0, 'audio_tokens': 0, 'reasoning_tokens': 0, 'rejected_prediction_tokens': 0}, 'prompt_tokens_details': {'audio_tokens': 0, 'cached_tokens': 0}}, 'model_name': 'gpt-4o-2024-08-06', 'system_fingerprint': 'fp_a79d8dac1f', 'finish_reason': 'stop', 'logprobs': None} id='run-00668cae-02b3-4e5d-86de-109b0caa046b-0' usage_metadata={'input_tokens': 874, 'output_tokens': 40, 'total_tokens': 914, 'input_token_details': {'audio': 0, 'cache_read': 0}, 'output_token_details': {'audio': 0, 'reasoning': 0}} ======================== === 回答 =============== 1991年7⽉31日、ハリーの11歳の誕生日に、ハグリッドがホグワーツへの入学案内書を持ってきました。 ======================== 実行結果

を使用） 48 評価検索件数（top k）質問期待する正答 RAGの回答正誤検索できているか検索結果に基づいているか評価 4 ハグリッドがホグワーツへの入学案内書を持ってきたのはいつですか？それはどのような日でしたか？ハグリッドがホグワーツへの入学案内書を持ってきたのは、ハリーの11歳の誕生日の1991年7 ⽉31日です。 1991年7⽉31日、ハリーの11歳の誕生日に、ハグリッドがホグワーツへの入学案内書を持ってきました。〇〇〇〇 4 アメリカの初代大統領は誰ですか？情報がないので回答できません。情報がないので回答できません。〇ー（DBにこの情報はない）〇（検索結果にこの情報はない）〇（ハルシネーションしていない） 4 時空管理局のアースラの艦長は誰ですか？時空管理局のアースラの艦長は、リンディ・ハラオウンです。情報がないので回答できません。 × ×（DBに情報があるが検索結果に含まれてない）〇（検索結果にこの情報はない） ×（DBに情報があるので正答して欲しい） 10 時空管理局のアースラの艦長は誰ですか？時空管理局のアースラの艦長は、リンディ・ハラオウンです。リンディ・ハラオウンです。〇〇〇〇

まだ、完成ではない RAG は、急速に発展しつつある技術 Copyright © 2024, Oracle and/or its affiliates
50 https://towardsdatascience.com/12-rag-pain-points-and-proposed-solutions-43709939a28c https://arxiv.org/abs/2401.05856

LangChain AI による整理 Copyright © 2024, Oracle and/or its affiliates
51 RAG From Scratch（ https://github.com/langchain-ai/rag-from-scratch/blob/main/README.md ）

Copyright © 2024, Oracle and/or its affiliates 52 Retrieval のための
Advanced RAG: • チャンクサイズ最適化 • 外部知識の構造化（再帰的Retrieval） • 知識グラフ • 埋め込みモデルのファインチューニング • クエリー埋め込みの変換（HyDE） Generation のための Advanced RAG: • 情報圧縮（ノイズ削減） • リランク Retrieval と Generation の両方を同時に改善する Advanced RAG: • LLMによるクエリーの改善 • 多段階推論 LlamaIndex AI による整理

チャンキングの課題 Copyright © 2024, Oracle and/or its affiliates 53 アプリケーション
ベクトルデータベース LLM ②クエリー ③検索結果 ①質問 ⑥回答 ④回答生成指示 ⑤回答ナレッジベースチャンキング（ベクトル化できる小さなチャンクに分割）エンベディングとインデキシングデータソース ②質問文と類似したチャンクを検索する ③類似性検索の結果、質問文に対する類似性の高いチャンク群を返す ④質問文にリトリーブで得られた検索結果を添えて、回答文の生成を指示する

チャンキングの課題 Copyright © 2024, Oracle and/or its affiliates 54 「大きなチャンク」と「小さなチャンク」
どちらが検索精度が高いと思いますか？ vs

チャンクサイズと取得件数（top k）の組み合わせで精度は変わる Copyright © 2024, Oracle and/or its affiliates 55
※ ドキュメント、クエリーによって異なります。ユースケース毎に検証が必要です。 ※ 本検証は小規模（20問）であり、大きな誤差がある可能性があります。 Ragasの Context Recall を測定した例 • Context Recall とは、正解（Ground Truth）の文がどの程度コンテキスト（検索結果）に含まれていたかを表す指標。 • 回答に必要な情報の網羅率を表している。正答率はこれを越えない。 • スコアは0～1の範囲で表され、高いほど良い。（左のヒートマップでは色が濃いほど良い） Ragas の Context Recall は LLM を使って判定しているため、100%正確ではありません。 Context Recall が “1” なのに、回答が間違っている場合や、逆に “0”なにに正解している場合はデータをよく確かめましょう。後者は、ハルシネーションが偶然正解していたり、事前学習した情報から回答が生成されています。

大きすぎるチャンクサイズは精度が悪い上に高コスト！ Copyright © 2024, Oracle and/or its affiliates 56 横軸：チャンクサイズ
※ 同じチャンク数（20個）を取得した場合の検証例 ※ ドキュメント、クエリーによって異なるコスト（LLMのAPI費用）は、 5倍！（チャンクサイズ200に対して）

埋め込みを生成するときに圧縮されて情報が希釈される Copyright © 2024, Oracle and/or its affiliates 57 A
long far away ※トークン毎の埋め込みは文脈を反映した埋め込みです。同じ単語でも異なる文脈に現れると異なるベクトルとなります。 ※すべての埋め込みモデルがプーリングで「平均」操作をするわけではありません。最大値を取るものなどもあります。トークントークン毎の埋め込み文全体の埋め込みプーリング 200個のトークン 200個の埋め込み 1個の埋め込み 1,000個のトークン 1,000個の埋め込み 1個の埋め込み

補足 Copyright © 2024, Oracle and/or its affiliates 58 「※トークン毎の埋め込みは文脈を反映した埋め込みです。同じ単語でも異なる文脈に現れると異なる埋め込みとなります。」
の件 “Does BERT Make Any Sense? Interpretable Word Sense Disambiguation with Contextualized Embeddings“ https://arxiv.org/abs/1909.10430 より異なる文脈における"bank"のコンテキスト埋め込みの例同じ”bank” という単語が、地形を表現する文脈に現れる場合と銀行を表す場合では、埋め込み空間（ベクトル空間）上で異なる領域に分布していることがわかります。最近の主要な埋め込みモデルで採用されているトランスフォーマー・モデルの場合、Self-Attention メカニズムを使用して、テキスト内の各単語が他のすべての単語とどのように関連しているかを学習します。また、位置エンコーディングによりテキスト中の単語の位置情報も反映されます。これにより、同じ単語でも文脈によって異なる意味を持つ場合（多義語など）や語順が重要な場合にも適切な表現を生成できます。

チャンクサイズが小さすぎると文脈が分断されて正解を導けない Copyright © 2024, Oracle and/or its affiliates 59 チャンクサイズ：100文字、Top_k（取得件数）：20件
で類似性検索した結果質問正解（Ground Truth）取得したチャンクのうち正解に関連聖王のゆりかごとは何ですか、どのくらいの大きさですか？聖王のゆりかごとは、古代ベルカの遺産の一つ。その正体は旧暦において一度は世界を滅ぼしたとされる強大な質量兵器で、全長数kmの巨大飛行戦艦です。搭載されているものが本物なのかレプリカなのか、それが全てのガジェット‧ドローンに内蔵されているのかどうかは不明。聖王のゆりかご古代ベルカの遺産の一つ。スターライトブレイカーは誰のどのような魔法ですか？スターライトブレイカーは、なのは最大最強の切り札であり、彼女の代名詞ともなっている魔法。なのは本人（+カートリッジ）の魔力に加えて、なのは個人の希少スキル「魔力収束」をもって戦場に漂う残留魔力をも呼び集めて特大の一撃を放つ集束砲撃魔法です。スターライトブレイカー(Starlight Breaker)なのは最大最強の切り札であり、彼女の代名詞ともなっている魔法。いずれも正解に必要な２つの情報のうち、１つしか取得できていない Context Recall = 0.5 と評価される

チャンクサイズが小さすぎると文脈が分断されて正解を導けない Copyright © 2024, Oracle and/or its affiliates 60 質問
正解（Ground Truth） RAGの回答聖王のゆりかごとは何ですか、どのくらいの大きさですか？聖王のゆりかごとは、古代ベルカの遺産の一つ。その正体は旧暦において一度は世界を滅ぼしたとされる強大な質量兵器で、全長数kmの巨大飛行戦艦です。聖王のゆりかごは、古代ベルカの巨大飛行船艦であり、聖王家の居城として扱われていたものです。大きさについての具体的な情報は、提供されたコンテキストにはありません。情報がないので回答できません。スターライトブレイカーは誰のどのような魔法ですか？スターライトブレイカーは、なのは最大最強の切り札であり、彼女の代名詞ともなっている魔法。なのは本人（+カートリッジ）の魔力に加えて、なのは個人の希少スキル「魔力収束」をもって戦場に漂う残留魔力をも呼び集めて特大の一撃を放つ集束砲撃魔法です。スターライトブレイカーは、高町なのはの最大最強の切り札であり、彼女の代名詞ともなっている魔法です。いずれも、半分正解だが不十分な回答となったチャンクサイズ：100文字、Top_k（取得件数）：20件で類似性検索して、回答生成した結果

チャンキングの課題ナイーブ RAG（ベーシック RAG） Copyright © 2024, Oracle and/or its
affiliates 61 アプリケーションベクトルデータベース LLM ②クエリー ③検索結果 ①質問 ⑥回答 ④回答生成指示 ⑤回答ナレッジベースチャンキング（ベクトル化できる小さなチャンクに分割）エンベディングとインデキシング大きすぎるチャンク検索精度が下がり、多くのノイズが LLM へ渡されてしまう ※最適なサイズの一般化ができないユースケース（データ、質問）へ依存。試行錯誤が必要。データソース ②質問文と類似したチャンクを検索する ③類似性検索の結果、質問文に対する類似性の高いチャンク群を返す ④質問文にリトリーブで得られた検索結果を添えて、回答文の生成を指示する

affiliates 62 アプリケーションベクトルデータベース LLM ②クエリー ③検索結果 ①質問 ⑥回答 ④回答生成指示 ⑤回答ナレッジベースチャンキング（ベクトル化できる小さなチャンクに分割）エンベディングとインデキシング小さすぎるチャンク文脈が分断されてLLMが正しい回答を生成できない大きすぎるチャンク検索精度が下がり、多くのノイズが LLM へ渡されてしまう ※最適なサイズの一般化ができないユースケース（データ、質問）へ依存。試行錯誤が必要。データソース ②質問文と類似したチャンクを検索する ③類似性検索の結果、質問文に対する類似性の高いチャンク群を返す ④質問文にリトリーブで得られた検索結果を添えて、回答文の生成を指示する

affiliates 63 アプリケーションベクトルデータベース LLM ②クエリー ③検索結果 ①質問 ⑥回答 ④回答生成指示 ⑤回答ナレッジベースチャンキング（ベクトル化できる小さなチャンクに分割）エンベディングとインデキシング小さすぎるチャンク文脈が分断されてLLMが正しい回答を生成できない大きすぎるチャンク検索精度が下がり、多くのノイズが LLM へ渡されてしまう ※最適なサイズの一般化ができないユースケース（データ、質問）へ依存。試行錯誤が必要。データソース ②質問文と類似したチャンクを検索する ③類似性検索の結果、質問文に対する類似性の高いチャンク群を返す ④質問文にリトリーブで得られた検索結果を添えて、回答文の生成を指示する文が分断されたチャンク LLMが元の文の意味を追えない

ウィキペディアの「ハリー‧ポッター (架空の⼈物)」の先頭の500文字素朴なチャンキング Copyright © 2024, Oracle and/or its affiliates
64 ハリー‧ポッター (架空の人物) 出典: フリー百科事典『ウィキペディア（Wikipedia）』ハリー‧ポッターシリーズ > ハリー‧ポッターシリーズの登場人物一覧 > ハリー‧ポッター (架空の人物) ハリー‧ジェームズ‧ポッター（英: Harry James Potter）は、J‧K‧ローリングの小説『ハリー‧ ポッター』シリーズおよび、その派生作品に登場する架空の人物であり、同シリーズの主人公。ホグワーツ魔法魔術学校グリフィンドール寮の男子生徒となる。孤児として⺟親の親類の伯⺟夫婦の家で不遇な暮らしをして育った。11歳を迎える年のある日突然、ホグワーツから入学許可証が届いたのをきっかけに、亡くなった両親が魔法使いであったこと、そして出生時に下された予言により、闇の魔法使いヴォルデモートを倒す宿命を自分が負っていると告げられる。マグル界では一介の少年に過ぎない生活を送っていたが、魔法界では本人が⼾惑うほど重要な人物として、あまねく人々から知られている。一人前の魔法使いになるべく、同級生のロン‧ウィーズリーやハーマイオニー‧グレンジャーらと LangChain の PDFMinerLoader でテキストを抽出したもの

ウィキペディアの「ハリー‧ポッター (架空の⼈物)」をチャンクサイズ位置で強制的に分割素朴なチャンキング Copyright © 2024, Oracle and/or its affiliates
65 from langchain_community.document_loaders import PDFMinerLoader loader = PDFMinerLoader("./data/Wikipedia-ハリー・ポッター_(架空の人物).pdf") documents = [] chunk_size = 100 # 1チャンクの文字数 for doc in loader.load(): text = doc.page_content.replace("¥n", "") for i in range(0, len(text), chunk_size): chunk = text[i:i + chunk_size] documents.append(chunk) print(f"合計チャンク数: {len(documents)}") for i, doc in enumerate(documents[:5]): print(f"¥n=== Document {i+1}：文字数: {len(doc)} ====================================================") print(doc) Python によるコード例 • ウィキペディアからダウンロードした PDF ファイルは、./data フォルダに保存されている想定 • PDFからのテキスト抽出には、LangChain の PDFMinerLoader を使用 • 100文字ごとに文章を分断している

ウィキペディアの「ハリー‧ポッター (架空の⼈物)」をチャンクサイズ位置で強制的に分割素朴なチャンキング Copyright © 2024, Oracle and/or its affiliates
66 合計チャンク数: 122 === Document 1：文字数: 100 ==================================================== ハリー‧ ポッター (架空の人物)出典: フリー百科事典『ウィキペディア（Wikipedia）』ハリー‧ ポッターシリーズ > ハリー‧ ポッターシリーズの登場人物一覧 > ハリー‧ ポッター (架空の人物) === Document 2：文字数: 100 ==================================================== ハリー‧ ジェームズ‧ ポッター（英: Harry JamesPotter）は、J‧ K‧ ローリングの小説『ハリー‧ ポッター』シリーズおよび、その派生作品に登場する架空の人物であり、同シリーズの主人公。ホグ === Document 3：文字数: 100 ==================================================== ワーツ魔法魔術学校グリフィンドール寮の男子生徒となる。孤児として⺟親の親類の伯⺟夫婦の家で不遇な暮らしをして育った。11歳を迎える年のある日突然、ホグワーツから入学許可証が届いたのをきっかけに、亡くな === Document 4：文字数: 100 ==================================================== った両親が魔法使いであったこと、そして出生時に下された予言により、闇の魔法使いヴォルデモートを倒す宿命を自分が負っていると告げられる。マグル界では一介の少年に過ぎない生活を送っていたが、魔法界では本人 === Document 5：文字数: 100 ==================================================== が⼾惑うほど重要な人物として、あまねく人々から知られている。一人前の魔法使いになるべく、同級生のロン‧ ウィーズリーやハーマイオニー‧ グレンジャーらとともに、ホグワーツにて学生生活を送りつつ、宿敵のヴォ出力例 • 「ホグワーツ魔法学校」や「ヴォルデモート」が分割されてしまっている検索できない、文脈を追えない

LangChain による実装例 from langchain_community.document_loaders import PDFMinerLoader, DirectoryLoader from langchain_text_splitters import
RecursiveCharacterTextSplitter # ドキュメントの読み込み loader = PDFMinerLoader("./data/Wikipedia-ハリー・ポッター_(架空の人物).pdf") # ドキュメントの分割 documents = [] for doc in loader.load(): doc.page_content = doc.page_content.replace("¥n", "") chunks = RecursiveCharacterTextSplitter( chunk_size=chunk_size, chunk_overlap=chunk_size // 10, separators=["。", "、", " "], keep_separator="end" ).split_documents([doc]) documents.extend(chunks) print(f"合計チャンク数: {len(documents)}") for i, doc in enumerate(documents[:6]): print(f"¥n=== Document {i+1}：文字数: {len(doc.page_content)} ====================================================") print(doc.page_content) リカーシブ（再帰的）チャンキング Copyright © 2024, Oracle and/or its affiliates 67 RecursiveCharacterTextSplitter() 指定したチャンクサイズより小さく、かつ、指定サイズに近いセパレータ位置で分割します。チャンクサイズ：最大でもこの文字数となるように分割します。チャンクのオーバーラップ：セパレータで区切ることができない場合は、文字数で区切ります。このとき、 LLMが前後のつながりを予測できるように前のチャンクが末尾の一部を重ねる文字数を指定します。セパレータ：分割する際に可能であれば、ここで指定した文字の位置で分割します。キープセパレータ：セパレータの文字自体を残すかどうか、残す場合、チャンクの文末に残すか、次のチャンクの先頭に配置するかを指定します（True, False, End, Start）。

ウィキペディアの「ハリー‧ポッター (架空の⼈物)」をセパレータを指定して分割リカーシブ（再帰的）チャンキング Copyright © 2024, Oracle and/or its affiliates
68 合計チャンク数: 166 === Document 1：文字数: 92 ==================================================== ハリー‧ ポッター (架空の人物)出典: フリー百科事典『ウィキペディア（Wikipedia）』ハリー‧ ポッターシリーズ > ハリー‧ ポッターシリーズの登場人物一覧 > ハリー‧ ポッター === Document 2：文字数: 54 ==================================================== ハリー‧ ポッター (架空の人物)ハリー‧ ジェームズ‧ ポッター（英: Harry JamesPotter）は、 === Document 3：文字数: 60 ==================================================== J‧ K‧ ローリングの小説『ハリー‧ ポッター』シリーズおよび、その派生作品に登場する架空の人物であり、同シリーズの主人公。 === Document 4：文字数: 60 ==================================================== ホグワーツ魔法魔術学校グリフィンドール寮の男子生徒となる。孤児として⺟親の親類の伯⺟夫婦の家で不遇な暮らしをして育った。 === Document 5：文字数: 75 ==================================================== 11歳を迎える年のある日突然、ホグワーツから入学許可証が届いたのをきっかけに、亡くなった両親が魔法使いであったこと、そして出生時に下された予言により、 === Document 6：文字数: 34 ==================================================== 闇の魔法使いヴォルデモートを倒す宿命を自分が負っていると告げられる。出力例 • 「ホグワーツ魔法学校」も「ヴォルデモート」も分割されていない検索可能、文脈理解可能と期待できる

チャンキングの課題への対応策の例 1. チャンクサイズのチューニング試行錯誤により個別ユースケースに最適なチャンクサイズを見つける。 2. リカーシブ（再帰的）チャンキング文が不適切な位置で分断されないよう目標サイズに最も近い分割点を、最初は段落の末尾、次は文の末尾（読点位置）、次は句点位置、最後は単語の切れ目の順といった再帰的な手順で探索して分割する（LangChain では、 RecursiveCharacterTextSplitter
で実装されています）。 3. Small-to-big retrieval 検索時に小さなテキストチャンクを使用し、回答生成時にはそれが属する大きなテキストチャンクを使用する手法。これにより、検索の精度が向上し、より多くの文脈情報が得られる。実装には、Child-Parent RecursiveRetriever：小さなチャンクを検索し、親IDを参照して大きなチャンクを返す手法（LangChain では、Parent Document Retriever で実装されている）やSentence Window Retrieval：検索時に1つの文を取得し、その文の周りのテキストウィンドウを返す手法がある。 4. セマンティックチャンキング（Semantic chunking）チャンキングサイズと文の意味的なまとまりの両方に配慮して適切な分割を行う（研究段階）。類似の手法にエージェンティックチャンキング（Agentic chunking）がある。これは LLM を使って意味にも配慮した分割を行う手法。実装は容易だが LLM を使うためコスト、処理時間、品質、チャンキングの根拠の説明に難がある。 5. ドキュメント固有のチャンキング（Document-specific chunking）文書の種類や構造に応じて、チャンクの分割方法を調整するアプローチ。例えば、プログラミングコードには、関数、クラス、モジュールなどの明確な区切りがるため、これらの区切りに基づいてチャンクを作成。論文や報告書であれば章、節、段落、対話形式のデータでは、発言者の交代をチャンクの区切りとする。文書の構造を解析するための特別なルールやアルゴリズムが必要で研究段階。アドバンスト RAG Copyright © 2024, Oracle and/or its affiliates 69

チャンキングの課題への対応策の例 • チャンクサイズのチューニング試行錯誤により個別ユースケースに最適なチャンクサイズを見つける。 • リカーシブ（再帰的）チャンキング文が不適切な位置で分断されないよう目標サイズに最も近い分割点を、最初は段落の末尾、次は文の末尾（読点位置）、次は句点位置、最後は単語の切れ目の順といった再帰的な手順で探索して分割する。 • Small-to-big
retrieval 検索時に小さなテキストチャンクを使用し、回答生成時にはそれが属する大きなテキストチャンクを使用する手法。これにより、検索の精度が向上し、より多くの文脈情報が得られる。実装には、Child-Parent RecursiveRetrieverは、小さなチャンクを検索し、親IDを参照して大きなチャンクを返す手法やSentence Window Retrievalは、検索時に1つの文を取得し、その文の周りのテキストウィンドウを返す手法がある。 • セマンティックチャンキングチャンキングサイズと文の意味的なまとまりの両方に配慮して適切な分割を行う（研究段階）。類似の手法にエージェンティックチャンキング（Agentic chunking）がある。これは LLM を使って意味にも配慮した分割を行う手法。実装は容易だが LLM を使うためコスト、処理時間、品質、チャンキングの根拠の説明に難がある。 • ドキュメント固有のチャンキング（Document-specific chunking）文書の種類や構造に応じて、チャンクの分割方法を調整するアプローチ。例えば、プログラミングコードには、関数、クラス、モジュールなどの明確な区切りがるため、これらの区切りに基づいてチャンクを作成。論文や報告書であれば章、節、段落、対話形式のデータでは、発言者の交代をチャンクの区切りとする。文書の構造を解析するための特別なルールやアルゴリズムが必要で研究段階。アドバンスト RAG Copyright © 2024, Oracle and/or its affiliates 70 覚えておいておきたいこと • チャンクサイズと取得件数は RAG の精度に影響する • 精度向上のためにサイズのチューニングや検索手法の再検討が必要なこともある

リトリーバルの課題ナイーブ（ベーシック） RAG Copyright © 2024, Oracle and/or its affiliates
71 アプリケーションベクトルデータベース LLM ②クエリー ③検索結果 ①質問 ⑥回答 ④回答生成指示 ⑤回答ナレッジベースインデックス化ユーザーの「質問」をそのまま丸投げしても適切な検索結果が返ってこないことも多い類似性検索であってもあらゆる同義語、類義語、関連した言葉をすべて見つけられるわけではない ※ユーザーの「質問するリテラシー」は様々文書が多く似たようなセンテンスに埋もれてしまう

72 リトリーバル（検索）の課題 1 ノイズが多い（多数の文書の類似したセンテンスに埋もれてしまい検索結果に正解情報が含まれない） 2 網羅性（同義語、類義語、関連用語を網羅しきれない。セマンティック検索といっても万能ではない） 3 対話文脈の反映漏れ（ユーザーの直近の入力（質問）文だけでデータベースを検索してよいか？） 4 ベクトル検索に不適合なクエリー（型番など特定の文字列、フレーズへ正確に一致する検索は苦手） 5 複雑、複合的な質問（「Uber と Lyft のそれぞれの戦略の違いを教えてください」のような比較など） 6 そもそもデータベースに登録されているドキュメントは、「質問文」の形をしていない 7 検索結果をLLMのコンテキストに入力する際の並び順 Tips これらの課題には既に対処方法が提案されていますが、適用する対処方法が多い程、応答時間が長くなる、LLMの使用料が増える、アプリケーションが複雑になるなどトレードオフがあります。また、副作用で精度が落ちることもありユースケース（データ、質問）に合わせた試行錯誤が必要です。

73 リトリーバル（検索）の課題 1 ノイズが多い（多数の文書の類似したセンテンスに埋もれてしまい検索結果に正解情報が含まれない） 2 網羅性（同義語、類義語、関連用語を網羅しきれない。セマンティック検索といっても万能ではない） 3 対話文脈の反映漏れ（ユーザーの直近の入力（質問）文だけでデータベースを検索してよいか？） 4 ベクトル検索に不適合なクエリー（型番など特定の文字列、フレーズへ正確に一致する検索は苦手） 5 複雑、複合的な質問（「Uber と Lyft のそれぞれの戦略の違いを教えてください」のような比較など） 6 そもそもデータベースに登録されているドキュメントは、「質問文」の形をしていない 7 検索結果をLLMのコンテキストに入力する際の並び順 Tips これらの課題には既に対処方法が提案されていますが、適用する対処方法が多い程、応答時間が長くなる、LLMの使用料が増える、アプリケーションが複雑になるなどトレードオフがあります。また、副作用で精度が落ちることもありユースケース（データ、質問）に合わせた試行錯誤が必要です。

Copyright © 2024, Oracle and/or its affiliates 74 リトリーバルノイズが多い
Advanced RAG フィルタリング 1. ハリー・ポッター_(架空の人物) 2. ハーマイオニー・グレンジャー 3. フェイト・テスタロッサ 4. マギアレコード_魔法少女まどか☆マギカ外伝 5. ロン・ウィーズリー 6. 八神はやて 7. 巴マミ 8. 暁美ほむら 9. 美樹さやか 10. 高町なのは 11. 魔法少女まどか☆マギカ 12. 魔法少女リリカルなのは 13. 魔法少女リリカルなのはA's 14. 魔法少女リリカルなのはStrikerS 15. 魔法少女リリカルなのはViVid 16. 魔法少女リリカルなのは_The_MOVIE_1st 17. 魔法少女リリカルなのは _The_MOVIE_2nd_A's 18. 魔法科高校の劣等生 19. 鹿目まどか質問フェイトが留学生として通った小学校は？ 1. ハリー・ポッター_(架空の人物) 2. ハーマイオニー・グレンジャー 3. フェイト・テスタロッサ 4. マギアレコード_魔法少女まどか☆マギカ外伝 5. ロン・ウィーズリー 6. 八神はやて 7. 巴マミ 8. 暁美ほむら 9. 美樹さやか 10. 高町なのは 11. 魔法少女まどか☆マギカ 12. 魔法少女リリカルなのは 13. 魔法少女リリカルなのはA's 14. 魔法少女リリカルなのはStrikerS 15. 魔法少女リリカルなのはViVid 16. 魔法少女リリカルなのは_The_MOVIE_1st 17. 魔法少女リリカルなのは _The_MOVIE_2nd_A's 18. 魔法科高校の劣等生 19. 鹿目まどかフェイト関連学校関連 3. フェイト・テスタロッサ • 質問者に検索対象ドキュメントを絞り込んでもらう • システム的に絞り込む（質問文を形態素解析してメタデータを検索など）

RAG（ChromaDB）フィルタリングあり Demo_Chromadb_RAG_with_Filtering.ipynb

フィルタリングなし Copyright © 2024, Oracle and/or its affiliates デモ－
RAG（ChromaDB を使用）フィルタリングあり 76 retriever = vector_store.as_retriever( search_type="similarity", search_kwargs={"k": 20} ) ソースファイルのリストをフィルターに設定コード例（フィルタリング有無による違い） source_list=["data¥¥Wikipedia-フェイト・テスタロッサ.pdf"] retriever = vector_store.as_retriever( search_type="similarity", search_kwargs={"k": 20, "filter": {"source": {"$in": source_list}}} ) 質問内容に合わせて「フェイト」に関するドキュメント1つだけを含むソースファイルのリストを設定（複数設定も可能）フィルタリングあり質問フェイトが留学生として通った小学校は？正答私立聖祥大附属小学校です。

を使用）フィルタリングあり 77 === Generated Prompt === messages=[SystemMessage(content='あなたの仕事は、human の question に答えることです。以下の手順で回答してください。前置きや思考経過は出力しないでください。context の中の source のファイル名には、page_content の主題が含まれています。最初に、 context に書かれている情報だけを使用して、question の質問に答えることができるかどうか判断してください、判断結果は出力しません。次に、context にある情報だけで回答が可能と判断した場合は、context に書かれている情報だけを使用して、question の質問に答えてください。context にある情報だけでは回答できないと判断した場合は、情報がないので回答できないと答えてください。¥n¥ncontext: [Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-フェイト・テスタロッサ.pdf¥'}, page_content=¥'シグナムは事あるごとに、フェイトをからかうためにそのことを引き合いに出す（ただし、試験時期になのはの看病に時間を割いたために、万全の状態で試験に臨めなかった可能性が『StrikerS THECOMICS』でそれとなく記述されている）。また、自宅から聖祥大附属中学に通学している。¥'), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-フェイト・テスタロッサ.pdf¥'}, page_content="後にリンディ‧ ハラオウンの養子になり、名前がフェイト‧ T（テスタロッサ）‧ ハラオウン(Fate T. Harlaown)となる。担当声優は⽔樹奈々。人物像第1期‧ 『A¥'s』時外見年齢は9歳（後述）。誕生日は5⽉29日。⾦の髪と「寂しげな目」をした[2]もう1人の魔法少女。"), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-魔法少女リリカルなのはViVid.pdf¥'}, page_content=¥'エルス‧ タスミン学校では生徒会長を務める。ミカヤ‧ シェベル抜⼑術天瞳流師範代。ノーヴェとは友人同士。ファビア‧ クロゼルグ古代ベルカの魔女の⾎を継いでいる少女。用語St.ヒルデ魔法学院ミッドチルダ⾸都クラナガンにあるヴィヴィオが通う聖王教会系列の学校。小学生に当たる初等科にはコロナ‧ ティミル、リオ‧ ウェズリー等が在籍し、中学生に当たる中等科にはアインハルト‧ ストラトス等が在籍している。¥'), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-魔法少女リリカルなのは _The_MOVIE_1st.pdf¥'}, page_content=¥'高町なのは - 田村ゆかり[4]フェイト‧ テスタロッサ、¥'), Document(metadata={¥'source¥': "data¥¥¥¥Wikipedia-魔法少女リリカルなのは_The_MOVIE_2nd_A¥'s.pdf"}, page_content=¥'高町なのは - 田村ゆかりフェイト‧ テスタロッサ、¥'), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-魔法科高校の劣等生.pdf¥'}, page_content=¥'3年前のリーブル‧ エペーの試合で愛梨と対戦したことをきっかけに愛梨に目をかけられ、彼女の伝手で⾦沢魔法理学研究所の特訓を受け、持ち前の空間把握能力を磨きあげた。十七夜家の養子縁組が決まったことを機に両親と決別したが、未だに両親たちから植え付けられた劣等感と元の居場所に戻ってしまうことへの恐怖が⼼の中に存在している。¥'), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-高町なのは.pdf¥'}, page_content="7. ^ フェイトとは文通を続けておりその時に管理世界標準文字を勉強している（『The MOVIE2nd A¥'s』オーディオコメンタリーより）8. ^ しかし一時期のティアナには自分が強くなっている自覚が無く、それが彼女の焦りと無茶を招いてしまう一因となってしまった。"), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-フェイト・テスタロッサ.pdf¥'}, page_content="第1期最終話エピローグからは日常で着けるリボンが細い黒のリボンから太めのピンクのリボンを着けるようになった[3]。『A¥'s』におけるフェイトなのはとの再会の約束を胸に、1期の一連の出来事（PT事件）の重要参考人として裁判を受けていたが、ユーノやクロノ、リンディの働きかけで、保護観察は受けるものの（なお、保護観察官はギル‧ グレアム提督である）ほぼ無罪が確定[4]。"), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-魔法科高校の劣等生.pdf¥'}, page_content=¥'両親を亡くした後、四葉家のメイドをしていたが、2096年4⽉に真夜の指示によって第一高校に入学、司波兄妹のメイド兼深雪のガーディアン見習いとして同居を始める。¥'), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-高町なのは.pdf¥'}, page_content=¥'ヴィータはともに教導に励む仲。住居はミッドチルダで、高級住宅地を思わせる庭付きの一⼾建てに娘のヴィヴィオと二人暮らしであるが、家族団欒のシーンでは親友フェイトの登場頻度も高く、機動六課時代の後輩共々親しい交流が続いている。『ViVid』以降では、バリアジャケット時の髪型がサイドポニーになっている。¥'), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-フェイト・テスタロッサ.pdf¥'}, page_content="5. ^ なのはとは文通を続けておりその時に日本語を勉強している（『The MOVIE 2nd A¥'s』オーディオコメンタリーより）6. ^ なお、1期のフェイトはポジション、性格、言動など様々な⾯において原作『とらいあんぐるハート3 リリカルおもちゃ箱』に登場する原作版クロノを髣髴とさせるため、これらはかなり意味深な設定である。"), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-八神はやて.pdf¥'}, page_content=¥'12. ^ 八神はやて (http://www.nanoha.com/archive3/character/hayate.html)魔法少女リリカルなのはStrikerS公式サイト13. ^ ただし、リインフォースは練習試合だからこそであり極限の勝負ではなのはに分があると分析している。14. ^ なのは達と同じ私立聖祥大附属小学校。¥'), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-魔法少女リリカルなのは.pdf¥'}, page_content=¥'登場人物→ 「魔法少女リリカルなのはシリーズの登場人物」を参照高町なのは本作の主人公。海鳴市に住む小学3年生。ひょんなことからフェレットに似た動物の姿をしていたユーノと出会い、インテリジェントデバイスである「レイジングハート」を託されたことで魔法少女となる。フェイト‧ テスタロッサもう一人の主人公。なのはと同い年の、異世界出身の魔法少女。¥'), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-高町なのは.pdf¥'}, page_content=¥'11歳の頃の事件のことを気にしているようで他人の無茶に対しては厳しく逆に他人から指摘されると「自分は武装隊だから危険は当然」と棚に上げ、結果的に自身が一番無茶をしてしまうのでフェイト達に叱られることもしばしばある。¥¥x0cまた、10年の間に自⼰の鍛錬も怠っておらず、運動能力もさらに向上させている。¥'), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-フェイト・テスタロッサ.pdf¥'}, page_content="彼女の教育係だったリニスが、フェイト専用として愛情を込め作り上げたもの。常にフェイトの傍らにあって⼼の支えとなるが、『A¥'s』におけるシグナムとの戦いで中破した。後に、新機能（ベルカ式カートリッジシステム「CVK792-R」）を組み込み「バルディッシュ‧ アサルト」として生まれ変わった。黒ベースの服に⾚黒のマントがトレードマーク。『A¥'s』以降は左手と両⾜⾸下を装甲化した。"), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-フェイト・テスタロッサ.pdf¥'}, page_content=¥'使い魔のアルフとは「使い魔と主人」の関係を越えた深い絆で結ばれている。第1期11話のエイミィの台詞からフェイトという名前はプロジェクトFの開発コードであることも明かされている。なお誕生時から（死亡時の）アリシアと同じ年齢の⾁体‧ 記憶を持って生まれたため、フェイトとして生きた時間は外見より短いと思われる。¥¥x0c使用デバイスはインテリジェントデバイス「バルディッシュ」。¥'), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-高町なのは.pdf¥'}, page_content=¥'階級は一尉のまま留まっており、（フェイトを養育するために艦隊勤務から外れたリンディ‧ ハラオウン提督のように）前線には赴かず比較的平穏な任務に就き、生活も基本的には娘のヴィヴィオに合わせている。ヴィータはともに教導に励む仲。¥'), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-フェイト・テスタロッサ.pdf¥'}, page_content=¥'第26話エピローグの機動六課解散後は次元航行部隊に復隊、その際ティアナを2人目の補佐官として、執務官志望の彼女を現場で鍛え続けた。ティアナは約1年半後にさらに難関となった執務官試験に見事合格している。『ViVid』におけるフェイト主人公高町ヴィヴィオの2人のママの一方として登場。¥'), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-フェイト・テスタロッサ.pdf¥'}, page_content="元来の防御の薄さを補うのではなく、さらに長所である高速戦闘を追求するあたり、「速度」に全てを賭けたフェイトの決意の表れである。『A¥'s』第7話で名前のみ登場。実際に披露したのは第9話だが、このときも仮⾯の戦士が乱入したため、真価は発揮できずじまい。"), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-魔法少女リリカルなのはStrikerS.pdf¥'}, page_content=¥'プロジェクトF（またはF計画）第1期で初登場し、当初は「プロジェクトF.A.T.E」と呼ばれていた計画（劇中で略称としてF計画とプロジェクトFが使われ迷⾛していたが2クール目に入ってプロジェクトFで統一された）。¥')]', additional_kwargs={}, response_metadata={}), HumanMessage(content='question: フェイトが留学生として通った小学校は？', additional_kwargs={}, response_metadata={})] ======================== === LLM response ====== content='情報がないので回答できません。' additional_kwargs={'refusal': None} response_metadata={'token_usage': {'completion_tokens': 8, 'prompt_tokens': 3147, 'total_tokens': 3155, 'completion_tokens_details': {'accepted_prediction_tokens': 0, 'audio_tokens': 0, 'reasoning_tokens': 0, 'rejected_prediction_tokens': 0}, 'prompt_tokens_details': {'audio_tokens': 0, 'cached_tokens': 0}}, 'model_name': 'gpt-4o-2024-08-06', 'system_fingerprint': 'fp_a79d8dac1f', 'finish_reason': 'stop', 'logprobs': None} id='run-100d660b-d411-4051-b93c-5724a62fccd3-0' usage_metadata={'input_tokens': 3147, 'output_tokens': 8, 'total_tokens': 3155, 'input_token_details': {'audio': 0, 'cache_read': 0}, 'output_token_details': {'audio': 0, 'reasoning': 0}} ======================== === 回答 =============== 情報がないので回答できません。 ======================== フィルタリングなしの実行結果

を使用）フィルタリングあり 78 === Generated Prompt === messages=[SystemMessage(content='あなたの仕事は、human の question に答えることです。以下の手順で回答してください。前置きや思考経過は出力しないでください。context の中の source のファイル名には、content の主題が含まれています。最初に、 context に書かれている情報だけを使用して、question の質問に答えることができるかどうか判断してください、判断結果は出力しません。次に、context にある情報だけで回答が可能と判断した場合は、context に書かれている情報だけを使用して、question の質問に答えてください。context にある情報だけでは回答できないと判断した場合は、情報がないので回答できないと答えてください。¥n¥ncontext: [Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-フェイト・テスタロッサ.pdf¥'}, page_content=¥'シグナムは事あるごとに、フェイトをからかうためにそのことを引き合いに出す（ただし、試験時期になのはの看病に時間を割いたために、万全の状態で試験に臨めなかった可能性が『StrikerS THECOMICS』でそれとなく記述されている）。また、自宅から聖祥大附属中学に通学している。¥'), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-フェイト・テスタロッサ.pdf¥'}, page_content="後にリンディ‧ ハラオウンの養子になり、名前がフェイト‧ T（テスタロッサ）‧ ハラオウン(Fate T. Harlaown)となる。担当声優は⽔樹奈々。人物像第1期‧ 『A¥'s』時外見年齢は9歳（後述）。誕生日は5⽉29日。⾦の髪と「寂しげな目」をした[2]もう1人の魔法少女。"), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-フェイト・テスタロッサ.pdf¥'}, page_content="第1期最終話エピローグからは日常で着けるリボンが細い黒のリボンから太めのピンクのリボンを着けるようになった[3]。『A¥'s』におけるフェイトなのはとの再会の約束を胸に、1期の一連の出来事（PT事件）の重要参考人として裁判を受けていたが、ユーノやクロノ、リンディの働きかけで、保護観察は受けるものの（なお、保護観察官はギル‧ グレアム提督である）ほぼ無罪が確定[4]。"), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-フェイト・テスタロッサ.pdf¥'}, page_content="5. ^ なのはとは文通を続けておりその時に日本語を勉強している（『The MOVIE 2nd A¥'s』オーディオコメンタリーより）6. ^ なお、1期のフェイトはポジション、性格、言動など様々な⾯において原作『とらいあんぐるハート3 リリカルおもちゃ箱』に登場する原作版クロノを髣髴とさせるため、これらはかなり意味深な設定である。"), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-フェイト・テスタロッサ.pdf¥'}, page_content="彼女の教育係だったリニスが、フェイト専用として愛情を込め作り上げたもの。常にフェイトの傍らにあって⼼の支えとなるが、『A¥'s』におけるシグナムとの戦いで中破した。後に、新機能（ベルカ式カートリッジシステム「CVK792-R」）を組み込み「バルディッシュ‧ アサルト」として生まれ変わった。黒ベースの服に⾚黒のマントがトレードマーク。『A¥'s』以降は左手と両⾜⾸下を装甲化した。"), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-フェイト・テスタロッサ.pdf¥'}, page_content=¥' 使い魔のアルフとは「使い魔と主人」の関係を越えた深い絆で結ばれている。第1期11話のエイミィの台詞からフェイトという名前はプロジェクトFの開発コードであることも明かされている。なお誕生時から（死亡時の）アリシアと同じ年齢の⾁体‧ 記憶を持って生まれたため、フェイトとして生きた時間は外見より短いと思われる。¥¥x0c使用デバイスはインテリジェントデバイス「バルディッシュ」。¥'), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-フェイト・テスタロッサ.pdf¥'}, page_content=¥'第26話エピローグの機動六課解散後は次元航行部隊に復隊、その際ティアナを2人目の補佐官として、執務官志望の彼女を現場で鍛え続けた。ティアナは約1年半後にさらに難関となった執務官試験に見事合格している。『ViVid』におけるフェイト主人公高町ヴィヴィオの2人のママの一方として登場。¥'), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-フェイト・テスタロッサ.pdf¥'}, page_content="元来の防御の薄さを補うのではなく、さらに長所である高速戦闘を追求するあたり、「速度」に全てを賭けたフェイトの決意の表れである。『A¥'s』第7話で名前のみ登場。実際に披露したのは第9話だが、このときも仮⾯の戦士が乱入したため、真価は発揮できずじまい。"), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-フェイト・テスタロッサ.pdf¥'}, page_content=¥'さらに、ヴィヴィオと保護するなのはの後見人にもなっており、ヴィヴィオからは「もう1人のママ」と思われている（とはいえ、フェイト自身は本当の意味でヴィヴィオが「⺟」と慕っているのはなのはであると語っている）。教育方針は少々過保護気味で、エリオとキャロの二人が局の魔導師になったことを本⼼では快く思っていない。¥'), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-フェイト・テスタロッサ.pdf¥'}, page_content=¥'『ViVid』ではかなり家庭的に¥¥x0cなっていて、アインハルトからは、なのは同様穏やかで家庭的な普通の⺟親だと思われていたらしく、それを言ったときに『StrikerS』時の本来の役職を知っているノーヴェに苦笑されていた。『Force』におけるフェイトエクリプス関連事件の捜査に従事する執務官として、なのはよりも早く登場。バリアジャケット時の髪型が再び変わっており、ストレートからポニーテールになっている。¥'), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-フェイト・テスタロッサ.pdf¥'}, page_content="軍服調へと大きく変化し、色も今までの黒から濃紺に。マントも⽩地の黒縁となり、これはエ¥¥x0cリオ‧ キャロにも引き継がれた。ただし「高速機動を生かす」というコンセプトは変わらず、左手と⾜⾸下の装甲も同様である。真‧ ソニックフォーム『StrikerS』以降でのフェイトのバリアジャケットの換装形態で、『A¥'s』のソニックフォームの完成形態というべきもの。"), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-フェイト・テスタロッサ.pdf¥'}, page_content=¥'フェイト‧ テスタロッサ出典: フリー百科事典『ウィキペディア（Wikipedia）』魔法少女リリカルなのはシリーズ > 登場人物 > フェイト‧ テスタロッサフェイト‧ テスタロッサ(Fate Testarossa)は、テレビアニメ作品『魔法少女リリカルなのは』シリーズに登場する架空の人物であり、同作の主人公の1人である[1]。¥'), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-フェイト・テスタロッサ.pdf¥'}, page_content=¥'突然起こった事件の捜索と、時空管理局の巡行艦「アースラ」の修繕を機にリンディ、クロノ、アルフと一緒に海鳴市の高級マンション（高町家の近所にある）で新たな生活を始め、アリサ、すずかとも晴れて対⾯しての友達となった。その数日後、留学生という形で私立聖祥大附属小学校へ通うことになる。¥'), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-フェイト・テスタロッサ.pdf¥'}, page_content=¥' 「https://ja.wikipedia.org/w/index.php?title=フェイト‧ テスタロッサ&oldid=101535872」から取得¥'), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-フェイト・テスタロッサ.pdf¥'}, page_content=¥'ただし物語の中核が「なのはと教え子たち」に置かれているためか、前二作と比べると幾分比重が落ちている（後期OPでなのはの対として描かれるキャラもフェイトからスバルに代わっている）。そのためか模擬戦に参加することも¥¥x0cあまり見られなくなった。なのはと共に正式に管理局に所属。訓練学校を経て義兄のクロノと同様時空管理局執務官となり、法務や事件捜査を担当している。¥'), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-フェイト・テスタロッサ.pdf¥'}, page_content=¥'第1期におけるフェイト⺟プレシアの指示で、ジュエルシードを集めるために使い魔のアルフを伴ってなのは達の住む世界にやってきた。当初はなのはと敵対していたが、彼女の真っ直ぐな優しさや強さに⼼を開いていく。¥'), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-フェイト・テスタロッサ.pdf¥'}, page_content=¥'またPT事件後、リンディから養子縁組の申し出をされており、⼾惑い保留していたものの、「闇の書」事件終結後にそれを受け入れ、「フェイト‧ T‧ ハラオウン」を名乗る。リーゼ姉妹の評価によると能力的にはクロノと完全に兄妹と言ってよいほど近いらしく、『-THE BATTLE OF ACES-』でのシグナムの見立てでは性格⾯でもクロノとの⾎縁を疑うほど似ているとされている[6]。¥'), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-フェイト・テスタロッサ.pdf¥'}, page_content=¥'『-THE GEARS OF DESTINY-』の描き下ろしお⾵呂ポスターでは、レヴィに抱きつかれ、体を触られたり、前を隠そうとしないなのはにタオルを渡すなどやや苦労人として描かれている。『StrikerS』におけるフェイト第23話を除く全話に登場する不動のレギュラー。¥'), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-フェイト・テスタロッサ.pdf¥'}, page_content=¥'といっても最初から上手く出来たわけではないらしく、子育てを始めた当初はリンディやレティ、桃子に相談を持ちかけたり、大量の育児書を読み漁っていたらしい(StrikerS SS02)。親友のはやてが設立した機動六課に出向という形で所属し、部隊付執務官として法務担当と広域捜査の主任を務める一方、「ライトニング分隊」隊長としてエリオとキャロを率い、前線で活躍する。¥'), Document(metadata={¥'source¥': ¥'data¥¥¥¥Wikipedia-フェイト・テスタロッサ.pdf¥'}, page_content=¥'また、あまり登場しないが闇の⽋⽚の彼女は、ジュエルシードを探していた頃（ヴィータシナリオ）と⺟親に捨てられた自身の苦悩が具現化した者が登場し、フェイト本人やクロノと対決しており、闇の⽋⽚からも彼女の繊細さが現れている。「闇の書事件」後、小学4年生のときに時空管理局執務官候補生となり義兄クロノと同じアースラに勤務。その後、時空管理局執務官となっている。執務官試験に2度落ちており、そのことは禁句。¥')]', additional_kwargs={}, response_metadata={}), HumanMessage(content='question: フェイトが留学生として通った小学校は？', additional_kwargs={}, response_metadata={})] ======================== === LLM response ====== content='私立聖祥大附属小学校です。' additional_kwargs={'refusal': None} response_metadata={'token_usage': {'completion_tokens': 12, 'prompt_tokens': 3422, 'total_tokens': 3434, 'completion_tokens_details': {'accepted_prediction_tokens': 0, 'audio_tokens': 0, 'reasoning_tokens': 0, 'rejected_prediction_tokens': 0}, 'prompt_tokens_details': {'audio_tokens': 0, 'cached_tokens': 0}}, 'model_name': 'gpt-4o-2024-08-06', 'system_fingerprint': 'fp_a79d8dac1f', 'finish_reason': 'stop', 'logprobs': None} id='run-1912546c-9d0f-44aa-aed8-53d9fe18323e-0' usage_metadata={'input_tokens': 3422, 'output_tokens': 12, 'total_tokens': 3434, 'input_token_details': {'audio': 0, 'cache_read': 0}, 'output_token_details': {'audio': 0, 'reasoning': 0}} ======================== === 回答 =============== 私立聖祥大附属小学校です。 ======================== フィルタリングありの実行結果

を使用）フィルタリングあり 79 評価検索件数（top k）フィルタリング質問期待する正答 RAGの回答正誤検索できているか検索結果に基づいているか評価 20 なしフェイトが留学生として通った小学校は？私立聖祥大附属小学校です。情報がないので回答できません。 × × 〇（検索結果にこの情報はない） ×（DBに情報があるので正答して欲しい） 20 ありフェイトが留学生として通った小学校は？私立聖祥大附属小学校です。私立聖祥大附属小学校です。〇〇〇〇

80 リトリーバル（検索）の課題 1 多数の文書の類似したセンテンスに埋もれてしまう（ノイズ） 2 網羅性（同義語、類義語、関連用語を網羅しきれない。セマンティック検索といっても万能ではない） 3 対話文脈の反映漏れ（ユーザーの直近の入力（質問）文だけでデータベースを検索してよいか？） 4 ベクトル検索に不適合なクエリー（型番など特定の文字列、フレーズへ正確に一致する検索は苦手） 5 複雑、複合的な質問（「Uber と Lyft のそれぞれの戦略の違いを教えてください」のような比較など） 6 そもそもデータベースに登録されているドキュメントは、「質問文」の形をしていない 7 検索結果をLLMのコンテキストに入力する際の並び順 Tips これらの課題には既に対処方法が提案されていますが、適用する対処方法が多い程、応答時間が長くなる、LLMの使用料が増える、アプリケーションが複雑になるなどトレードオフがあります。また、副作用で精度が落ちることもありユースケース（データ、質問）に合わせた試行錯誤が必要です。

Copyright © 2024, Oracle and/or its affiliates 81 アプリケーションベクトルデータベース
LLM ④クエリー ⑤検索結果 ①質問 ⑧回答 ⑥回答生成指示 ⑦回答ナレッジベースチャンキング（ベクトル化できる小さなチャンクに分割）インデックス化クエリーの網羅性を高めるためオリジナルの質問に近い質問文を複数生成する ②複数クエリーの生成を指示 ③生成したクエリー（複数）リトリーバル網羅性 Advanced RAG クエリー拡張（マルチクエリー）

LLM ④クエリー ⑤検索結果 ①質問 ⑧回答 ⑥回答生成指示 ⑦回答ナレッジベースチャンキング（ベクトル化できる小さなチャンクに分割）生成された複数のクエリーで検索インデックス化クエリーの網羅性を高めるためオリジナルの質問に近い質問文を複数生成する ②複数クエリーの生成を指示 ③生成したクエリー（複数）リトリーバル網羅性 Advanced RAG クエリー拡張（マルチクエリー）

LLM ④クエリー ⑤検索結果 ①質問 ⑧回答 ⑥回答生成指示 ⑦回答ナレッジベースチャンキング（ベクトル化できる小さなチャンクに分割）生成された複数のクエリーで検索インデックス化クエリーの網羅性を高めるためオリジナルの質問に近い質問文を複数生成する ②複数クエリーの生成を指示 ③生成したクエリー（複数）検索結果に回答生成に必要な情報が含まれる可能性が高まるリトリーバル網羅性 Advanced RAG クエリー拡張（マルチクエリー）

LLM ④クエリー ⑤検索結果 ①質問 ⑧回答 ⑥回答生成指示 ⑦回答ナレッジベースチャンキング（ベクトル化できる小さなチャンクに分割）生成された複数のクエリーで検索インデックス化クエリーの網羅性を高めるためオリジナルの質問に近い質問文を複数生成する ②複数クエリーの生成を指示 ③生成したクエリー（複数）検索結果に回答生成に必要な情報が含まれる可能性が高まるリトリーバル網羅性 Advanced RAG クエリー拡張（マルチクエリー） LangChain では、MultiQueryRetriever を利用できます。

Copyright © 2024, Oracle and/or its affiliates 86 チャット形式の場合、ユーザーの直近の「質問」だけでは文脈を反映していない
東京都内のゼロメートル地帯は？ゼロメートル地帯とは、海抜が0メートル前後の低い土地のことをいい、高潮や豪雨などの際に浸⽔被害が発生する可能性が高い地域です。東京都内のゼロメートル地帯としては、以下のような地域が知られています。江⼾川区、葛飾区、⾜立区、江東区、港区、千代田区これらの地域は、かつて海や川だった場所を埋め立てて土地を造成したエリアが多く、標高が低いためにゼロメートル地帯となっています。気候変動の影響は？気候変動は、地球の自然な気候システムに長期的な変化をもたらす人間の活動の影響を指し、すでに深刻で広範な影響を及ぼしています。気候変動の影響には次のようなものがあります。極端な気象現象の増加：気候変動は、熱波、干ばつ、豪雨、暴⾵雨などの極端な気象現象の頻度と激しさを増加させています。これらのイベントは人命、インフラ、農業に壊滅的な影響を与えます。たとえば、より激しい熱波は深刻な健康問題を引き起こし、……….（以下省略）） ※LLMとのチャットでは、会話履歴を都度LLMへ入力して文脈をLLMに伝えることができますがベクトルデータベースの検索でクエリーに長い会話履歴を含めることはできません。リトリーバル対話文脈の反映漏れ Advanced RAG クエリーの文脈拡張

Copyright © 2024, Oracle and/or its affiliates 87 チャット形式の場合、ユーザーの直近の「質問」だけでは文脈を反映していない
東京都内のゼロメートル地帯は？ゼロメートル地帯とは、海抜が0メートル前後の低い土地のことをいい、高潮や豪雨などの際に浸⽔被害が発生する可能性が高い地域です。東京都内のゼロメートル地帯としては、以下のような地域が知られています。江⼾川区、葛飾区、⾜立区、江東区、港区、千代田区これらの地域は、かつて海や川だった場所を埋め立てて土地を造成したエリアが多く、標高が低いためにゼロメートル地帯となっています。気候変動の影響は？気候変動は、地球の自然な気候システムに長期的な変化をもたらす人間の活動の影響を指し、すでに深刻で広範な影響を及ぼしています。気候変動の影響には次のようなものがあります。極端な気象現象の増加：気候変動は、熱波、干ばつ、豪雨、暴⾵雨などの極端な気象現象の頻度と激しさを増加させています。これらのイベントは人命、インフラ、農業に壊滅的な影響を与えます。たとえば、より激しい熱波は深刻な健康問題を引き起こし、……….（以下省略）） ※LLMとのチャットでは、会話履歴を都度LLMへ入力して文脈をLLMに伝えることができますがベクトルデータベースの検索でクエリーに長い会話履歴を含めることはできません。リトリーバル対話文脈の反映漏れ Advanced RAG クエリーの文脈拡張東京のゼロメートル地帯への気候変動の影響を聞いているのに一般的な気候変動の影響を答えてしまっている

LLM ④クエリー ⑤検索結果 ①質問 ⑥回答 ④回答生成指示 ⑤回答ナレッジベースチャンキング（ベクトル化できる小さなチャンクに分割）インデックス化会話履歴から質問者の意図を推測させてクエリーを書き換える。同時にクエリーの網羅性を高めるため複数のクエリーを生成する ②クエリーの書き換え指示 ③生成したクエリー（複数）リトリーバル対話文脈の反映漏れ Advanced RAG クエリーの文脈拡張

LLM ④クエリー ⑤検索結果 ①質問 ⑥回答 ④回答生成指示 ⑤回答ナレッジベースチャンキング（ベクトル化できる小さなチャンクに分割）生成された複数のクエリーで検索インデックス化会話履歴から質問者の意図を推測させてクエリーを書き換える。同時にクエリーの網羅性を高めるため複数のクエリーを生成する ②クエリーの書き換え指示 ③生成したクエリー（複数）リトリーバル対話文脈の反映漏れ Advanced RAG クエリーの文脈拡張

Copyright © 2024, Oracle and/or its affiliates 90 **指示あなたはデータサイエンティストです。セマンティックサーチが得意なベクトルデータベースに問い合わせるクエリーを書いています。
以下のステップでユーザーの質問をベクトルデータベースへの適切な問い合わせ文5つに書き直してください。各ステップの途中経過は出力しないでください。ステップ１）：会話履歴の中でユーザーが関⼼を持っている事物とアシスタントの応答の中でユーザーの関⼼と関連の深い事物を抽出します。ステップ２）：ユーザーの質問に現れる単語の同義語や言葉の揺らぎ、関連用語を幅広く想起します。ステップ３）：会話履歴からユーザーの意図を推測します。ステップ４）：抽出したユーザーが関⼼を持っている事物とアシスタントの応答の中でユーザーの関⼼と関連の深い事物を、問い合わせに反映します。ステップ５）：問い合わせ文を5つ生成します。ステップ６）：問い合わせ文群をjson形式で返してください。ステップバイステップで考えましょう。 jsonの例： [ {query:"問い合わせ１"}, {query:"問い合わせ２"}, {query:"問い合わせ３"}, {query:"問い合わせ４"}, {query:"問い合わせ５"} ] **会話履歴：{context} **ユーザーの質問：{question} クエリーへ文脈を反映させるプロンプトの例 [ {query: "ゼロメートル地帯は気候変動によってどのような影響を受ける可能性がありますか？"}, {query: "ゼロメートル地帯の浸⽔リスクは気候変動によってどのように変化すると予想されますか？"}, {query: "海抜0メートル前後の土地は気候変動による高潮や豪雨の影響をどれほど受けるのでしょうか？"}, {query: "東京都内のゼロメートル地帯が気候変動によって直⾯する課題は何ですか？"}, {query: "気候変動は東京都内のゼロメートル地帯の住環境にどのようなインパクトを与えますか？"} ] 東京ゼロメートル地帯と気候変動の場合のクエリー生成の例会話履歴を挿入ユーザーの質問を挿入リトリーバル対話文脈の反映漏れ Advanced RAG クエリーの文脈拡張気候変動の影響は？東京都内のゼロメートル地帯は？ LangChain では、 create_history_aware_retriever 、もしくは、 LangGraph を利用できます。下記は自前実装の例。

LLM ②クエリー ③検索結果 ①質問 ⑥回答 ④回答生成指示 ⑤回答ナレッジベーステキストサーチエンジンチャンキングｲﾝﾃﾞｷｼﾝｸﾞリトリーバルベクトル検索に不適合 Advanced RAG ハイブリッド検索型番などの文字列やフレーズに対する厳密な検索はテキスト（キーワード）検索が優れている LangChain では、EnsembleRetriever で、複数のリトリーバーの結果を統合できます。

LLM ②クエリー ③検索結果 ①質問 ⑥回答 ④回答生成指示 ⑤回答チャンキングｲﾝﾃﾞｷｼﾝｸﾞテキストサーチエンジンリランカーリランク質問文とデータベースの検索結果（複数）を入力として、質問文への回答作成に相応しい順番に並べ替える操作。リランカーと呼ばれる機械学習モデル（Cohere Rerank等）が使われることが多い。リトリーバルベクトル検索に不適合 Advanced RAG ハイブリッド検索

Copyright © 2024, Oracle and/or its affiliates 95 ベクトルデータベースでは、入力クエリーが複雑な場合、複合的な意味を持っている場合、複数のサブクエリへ分割することで精度を高められることがあります
元のクエリー分割されたサブクエリー “日本人のアニメファンがアニメ関連で年間で消費する⾦額と鉄道ファンの年間消費⾦額は一人当たりではどっちが多い？” 日本人アニメファン年間消費⾦額日本人鉄道ファン年間消費⾦額 OCI Generative AI(Cohere Command R) の search_queries_only オプションの実行例リトリーバル複雑な質問 Advanced RAG サブクエリーそもそもデータベースに登録されているドキュメントは、「質問文」の形をしていない

Copyright © 2024, Oracle and/or its affiliates 97 • ユーザーの質問とそれに対応するドキュメントの文章自体は必ずしも類似していないため適切なチャンクを見つけられな
いことがあります ➢ 例：「何か美味しい物が食べたい」という質問に似た文章がレストランガイドにはないため、適切なレストランの情報を見つけられない • HyDEでは、質問から想定される仮の回答を生成し、その埋め込みを使って類似するチャンクを検索します。これにより、質問文と直接的な類似性が低い文書であっても、質問に対する答えとなりうる情報を含む文書チャンクを取得できるようになります（ひとつの仮想回答の特徴に引きずられないように複数の仮想回答の埋め込みの平均を使うこともできます）。元のクエリー生成された仮の回答 KellyとWilliamsによる倫理の定義は何ですか？ KellyとWilliamsによると、倫理とは人々が正しい行動をするための原則や価値観の集合です。これには誠実さ、公正さ、責任感などが含まれます。 Advanced RAG — Improving retrieval using Hypothetical Document Embeddings(HyDE) より引用リトリーバル質問文とドキュメントの乖離 Advanced RAG HyDE (Hypothetical Document Embeddings) ※HyDE は、” Does BERT Make Any Sense? Interpretable Word Sense Disambiguation with Contextualized Embeddings” （https://arxiv.org/abs/1909.10430）によって最初に提案されました。 RAGのベクトル検索結果をリランカーで再び並べかえるのはなぜ？そして、その先へ！補⾜１：クエリとドキュメントは似ていない件もご参照くさい。 LangChain では、 HypotheticalDocumentEmbedder を利用できます。

リトリーバルと生成ナイーブ（ベーシック） RAG Copyright © 2024, Oracle and/or its affiliates
99 検索結果を LLM へ渡す際の並び順により生成される回答の品質が影響を受ける Lost in the Middle: How Language Models Use Long Contexts https://arxiv.org/abs/2307.03172 より • LLM は、コンテキスト（入力データ）の先頭付近と末尾付近のデータ）は有効活用できるが、中ほどのデータを活用しきれない性質がある。 • ベクトルデータベースは、「質問文の埋め込み」と「データベースに登録されているテキストの埋め込み」の類似度を計算して、近い順に返してくれるもの。文と文の類似度を直接計算しているわけではない。つまり、本当に似ている順になっているか怪しい。おぼえていますか？

Copyright © 2024, Oracle and/or its affiliates 100 リトリーバル検索結果の並び順
Advanced RAG リランカー元のテキストの情報が希釈された埋め込みを比較して並べ替えるため、精度は劣るが高速に処理できる元のテキストの全情報を使って、並べ替えるため、高い精度で並べ替えることができる RAGのベクトル検索結果をリランカーで再び並べかえるのはなぜ？そして、その先へ！ https://qiita.com/yuji-arakawa/items/3f68a7136e42f743ae6b （問い合わせ文）（DBに格納されたテキスト群）（問い合わせ文）（DBにから返された検索結果群）検索結果を LLM へ渡す際の並び順により生成される回答の品質が影響を受ける DBに保存する埋め込みはあらかじめ生成しておくことができるため、検索時には「問い合わせ文」の埋め込みだけ生成すればよく高速

Copyright © 2024, Oracle and/or its affiliates 101 リトリーバル検索結果の並び順
Advanced RAG リランカー（問い合わせ文）（DBに格納されたテキスト群）（問い合わせ文）（DBにから返された検索結果群） 1. ベクトルデータベースで大規模なデータから候補を絞り込む（例：上位 100件） 2. 次にリランカーで候補のリランキングを行い、より高い精度で並べ替えた検索結果をLLMへの入力とする（例：上位10件）検索結果を LLM へ渡す際の並び順により生成される回答の品質が影響を受ける LangChain では、ContextualCompressionRetriever で実装できます。

リランカー（類似性検索）

最近の研究による発展 LLM への入力データ（DBの検索結果）の並び順に関する展望 Copyright © 2024, Oracle and/or its affiliates
105 類似度検索のスコアやリランカーによって入力データの並び順を決定しているのは以下の仮定（期待）に基づいている質問文への類似度が高いチャンクほど正解を含んでいる可能性が高いという仮定。つまり、正解を含んだチャンクや正答率が高くなる配置はわからないので、次善の策として類似度順に並べ替えてうまく行くと期待している “Likelihood as a Performance Gauge for Retrieval-Augmented Generatio”n（https://arxiv.org/abs/2411.07773）という論文で、以下のことが報告されていますまた、この研究ではこの最適な配置を効率的に割り出す2つの方法（Naïve likelihood-based selectionとGold Document Reordering）も提案されており、今後の発展が期待されます。 RAGの回答精度が高くなる検索結果の配置を質問文の尤度（検索で与えられた文書群を見た後の質問文の条件付き尤度）を計算することで予測できる RAGのベクトル検索結果をリランカーで再び並べかえるのはなぜ？そして、その先へ！今後の展望もご参照くさい。

最近の研究による発展 LLM への入力データ（DBの検索結果）の並び順に関する展望 Copyright © 2024, Oracle and/or its affiliates
106 類似度検索のスコアやリランカーによって入力データの並び順を決定しているのは以下の仮定（期待）に基づいている質問文への類似度が高いチャンクほど正解を含んでいる可能性が高いという仮定。つまり、正解を含んだチャンクや正答率が高くなる配置はわからないので、次善の策として類似度順に並べ替えてうまく行くと期待している “Likelihood as a Performance Gauge for Retrieval-Augmented Generatio”n（https://arxiv.org/abs/2411.07773）という論文で、以下のことが報告されていますまた、この研究ではこの最適な配置を効率的に割り出す2つの方法（Naïve likelihood-based selectionとGold Document Reordering）も提案されており、今後の発展が期待されます。 RAGの回答精度が高くなる検索結果の配置を質問文の尤度（検索で与えられた文書群を見た後の質問文の条件付き尤度）を計算することで予測できる誤解を恐れずに単純化すると、 LLMにとって入力されたチャンクの並びと質問の配置が「自然」に感じられる時、回答の精度が高くなる傾向がある。そして、この「自然」な配置を推測する方法が存在する。したがって、データベースを検索したら、検索結果のこの「自然」な配置を割り出して、その順番でLLMへ入力することで高い精度を実現できる可能性がある RAGのベクトル検索結果をリランカーで再び並べかえるのはなぜ？そして、その先へ！今後の展望もご参照くさい。

テキスト以外のデータも扱うマルチモーダルRAGへの展望 Copyright © 2024, Oracle and/or its affiliates 107 画像をできるだけ詳細
に説明してください。この画像は、RAG（Retrieval-Augmented Generation）のプロセスを説明している図です。RAGは、検索と生成を組み合わせたテクノロジーで、特に行政やエンタープライズのデータ利活用に用いられます。質問：ユーザーが質問を提出します。クエリ：アプリケーションが質問を解析し、検索用のクエリを作成します。検索結果：クエリがデータベースに送られ、関連するデータが検索されます。回答生成指示：大規模言語モデルが検索結果を分析し、回答の指示を生成します。回答：アプリケーションが指示に基づいて回答を生成します。回答：ユーザーが回答を受け取ります。データソースには、非構造化データと構造化データがあります。非構造化データには、住民情報、防災情報、ゴミ収集管理、文書管理、 Workday、議会情報、税務情報、福祉情報、公共施設予約などが含まれます。構造化データには、JSON、リレーショナル、ベクトル、グラフ、テキストサーチ、地理空間データなどが含まれます。このプロセスは、データの取り込み、同期、インデックス化を含みます。データの取り込みは、さまざまなデータソースから行われ、同期はデータの更新を管理し、インデックス化はデータの検索を効率化します。 MLLM（マルチモーダルLLM）もしくは LVLM （ラージビジョンランゲージモデル） MLLM(LVLM)で生成した画像のキャプションをベクトルデータベースへ格納しておくことで、 • 問い合わせ文に関連した画像を提示したり • 図で説明していることも根拠として回答を生成できるプロンプトマルチモーダル画像検索アプリを作ってみた！

テキスト以外のデータも扱うマルチモーダルRAGへの展望 Copyright © 2024, Oracle and/or its affiliates 108 マルチモーダルLLMアーキテクチャ概要
マルチモーダル画像検索アプリを作ってみた！マルチモーダルLLMは、画像埋め込みモデルと大規模言語モデルのキメラとも言える構造をしています。 • Vision Encoder：CLIPなどの画像埋め込みモデルを使用して、画像から視覚的特徴を抽出した画像ベクトルを生成します • Projection：画像ベクトルを大規模言語モデルの（テキストの）埋め込み空間へマッピングします • 大規模言語モデル：テキストと視覚情報を統合して回答を生成します

生成AIアプリケーションのデプロイメント Copyright © 2024, Oracle and/or its affiliates 109 サーバーレス生成AIアプリの育てかた：OCI
Generative AI + Functions + API Gateway + Gradio Lite 編 https://qiita.com/yuji-arakawa/items/28f30a5434ba429f3f16 エンタープライズAIモデルとサービスのAPI管理プラットフォームを実装 https://docs.oracle.com/ja/solutions/implement-ai-model-api- management/index.html

Copyright © 2024, Oracle and/or its affiliates 110 Oracle Cloud
Infrastructure（OCI）の利用は広がってきています！が、「OCIは情報が少ない」というお声をしばしばいただきます… 弊社でも情報発信は力を入れていますが、社外の方にもブログや記事を書いていただけると大変ありがたいです！ QiitaやZenn、はてなブログ、自社サイト、Xでのポストなどなんでも歓迎です！！サービス触ってみた／やってみた系、Tips、ちょっとした気づき、などなどなんでもありがたいです！！ぜひお力をお貸しください！！ We want YOU for OCI contributors!! 書いてくれたらみんなで「イイね！」するよ

Copyright © 2024, Oracle and/or its affiliates 112 コラム –
プロンプトエンジニアリング/RAG/ファインチューニング特定のタスクやドメインへの最適化の必要性 • 分類や要約の精度を上げる、速度を上げる、推論コストを下げるなど • 医療、⾦融、数学などの特定領域の質問に的確に答えらえるようにするなど外部知識の必要性 Retrieval-Augmented Generation for Large Language Models: A Survey Yunfan Gao, Yun Xiong, Xinyu Gao, et al. ( https://arxiv.org/abs/2312.10997 )

Copyright © 2024, Oracle and/or its affiliates 113 コラム –
プロンプトエンジニアリング/RAG/ファインチューニング Retrieval-Augmented Generation for Large Language Models: A Survey Yunfan Gao, Yun Xiong, Xinyu Gao, et al. ( https://arxiv.org/abs/2312.10997 ) 外部知識の必要性プロンプトエンジニアリング＋ RAG プロンプトエンジニアリングプロンプトエンジニアリング＋ RAG ＋ファインチューニングファインチューニング特定のタスクやドメインへの最適化の必要性 • 分類や要約の精度を上げる、速度を上げる、推論コストを下げるなど • 医療、⾦融、数学などの特定領域の質問に的確に答えらえるようにするなど

生成AIをより賢く エンジニアのための RAG入門 - Oracle AI Jam Sessi...

生成AIをより賢く エンジニアのための RAG入門 - Oracle AI Jam Session #20

Other Decks in Technology

Featured

Transcript

生成AIをより賢くエンジニアのための RAG入門 - Oracle AI Jam Sessi...

生成AIをより賢くエンジニアのための RAG入門 - Oracle AI Jam Session #20