テキスト検索の原点：全文検索のしくみと活用ポイント

by segavvy

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

検索は「道具」 • ⽬的は「必要な情報を⾒つける」ことであり「○○検索」はそのために使う「道具」 • 状況によって適切な道具は変わる a. ある商品のレビューと似たようなレビューを探したい時レビューの⼀覧を⼆分探索したりはしない b. 商品コードがわかっている商品の在庫数が知りたい時商品DBを全⽂検索したりはしない c. ソースコードから特定関数の呼び出し箇所を列挙したい時ソースコードをベクトル検索したりはしない ©2024 segavvy 2024/1/18【StudyCo with Momento】LLMに独⾃知識で回答させる「RAG」の理解を深めよう 4

Slide 5

Slide 5 text

使い分けるために道具を知ろう • 定型データ（数値、⽇付、固定⻑の⽂字列など）の検索道具は基本アルゴリズムとして学ぶ機会が多い線形探索、⼆分探索⽊、ハッシュテーブル、etc. • テキストデータの検索道具は学ぶ機会が少ないベクトル検索ここまでのセッションでご紹介済み全⽂検索このセッションでご紹介 ©2024 segavvy 2024/1/18【StudyCo with Momento】LLMに独⾃知識で回答させる「RAG」の理解を深めよう 5

Slide 6

Slide 6 text

Slide 7

Slide 7 text

©2024 segavvy 2024/1/18【StudyCo with Momento】LLMに独⾃知識で回答させる「RAG」の理解を深めよう 7 ʢٳܜʣࣗݾ঺հ ͕͑͠Β ͔ͨ͠ ߐ಄ و࢙ !TFHBWWZʢηΨϏʣ גࣜձࣾΞΠΞΫτ ਓ޻஌ೳɾίάχςΟϒιϦϡʔγϣϯ෦ ςΫχΧϧσ ΟϨΫλʔ݉ΧελϚʔαΫηενʔϜ Ϧʔμʔ ΋ͷͮ͘Γ΍࢓૊Έͮ͘Γ͕େ޷͖ɻ"*ͷࣾձ࣮૷ʹᬏਐதʂ

Slide 8

Slide 8 text

Slide 9

Slide 9 text

仕組みは本の索引と同じ索引【あ】あご 3巻 13 ⾜ 4巻 239 頭 2巻 192 【い】胃 2巻 28 【う】腕 4巻 32 うなじ 2巻 129 本は索引を⾒れば⽬的ページがすぐわかる「⾜」については 4巻の239ページ︕ 全⽂検索でも検索するために索引をあらかじめ作っておく︕ ©2024 segavvy 2024/1/18【StudyCo with Momento】LLMに独⾃知識で回答させる「RAG」の理解を深めよう 9

Slide 10

Slide 10 text

索引に載せる⾔葉はどう選ぶのか︖ 索引にない⾔葉では検索できないどんな条件でも検索できるように索引を作る必要がある代表的な 2つの作り⽅をご紹介 ○ ”AI” は検索できる × “RAG” は索引にないので検索できない⾔葉単語の出現場所 AI ⽂書A（5、15⽂字⽬）⽂書F（... 勉強⽂書A（8、18⽂字⽬）⽂書G（… する⽂書A（3、20⽂字⽬）⽂書B（… ⼈達⽂書A（12⽂字⽬）⽂書D（… ©2024 segavvy 2024/1/18【StudyCo with Momento】LLMに独⾃知識で回答させる「RAG」の理解を深めよう 10

Slide 11

Slide 11 text

索引の作成時 1.⽤語辞書（品詞や原形）を使い分解 2.助詞などの不要なものを除去 3.変化しているものを原形へ戻す索引の作り⽅︓①⽇本語解析 A I を勉強した⼈達 A I 勉強する⼈達検索時検索条件の⽂字に対して同様の処理を実施してから索引を調べる索引を⾒てこれらがすべてあるものを探す A I を勉強した⼈達 A I 勉強し⼈達 A I の勉強 A I 勉強 ©2024 segavvy 2024/1/18【StudyCo with Momento】LLMに独⾃知識で回答させる「RAG」の理解を深めよう 11

Slide 12

Slide 12 text

A I を勉強した⼈達 A I を勉強した⼈達 A I を勉強した⼈達 A I を勉強した⼈達 A I を勉強した⼈達 A I を勉強した⼈達 A I を勉強した⼈達 A I を勉強した⼈達索引の作り⽅︓②単純に切り刻む A I を勉強した⼈達検索時検索条件の⽂字に対して同じ⽂字数で切り出す最後の半端は前の⽂字で⽂字数を合わせる※ 索引を⾒てこれらがすべてあるものを探す索引の作成時 1⽂字ずつずらしながら固定の⽂字数で切り出していく A I の勉強 A I の勉勉強 ※ 切り出し⽂字数が2の場合 ©2024 segavvy 2024/1/18【StudyCo with Momento】LLMに独⾃知識で回答させる「RAG」の理解を深めよう 12

Slide 13

Slide 13 text

②単純に切り刻む︓⾔葉の途中が該当東京都府中市は東京京都都府府中中市に分解 “京都” で検索されてしまう索引の課題 ①⽇本語解析︓解析ミス Honda Cars 東京都は Honda Cars 東京都に分解解析部分を調整したり後処理で不要なものを除いたり両⽅の⽅式を組み合わせたり etc. 正しくはひがしきょうと Honda Cars 東京都 ©2024 segavvy 2024/1/18【StudyCo with Momento】LLMに独⾃知識で回答させる「RAG」の理解を深めよう 13 “京都” で検索できない “東京” で検索されてしまう

Slide 14

Slide 14 text

表記のゆれに対応する仕組みゆれを統⼀する表や同義語辞書などを⽤意して処理 1 全半⾓ＡＢＣ = ABC アイウ = ｱｲｳ 2 ⼤⼩⽂字ＡＢＣ = ａｂｃ ABC = abc 3 ひらがな・カタカナりんご = リンゴみかん = ミカン 4 数字 123 = 一二三 = 百二十三 = ⅠⅡⅢ 5 異体字・新旧字体高 = 髙斉 = 齊辺 = 邊 6 送り仮名引っ越し = 引越し = 引越 7 同義語アメリカ = 米国 = 合衆国 = USA 8 記号ー = ｰ = - = － = ― = ‐ ©2024 segavvy 2024/1/18【StudyCo with Momento】LLMに独⾃知識で回答させる「RAG」の理解を深めよう 14

Slide 15

Slide 15 text

第2章のまとめ全⽂検索の仕組み専⾨⽤語 1 事前に索引を作ること・その索引インデキシング・インデックス 2 索引データ（⾔葉と出現位置の対応表）転置インデックス、転置ファイル 3 索引作成のために対象のデータを集めることクローリング、クロールする 4 ⽇本語の解析処理により⾔葉を切り出すこと形態素解析、分かち書き 5 検索で不要な助詞などの⾔葉を索引から除くことストップワードの除去 6 ⽂章を⼀定の⽂字数で単純に切り刻む⽅式 n-gram（エヌ・グラム） 7 ⽂章の分割ミスなどにより検索に該当しないこと検索もれ 8 ⽂章の分割ミスなどにより間違って該当したデータ検索ノイズ 9 表記ゆれを統⼀したり辞書を使って対応する処理正規化、ステミング、辞書展開 ©2024 segavvy 2024/1/18【StudyCo with Momento】LLMに独⾃知識で回答させる「RAG」の理解を深めよう 15

Slide 16

Slide 16 text

©2024 segavvy 2024/1/18【StudyCo with Momento】LLMに独⾃知識で回答させる「RAG」の理解を深めよう 16 ʢٳܜʣୈ̎ষͷݩهࣄͷ͝঺հ ୈষ͸೥݄ʹ ॻ͍ͨʮ୭Ͱ΋Θ͔Δશ จݕࡧೖ໳ʯͷൈਮͰ͢ ΋͏গ͠ৄ͘͠ղઆͯ͠ ͍·͢ͷͰɺ͝ڵຯ͕͋ Γ·ͨ͠Βͥͻʂ https://zenn.dev/segavvy/articles/e97fa8417a0ee3

Slide 17

Slide 17 text

Slide 18

Slide 18 text

道具は万能ではないので組み合わせよう︕ 検索＋ランカー検索結果のランキング（ベクトル検索はベクトルの類似度、全⽂検索は BM25などの単語の出現頻度ベースが⼀般的）がイマイチの場合は別のアルゴリズムや外部の情報でリランクする検索＋レコメンドどちらも「利⽤者が必要な情報を提供」という⽬的は同じ利⽤者に合わせた情報や検索では該当しない情報も提供できるベクトル検索＋全⽂検索ベクトル検索は意味検索が得意で全⽂検索は字⾯の検索が得意両者を組み合わせて良いとこ取りする ©2024 segavvy 2024/1/18【StudyCo with Momento】LLMに独⾃知識で回答させる「RAG」の理解を深めよう 18

Slide 19

Slide 19 text

⽬的に合わせて道具を調整しよう︕ 全⽂検索は字⾯に関する調整がしやすい固有の商品名・略称・型番などの同⼀視は同義語辞書で対応法律⽂書や史料における異体字の区別は正規化で調整できるベクトル検索ならLLMのファインチューニングただしデータセットの⽤意や過学習防⽌など難易度は⾼そう…… ランカーによる調整も有効⽇付や参照頻度などの別フィールドによるリランクは⽐較的容易対照学習によりランキングを調整できるものもある ©2024 segavvy 2024/1/18【StudyCo with Momento】LLMに独⾃知識で回答させる「RAG」の理解を深めよう 19

Slide 20

Slide 20 text

道具だけに頼らず⼯夫しよう︕ たとえば社内のファイルを⾃然⽂で検索したい場合 • ファイルが格納された既存DBのインデックスを流⽤する LLMに⾃然⽂の条件からDB向けのクエリーを⽣成させる • 条件が単語のみだと検索の精度が上がらないので LLMに必要な条件が揃うまで聞き返しをさせる「RAG」で検索された時「RAGの何を知りたいですか︖」と聞き返す • ⼊⼒されなくても分かっている条件を⾃動的に補う「RAGの概要が知りたい」でも営業職と技術職では欲しい情報が違う所属部⾨と連動させて条件を補完したり対象DBを選択したりする ©2024 segavvy 2024/1/18【StudyCo with Momento】LLMに独⾃知識で回答させる「RAG」の理解を深めよう 20