文字列照合に基づく全文検索について

文字列照合に基づく全文検索について自然言語処理研究室 B3 福嶋真也

参考文献北研二、津田和彦、獅々堀正幹著「情報検索アルゴリズム」 2002年共立出版株式会社平田
富夫著「アルゴリズムとデータ構造」 1990年森北出版会社

全文検索とは与えられたキーワードに対して、文書中からキーワードと完全に一致する部分を探し出す技術テキストエディタの検索コマンドやテキストデータベースの検索、スペリング検査、テキスト編集などに利用大きく分けて２つの方法が存在・文字列照合を用いる方法・索引を用いる方法今回は文字列照合を用いる方法について紹介

文字列照合に用いられるアルゴリズム単一のキーワードに対して用いられるアルゴリズム・ Knuth-Morris-Pratt法（KMP法）・Boyer-Moore法（BM法）複数のキーワードに対して用いられるアルゴリズム・Aho-Corasick法（AC法）

SimpleSearch もっとも単純な文字列照合アルゴリズムキーワード（長さn）に対して検索対象となる文字列（テキストストリング）の１文字目からn文字目まで一致しているか確認２文字目からn+1文字まで一致しているか確認テキストストリングの文字列の末尾まで繰り返す・・・

SimpleSearch 例キーワード abcaba テキストストリング abcabcababcab 位置 1 2 3
4 5 6 7 8 9 10 11 12 13 text a b c a b c a b a b c a b 照合状況〇〇〇〇〇 × × × 〇〇〇〇〇 ◎ × × 〇〇 × ×

KMP法 SimpleSearchでは１文字ずつずらすずらす量を変えることができれば試行回数は少なくなる失敗関数を用いてずらす量を計算失敗関数 f(i)=1+max{u|0≦u<i-1,1 2 … = −
−+1 … −1}

KMP法例キーワード abcaba テキストストリング abcabcaba 位置 1 2 3
4 5 6 7 8 9 text a b c a b c a b a 照合状況〇〇〇〇〇 × 〇〇〇 ◎

KMP法失敗関数位置 1 2 3 4 5 6 7
キーワード a b c a b a a b c a b a a b c a b a f(i) 0 1 1 0 1 3 2

BM法キーワードの末尾から照合をしていくことでずらせる量を増やす方法例キーワード abcaba テキストストリング abcabcaba 位置 1
2 3 4 5 6 7 8 9 text a b c a b c a b a 照合状況 × ◎ 〇〇〇〇〇

BM法 skip関数キーワードの末尾から何文字目に目的の文字が存在するかを示す関数（もしキーワード内に目的の文字がなければキーワードの長さがskip関数の値となる）例:abcaba 文字 Skip関数 a
2 b 1 c 3 その他の文字 6

AC法マシンACと呼ばれる一種の有限オートマトンを複数のキーワードから構成し、これに入力としてテキストストリングを与えることで文字列照合を行う手法 ※有限オートマトン有限個の状態の遷移と動作の組み合わせからなる「ふるまいのモデル」現在状態から遷移しうる状態、遷移のきっかけとなる条件を列挙することで定義される

AC法マシンAC goto関数、failure関数、output関数からなる goto関数入力によってどのような状態に遷移するかを示す状態遷移図 failure関数 goto関数で遷移が失敗したときにどの状態になるかを表す関数 output関数ある状態になったとき検出されるキーワードを表す関数

AC法例１：｛”ab”,”bc”,”bab”,”d”,”abcde”}のキーワードからなるマシン AC s f(s) 1 0 2 3 3
0 4 0 5 1 6 2 7 0 8 4 9 7 10 0 s output(s) 2 {“ab”} 4 {“bc”} 6 {“bab”,”ab”} 7 {“d”} 8 {“bc”} 9 {“d”} 10 {“abcde”} (a)goto関数 (b)failure関数 (c)output関数

AC法例２：テキストストリング”xbabcdexを例１の入力として入れた時の遷移 0 0 3 5 6 8 9
10 0 goto関数による遷移 failure関数による遷移 2 0 x b x b a c d e

本日の発表内容全文検索・SimpleSearch ・KMP法・BM法・AC法

文字列照合に基づく全文検索について

文字列照合に基づく全文検索について

masaya82

More Decks by masaya82

Featured

Transcript