FM-index による全文検索

https://kujira16.hateblo.jp/entry/2015/02/06/210630

Transcript

1. FM-IndexʹΑΔશจݕࡧ ܭࢉػ࣮शE ࣗ༝՝୊
2. • จॻ͔ΒจࣈྻΛݕࡧ͢Δํ๏͸2௨Γʹ෼ྨͰ͖Δ A. લॲཧ͕ෆཁͳํ๏ (ྗ೚ͤͳํ๏, KMP๏, BM๏) B. લॲཧ͕ඞཁͳํ๏ (సஔΠϯσοΫε, ઀ඌࣙ഑ྻ) • B͸લॲཧͷ͕࣌ؒඞཁͳ͔ΘΓʹ,
 ಉ͡จॻ͔ΒԿճ΋ݕࡧ͢Δ৔߹͸AΑΓ΋ߴ଎ • FM-Index͸Bʹ෼ྨ͞ΕΔํ๏Ͱ,
 จॻͷ௕͞ʹґଘ͠ͳ͍࣌ؒͰݕࡧͰ͖Δ
3. લॲཧ̍ɿ઀ඌࣙ഑ྻͷߏங จॻ mississippi mississippi$ ΤϯυϚʔΧ$Λ௥Ճ mississippi$ ississippi$ ssissippi$ sissippi$ issippi$ ssippi$ sippi$ ippi$ ppi$ pi$ i$ $ ઀ඌࣙͷྻڍ
4. લॲཧ̍ɿ઀ඌࣙ഑ྻͷߏங 0 mississippi$ 1 ississippi$ 2 ssissippi$ 3 sissippi$ 4 issippi$ 5 ssippi$ 6 sippi$ 7 ippi$ 8 ppi$ 9 pi$ 10 i$ 11 $ 11 $ 10 i$ 7 ippi$ 4 issippi$ 1 ississippi$ 0 mississippi$ 9 pi$ 8 ppi$ 6 sippi$ 3 sissippi$ 5 ssippi$ 2 ssissippi$ ࣙॻॱͰιʔτ͢Δ ※$͸೚ҙͷΞϧϑΝϕοτΑΓ΋
 ॱҐ͕খ͍͞ͱ͢Δ ઀ඌࣙ഑ྻSA
5. લॲཧ̎ɿBWT
 (Burrows-Wheeler Transform) 11 $ 10 i$ 7 ippi$ 4 issippi$ 1 ississippi$ 0 mississippi$ 9 pi$ 8 ppi$ 6 sippi$ 3 sissippi$ 5 ssippi$ 2 ssissippi$ ݩͷจࣈྻʹ͓͚Δ
 ͻͱͭલͷจࣈʹ͢Δ i p s s m $ p i s s i i BWTจࣈྻT
6. ݕࡧॲཧ • BWTจࣈྻT = ipssm$pissii ʹ͍ͭͯ,
 ࣍ͷؔ਺Λఆٛ͢Δ • Rank(c,p) : T[0,p)ͷൣғͰ,
 ΞϧϑΝϕοτcͷग़ݱ਺Λฦ͢ • RankLT(c) : TશମͰ, cΑΓ΋ॱҐ͕খ͍͞
 ΞϧϑΝϕοτͷग़ݱ਺Λฦ͢
7. ݕࡧॲཧ $ i$ ippi$ issippi$ ississippi$ mississippi$ pi$ ppi$ sippi$ sissippi$ ssippi$ ssissippi$ i p s s m $ p i s s i i BWTจࣈྻT ઀ඌࣙ഑ྻSA
8. ݕࡧॲཧ $ i$ ippi$ issippi$ ississippi$ mississippi$ pi$ ppi$ sippi$ sissippi$ ssippi$ ssissippi$ i p s s m $ p i s s i i BWTจࣈྻT ઀ඌࣙ഑ྻSA 'i'+"ppi$"ͷ
 ઀ඌࣙ഑ྻ্Ͱͷ
 ग़ݱҐஔ͸ʁ
9. ݕࡧॲཧ $ i$ ippi$ issippi$ ississippi$ mississippi$ pi$ ppi$ sippi$ sissippi$ ssippi$ ssissippi$ i p s s m $ p i s s i i BWTจࣈྻT ઀ඌࣙ഑ྻSA 'i'+"ppi$"ͷ
 ઀ඌࣙ഑ྻ্Ͱͷ
 ग़ݱҐஔ͸ʁ
10. ݕࡧॲཧ $ i$ ippi$ issippi$ ississippi$ mississippi$ pi$ ppi$ sippi$ sissippi$ ssippi$ ssissippi$ i p s s m $ p i s s i i BWTจࣈྻT ઀ඌࣙ഑ྻSA 'i'+"ppi$"ͷ
 ઀ඌࣙ഑ྻ্Ͱͷ
 ग़ݱҐஔ͸ʁ LF-mapping c=T[p] ʹଓ͘จࣈྻͷ
 SA্Ͱͷग़ݱҐஔ͸
 RankLT(c)+Rank(c,p)
11. ݕࡧॲཧ $ i$ ippi$ issippi$ ississippi$ mississippi$ pi$ ppi$ sippi$ sissippi$ ssippi$ ssissippi$ i p s s m $ p i s s i i BWTจࣈྻT ઀ඌࣙ഑ྻSA "ssi"ͷݕࡧ [RankLT('i')+Rank('i', 0),
 RankLT('i')+Rank('i', 12)) 'i'Ͱ࢝·Δ
 จࣈྻ
12. ݕࡧॲཧ $ i$ ippi$ issippi$ ississippi$ mississippi$ pi$ ppi$ sippi$ sissippi$ ssippi$ ssissippi$ i p s s m $ p i s s i i BWTจࣈྻT ઀ඌࣙ഑ྻSA "ssi"ͷݕࡧ [RankLT('s')+Rank('s', 1),
 RankLT('s')+Rank('s', 5)) 's'+"i"Ͱ࢝·Δ
 จࣈྻ
13. ݕࡧॲཧ $ i$ ippi$ issippi$ ississippi$ mississippi$ pi$ ppi$ sippi$ sissippi$ ssippi$ ssissippi$ i p s s m $ p i s s i i BWTจࣈྻT ઀ඌࣙ഑ྻSA "ssi"ͷݕࡧ [RankLT('s')+Rank('s', 8),
 RankLT('s')+Rank('s', 10)) 's'+"si"Ͱ࢝·Δ
 จࣈྻ
14. ݕࡧॲཧ • FM-index͸, ݕࡧจࣈྻʹରԠ͢ΔҐஔͷߜΓࠐΈΛ
 LF-mappingͷ܁Γฦ͠ʹΑͬͯߦ͏ • LF-mapping͸ Rank ͱ RankLT Ͱߦ͑Δ • ͜ͷ2ͭͷॲཧ͸, ΢ΣʔϒϨοτ໦΍΢ΣʔϒϨοτߦྻΛ࢖͑͹
 O(log σ) ࣌ؒͰՄೳ (σ ͸ΞϧϑΝϕοτͷछྨ਺) • LF-mappingΛݕࡧจࣈྻQͷ௕͞෼͚ͩ܁Γฦ͢ͷͰ,
 Ұճͷݕࡧ͕O(m log σ) ࣌ؒͰՄೳ (m ͸ Q ͷจࣈ਺) • ݕࡧ͕࣌ؒจॻͷ௕͞ʹґଘ͠ͳ͍
15. ੍࡞෺ • ੨ۭจݿͰਓؾ͕͋Δਤॻ500࡭Λର৅ͱͨ͠
 ΢Σϒϒϥ΢β͔Β࢖͑ΔΠϯΫϦϝϯλϧݕࡧΛ੍࡞ • ઀ඌࣙ഑ྻͷߏங͸sais.hxx (ߴ଎ͳϥΠϒϥϦ) Λ࢖༻ • ΢ΣʔϒϨοτߦྻͱFM-Index͸ࣗ෼Ͱ࣮૷ (C++),
 boost-pythonʹΑΓPython༻ͷ֦ுϞδϡʔϧʹม׵ • Flask (Web App Framework@Python) ͔Βݺͼग़͢
16. ͏·͍͔͘ͳ͔ͬͨͱ͜Ζ • ͍͋·͍ݕࡧΛ࣮૷͠Α͏ͱͯ͠จݙΛ୳ͯ͠Έͨ
 → ฤूڑ཭ʹରͯ͠ࢦ਺͔͔࣌ؒΔΒ͍͠… • ࡞੒ͨ͠ࡧҾΛϑΝΠϧ͔ΒಡΈࠐΉॲཧͰ,
 طଘͷϥΠϒϥϦΛ࢖ͬͨΒ࢖༻ϝϞϦͷྔ͕രൃ
 (ݪҼෆ໌)
17. ·ͱΊ • ߴ଎ͳจࣈྻݕࡧͷΞϧΰϦζϜΛ࣮૷ͯ͠Έͨ • ϒϥ΢β͔Β࢖͑ΔΑ͏ʹͯ͠Έͨ ! • ࢀߟจݙ • Ԭ໺ݪ େี. ߴ଎จࣈྻղੳͷੈք. ؠ೾ॻళ. 2012.
18. (ิ଍) ΢ΣʔϒϨοτ໦ 3101212213 1000101101 10111 32223 10111 10001 ԼҐ2Ϗοτ໨ → ԼҐ1Ϗοτ໨ → 0 1111 222 33 0 1 0 1 0 1