Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Introduction to Information Retrieval #21 Link ...

nishiokya
October 27, 2019

Introduction to Information Retrieval #21 Link analysis

情報検索の基礎21章 リンク解析
名古屋検索勉強会 #23
@nishikya
https://search-nagoya.connpass.com/event/151659/

21.1 グラフとしてのウェブの世界
21.1.1 アンカーテキストとウェブグラフ
21.2 PageRank
21.2.1 マルコフ連鎖
PageRankの計算
特定の話題のPageRank
21.3 ハブと権威者
21.3.1 ウェブの世界の部分集合を選ぶ
21.4 引用文献と参考図書

nishiokya

October 27, 2019
Tweet

More Decks by nishiokya

Other Decks in Science

Transcript

  1. ৘ใݕࡧͷجૅͷ໨࣍  λΠτϧ  ࿦ཧݕࡧ  ༻ޠޠኮͱϙεςΟϯάϦετ  ࣙॻͱ׮༰ͳݕࡧ 

    ΠϯσοΫεͷߏங  ΠϯσοΫεͷѹॖ  είΞ෇͚,༻ޠॏΈ෇͚,ϕΫτϧۭؒ Ϟσϧ  ׬શͳݕࡧγεςϜͰͷείΞܭࢉ  ৘ใݕࡧͷධՁ  ద߹ϑΟʔυόοΫͱΫΤϦʔ֦ு  XMLݕࡧ  ֬཰త৘ใݕࡧ  λΠτϧ  ৘ใݕࡧͷͨΊͷݴޠϞσϧ  ςΩετͷ෼ྨͱφΠʔϒϕΠζ  ϕΫτϧۭؒ෼ྨ  αϙʔτϕΫλʔϚγϯͱจॻͷػցֶश  ϑϥοτΫϥελϦϯά  ֊૚తΫϥελϦϯά  ߦྻͷ෼ղͱજࡏҙຯΠϯσοΫε  ΢Σϒݕࡧͷجૅ  ΢ΣϒͷΫϩʔϦϯάͱΠϯσοΫε෇͚  ϦϯΫղੳ ొ௖ؒࡍʂ
  2. ষͷ໨࣍ • άϥϑͱͯ͠ͷ΢Σϒͷੈք •  ΞϯΧʔςΩετͱ΢Σϒάϥϑ •  1BHF3BOL •

    Ϛϧίϑ࿈࠯ • 1BHF3BOLͷܭࢉ • ಛఆͷ࿩୊ͷ1BHF3BOL • ϋϒͱݖҖऀ •  ΢Σϒͷੈքͷ෦෼ू߹ΛબͿ •  Ҿ༻จݙͱࢀߟਤॻ
  3. ষͷ֓ཁ • ΢Σϒݕࡧʹ͓͚ΔϦϯΫղੳํ๏Λઆ໌ • ΞϯΧʔϦϯΫ • ΞϯΧʔϦϯΫ͔Β৭ʑղੳ • ϖʔδϥϯΫ •

    (PPHMFͷ͋Ε • )*54 IZQFSMJOLJOEVDFEUPQJDTFBSDI • αΠτΛϋϒͱݖҖऀʹ෼͚ͯείΞϦϯά
  4. ΞϯΧʔςΩετͷΠϯσοΫγ ϯά • ΞϯΧʔςΩετΛΠϯσοΫε͢Δࡍʹ͸εύϜ΍ϦϯΫͷ ࣦഊ͕͋Δ͜ͱʹ஫ҙ͕ඞཁ • ΞϯΧʔϖʔδͷ΢ΣϒαΠτͷ৴པ౓ʹԠͯ͡ɺΞϯΧʔς ΩετʹॏΈΛ෇͚Δ • ͨͱ͑͹ɺXXXDIVOJDIJDPN͔Βͷίϯςϯπ͕৴པͰ͖ΔͱԾఆ

    ͢Δ৔߹ɺͦΕΒ͔ΒͷΞϯΧʔςΩετΛʢΑΓଟ͘ʣ৴པ • υϝΠϯ֎΁ͷΞϯΧʔΛυϝΠϯ಺ͷΞϯΧʔΑΓॏΈ෇͚Δ Sec. 21.1.1  Blog  !     
  5. 1BHF3BOLͷಋೖ ϦϯΫߏ଄͚͔ͩΒείΞ෇͚΍ϥϯΩϯάࢦඪΛࢉग़ • ଞͷจݙ͔ΒҾ༻͞Εͨස౓ • ॻࢽ݁߹ͷස౓ • ಉ͡هࣄΛҾ༻͢Δهࣄ͸ؔ࿈͍ͯ͠·͢ • αΠςʔγϣϯΠϯσοΫε

    • ͜ͷஶऀ͸୭ʹΑͬͯҾ༻͞Ε͍ͯ·͔͢ʁ ʢΨʔϑΟʔ ϧυʣ • 1BHF3BOLͷجૅɿ 1JOTLFS BOE/BSJO `T • "TLFEXIJDIKPVSOBMTBSFBVUIPSJUBUJWF
  6. ϖʔδϥϯΫͷείΞ • Ϣʔβʔ͕8FCϖʔδ্ͰϥϯμϜ΢ΥʔΫ͍ͯ͠ΔͱԾఆ • ϥϯμϜͷϖʔδ͔Β։࢝ • ֤εςοϓͰɺݱࡏͷϖʔδͷϦϯΫ͔ΒͭΛΫϦοΫ • ֤ϖʔδʹ͸௕ظతͳ๚໰཰͕͋ΔʢϦϯΫઌʹґଘ͠ͳ͍ʣ •

    ϖʔδ͔ΒͷϦϯΫΛείΞͱͯ͠࢖༻ • ͜ͷૢ࡞Λଓ͚͍ͯ͘ͱಛఆͷϖʔδ͕ଞͷϖʔδΑΓߴ͍ස ౓Ͱ๚໰͞ΕΔɻ͜ͷαΠτ͸ଞͷαΠτ͔Βଟ͘ͷϦϯΫ͕ ͋Δ͜ͱ͕ଟ͍ 1/3 1/3 1/3 Sec. 21.2 1BHF3BOLͷഎޙͷ͋ΔΞΠσΞ
  7. Ϛϧίϑ࿈࠯ • Ϛϧίϑ࿈࠯͸ɺOݸͷঢ়ଶ ͱ O´OͷભҠ֬཰ߦྻ 1 Ͱ͋Β Θ͢ • બ୒͞ΕΔεςοϓ͸ɺ̍ͭͷΈ

    • ࣍ͷεςοϓ K͸ɺݱࡏͷ Jͷ֬཰ߦྻPii ʹͷΈʹدΓɺաڈ £ J ͷભҠ֬཰ߦྻ1͸ؔ܎͠ͳ͍ i j Pij Pii >0 is OK. Sec. 21.2.1
  8. . 1 1 = å = ij n j P

     Ϛϧίϑ࿈࠯ • Ϛϧίϑ࿈࠯͸ɺϥϯμϜ΢ΥʔΫͷந৅Խ • ̏ͭͷঢ়ଶ͔ΒͳΔϚϧίϑ࿈࠯ a b c Sec. 21.2.1
  9. ΤϧΰʔυతϚϧίϑ࿈࠯ • ΤϧΰʔυతϚϧίϑ࿈࠯͸ɺ֤ঢ়ଶͰҟͳΔස౓Ͱ ભҠ ͕ൃੜ͢Δ • ࣌ؒతʹมԽ͠ͳ͍֬཰෼෍ • ௕ظؒʹΘͨͬͯɺ͜ͷϨʔτʹൺྫ֤ͯ͠ঢ়ଶʹભҠ͢ Δ

    • Ͳ͔͜Β࢝·Δ͔ʹґଘ͠ͳ͍ • Τϧΰʔυతʹपظతύλʔϯͳ͠ • ςϨϙʔςʔγϣϯʹΑΓɺΤϧΰʔυੑ͕ͨ΋ͨΕΔ Sec. 21.2.1 /PUFSHPEJD
  10. ֬཰ϕΫτϧ • ֬཰ʢߦʣϕΫτϧ Y  Y ʜYO ʹΑΓɺ࣍Ͳ͜ʹา͘ ͔͕Θ͔Δ •

    &H  ʜʜ  ͜ͷϕΫτϧͷ৔߹ J ʹߦ͘ i n 1 ҰൠతʹJ͸֬཰ͳͷͰͷؒͰ͢΂ͯΛ଍͢ͱ̍ʹͳΔ . 1 1 = å = n i i x Sec. 21.2.1
  11. ֬཰ϕΫτϧͷมԽ • ֬཰ϕΫτϧ͕JTY  Y ʜYO Ͱ͋Δ৔߹ɺ࣍ ͷঢ়ଶ͸Կʁ • ࣍ͷεςοϓ͸JʹΑΔભҠ֬཰ߦྻͰ͖·Γɻભ

    Ҡ֬཰ߦྻ1ͷJ͔Βͷ࣍ͷঢ়ଶ͕Θ͔Δ • Y͔Βɺ࣍ͷঢ়ଶΛੜ੒͢Δ෼෍ΛY1 • ͦͷ࣍͸Y1ɺ Y1 • ʢͲ͜Ͱʣ͜Ε͸ऩଋʁʁ • ͜ΕΛ࣮ߦͯ͠ௐ΂Δ͜ͱ͸ɺʮύϫʔϝιουʯ ͢΂ͯͷ΢ΣϒαΠτ΁ͷભҠ֬཰ߦྻͷͨΊΊͬͪΌ εύʔε Sec. 21.2.1
  12. ֬཰ϕΫτϧͷܭࢉํ๏ • -FUB  B ʜBO ͕ఆৗঢ়ଶͷ֬཰ͷߦϕΫτϧ • ݱࡏͷঢ়ଶΛBͱ͢Δͱɺ࣍ͷঢ়ଶΛͷ෼෍Λ B1

    • ͨͩ͠ B ͸ఆৗͳͷͰ BB1 • ͜ͷߦྻํఔࣜΛղ͘ͱB ͕Θ͔Δ • B ͸1ͷʢࠨͷʣݻ༗ϕΫτϧ • ࠷େͷݻ༗஋Λ࣋ͭ1ͷʮओͳʯݻ༗ϕΫτϧʹରԠʢࢀরɿϖϩϯ ϑϩϕχ΢εͷఆཧʣ • ભҠ֬཰ߦྻ͸ৗʹ࠷େͷݻ༗஋Λ࣋ͭ Sec. 21.2.2
  13. ϖʔδϥϯΫͷܭࢉ • ̏ͭͷϊʔυ̍ɺ̎ɺ͕̏͋Δ ςϨϙʔτ֬཰ 1 2 3 • ςϨϙʔτ෇͖ͷαʔϑΝʔͷભҠ֬཰ߦྻ •

    ͔Β̎ʹߦ֬͘཰      • ͔Β̎ʹߦ֬͘཰  
  14. )ZQFSMJOL*OEVDFE5PQJD4FBSDI )*54 • ݕࡧ݁ՌͷԠ౴ͱͯ͠ɺϖʔδͱͷҰக౓ͷ୅ΘΓʹೋͭͷ ϖʔδηοτͷؔ࿈౓Λར༻ • ϋϒϖʔδ͸ओ୊ʹؔ͢ΔϦϯΫͷྑ͍Ϧετ • ྫɿʮΠϯελө͑͢Δେ੝ΓྉཧͷϦετʯ •

    ݖݶϖʔδ͸ɺର৅ͷద੾ͳϋϒͰ܁Γฦ͠ൃੜ • ϖʔδݕࡧΫΤϦͰ͸ͳ͘ɺʮ޿ൣͳτϐοΫʯΫΤϦʹ࠷ద • ޿ൣғͷτϐοΫݕࡧͱ͍ΘΕΔΫΤϦʹରͯ͠༗ޮͳख๏ • ϖʔδͷத਎Ͱ͸ͳ͘ɺϖʔδ΁ϦϯΫͷ࣭Λجʹؔ࿈౓Λࢉ ग़͢ΔΞϧΰϦζϜ Sec. 21.3
  15. جຊηοτ • ʢϒϥ΢βͳͲ͔ΒʣςΩετΫΤϦΛࢦఆͯ͠ɺ ςΩετΠϯσοΫεΛ࢖༻ͯ͠ɺ͢΂ͯͷϖʔδ Λऔಘ Ø͜ΕΛࠜू߹ʢ3PPU4FU ͱݺͿ • Լه͔Β͍͔ͭ͘ͷϖʔδʹ௥Ճ •

    ϧʔτηοτ಺ͷϖʔδΛϙΠϯτ͢Δ • ϧʔτηοτ಺ͷϖʔδʹΑͬͯϙΠϯτ͞ΕΔ Ø͜ΕΛجू߹ #BTF4FU ͱݺͿ Sec. 21.3
  16. ϋϒͱݖҖऀͷৠཹ • ϋϒείΞ I Y ͱݖҖऀείΞB Y ͷ ࢉग़ •

    GPSFBDIQBHFY JOUIFCBTFTFU BI Y BOEBOB Y  • ॳظԽ • GPSBMMY I Y ¬B Y ¬ • *UFSBUJWFMZVQEBUF • BMMI Y B Y  • ΠςϨʔτऴྃޙ • ग़ྗϦϯΫͷείΞ͕Ұ൪ߴ͍ I Λτοϓϋϒ • ೖྗϦϯΫͷείΞ͕Ұ൪ߴ͍ B ΛτοϓݖҖऀ Key Sec. 21.3
  17. *UFSBUJWFVQEBUF • ҎԼΛ܁Γฦ͢ GPSBMMY å ¬ y x y a

    x h ! ) ( ) ( å ¬ x y y h x a ! ) ( ) ( x x Sec. 21.3
  18. εέʔϦϯάͱΠςϨʔγϣϯ਺ •εέʔϦϯά • I ͱ B ͕େ͖͘ͳΓ͗͢ͳ͍Α͏ʹ*UFSBUJWF VQEBUFޙʹεέʔϦϯά͕ඞཁͰ͢ • εέʔϦϯάͷ܎਺͕ॏཁͰ͸ͳ͍ɿେ͖͘ͳΒͳ͍Α

    ͏ʹ͢Δ • ΠςϨʔγϣϯ਺ • ཧ࿦తʹΠςϨʔγϣϯ͢Δ͜ͱͰऩଋ͢Δ • ݱ࣮తʹ͸ճ͘Β͍Ͱऩଋ Sec. 21.3
  19. ऩଋͷূ໌ • O´O ྡ઀ߦྻ " • جຊηοτͷOϖʔδ਺ͷߦͱྻ͕͋Δ • ϖʔδJ͕ϖʔδKʹϦϯΫ͕͋Ε͹ "JK

     • ϖʔδJ͕ϖʔδKʹϦϯΫ͕ͳ͚Ε͹ "JK  1 2 3 1 2 3 1 2 3 0 1 0 1 1 1 1 0 0 Sec. 21.3
  20. ߦྻࣜʹॻ͖׵͑ • I"B • B"5I AT  A  ,h=AATh

    and a=ATAa.  h AAT)'(*# aATA.)'(* ˞)'(* $ "  %! &+ Sec. 21.3
  21. ·ͱΊ • ΞϯΧʔςΩετ͸ϦϯΫઌͷΑ͍આ໌ͱͳΔ • ϦϯΫ਺͸࢖͏͜ͱͰɺείΞʹͳΔ • ϖʔδϥϯΫͱ)*54͕͋Δ • ϖʔδϥϯΫ •

    (PPHMFͷϥϯΫͰ༗໊ ੩తͳάϥϑߏ଄Ͱ͋ΔͨΊɺલ΋ͬͯܭࢉ ͓͚ͯ͠Δ • )*54 )ZQFSMJOL*OEVDFE5PQJD4FBSDI • ಈతͳάϥϑߏ଄Ͱ͋ΔͨΊɺΫΤϦ͕౤͛ΒΕΔ౓ʹܭࢉ͠ͳ͚Ε ͹ͳΒͣɺίετ͕͔͔Δɻ • ϥϯΩϯάͷ݁Ռʹ͸͕͍ͪ͸ͳ͍Β͍͠