Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Introduction to Information Retrieval #21 Link ...

Avatar for nishiokya nishiokya
October 27, 2019

Introduction to Information Retrieval #21 Link analysis

情報検索の基礎 21章 リンク解析
名古屋検索勉強会 #23
@nishikya
https://search-nagoya.connpass.com/event/151659/

21.1 グラフとしてのウェブの世界
21.1.1 アンカーテキストとウェブグラフ
21.2 PageRank
21.2.1 マルコフ連鎖
PageRankの計算
特定の話題のPageRank
21.3 ハブと権威者
21.3.1 ウェブの世界の部分集合を選ぶ
21.4 引用文献と参考図書

Avatar for nishiokya

nishiokya

October 27, 2019
Tweet

More Decks by nishiokya

Other Decks in Science

Transcript

  1. ৘ใݕࡧͷجૅͷ໨࣍  λΠτϧ  ࿦ཧݕࡧ  ༻ޠޠኮͱϙεςΟϯάϦετ  ࣙॻͱ׮༰ͳݕࡧ 

    ΠϯσοΫεͷߏங  ΠϯσοΫεͷѹॖ  είΞ෇͚,༻ޠॏΈ෇͚,ϕΫτϧۭؒ Ϟσϧ  ׬શͳݕࡧγεςϜͰͷείΞܭࢉ  ৘ใݕࡧͷධՁ  ద߹ϑΟʔυόοΫͱΫΤϦʔ֦ு  XMLݕࡧ  ֬཰త৘ใݕࡧ  λΠτϧ  ৘ใݕࡧͷͨΊͷݴޠϞσϧ  ςΩετͷ෼ྨͱφΠʔϒϕΠζ  ϕΫτϧۭؒ෼ྨ  αϙʔτϕΫλʔϚγϯͱจॻͷػցֶश  ϑϥοτΫϥελϦϯά  ֊૚తΫϥελϦϯά  ߦྻͷ෼ղͱજࡏҙຯΠϯσοΫε  ΢Σϒݕࡧͷجૅ  ΢ΣϒͷΫϩʔϦϯάͱΠϯσοΫε෇͚  ϦϯΫղੳ ొ௖ؒࡍʂ
  2. ষͷ໨࣍ • άϥϑͱͯ͠ͷ΢Σϒͷੈք •  ΞϯΧʔςΩετͱ΢Σϒάϥϑ •  1BHF3BOL •

    Ϛϧίϑ࿈࠯ • 1BHF3BOLͷܭࢉ • ಛఆͷ࿩୊ͷ1BHF3BOL • ϋϒͱݖҖऀ •  ΢Σϒͷੈքͷ෦෼ू߹ΛબͿ •  Ҿ༻จݙͱࢀߟਤॻ
  3. ষͷ֓ཁ • ΢Σϒݕࡧʹ͓͚ΔϦϯΫղੳํ๏Λઆ໌ • ΞϯΧʔϦϯΫ • ΞϯΧʔϦϯΫ͔Β৭ʑղੳ • ϖʔδϥϯΫ •

    (PPHMFͷ͋Ε • )*54 IZQFSMJOLJOEVDFEUPQJDTFBSDI • αΠτΛϋϒͱݖҖऀʹ෼͚ͯείΞϦϯά
  4. ΞϯΧʔςΩετͷΠϯσοΫγ ϯά • ΞϯΧʔςΩετΛΠϯσοΫε͢Δࡍʹ͸εύϜ΍ϦϯΫͷ ࣦഊ͕͋Δ͜ͱʹ஫ҙ͕ඞཁ • ΞϯΧʔϖʔδͷ΢ΣϒαΠτͷ৴པ౓ʹԠͯ͡ɺΞϯΧʔς ΩετʹॏΈΛ෇͚Δ • ͨͱ͑͹ɺXXXDIVOJDIJDPN͔Βͷίϯςϯπ͕৴པͰ͖ΔͱԾఆ

    ͢Δ৔߹ɺͦΕΒ͔ΒͷΞϯΧʔςΩετΛʢΑΓଟ͘ʣ৴པ • υϝΠϯ֎΁ͷΞϯΧʔΛυϝΠϯ಺ͷΞϯΧʔΑΓॏΈ෇͚Δ Sec. 21.1.1  Blog  !     
  5. 1BHF3BOLͷಋೖ ϦϯΫߏ଄͚͔ͩΒείΞ෇͚΍ϥϯΩϯάࢦඪΛࢉग़ • ଞͷจݙ͔ΒҾ༻͞Εͨස౓ • ॻࢽ݁߹ͷස౓ • ಉ͡هࣄΛҾ༻͢Δهࣄ͸ؔ࿈͍ͯ͠·͢ • αΠςʔγϣϯΠϯσοΫε

    • ͜ͷஶऀ͸୭ʹΑͬͯҾ༻͞Ε͍ͯ·͔͢ʁ ʢΨʔϑΟʔ ϧυʣ • 1BHF3BOLͷجૅɿ 1JOTLFS BOE/BSJO `T • "TLFEXIJDIKPVSOBMTBSFBVUIPSJUBUJWF
  6. ϖʔδϥϯΫͷείΞ • Ϣʔβʔ͕8FCϖʔδ্ͰϥϯμϜ΢ΥʔΫ͍ͯ͠ΔͱԾఆ • ϥϯμϜͷϖʔδ͔Β։࢝ • ֤εςοϓͰɺݱࡏͷϖʔδͷϦϯΫ͔ΒͭΛΫϦοΫ • ֤ϖʔδʹ͸௕ظతͳ๚໰཰͕͋ΔʢϦϯΫઌʹґଘ͠ͳ͍ʣ •

    ϖʔδ͔ΒͷϦϯΫΛείΞͱͯ͠࢖༻ • ͜ͷૢ࡞Λଓ͚͍ͯ͘ͱಛఆͷϖʔδ͕ଞͷϖʔδΑΓߴ͍ස ౓Ͱ๚໰͞ΕΔɻ͜ͷαΠτ͸ଞͷαΠτ͔Βଟ͘ͷϦϯΫ͕ ͋Δ͜ͱ͕ଟ͍ 1/3 1/3 1/3 Sec. 21.2 1BHF3BOLͷഎޙͷ͋ΔΞΠσΞ
  7. Ϛϧίϑ࿈࠯ • Ϛϧίϑ࿈࠯͸ɺOݸͷঢ়ଶ ͱ O´OͷભҠ֬཰ߦྻ 1 Ͱ͋Β Θ͢ • બ୒͞ΕΔεςοϓ͸ɺ̍ͭͷΈ

    • ࣍ͷεςοϓ K͸ɺݱࡏͷ Jͷ֬཰ߦྻPii ʹͷΈʹدΓɺաڈ £ J ͷભҠ֬཰ߦྻ1͸ؔ܎͠ͳ͍ i j Pij Pii >0 is OK. Sec. 21.2.1
  8. . 1 1 = å = ij n j P

     Ϛϧίϑ࿈࠯ • Ϛϧίϑ࿈࠯͸ɺϥϯμϜ΢ΥʔΫͷந৅Խ • ̏ͭͷঢ়ଶ͔ΒͳΔϚϧίϑ࿈࠯ a b c Sec. 21.2.1
  9. ΤϧΰʔυతϚϧίϑ࿈࠯ • ΤϧΰʔυతϚϧίϑ࿈࠯͸ɺ֤ঢ়ଶͰҟͳΔස౓Ͱ ભҠ ͕ൃੜ͢Δ • ࣌ؒతʹมԽ͠ͳ͍֬཰෼෍ • ௕ظؒʹΘͨͬͯɺ͜ͷϨʔτʹൺྫ֤ͯ͠ঢ়ଶʹભҠ͢ Δ

    • Ͳ͔͜Β࢝·Δ͔ʹґଘ͠ͳ͍ • Τϧΰʔυతʹपظతύλʔϯͳ͠ • ςϨϙʔςʔγϣϯʹΑΓɺΤϧΰʔυੑ͕ͨ΋ͨΕΔ Sec. 21.2.1 /PUFSHPEJD
  10. ֬཰ϕΫτϧ • ֬཰ʢߦʣϕΫτϧ Y  Y ʜYO ʹΑΓɺ࣍Ͳ͜ʹา͘ ͔͕Θ͔Δ •

    &H  ʜʜ  ͜ͷϕΫτϧͷ৔߹ J ʹߦ͘ i n 1 ҰൠతʹJ͸֬཰ͳͷͰͷؒͰ͢΂ͯΛ଍͢ͱ̍ʹͳΔ . 1 1 = å = n i i x Sec. 21.2.1
  11. ֬཰ϕΫτϧͷมԽ • ֬཰ϕΫτϧ͕JTY  Y ʜYO Ͱ͋Δ৔߹ɺ࣍ ͷঢ়ଶ͸Կʁ • ࣍ͷεςοϓ͸JʹΑΔભҠ֬཰ߦྻͰ͖·Γɻભ

    Ҡ֬཰ߦྻ1ͷJ͔Βͷ࣍ͷঢ়ଶ͕Θ͔Δ • Y͔Βɺ࣍ͷঢ়ଶΛੜ੒͢Δ෼෍ΛY1 • ͦͷ࣍͸Y1ɺ Y1 • ʢͲ͜Ͱʣ͜Ε͸ऩଋʁʁ • ͜ΕΛ࣮ߦͯ͠ௐ΂Δ͜ͱ͸ɺʮύϫʔϝιουʯ ͢΂ͯͷ΢ΣϒαΠτ΁ͷભҠ֬཰ߦྻͷͨΊΊͬͪΌ εύʔε Sec. 21.2.1
  12. ֬཰ϕΫτϧͷܭࢉํ๏ • -FUB  B ʜBO ͕ఆৗঢ়ଶͷ֬཰ͷߦϕΫτϧ • ݱࡏͷঢ়ଶΛBͱ͢Δͱɺ࣍ͷঢ়ଶΛͷ෼෍Λ B1

    • ͨͩ͠ B ͸ఆৗͳͷͰ BB1 • ͜ͷߦྻํఔࣜΛղ͘ͱB ͕Θ͔Δ • B ͸1ͷʢࠨͷʣݻ༗ϕΫτϧ • ࠷େͷݻ༗஋Λ࣋ͭ1ͷʮओͳʯݻ༗ϕΫτϧʹରԠʢࢀরɿϖϩϯ ϑϩϕχ΢εͷఆཧʣ • ભҠ֬཰ߦྻ͸ৗʹ࠷େͷݻ༗஋Λ࣋ͭ Sec. 21.2.2
  13. ϖʔδϥϯΫͷܭࢉ • ̏ͭͷϊʔυ̍ɺ̎ɺ͕̏͋Δ ςϨϙʔτ֬཰ 1 2 3 • ςϨϙʔτ෇͖ͷαʔϑΝʔͷભҠ֬཰ߦྻ •

    ͔Β̎ʹߦ֬͘཰      • ͔Β̎ʹߦ֬͘཰  
  14. )ZQFSMJOL*OEVDFE5PQJD4FBSDI )*54 • ݕࡧ݁ՌͷԠ౴ͱͯ͠ɺϖʔδͱͷҰக౓ͷ୅ΘΓʹೋͭͷ ϖʔδηοτͷؔ࿈౓Λར༻ • ϋϒϖʔδ͸ओ୊ʹؔ͢ΔϦϯΫͷྑ͍Ϧετ • ྫɿʮΠϯελө͑͢Δେ੝ΓྉཧͷϦετʯ •

    ݖݶϖʔδ͸ɺର৅ͷద੾ͳϋϒͰ܁Γฦ͠ൃੜ • ϖʔδݕࡧΫΤϦͰ͸ͳ͘ɺʮ޿ൣͳτϐοΫʯΫΤϦʹ࠷ద • ޿ൣғͷτϐοΫݕࡧͱ͍ΘΕΔΫΤϦʹରͯ͠༗ޮͳख๏ • ϖʔδͷத਎Ͱ͸ͳ͘ɺϖʔδ΁ϦϯΫͷ࣭Λجʹؔ࿈౓Λࢉ ग़͢ΔΞϧΰϦζϜ Sec. 21.3
  15. جຊηοτ • ʢϒϥ΢βͳͲ͔ΒʣςΩετΫΤϦΛࢦఆͯ͠ɺ ςΩετΠϯσοΫεΛ࢖༻ͯ͠ɺ͢΂ͯͷϖʔδ Λऔಘ Ø͜ΕΛࠜू߹ʢ3PPU4FU ͱݺͿ • Լه͔Β͍͔ͭ͘ͷϖʔδʹ௥Ճ •

    ϧʔτηοτ಺ͷϖʔδΛϙΠϯτ͢Δ • ϧʔτηοτ಺ͷϖʔδʹΑͬͯϙΠϯτ͞ΕΔ Ø͜ΕΛجू߹ #BTF4FU ͱݺͿ Sec. 21.3
  16. ϋϒͱݖҖऀͷৠཹ • ϋϒείΞ I Y ͱݖҖऀείΞB Y ͷ ࢉग़ •

    GPSFBDIQBHFY JOUIFCBTFTFU BI Y BOEBOB Y  • ॳظԽ • GPSBMMY I Y ¬B Y ¬ • *UFSBUJWFMZVQEBUF • BMMI Y B Y  • ΠςϨʔτऴྃޙ • ग़ྗϦϯΫͷείΞ͕Ұ൪ߴ͍ I Λτοϓϋϒ • ೖྗϦϯΫͷείΞ͕Ұ൪ߴ͍ B ΛτοϓݖҖऀ Key Sec. 21.3
  17. *UFSBUJWFVQEBUF • ҎԼΛ܁Γฦ͢ GPSBMMY å ¬ y x y a

    x h ! ) ( ) ( å ¬ x y y h x a ! ) ( ) ( x x Sec. 21.3
  18. εέʔϦϯάͱΠςϨʔγϣϯ਺ •εέʔϦϯά • I ͱ B ͕େ͖͘ͳΓ͗͢ͳ͍Α͏ʹ*UFSBUJWF VQEBUFޙʹεέʔϦϯά͕ඞཁͰ͢ • εέʔϦϯάͷ܎਺͕ॏཁͰ͸ͳ͍ɿେ͖͘ͳΒͳ͍Α

    ͏ʹ͢Δ • ΠςϨʔγϣϯ਺ • ཧ࿦తʹΠςϨʔγϣϯ͢Δ͜ͱͰऩଋ͢Δ • ݱ࣮తʹ͸ճ͘Β͍Ͱऩଋ Sec. 21.3
  19. ऩଋͷূ໌ • O´O ྡ઀ߦྻ " • جຊηοτͷOϖʔδ਺ͷߦͱྻ͕͋Δ • ϖʔδJ͕ϖʔδKʹϦϯΫ͕͋Ε͹ "JK

     • ϖʔδJ͕ϖʔδKʹϦϯΫ͕ͳ͚Ε͹ "JK  1 2 3 1 2 3 1 2 3 0 1 0 1 1 1 1 0 0 Sec. 21.3
  20. ߦྻࣜʹॻ͖׵͑ • I"B • B"5I AT  A  ,h=AATh

    and a=ATAa.  h AAT)'(*# aATA.)'(* ˞)'(* $ "  %! &+ Sec. 21.3
  21. ·ͱΊ • ΞϯΧʔςΩετ͸ϦϯΫઌͷΑ͍આ໌ͱͳΔ • ϦϯΫ਺͸࢖͏͜ͱͰɺείΞʹͳΔ • ϖʔδϥϯΫͱ)*54͕͋Δ • ϖʔδϥϯΫ •

    (PPHMFͷϥϯΫͰ༗໊ ੩తͳάϥϑߏ଄Ͱ͋ΔͨΊɺલ΋ͬͯܭࢉ ͓͚ͯ͠Δ • )*54 )ZQFSMJOL*OEVDFE5PQJD4FBSDI • ಈతͳάϥϑߏ଄Ͱ͋ΔͨΊɺΫΤϦ͕౤͛ΒΕΔ౓ʹܭࢉ͠ͳ͚Ε ͹ͳΒͣɺίετ͕͔͔Δɻ • ϥϯΩϯάͷ݁Ռʹ͸͕͍ͪ͸ͳ͍Β͍͠