7章 線形モデル上のバンディット問題

7章 線形モデル上のバンディット問題

機械学習プロフェッショナルシリーズ輪読会 
~バンディット問題の理論とアルゴリズム~ の資料です

D77e6b2d469947a4792ab062d466350b?s=128

Takashi Nishibayashi

November 30, 2016
Tweet

Transcript

  1. ষ ઢܗϞσϧ্ͷόϯσΟοτ໰୊ ػցֶशϓϩϑΣογϣφϧγϦʔζྠಡձ
 dόϯσΟοτ໰୊ͷཧ࿦ͱΞϧΰϦζϜ<>d  !IBHJOP 5BLBTIJ/JTIJCBZBTIJ <>ʮόϯσΟοτ໰୊ͷཧ࿦ͱΞϧΰϦζϜʯຊଟ३໵ʗதଜಞ঵ɾஶ

  2. ࣗݾ঺հ ID: hagino3000 Name: ੢ྛ ޹ (Takashi Nishibayashi) Job: Software

    Engineer ݱࡏ͸ΞυωοτϫʔΫࣄۀऀʹͯ഑৴ޮ཰ͷ࠷ దԽʹैࣄ (ೖࡳՁ֨ௐ੔ϩδοΫɾ޿ࠂબ୒ϩ δοΫͷઃܭ͔Β࣮૷·Ͱ) 
  3. ઢܗόϯσΟοτ s t e6 e4 e5 e3 e2 e1 ྫ

    ࢝఺T͔Βऴ఺Uʹ͋ΔσʔλʹԿΒ͔ͷ ܦ࿏Λ௨ͯ͠ΞΫηε͢ΔͦΕͧΕͷࢬ FKͰ͸ະ஌ͷ௨৴஗ԆВK͕ੜ͡Δ͜ͷ࣌ ʹԿ౓΋σʔλʹΞΫηεͨ࣌͠ʹཁ͠ ͨ௨৴࣌ؒΛ࠷খԽ͢ΔࣄΛߟ͑Δ
  4. ௨৴ωοτϫʔΫͷྫ T͔ΒU΁ͷܦ࿏i㱨\  ʜ ^͸࣍ͷΑ͏ͳϕΫτϧai 㱨\ ^ͰදΘͤΔɽ ܦ࿏ϕΫτϧશମͷू߹ΛA\ai ^i 㱨\

      ^Ͱ͋ΒΘ͢ɽ ͜ͷ࣌ɼܦ࿏ai 㱨AΛ༻͍ͨ࣌ͷ௨৴࣌ؒ͸В В В  В 5ʹରͯ͠
  5. ΑΓҰൠతʹ ֤εϩοτϚγϯ͕d ࣍ݩͷϕΫτϧai 㱨A㱬RdʹରԠɽͦͷใु PSଛࣦ ͕ظ଴஋ͷޡ߲ࠩЏ t Λ༻͍ͨઢܗϞσϧ Ͱද͞ΕΔઃఆʹ͓͍ͯྦྷੵใुͷ࠷େԽΛ໨ࢦ͢໰୊ΛઢܗόϯσΟο τ

    MJOFBSCBOEJU ͱΑͿɽ dcAcͰ͋Γ a1 , a2 ,,,a|A| ͕୯ҐߦྻͱͳΔ৔߹͸લষ·Ͱͷجຊతͳό ϯσΟοτ໰୊ʹରԠ͢Δɽ ઢܗόϯσΟοτͷจ຺Ͱ͸ଟ͘ͷ৔߹ʹ֤ީิ͸ߦಈ BDUJPO ͱΑ͹ ΕΔɽ
  6. ઢܗόϯσΟοτͷSFHSFU ใुظ଴஋࠷େͷߦಈ Λબ୒͠ଓ͚Δ৔߹ͱൺֱͨ࣌͠ͷଛࣦ 6$#ํࡦΛద༻ͨ͠৔߹ͷϦάϨοτ͸KcAcʹରͯ͠0 KMPHT ɼcAc͕ ඇৗʹେ͖͘ͳΔ৔߹ʹ͸ผͷํࡦΛߟ͑Δඞཁ͕͋Δɽ

  7. ྫ w 8FCαΠτ࠷దԽ w όϯσΟοτ࠷ద༧ࢉ഑෼ w ઢܕܭը໰୊ͷҰ෦ͷ܎਺͕ະ஌ w όϯσΟοτઢܗܭը w

    ߦಈͷީิ਺͸cAc㱣
  8. จ຺෇͖όϯσΟοτ ֤ߦಈͷಛ௃ྔ͕ai,t ͱ͍ͬͨܗͰ࣌ࠁʹΑΓҟͳΔ஋ΛऔΔ͜ͱΛڐ͢ઃ ఆɽ࠷΋୯७ͳઃఆͱͯ͠ɼ࣌ࠁUʹԠͨ͡จ຺͕ଘࡏ͢Δ΋ͷͷظ଴࠷େͷ ߦಈ͸࣌ࠁtʹΑΒͳ͍৔߹Λߟ͑Δɽ ߦಈͱจ຺ͷަޓ࡞༻ແ͠ˠظ଴஋࠷େͷσβΠϯ͸࣌ࠁtʹґଘ͠ͳ͍ σβΠϯʹΑΔಛ௃ྔ ΫϦοΫ཰ ࣌ࠁUʹґଘ͢Δಛ௃ྔ ฏ೔PSٳ೔ɼϢʔβʔͷ೥ྸ

    FUDʜ
  9. ߦಈͱจ຺ͷަޓ࡞༻͕͋ΔϞσϧ σβΠϯ͕ύλʔϯ ࣌ࠁUʹґଘ͢ΔϢʔβʔ ͷ೥୅͕ύλʔϯͷ৔߹ 3FHSFU͸֤࣌ࠁͰৗʹظ଴஋࠷େΛͱͬͨ৔߹ͱͷൺֱ

  10. ೥୅ ೥୅ உ ೥୅உ  σβΠϯ"  σβΠϯ#  ϑΥϯτ"

     ϑΥϯτ# ೥୅உ  σβΠϯ"  σβΠϯ#  ϑΥϯτ"  ϑΥϯτ# ঁ ೥୅ঁ  σβΠϯ"  σβΠϯ#  ϑΥϯτ"  ϑΥϯτ# ೥୅ঁ  σβΠϯ"  σβΠϯ#  ϑΥϯτ"  ϑΥϯτ# ޿ࠂΩϟϯϖʔϯ"  PS ޿ࠂΩϟϯϖʔϯ#  PS ޿ࠂΩϟϯϖʔϯ$  PS ޿ࠂΩϟϖʔϯ% σβΠϯͱϑΥϯτʹ͍ͭͯ͸ੑผ೥୅ͱ૬ޓ࡞༻͕͋Δͱͨ͠Ϟσϧ ྫͱͯ͠ใु޿ࠂΛճදࣔͨ࣌͠ͷऩӹ $1.
  11. ೥୅ ೥୅ உ ೥୅உ  σβΠϯ"  σβΠϯ#  ϑΥϯτ"

     ϑΥϯτ#  ೥୅உ  σβΠϯ"  σβΠϯ# ϑΥϯτ"  ϑΥϯτ# ঁ ೥୅ঁ  σβΠϯ" σβΠϯ#  ϑΥϯτ"  ϑΥϯτ# ೥୅ঁ  σβΠϯ" σβΠϯ#  ϑΥϯτ" ϑΥϯτ#  σβΠϯͱϑΥϯτʹ͍ͭͯ͸ੑผ೥୅ͱ૬ޓ࡞༻͕͋Δͱͨ͠Ϟσϧ ྫͱͯ͠ใु޿ࠂΛճදࣔͨ࣌͠ͷऩӹ $1. ޿ࠂΩϟϯϖʔϯ" PS ޿ࠂΩϟϯϖʔϯ# PS ޿ࠂΩϟϯϖʔϯ$ PS ޿ࠂΩϟϖʔϯ%
  12. ೥୅ ೥୅ உ ೥୅உ  σβΠϯ"  σβΠϯ#  ϑΥϯτ"

     ϑΥϯτ#  ೥୅உ  σβΠϯ"  σβΠϯ# ϑΥϯτ"  ϑΥϯτ# ঁ ೥୅ঁ  σβΠϯ" σβΠϯ#  ϑΥϯτ"  ϑΥϯτ# ೥୅ঁ  σβΠϯ" σβΠϯ#  ϑΥϯτ" ϑΥϯτ#  σβΠϯͱϑΥϯτʹ͍ͭͯ͸ੑผ೥୅ͱ૬ޓ࡞༻͕͋Δͱͨ͠Ϟσϧ ྫͱͯ͠ใु޿ࠂΛճදࣔͨ࣌͠ͷऩӹ $1. ޿ࠂΩϟϯϖʔϯ" PS ޿ࠂΩϟϯϖʔϯ# PS ޿ࠂΩϟϯϖʔϯ$ PS ޿ࠂΩϟϖʔϯ%
  13. -JO6$#ํࡦ ઢܗϞσϧʹର͢Δ6$#ํࡦͰ͋Δ-JO6$#ํࡦ -JO6$#QPMJDZ  ֤ߦಈ͝ͱͷ6$#είΞ͸ ͜͜ͰЋt 0 㲋MPH5 Id ͸d

    x dͷ୯ҐߦྻɼA-1͸ߦྻ ͷٯߦྻɽ ޡ߲ࠩͷ෼ࢄɼύϥϝʔλ 2 > 0 2 0 , ↵ > 0
  14. -JO6$#ͷ6$#είΞͷߏ੒ ࣌ࠁUʹ͓͚Δ ߦಈJͷظ଴஋ͷ఺ਪఆ஋ ࣌ࠁUʹ͓͚Δ ߦಈJͷظ଴஋ͷඪ४ภࠩ

  15. ઢܗϞσϧ্ͷτϯϓιϯநग़ ਖ਼ن෼෍ϞσϧͰͷࣄޙ֬཰ͷܭࢉɽ ใुͷޡ߲ࠩЏ U ͕ط஌ͷ෼ࢄМͷਖ਼ن෼෍ʹै͏৔߹ Λߟ͑ΔͷВͷࣄޙ෼෍Λར༻͢ΔͱΞϧΰϦζϜ Вͷࣄޙ֬཰෼෍͔Βαϯϓϧ

  16. ޡ߲͕ࠩਖ਼ن෼෍Ͱͳ͍৔߹ w ΫϦοΫ཰ͳͲͷϞσϧͰ͸ޡ߲ࠩ͸཭ࢄ஋ͱͳΓਖ਼ن෼෍ʹ ैΘͳ͍ w ਖ਼֬ͳࣄޙ෼෍͔Βͷཚ਺ੜ੒͸Մೳ͕ͩܭࢉ͕ඇৗʹෳࡶʹ ͳΔ w τϯϓιϯநग़Ͱ͸ਖ਼ن෼෍ΛԾఆͨ͠ΞϧΰϦζϜΛར༻ ͯ͠΋੄͕ԿΒ͔ͷఆ਺3ʹ͍ͭͯྼΨ΢εతͰ͋Ε͹ɼద੾ͳ

    МΛऔΔࣄͰখ͞ͳϦάϨοτΛୡ੒Ͱ͖Δ w ࣮ݧతʹ͸τϯϓιϯநग़͸-JO6$#ํࡦΑΓ΋Α͍ੑೳͱͳΔ ৔߹͕ଟ͍ w ΫϦοΫ཰ϞσϧͷΑ͏ʹͰ͋Δ৔߹ʹ͸ྼΨ΢ε ͷఆ਺3Λ༻͍Δͷ͕Ұൠత
  17. ࣮ݧͯ͠Έͨ w ࣮૷ίʔυ w IUUQTOCWJFXFSKVQZUFSPSHHJUIVCIBHJOPOPUFCPPLT CMPCNBTUFS.-1@CBOEJU$IBQJQZOC w ใु͸ਅͷВͱਅͷ෼ࢄ͔Βੜ੒ͨ͠ w ޡ߲ࠩͷط஌ͷ෼ࢄ͸ใुΛճ΄Ͳੜ੒ͤͯ͞ಘͨ

    w ݁Ռ w ࣮ݧͰ͸5IPNQTPOநग़ͱ-JO6$#ͷ͕ࠩग़ͣ w ͨͩ͠޿ࠂ഑৴͸ใु͕ͦͷ৔Ͱ؍ଌͰ͖ͳ͍ͷͰ-JO6$#͸࢖͑ͳ͍ w 5IPNQTPOநग़͸ใु͕஗Εͯ΋໰୊ͳ͠ w ύϥϝʔλνϡʔχϯά w М ˠВͷࣄલ෼෍͕Ͱ͋Δͱߟ͑Δࣄʹ૬౰
  18. ϩδεςΟοΫճؼϞσϧ্ͷ όϯσΟοτ ใु͕஋ͷ৔߹ʹΑΓదͨ͠Ϟσϧɽใु9J U 㱨\ ^ͷ֬཰෼෍͸ ஋ͷใुΛߟ͑ͨ࣌ͷظ଴஋࠷େͷߦಈ͸ Вͷࣄޙ෼෍͕ཉ͍͠ ˠਖ਼ن෼෍ͷΑ͏ͳดͨ͡ܗͰ͋ΒΘͤͳ͍ɽ ˠ͜ͷຊͰ͸ϥϓϥεۙࣅΛར༻

    ˠͰۙࣅ
  19. ϩδεςΟοΫճؼϞσϧ্ͷόϯ σΟοτͷੑೳ w ཧ࿦อূ͸ແ͍͕࣮༻্͸༗ޮΒ͍͠ w 4-4DPUU.VMUJBSNFECBOEJUFYQFSJNFOUTJOUIF POMJOFTFSWJDFFDPOPNZ

  20. ใु͕஋ͷ৔߹ͷ࣮ݧ w ͔֬ʹଞͷΞϧΰϦζϜΑΓ΋ϩδεςΟοΫճؼϞσϧͷ 5IPNQTPOநग़ͷํ͕ੑೳ͕ྑ͍ w -JO6$#ɼใुͷޡ͕ࠩਖ਼ن෼෍Λաఔͨ͠5IPNQTPOநग़͸ &QTJMPO(SFFEZΑΓ΋ѱ͘ͳͬͨ w ݁Ռϊʔτ
 IUUQTOCWJFXFSKVQZUFSPSHHJUIVCIBHJOPOPUFCPPLT

    CMPCNBTUFS.-1@CBOEJU$IBQ@CJOBSZ@SFXBSEJQZOC