7章 線形モデル上のバンディット問題

機械学習プロフェッショナルシリーズ輪読会 
~バンディット問題の理論とアルゴリズム~ の資料です

Transcript

1. ষ
   
   ઢܗϞσϧ্ͷόϯσΟοτ໰୊ ػցֶशϓϩϑΣογϣφϧγϦʔζྠಡձ
   
 dόϯσΟοτ໰୊ͷཧ࿦ͱΞϧΰϦζϜ<>d 
   !IBHJOP
   5BLBTIJ
   /JTIJCBZBTIJ <>
   ʮόϯσΟοτ໰୊ͷཧ࿦ͱΞϧΰϦζϜʯຊଟ३໵ʗதଜಞ঵ɾஶ
   
2. ࣗݾ঺հ ID: hagino3000 Name: ੢ྛ ޹ (Takashi Nishibayashi) Job: Software Engineer ݱࡏ͸ΞυωοτϫʔΫࣄۀऀʹͯ഑৴ޮ཰ͷ࠷ దԽʹैࣄ (ೖࡳՁ֨ௐ੔ϩδοΫɾ޿ࠂબ୒ϩ δοΫͷઃܭ͔Β࣮૷·Ͱ) 
3. 
   ઢܗόϯσΟοτ s t e6 e4 e5 e3 e2 e1 ྫ
   ࢝఺T͔Βऴ఺Uʹ͋ΔσʔλʹԿΒ͔ͷ ܦ࿏Λ௨ͯ͠ΞΫηε͢Δ
   ͦΕͧΕͷࢬ FKͰ͸ະ஌ͷ௨৴஗ԆВK͕ੜ͡Δ
   ͜ͷ࣌ ʹԿ౓΋σʔλʹΞΫηεͨ࣌͠ʹཁ͠ ͨ௨৴࣌ؒΛ࠷খԽ͢ΔࣄΛߟ͑Δ
   
4. ௨৴ωοτϫʔΫͷྫ T͔ΒU΁ͷܦ࿏
   i
   㱨
   \  ʜ ^
   ͸࣍ͷΑ͏ͳϕΫτϧ
   ai
   㱨
   \ ^
   ͰදΘͤΔɽ
   ܦ࿏ϕΫτϧશମͷू߹Λ
   A
   
   \ai ^i 㱨
   \   ^
   Ͱ͋ΒΘ͢ɽ
   ͜ͷ࣌ɼܦ࿏
   ai
   㱨
   A
   Λ༻͍ͨ࣌ͷ௨৴࣌ؒ͸В В В  В 5ʹରͯ͠
5. ΑΓҰൠతʹ ֤εϩοτϚγϯ͕
   d ࣍ݩͷϕΫτϧ
   ai
   㱨
   A
   㱬
   Rd
   ʹରԠɽͦͷใु PS
   ଛࣦ ͕ظ଴஋ͷޡ߲ࠩ
   Џ t
   Λ༻͍ͨઢܗϞσϧ Ͱද͞ΕΔઃఆʹ͓͍ͯྦྷੵใुͷ࠷େԽΛ໨ࢦ͢໰୊ΛઢܗόϯσΟο τ
   MJOFBS
   CBOEJU
   ͱΑͿɽ
   d
   
   cAcͰ͋Γ
   a1 , a2 ,,,a|A|
   ͕୯ҐߦྻͱͳΔ৔߹͸લষ·Ͱͷجຊతͳό ϯσΟοτ໰୊ʹରԠ͢Δɽ
   ઢܗόϯσΟοτͷจ຺Ͱ͸ଟ͘ͷ৔߹ʹ֤ީิ͸ߦಈ
   BDUJPO ͱΑ͹ ΕΔɽ
6. ઢܗόϯσΟοτͷSFHSFU ใुظ଴஋࠷େͷߦಈ Λબ୒͠ଓ͚Δ৔߹ͱൺֱͨ࣌͠ͷଛࣦ 6$#ํࡦΛద༻ͨ͠৔߹ͷϦάϨοτ͸
   K
   
   cAc
   ʹରͯ͠
   0 KMPHT ɼcAc͕ ඇৗʹେ͖͘ͳΔ৔߹ʹ͸ผͷํࡦΛߟ͑Δඞཁ͕͋Δɽ
7. ྫ w 
   8FCαΠτ࠷దԽ
   w 
   όϯσΟοτ࠷ద༧ࢉ഑෼
   w ઢܕܭը໰୊ͷҰ෦ͷ܎਺͕ະ஌
   w όϯσΟοτઢܗܭը
   w ߦಈͷީิ਺͸
   cAc
   
   㱣
8. 
   จ຺෇͖όϯσΟοτ ֤ߦಈͷಛ௃ྔ͕
   ai,t
   ͱ͍ͬͨܗͰ࣌ࠁʹΑΓҟͳΔ஋ΛऔΔ͜ͱΛڐ͢ઃ ఆɽ࠷΋୯७ͳઃఆͱͯ͠ɼ࣌ࠁUʹԠͨ͡จ຺͕ଘࡏ͢Δ΋ͷͷظ଴࠷େͷ ߦಈ͸࣌ࠁtʹΑΒͳ͍৔߹Λߟ͑Δɽ ߦಈͱจ຺ͷަޓ࡞༻ແ͠
   ˠ
   ظ଴஋࠷େͷσβΠϯ͸࣌ࠁtʹґଘ͠ͳ͍ σβΠϯʹΑΔಛ௃ྔ ΫϦοΫ཰ ࣌ࠁUʹґଘ͢Δಛ௃ྔ
   ฏ೔PSٳ೔ɼϢʔβʔͷ೥ྸ
   FUDʜ
9. ߦಈͱจ຺ͷަޓ࡞༻͕͋ΔϞσϧ σβΠϯ͕ύλʔϯ ࣌ࠁUʹґଘ͢ΔϢʔβʔ ͷ೥୅͕ύλʔϯͷ৔߹ 3FHSFU͸֤࣌ࠁͰৗʹظ଴஋࠷େΛͱͬͨ৔߹ͱͷൺֱ
10. ೥୅ ೥୅ உ ೥୅உ
    
    σβΠϯ"
    
    σβΠϯ#
    
    ϑΥϯτ"
    
    ϑΥϯτ#
    ೥୅உ
    
    σβΠϯ"
    
    σβΠϯ#
    
    ϑΥϯτ"
    
    ϑΥϯτ#
    ঁ ೥୅ঁ
    
    σβΠϯ"
    
    σβΠϯ#
    
    ϑΥϯτ"
    
    ϑΥϯτ#
    ೥୅ঁ
    
    σβΠϯ"
    
    σβΠϯ#
    
    ϑΥϯτ"
    
    ϑΥϯτ#
    ޿ࠂΩϟϯϖʔϯ"
    
    PS
    ޿ࠂΩϟϯϖʔϯ#
    
    PS
    ޿ࠂΩϟϯϖʔϯ$
    
    PS
    ޿ࠂΩϟϖʔϯ%
    σβΠϯͱϑΥϯτʹ͍ͭͯ͸ੑผ೥୅ͱ૬ޓ࡞༻͕͋Δͱͨ͠Ϟσϧ
    ྫͱͯ͠ใु
    
    ޿ࠂΛճදࣔͨ࣌͠ͷऩӹ
    $1.
11. ೥୅ ೥୅ உ ೥୅உ
    
    σβΠϯ"
    
    σβΠϯ#
    
    ϑΥϯτ"
    
    ϑΥϯτ#
     ೥୅உ
    
    σβΠϯ"
    
    σβΠϯ#
    
    ϑΥϯτ"
    
    ϑΥϯτ#
     ঁ ೥୅ঁ
    
    σβΠϯ"
    
    σβΠϯ#
    
    ϑΥϯτ"
    
    ϑΥϯτ#
     ೥୅ঁ
    
    σβΠϯ"
    
    σβΠϯ#
    
    ϑΥϯτ"
    
    ϑΥϯτ#
     σβΠϯͱϑΥϯτʹ͍ͭͯ͸ੑผ೥୅ͱ૬ޓ࡞༻͕͋Δͱͨ͠Ϟσϧ
    ྫͱͯ͠ใु
    
    ޿ࠂΛճදࣔͨ࣌͠ͷऩӹ
    $1. ޿ࠂΩϟϯϖʔϯ"
    
    PS
    ޿ࠂΩϟϯϖʔϯ#
    
    PS
    ޿ࠂΩϟϯϖʔϯ$
    
    PS
    ޿ࠂΩϟϖʔϯ%
    
12. ೥୅ ೥୅ உ ೥୅உ
    
    σβΠϯ"
    
    σβΠϯ#
    
    ϑΥϯτ"
    
    ϑΥϯτ#
     ೥୅உ
    
    σβΠϯ"
    
    σβΠϯ#
    
    ϑΥϯτ"
    
    ϑΥϯτ#
     ঁ ೥୅ঁ
    
    σβΠϯ"
    
    σβΠϯ#
    
    ϑΥϯτ"
    
    ϑΥϯτ#
     ೥୅ঁ
    
    σβΠϯ"
    
    σβΠϯ#
    
    ϑΥϯτ"
    
    ϑΥϯτ#
     σβΠϯͱϑΥϯτʹ͍ͭͯ͸ੑผ೥୅ͱ૬ޓ࡞༻͕͋Δͱͨ͠Ϟσϧ
    ྫͱͯ͠ใु
    
    ޿ࠂΛճදࣔͨ࣌͠ͷऩӹ
    $1. ޿ࠂΩϟϯϖʔϯ"
    
    PS
    ޿ࠂΩϟϯϖʔϯ#
    
    PS
    ޿ࠂΩϟϯϖʔϯ$
    
    PS
    ޿ࠂΩϟϖʔϯ%
    
13. 
    -JO6$#ํࡦ ઢܗϞσϧʹର͢Δ6$#ํࡦͰ͋Δ-JO6$#ํࡦ -JO6$#
    QPMJDZ
    ֤ߦಈ͝ͱͷ6$#είΞ͸ ͜͜Ͱ
    Ћt
    
    0 㲋MPH5
    Id ͸
    d x dͷ୯ҐߦྻɼA-1͸ߦྻ ͷٯߦྻɽ ޡ߲ࠩͷ෼ࢄ
    
    
    
    
    
    
    
    
    
    
    ɼύϥϝʔλ
    2 > 0 2 0 , ↵ > 0
14. -JO6$#ͷ6$#είΞͷߏ੒ ࣌ࠁUʹ͓͚Δ
    ߦಈJͷظ଴஋ͷ఺ਪఆ஋ ࣌ࠁUʹ͓͚Δ
    ߦಈJͷظ଴஋ͷඪ४ภࠩ
15. 
    ઢܗϞσϧ্ͷτϯϓιϯநग़ ਖ਼ن෼෍ϞσϧͰͷࣄޙ֬཰ͷܭࢉɽ
    ใु
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    ͷޡ߲ࠩ
    Џ U
    ͕ط஌ͷ෼ࢄМͷਖ਼ن෼෍ʹै͏৔߹ Λߟ͑Δ
    ͷВͷࣄޙ෼෍Λར༻͢ΔͱΞϧΰϦζϜ Вͷࣄޙ֬཰෼෍͔Βαϯϓϧ
16. 
    ޡ߲͕ࠩਖ਼ن෼෍Ͱͳ͍৔߹ w ΫϦοΫ཰ͳͲͷϞσϧͰ͸ޡ߲ࠩ͸཭ࢄ஋ͱͳΓਖ਼ن෼෍ʹ ैΘͳ͍
    w ਖ਼֬ͳࣄޙ෼෍͔Βͷཚ਺ੜ੒͸Մೳ͕ͩܭࢉ͕ඇৗʹෳࡶʹ ͳΔ
    w τϯϓιϯநग़Ͱ͸ਖ਼ن෼෍ΛԾఆͨ͠ΞϧΰϦζϜΛར༻ ͯ͠΋੄͕ԿΒ͔ͷఆ਺3ʹ͍ͭͯྼΨ΢εతͰ͋Ε͹ɼద੾ͳ МΛऔΔࣄͰখ͞ͳϦάϨοτΛୡ੒Ͱ͖Δ
    w ࣮ݧతʹ͸τϯϓιϯநग़͸-JO6$#ํࡦΑΓ΋Α͍ੑೳͱͳΔ ৔߹͕ଟ͍
    w ΫϦοΫ཰ϞσϧͷΑ͏ʹ
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    Ͱ͋Δ৔߹ʹ͸ྼΨ΢ε ͷఆ਺3Λ༻͍Δͷ͕Ұൠత
17. ࣮ݧͯ͠Έͨ w ࣮૷ίʔυ
    w IUUQTOCWJFXFSKVQZUFSPSHHJUIVCIBHJOPOPUFCPPLT CMPCNBTUFS.-1@CBOEJU$IBQJQZOC
    w ใु͸ਅͷВͱਅͷ෼ࢄ͔Βੜ੒ͨ͠
    w ޡ߲ࠩͷط஌ͷ෼ࢄ͸ใुΛճ΄Ͳੜ੒ͤͯ͞ಘͨ
    w ݁Ռ
    w ࣮ݧͰ͸5IPNQTPOநग़ͱ-JO6$#ͷ͕ࠩग़ͣ
    w ͨͩ͠޿ࠂ഑৴͸ใु͕ͦͷ৔Ͱ؍ଌͰ͖ͳ͍ͷͰ-JO6$#͸࢖͑ͳ͍
    w 5IPNQTPOநग़͸ใु͕஗Εͯ΋໰୊ͳ͠
    w ύϥϝʔλνϡʔχϯά
    w М 
    
    ˠ
    Вͷࣄલ෼෍͕
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    Ͱ͋Δͱߟ͑Δࣄʹ૬౰
18. 
    ϩδεςΟοΫճؼϞσϧ্ͷ όϯσΟοτ ใु͕஋ͷ৔߹ʹΑΓదͨ͠Ϟσϧɽใु
    9J U
    㱨
    \
    ^
    ͷ֬཰෼෍͸ ஋ͷใुΛߟ͑ͨ࣌ͷظ଴஋࠷େͷߦಈ͸ Вͷࣄޙ෼෍͕ཉ͍͠
    
    ˠ
    ਖ਼ن෼෍ͷΑ͏ͳดͨ͡ܗͰ͋ΒΘͤͳ͍ɽ
    ˠ
    ͜ͷຊͰ͸ϥϓϥεۙࣅΛར༻
    ˠ
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    Ͱۙࣅ
    
19. ϩδεςΟοΫճؼϞσϧ্ͷόϯ σΟοτͷੑೳ w ཧ࿦อূ͸ແ͍͕࣮༻্͸༗ޮΒ͍͠
    w 4
    -
    4DPUU
    .VMUJBSNFE
    CBOEJU
    FYQFSJNFOUT
    JO
    UIF
    POMJOF
    TFSWJDF
    FDPOPNZ
    
20. ใु͕஋ͷ৔߹ͷ࣮ݧ w ͔֬ʹଞͷΞϧΰϦζϜΑΓ΋ϩδεςΟοΫճؼϞσϧͷ 5IPNQTPOநग़ͷํ͕ੑೳ͕ྑ͍
    w -JO6$#ɼใुͷޡ͕ࠩਖ਼ن෼෍Λաఔͨ͠5IPNQTPOநग़͸ &QTJMPO
    (SFFEZΑΓ΋ѱ͘ͳͬͨ
    w ݁Ռϊʔτ
 IUUQTOCWJFXFSKVQZUFSPSHHJUIVCIBHJOPOPUFCPPLT CMPCNBTUFS.-1@CBOEJU$IBQ@CJOBSZ@SFXBSEJQZOC