チャットボットと対話システム

次のサイトの2021年12月29日版の資料を参考にさせていただいております．
https://web.stanford.edu/~jurafsky/slp3/24.pdf

Transcript

1. $IBQUFS
   
   $IBUCPUT
   
   %JBMPHVF
   4ZTUFN #
   /BPLJ
   ,PKJNB Speech and Language Processing. Draft of Dec 29, 2021. Copyright © 2021 Daniel Jurafsky & James H. Martin. All Rights Reserved. 
2. *OUSPEVDUJPO w ςΩετɼԻ੠͋Δ͍͸྆ํΛ༻͍ͯϢʔβͱձ࿩Λߦ͏ର࿩γεςϜ
   w ର࿩γεςϜͷ෼ྨ
   w λεΫࢦ޲ܕର࿩γεςϜɿ৘ใ΍ػೳͷఏڙͰλεΫΛ׬ྃ
   w ඇλεΫࢦ޲ܕର࿩γεςϜɿ௕࣌ؒͷࣗવͳձ࿩ͷ࣮ݱ
   w ΞʔΩςΫνϟ
   w $IBUCPUT
   w ϧʔϧϕʔε
   ɾ৘ใݕࡧ
   ɾ&ODPEFS%FDPEFSੜ੒ث
   w λεΫࢦ޲ͷجૅͱͳΔ(64ΞʔΩςΫνϟ
   w ࣮૷ྫ
   w νϟοτϘοτɼԻ੠ର࿩γεςϜ 
3. 
   1SPQFSUJFT
   PG
   )VNBO
   $POWFSTBUJPO wλʔϯʢ5VSOʣ
   ̍ਓͷ࿩͠ख͕ର࿩ʹؔΘ͍ͬͯΔҰ࿈ͷൃݴ
   w ͭͷจ " ɼ୯ޠ $ ɼෳ਺ͷจ " ͳͲ
   w λʔϯͷऴྃ࣌ʢ&OEQPJOUʣΛݕग़͢Δ
   w ϊΠζͷӨڹ΍ൃ࿩్தͷҰ࣌ఀࢭͰݕग़͕ࠔ೉
   w ൃ࿩ߦҝʢ4QFFDI
   "DUʣ
   ҙਤΛ࡟Γऔͬͯจࣗମ͕ݴٴ͢Δ͜ͱ
   w ओཁͳ̐Ϋϥεʹ෼ྨʢ࿩͠खج४ʣ
    $POTUBUJWFTɿԿ͔͕֬ఆ͍ͯ͠Δͱݴٴ͢Δ
    %JSFDUJWFTɿฉ͖खʹԿ͔ͤ͞Α͏ͱ͢Δʢ໋ྩɼېࢭͳͲʣ
    $PNNJTTJWFTɿকདྷͷߦҝΛ໿ଋʢܖ໿ɼܭըͳͲʣ
    "DLOPXMFEHFNFOUTɿࣾձతߦҝʹ͍ͭͯͷଶ౓ʢײँɼँࡑͳͲʣ
   w άϥ΢ϯσΟϯάʢ(SPVOEJOH
   ج൫Խʣ
   ૬ޓཧղΛ੒ཱͤ͞Δ͜ͱ 
4. wαϒର࿩ͱର࿩ߏ଄
   w ྡ઀ϖΞɿର࿩ߦҝʹΑͬͯظ଴͞ΕΔ࣍ͷର࿩ߦҝ͕͋Δͱ͍͏ہॴతߏ଄
   w αϒର࿩ɿฉ͖खͷߦҝͷલʹૠೖ
   w मਖ਼ɼ໌֬ԽͳͲ
   w ओಋݖʢ*OJUJBUJWFʣ
   w ࠞ߹ओಋʢҰൠతͳձ࿩ʣɼϢʔβओಋɼγεςϜओಋ
   w ਪ࿦ͱؚҙ
   w ن໿తؚҙΛਪ࿦͢Δ
   w FYʣ"ɿࢢ໾ॴʹߦ͖͍ͨΜͰ͚͢ͲɺͲ͜ʹ͋Δ͔͝ଘ஌Ͱ͔͢ʁ
 ɹɹ#
   
   ؍ޫ٬ͳ΋ͷͰɻ͢Έ·ͤΜɻ
   w ؔ࿈ੑͳͲ  
   1SPQFSUJFT
   PG
   )VNBO
   $POWFSTBUJPO ˞ɿIUUQXXXUVGTBDKQUTQFSTPOBMOPNPUPIBOEPVU*NQMJDBUVSFQEG ˞
5.  
   3VMFCBTFE
   DIBUCPUT
   
   &-*;"
   BOE
   1"33: w &-*;"ɿױऀͷൃݴΛத৺ͱͨ͠ྍ๏Λ໛฿ͨ͠ର࿩γεςϜ
   w Ϣʔβ͕ൃݴ͢ΔՄೳੑͰΩʔϫʔυΛϥϯΫ෇͚
   w γϯϓϧͳΞϧΰϦζϜ
   w 1"33:ɿ౷߹ࣦௐ঱ͷױऀͷײ৘Λอ࣋ͤͯ͞ɼߦҝΛ࣮ݱ JG
   ΩʔϫʔυX͕ଘࡏɿ
   X͔Βద౰ͳϧʔϧબ୒ɼԠ౴จΛग़ྗ
   ʢJG
   XbNZ`
   ϧʔϧΛFORVFVFʣ
   FMTFɿ
   ୯७ͳԠ౴จ
   PS
   EFRVFVF͞ΕͨԠ౴จ
   Λग़ྗ
6. w ݕࡧɿϢʔβൃݴ
   
   ͱͯ͠ίʔύε
   
   ͔Βద੾ͳԠ౴
   
   Λݕࡧ
   w ݹయతख๏
   w
   ͷจΛUGJEGͰϕΫτϧԽͯ͠ίαΠϯྨࣅ౓ͷ࠷େͱͳΔ ΛٻΊΔ
   w //Λ༻͍ͨख๏ q C r q, C r  
   $PSQVTCBTFE
   DIBUCPUT responcse(q, C) = argmax r∈C q ⋅ r |q||r| hq = BERTQ (q)[CLS] hr = BERTR (r)[CLS] response(q, C) = argmax r∈C (hq ⋅ hr )
7. w ੜ੒
   w &ODPEFS%FDPEFSϞσϧ
   w ໰୊఺ɿແ೉ͳ୯७Ԡ౴͕બ୒
   w վળࡦ
   w ϏʔϜαʔνɼ࠷খ୯ޠ਺ͷ੍໿
   w ࣄલֶशݴޠϞσϧΛfiOFUVOJOH
   w ڧԽֶश΍ఢରతੜ੒ωοτϫʔΫʢ("/ʣ
   w஌ࣝςΩετ
   w &ODPEFS%FDPEFS΁ͷ૿ڧํ๏
   w 8JLJQFEJBͷ༗༻ͳจষͱର࿩จ຺ΛίϯςΩετͱͯ͠༩ֶ͑ͯश͢Δ
   w (15ͳͲͷࣄલֶशݴޠੜ੒ϞσϧΛfiOFUVSOJOHͯ͠ɼ
 ஌ࣝʴର࿩ͷίϯςΩετީิΛ༩͑Δ  
   $PSQVTCBTFE
   DIBUCPUT ̂ rt = argmax w∈V P(w|q, r1 , …, rt−1 ) ˞ɿIUUQTBDMBOUIPMPHZPSHFBDMNBJOQEG ˞
8.  
   )ZCSJE
   BSDIJUFDUVSFT w ϧʔϧϕʔεͱίʔύεϕʔεͷࠞ߹γεςϜʢ$IJSQZ
   $BSEJOBM
   TZTUFNʣ
   w ҎԼͷػೳΛؚΉ/-1ύΠϓϥΠϯ
    ݱࡏͷ࿩୊Λಛఆɿ8JLJQFEJB
   &OUJUZ
   -JOLJOH
    Ϣʔβͷҙਤ෼ྨɿϢʔβ͕࿩୊ʢ8JLJͷϖʔδ୯ҐʣΛม͍͑ͨͱ͖ʹ࢖༻
    ର࿩ߦҝ෼ྨɿ࣭໰ɼߠఆPS൱ఆͷԠ౴ͷ۠ผ
   w ࣮૷
   w (15ΛผʑͰfiOFUVOJOH
   w ڞײతͳର࿩ͷσʔληοτʢ&NQBUIFUJD%JBMPHVFTʣ
   w 8JLJQFEJBʹΑΔݴ͍׵͑
   w Ϣʔβͷ൓Ԡͷ෼ྨثɼөըͱԻָʹؔ͢ΔϧʔϧϕʔεʹΑΔੜ੒ث
   w ੜ੒ثΛ༏ઌॱҐͰࢦఆ͢Δ ˞ɿIUUQTBSYJWPSHBCT ˞
9.  
   (64
   4JNQMF
   'SBNFCBTFE
   %JBMPHVF
   4ZTUFNT wλεΫࢦ޲ܕର࿩γεςϜ
   w (64ΞʔΩςΫνϟʢجૅʣ
   w ର࿩ঢ়ଶΞʔΩςΫνϟʢʣ
   w ϑϨʔϜʢϢʔβͷҙਤΛද͢஌ࣝߏ଄ɼεϩοτͷू߹ʣ
   w ϑϨʔϜͷ֤εϩοτͷ࣭໰ྫ 4MPU 5ZQF 2VFTUJPO
   5FNQMBUF 03*(*/ $*5: l'SPN
   XIBU
   DJUZ
   BSF
   ZPV
   MFBWJOH z %&45*/"5*0/ $*5: l8IFSF
   BSF
   ZPV
   HPJOH z %&1"3563& 5*.& l8IFO
   XPVME
   ZPV
   MJLF
   UP
   MFBWF z %&1"3563& %"5& l8IBU
   EBZ
   XPVME
   ZPV
   MJLF
   UP
   MFBWF z "33*7"- 5*.& l8IFO
   EP
   ZPV
   XBOU
   UP
   BSSJWF z "33*7"- %"5& l8IBU
   EBZ
   XPVME
   ZPV
   MJLF
   UP
   BSSJWF z
10.  
    $POUSPM
    TUSVDUVSF
    GPS
    GSBNFCBTFE
    EJBMPHVF w ੍ޚ໨త
    w εϩοτΛϢʔβͷҙਤͰຒΊͯɼͦΕʹؔ࿈͢ΔΞΫγϣϯΛ࣮ߦ
    w ಈ࡞
    w Ϣʔβ΁ͷ࣭໰ͷฦ౴಺༰͔ΒಛఆͷεϩοτΛຒΊΔ
    w ຒΊΔ΂͖εϩοτʹΑͬͯϑϨʔϜΛ੾Γସ͑Δ
    w Ϣʔβͷҙਤ͕࣮ߦՄೳʹͳΕ͹ɼͦΕʹै͏ΞΫγϣϯΛ࣮ߦ͢Δ ˞̐ɿIUUQTXXXBOMQKQQSPDFFEJOHTBOOVBM@NFFUJOHQEG@EJS1QEG 
    %FUFSNJOJOH
    %PNBJO
    *OUFOU
    BOE
    4MPU
    GJMMFST
    JO
    (64 w (64ʹ͓͚ΔϢʔβൃݴ͔Βநग़
    w υϝΠϯ෼ྨɿϚϧνυϝΠϯ͕ݱ୅ͷඪ४
    w ҙਤܾఆɿϢʔβ͕ୡ੒͠Α͏ͱ͢ΔλεΫΛܾఆ
    w खॻ͖ϧʔϧͷεϩοτຒΊɿ৚݅ʔΞΫγϣϯʢจ຺ࣗ༝จ๏ʣ
    w େن໛ͷҙຯจ๏ʹΑΔखॻ͖ઃܭʢ1IPFOJY
    TZTUFNʣ
11.  
    0UIFS
    DPNQPOFOUT
    PG
    GSBNFCBTFE
    EJBMPHVF w ࣗಈԻ੠ೝࣝ
    w ର࿩ͷঢ়ଶ΁ͷґଘΛՄೳʹ੍ͯ͠ݶจ๏Λ༻͍ͯೝࣝ཰Λ্͛Δ
    wࣗવݴޠੜ੒
    w ϓϩϯϓτɿϑϨʔϜΛ༻͍ͨςϯϓϨʔτϕʔεͰ࡞੒͞Εͨจ
    w ϑϨʔϜϕʔεͷ௕ॴɾ୹ॴ
    w ௕ॴɿڱ͍υϝΠϯͰ࡞ΓࠐΈՄೳɼߴ͍ద߹཰
    w ୹ॴɿจ๏࡞੒ʹίετ΋࣌ؒ΋ߴ͍ɼ࠶ݱ཰ʹ໰୊
12.  
    5IF
    %JBMPHVF4UBUF
    "SDIJUFDUVSF w ର࿩ঢ়ଶ·ͨ͸৴೦ঢ়ଶʢચ࿅͞ΕͨϑϨʔϜϕʔεʣ 
       
13.  
    %JBMPHVF
    "DUT w ର࿩ߦҝɿൃ࿩ߦҝͱάϥ΢ϯσΟϯάΛ̍ͭʹ·ͱΊͨදݱ
    w ಛఆͷλεΫͷͨΊʹઃܭɹʢBʣ
    w εϩοτ΋ࣔ͞ΕΔɹʢCʣ ʢBʣ ʢCʣ
14.  
    4MPU
    'JMMJOH w εϩοτɼυϝΠϯɼҙਤʹରԠ͢ΔϞσϧ w ൒ڭࢣ෇ֶ͖श
    w ൃ࿩ͱϧʔϧϕʔεγεςϜʹΑΔϥϕϧͰ࡞੒ͨ͠λϓϧͰ෼ྨثΛֶश #*0λά υϝΠϯͱҙਤ
15.  
    %JBMPHVF
    4UBUF
    5SBDLJOH w ର࿩ঢ়ଶ௥੻ͷ໨తʢ಺෦ঢ়ଶͷߋ৽ʣ
    w ݱࡏͷϑϨʔϜঢ়ଶͱ௚ۙͷର࿩ߦҝͷܾఆ
    w ࣮૷ํ๏
    w ୯७ɿͦͷ··εϩοτΛग़ྗ
    w //ɿಡղΞʔΩςΫνϟΛ༻͍ͨϞσϧͱεύϯ༧ଌϞσϧͷ૊Έ߹Θͤ
    w ಛघέʔεɿमਖ਼ߦҝݕग़
    w Ի੠ͷޡೝࣝʹΑͬͯߦ͏Ϣʔβͷमਖ਼ߦҝΛೝࣝ͢Δඞཁ͕͋Δ
    w मਖ਼ߦҝͷಛ௃ ޠኮ l͍͍͑z zగਖ਼z z͠ͳ͍zͳͲɽฉ͖औΓͮΒ͍ݴ༿ ҙຯ ઌߦൃ࿩ͱగਖ਼ީิͷྨࣅ౓ Իӆ ઌߦൃ࿩ͱగਖ਼ީิͷԻ੠ॏෳ ӆ཯ ௒Իઅɼ'ൣғɼϙʔζ࣌ؒɼ୯ޠ࣌ؒͷ૿ՃͳͲ "43 "43ͷ৴པ౓ɼݴޠϞσϧͷ֬཰
16.  
    %JBMPHVF
    1PMJDZ w ର࿩੓ࡦͷ໨త
    w γεςϜͷ࣍λʔϯͷର࿩ߦҝΛܾΊΔʢϑϨʔϜΛ༻͍ͯ؆ૉԽʣ
    w //෼ྨث΍ڧԽֶशΛ༻͍ͯ੓ࡦΛֶश͢Δ
    w FYʣөըਪનର࿩γεςϜ

    
    
    
    
    
    
    ݕࡧɾ֬ೝɾ࣭໰ͷબ୒Λεϩοτදݱͷ੒ޭͳͲͷใु͔Β֫ಘ
    w ֬ೝ
    w ໌ࣔత֬ೝɿର࿩͕ෆࣗવͰ௕͕͞௕͘ͳΔɼ
    ޡೝࣝͷमਖ਼͕༻ҙ
    w ҉ࣔత֬ೝɿάϥ΢ϯσΟϯάΛ༻͍ͨର࿩ߦҝͷੜ੒
    w ڋ൱
    w QSPHSFTTJWF
    QSPNQUJOHɿڋ൱ʹରͯ͠Ҋ಺ΨΠμϯεΛ༩͑Δ
    w ର࿩ঢ়ଶදݱҎ֎ɿ"43ͷ৴པ౓ ̂ Ai = argmax Ai ∈A P(Ai |Framei−1 , Ai−1 , Ui−1 )
17.  
    /BUVSBM
    -BOHVBHF
    HFOFSBUJPO
    JO
    UIF
    EJBMPHVFTUBUF
    NPEFM w ࣗવݴޠੜ੒ͷҰൠతͳλεΫ
    w ಺༰ܭը
    w ର࿩੓ࡦʹΑͬͯੜ੒ର࿩ߦҝΛબ୒
    w จදݱ
    w ϥϕϧ෇͖ͷදݱɾจͷϖΞΛֶश
    w ݻ༗໊ࢺʹରͯ͠୤ޠኮԽʢஔ͖׵͑ʣ
    w ໌֬ͳ࣭໰ੜ੒
    w ಛఆͷର࿩ߦҝʹಛԽͨ͠/-(ͷઃܭ͕Մೳ
    w FYʣจதͰޡೝࣝ͞ΕͨεϩοτΛਪଌ͢Δ෼ྨث
18.  w ਓؒʹΑΔධՁ
    w ର࿩ऀͰ͋ΔϢʔβʹΑΔධՁ
    w ͭͷ߲໨ʢ܁Γฦ͠ͷଟ͞ɼ໘ന͞ɼ༗ҙٛੑɼྲྀெੑɼ܏ௌͳͲʣ
    w ର࿩ϩάΛୈࡾऀ͕ධՁ
    w BDVUFFWBMɿͭͷγεςϜͷର࿩ϩάΛൺֱ
    w ࿩͍͔ͨ͠ɼ໘ന͍͔ɼਓؒత͔ɼതֶత͔
    w ࣗಈධՁɿఢରతධՁ
    w ਓؒͱػցͷԠ౴Λֶशͨ͠෼ྨثΛ͚ٗ͹༏ΕͨγεςϜͱݴ͑Δ
    
    &WBMVBUJOH
    $IBUCPUT
19.  
    &WBMVBUJOH
    5BTL#BTFE
    %JBMPHVF w ਓؒʹΑΔධՁ
    w Ϣʔβຬ଍౓ɿ554"43ͷ࣭ɼλεΫͷ࣮ߦ͠΍͢͞ɼԠ౴ੑͳͲ
    w ࣗಈධՁ
    w εϩοτΤϥʔ཰ɿ಺ࡏతई౓
    w λεΫΤϥʔ཰ɿ֎ࡏతई౓
    w ޮ཰ίετɿ૯ର࿩࣌ؒɼ૯λʔϯ਺ɼ૯ΫΤϦ਺ͳͲ
    w ඼࣭ίετɿ"43ͷڋ൱਺ɼγεςϜதஅ਺ɼෆద੾ͳԠ౴จ਺ͳͲ
20.  
    %JBMPHVF
    4ZTUFN
    %FTJHO w ର࿩γεςϜͷઃܭ
    w ώϡʔϚϯίϯϐϡʔλΠϯλϥΫγϣϯʢ)$*ʣͱີ઀
     ϢʔβͱλεΫͷજࡏతੑ࣭Λཧղ͢Δ
     8J[BSE
    PG
    0;
    γεςϜɿਓ͕ؒର࿩γεςϜͷߦҝʹِ૷͢Δ
     ઃܭͱςετͷ܁Γฦ͠ w Ϣʔβͷ҆શੑ
    w ةݥͰޡͬͨΞυόΠε΍Ϣʔβ΁ͷ߈ܸతൃݴɼਓछࠩผͳͲͷภݟΛ࣋ͭ
 ʢ.JDSPTPGU
    
    5BZʣ
    
    ˠ
    ݴޠੜ੒ϞσϧʹόΠΞε͕͔͔Δ
    w ϓϥΠόγʔ໰୊ɿϢʔβͷϓϥΠϕʔτ৘ใͷಗ໊Խ
    w ରࡦ
    w ༗֐ͳจΛݕ஌ͯ͠ద੾ʹରॲ͢Δ 
    &UIJDBM
    *TTVFT
    JO
    %JBMPHVF
    4ZTUFN
    %FTJHO
21. 4VNNBSZ  w ਓؒͷର࿩ʹ͓͍ͯɼର࿩ߦҝ΍ޓ͍ͷཧղΛ֬ೝ͢Δڞ௨ೝ͕ࣝ͋Δɽ
 ·ͨɼλʔϯߏ଄ͱμΠΞϩάߏ଄ʹΑΓಛ௃͚ͮΒΕΔ
    w νϟοτϘοτ͸ਓؒͷձ࿩Λ໛฿͢ΔΑ͏ʹ
 ϧʔϧϕʔε΍ίʔύεϕʔεͰઃܭ͞ΕͨΤʔδΣϯτͰ͋Δɽ
    w λεΫࢦ޲ܕର࿩γεςϜ͸(64΍ϑϨʔϜϕʔε͕࠾༻͞Ε͓ͯΓɼ
 εϩοτΛߏ੒͢ΔϑϨʔϜΛ༻͍ͯɼγεςϜ͕Ϣʔβʹ࣭໰ͯ͠εϩοτΛຒΊ͍ͯ͘ɽ
    w ର࿩ঢ়ଶΞʔΩςΫνϟ͸ɼϑϨʔϜಛఆͷͨΊͷର࿩ߦҝ௥੻ɼ
 ର࿩ߦҝੜ੒ͷͨΊͷର࿩੓ࡦɼࣗવݴޠੜ੒Λ(64ʹ௥Ճͨ͠΋ͷͰ͋Δɽ
    w ର࿩γεςϜ͸ɼਓؒͱίϯϐϡʔλͷ૬ޓ࡞༻ͷҰछͰ͋Γɼ
 ઃܭʹ͸ɼϢʔβͷ໾ׂɼγϛϡϨʔγϣϯɼઃܭ΍ςετͷ܁Γฦ͠ͷॏཁੑͳͲɼ
 ώϡʔϚϯίϯϐϡʔλΠϯλϥΫγϣϯͷݪଇ͕ద༻͞ΕΔɽ