Share
Embed
チャットボットと対話システム
次のサイトの2021年12月29日版の資料を参考にさせていただいております.
https://web.stanford.edu/~jurafsky/slp3/24.pdf
Kyao
July 13, 2022
Transcript
21 slides
-
$IBQUFS $IBUCPUT%JBMPHVF4ZTUFN #/BPLJ,PKJNB Speech and Language Processing. Draft of Dec
29, 2021. Copyright © 2021 Daniel Jurafsky & James H. Martin. All Rights Reserved. -
*OUSPEVDUJPO w ςΩετɼԻ͋Δ͍྆ํΛ༻͍ͯϢʔβͱձΛߦ͏ରγεςϜ w ରγεςϜͷྨ w λεΫࢦܕରγεςϜɿใػೳͷఏڙͰλεΫΛྃ w ඇλεΫࢦܕରγεςϜɿ࣌ؒͷࣗવͳձͷ࣮ݱ w
ΞʔΩςΫνϟ w $IBUCPUT w ϧʔϧϕʔεɾใݕࡧɾ&ODPEFS%FDPEFSੜث w λεΫࢦͷجૅͱͳΔ(64ΞʔΩςΫνϟ w ࣮ྫ w νϟοτϘοτɼԻରγεςϜ -
1SPQFSUJFTPG)VNBO$POWFSTBUJPO wλʔϯʢ5VSOʣ̍ਓͷ͠ख͕ରʹؔΘ͍ͬͯΔҰ࿈ͷൃݴ w ͭͷจ " ɼ୯ޠ $ ɼෳͷจ " ͳͲ
w λʔϯͷऴྃ࣌ʢ&OEQPJOUʣΛݕग़͢Δ w ϊΠζͷӨڹൃ్தͷҰ࣌ఀࢭͰݕग़͕ࠔ w ൃߦҝʢ4QFFDI"DUʣҙਤΛΓऔͬͯจࣗମ͕ݴٴ͢Δ͜ͱ w ओཁͳ̐Ϋϥεʹྨʢ͠खج४ʣ $POTUBUJWFTɿԿ͔͕֬ఆ͍ͯ͠Δͱݴٴ͢Δ %JSFDUJWFTɿฉ͖खʹԿ͔ͤ͞Α͏ͱ͢Δʢ໋ྩɼېࢭͳͲʣ $PNNJTTJWFTɿকདྷͷߦҝΛଋʢܖɼܭըͳͲʣ "DLOPXMFEHFNFOUTɿࣾձతߦҝʹ͍ͭͯͷଶʢײँɼँࡑͳͲʣ w άϥϯσΟϯάʢ(SPVOEJOH ج൫Խʣ૬ޓཧղΛཱͤ͞Δ͜ͱ -
wαϒରͱରߏ w ྡϖΞɿରߦҝʹΑͬͯظ͞ΕΔ࣍ͷରߦҝ͕͋Δͱ͍͏ہॴతߏ w αϒରɿฉ͖खͷߦҝͷલʹૠೖ w मਖ਼ɼ໌֬ԽͳͲ w ओಋݖʢ*OJUJBUJWFʣ w
ࠞ߹ओಋʢҰൠతͳձʣɼϢʔβओಋɼγεςϜओಋ w ਪͱؚҙ w نతؚҙΛਪ͢Δ w FYʣ"ɿࢢॴʹߦ͖͍ͨΜͰ͚͢ͲɺͲ͜ʹ͋Δ͔͝ଘͰ͔͢ʁ ɹɹ#؍ޫ٬ͳͷͰɻ͢Έ·ͤΜɻ w ؔ࿈ੑͳͲ 1SPQFSUJFTPG)VNBO$POWFSTBUJPO ˞ɿIUUQXXXUVGTBDKQUTQFSTPOBMOPNPUPIBOEPVU*NQMJDBUVSFQEG ˞ -
3VMFCBTFEDIBUCPUT&-*;"BOE1"33: w &-*;"ɿױऀͷൃݴΛத৺ͱͨ͠ྍ๏Λ฿ͨ͠ରγεςϜ w Ϣʔβ͕ൃݴ͢ΔՄೳੑͰΩʔϫʔυΛϥϯΫ͚ w γϯϓϧͳΞϧΰϦζϜ w 1"33:ɿ౷߹ࣦௐͷױऀͷײΛอ࣋ͤͯ͞ɼߦҝΛ࣮ݱ
JGΩʔϫʔυX͕ଘࡏɿ X͔ΒదͳϧʔϧબɼԠจΛग़ྗ ʢJGXbNZ`ϧʔϧΛFORVFVFʣ FMTFɿ ୯७ͳԠจPSEFRVFVF͞ΕͨԠจΛग़ྗ -
w ݕࡧɿϢʔβൃݴ ͱͯ͠ίʔύε ͔ΒదͳԠ Λݕࡧ w ݹయతख๏ w ͷจΛUGJEGͰϕΫτϧԽͯ͠ίαΠϯྨࣅͷ࠷େͱͳΔ ΛٻΊΔ
w //Λ༻͍ͨख๏ q C r q, C r $PSQVTCBTFEDIBUCPUT responcse(q, C) = argmax r∈C q ⋅ r |q||r| hq = BERTQ (q)[CLS] hr = BERTR (r)[CLS] response(q, C) = argmax r∈C (hq ⋅ hr ) -
w ੜ w &ODPEFS%FDPEFSϞσϧ w ɿແͳ୯७Ԡ͕બ w վળࡦ w ϏʔϜαʔνɼ࠷খ୯ޠͷ੍
w ࣄલֶशݴޠϞσϧΛfiOFUVOJOH w ڧԽֶशఢରతੜωοτϫʔΫʢ("/ʣ wࣝςΩετ w &ODPEFS%FDPEFSͷ૿ڧํ๏ w 8JLJQFEJBͷ༗༻ͳจষͱରจ຺ΛίϯςΩετͱͯ͠༩ֶ͑ͯश͢Δ w (15ͳͲͷࣄલֶशݴޠੜϞσϧΛfiOFUVSOJOHͯ͠ɼ ࣝʴରͷίϯςΩετީิΛ༩͑Δ $PSQVTCBTFEDIBUCPUT ̂ rt = argmax w∈V P(w|q, r1 , …, rt−1 ) ˞ɿIUUQTBDMBOUIPMPHZPSHFBDMNBJOQEG ˞ -
)ZCSJEBSDIJUFDUVSFT w ϧʔϧϕʔεͱίʔύεϕʔεͷࠞ߹γεςϜʢ$IJSQZ$BSEJOBMTZTUFNʣ w ҎԼͷػೳΛؚΉ/-1ύΠϓϥΠϯ ݱࡏͷΛಛఆɿ8JLJQFEJB&OUJUZ-JOLJOH ϢʔβͷҙਤྨɿϢʔβ͕ʢ8JLJͷϖʔδ୯ҐʣΛม͍͑ͨͱ͖ʹ༻
ରߦҝྨɿ࣭ɼߠఆPS൱ఆͷԠͷ۠ผ w ࣮ w (15ΛผʑͰfiOFUVOJOH w ڞײతͳରͷσʔληοτʢ&NQBUIFUJD%JBMPHVFTʣ w 8JLJQFEJBʹΑΔݴ͍͑ w ϢʔβͷԠͷྨثɼөըͱԻָʹؔ͢ΔϧʔϧϕʔεʹΑΔੜث w ੜثΛ༏ઌॱҐͰࢦఆ͢Δ ˞ɿIUUQTBSYJWPSHBCT ˞ -
(644JNQMF'SBNFCBTFE%JBMPHVF4ZTUFNT wλεΫࢦܕରγεςϜ w (64ΞʔΩςΫνϟʢجૅʣ w ରঢ়ଶΞʔΩςΫνϟʢʣ w ϑϨʔϜʢϢʔβͷҙਤΛදࣝ͢ߏɼεϩοτͷू߹ʣ w
ϑϨʔϜͷ֤εϩοτͷ࣭ྫ 4MPU 5ZQF 2VFTUJPO5FNQMBUF 03*(*/ $*5: l'SPNXIBUDJUZBSFZPVMFBWJOH z %&45*/"5*0/ $*5: l8IFSFBSFZPVHPJOH z %&1"3563& 5*.& l8IFOXPVMEZPVMJLFUPMFBWF z %&1"3563& %"5& l8IBUEBZXPVMEZPVMJLFUPMFBWF z "33*7"- 5*.& l8IFOEPZPVXBOUUPBSSJWF z "33*7"- %"5& l8IBUEBZXPVMEZPVMJLFUPBSSJWF z -
$POUSPMTUSVDUVSFGPSGSBNFCBTFEEJBMPHVF w ੍ޚత w εϩοτΛϢʔβͷҙਤͰຒΊͯɼͦΕʹؔ࿈͢ΔΞΫγϣϯΛ࣮ߦ w ಈ࡞ w Ϣʔβͷ࣭ͷฦ༰͔ΒಛఆͷεϩοτΛຒΊΔ
w ຒΊΔ͖εϩοτʹΑͬͯϑϨʔϜΛΓସ͑Δ w Ϣʔβͷҙਤ͕࣮ߦՄೳʹͳΕɼͦΕʹै͏ΞΫγϣϯΛ࣮ߦ͢Δ ˞̐ɿIUUQTXXXBOMQKQQSPDFFEJOHTBOOVBM@NFFUJOHQEG@EJS1QEG %FUFSNJOJOH%PNBJO *OUFOU BOE4MPUGJMMFSTJO(64 w (64ʹ͓͚ΔϢʔβൃݴ͔Βநग़ w υϝΠϯྨɿϚϧνυϝΠϯ͕ݱͷඪ४ w ҙਤܾఆɿϢʔβ͕ୡ͠Α͏ͱ͢ΔλεΫΛܾఆ w खॻ͖ϧʔϧͷεϩοτຒΊɿ݅ʔΞΫγϣϯʢจ຺ࣗ༝จ๏ʣ w େنͷҙຯจ๏ʹΑΔखॻ͖ઃܭʢ1IPFOJYTZTUFNʣ -
0UIFSDPNQPOFOUTPGGSBNFCBTFEEJBMPHVF w ࣗಈԻೝࣝ w ରͷঢ়ଶͷґଘΛՄೳʹ੍ͯ͠ݶจ๏Λ༻͍ͯೝࣝΛ্͛Δ wࣗવݴޠੜ w ϓϩϯϓτɿϑϨʔϜΛ༻͍ͨςϯϓϨʔτϕʔεͰ࡞͞Εͨจ w
ϑϨʔϜϕʔεͷॴɾॴ w ॴɿڱ͍υϝΠϯͰ࡞ΓࠐΈՄೳɼߴ͍ద߹ w ॴɿจ๏࡞ʹίετ࣌ؒߴ͍ɼ࠶ݱʹ -
%JBMPHVF4UBUF5SBDLJOH w ରঢ়ଶͷతʢ෦ঢ়ଶͷߋ৽ʣ w ݱࡏͷϑϨʔϜঢ়ଶͱۙͷରߦҝͷܾఆ w ࣮ํ๏ w ୯७ɿͦͷ··εϩοτΛग़ྗ
w //ɿಡղΞʔΩςΫνϟΛ༻͍ͨϞσϧͱεύϯ༧ଌϞσϧͷΈ߹Θͤ w ಛघέʔεɿमਖ਼ߦҝݕग़ w ԻͷޡೝࣝʹΑͬͯߦ͏Ϣʔβͷमਖ਼ߦҝΛೝࣝ͢Δඞཁ͕͋Δ w मਖ਼ߦҝͷಛ ޠኮ l͍͍͑z zగਖ਼z z͠ͳ͍zͳͲɽฉ͖औΓͮΒ͍ݴ༿ ҙຯ ઌߦൃͱగਖ਼ީิͷྨࣅ Իӆ ઌߦൃͱగਖ਼ީิͷԻॏෳ ӆ Իઅɼ'ൣғɼϙʔζ࣌ؒɼ୯ޠ࣌ؒͷ૿ՃͳͲ "43 "43ͷ৴པɼݴޠϞσϧͷ֬ -
%JBMPHVF1PMJDZ w ରࡦͷత w γεςϜͷ࣍λʔϯͷରߦҝΛܾΊΔʢϑϨʔϜΛ༻͍ͯ؆ૉԽʣ w //ྨثڧԽֶशΛ༻͍ͯࡦΛֶश͢Δ w FYʣөըਪનରγεςϜ
ݕࡧɾ֬ೝɾ࣭ͷબΛεϩοτදݱͷޭͳͲͷใु͔Β֫ಘ w ֬ೝ w ໌ࣔత֬ೝɿର͕ෆࣗવͰ͕͘͞ͳΔɼޡೝࣝͷमਖ਼͕༻ҙ w ҉ࣔత֬ೝɿάϥϯσΟϯάΛ༻͍ͨରߦҝͷੜ w ڋ൱ w QSPHSFTTJWFQSPNQUJOHɿڋ൱ʹରͯ͠ҊΨΠμϯεΛ༩͑Δ w ରঢ়ଶදݱҎ֎ɿ"43ͷ৴པ ̂ Ai = argmax Ai ∈A P(Ai |Framei−1 , Ai−1 , Ui−1 ) -
/BUVSBM-BOHVBHFHFOFSBUJPOJOUIFEJBMPHVFTUBUFNPEFM w ࣗવݴޠੜͷҰൠతͳλεΫ w ༰ܭը w ରࡦʹΑͬͯੜରߦҝΛબ w จදݱ
w ϥϕϧ͖ͷදݱɾจͷϖΞΛֶश w ݻ༗໊ࢺʹରͯ͠ޠኮԽʢஔ͖͑ʣ w ໌֬ͳ࣭ੜ w ಛఆͷରߦҝʹಛԽͨ͠/-(ͷઃܭ͕Մೳ w FYʣจதͰޡೝࣝ͞ΕͨεϩοτΛਪଌ͢Δྨث -
w ਓؒʹΑΔධՁ w ରऀͰ͋ΔϢʔβʹΑΔධՁ w ͭͷ߲ʢ܁Γฦ͠ͷଟ͞ɼ໘ന͞ɼ༗ҙٛੑɼྲྀெੑɼௌͳͲʣ w ରϩάΛୈࡾऀ͕ධՁ w
BDVUFFWBMɿͭͷγεςϜͷରϩάΛൺֱ w ͍͔ͨ͠ɼ໘ന͍͔ɼਓؒత͔ɼതֶత͔ w ࣗಈධՁɿఢରతධՁ w ਓؒͱػցͷԠΛֶशͨ͠ྨثΛ͚ٗ༏ΕͨγεςϜͱݴ͑Δ &WBMVBUJOH$IBUCPUT -
&WBMVBUJOH5BTL#BTFE%JBMPHVF w ਓؒʹΑΔධՁ w Ϣʔβຬɿ554"43ͷ࣭ɼλεΫͷ࣮ߦ͢͠͞ɼԠੑͳͲ w ࣗಈධՁ w εϩοτΤϥʔɿࡏతई
w λεΫΤϥʔɿ֎ࡏతई w ޮίετɿ૯ର࣌ؒɼ૯λʔϯɼ૯ΫΤϦͳͲ w ࣭ίετɿ"43ͷڋ൱ɼγεςϜதஅɼෆదͳԠจͳͲ -
%JBMPHVF4ZTUFN%FTJHO w ରγεςϜͷઃܭ w ώϡʔϚϯίϯϐϡʔλΠϯλϥΫγϣϯʢ)$*ʣͱີ ϢʔβͱλεΫͷજࡏతੑ࣭Λཧղ͢Δ 8J[BSEPG0;γεςϜɿਓ͕ؒରγεςϜͷߦҝʹِ͢Δ
ઃܭͱςετͷ܁Γฦ͠ w Ϣʔβͷ҆શੑ w ةݥͰޡͬͨΞυόΠεϢʔβͷ߈ܸతൃݴɼਓछࠩผͳͲͷภݟΛ࣋ͭ ʢ.JDSPTPGU5BZʣ ˠݴޠੜϞσϧʹόΠΞε͕͔͔Δ w ϓϥΠόγʔɿϢʔβͷϓϥΠϕʔτใͷಗ໊Խ w ରࡦ w ༗ͳจΛݕͯ͠దʹରॲ͢Δ &UIJDBM*TTVFTJO%JBMPHVF4ZTUFN%FTJHO -
4VNNBSZ w ਓؒͷରʹ͓͍ͯɼରߦҝޓ͍ͷཧղΛ֬ೝ͢Δڞ௨ೝ͕ࣝ͋Δɽ ·ͨɼλʔϯߏͱμΠΞϩάߏʹΑΓಛ͚ͮΒΕΔ w νϟοτϘοτਓؒͷձΛ฿͢ΔΑ͏ʹ ϧʔϧϕʔείʔύεϕʔεͰઃܭ͞ΕͨΤʔδΣϯτͰ͋Δɽ w λεΫࢦܕରγεςϜ(64ϑϨʔϜϕʔε͕࠾༻͞Ε͓ͯΓɼ
εϩοτΛߏ͢ΔϑϨʔϜΛ༻͍ͯɼγεςϜ͕Ϣʔβʹ࣭ͯ͠εϩοτΛຒΊ͍ͯ͘ɽ w ରঢ়ଶΞʔΩςΫνϟɼϑϨʔϜಛఆͷͨΊͷରߦҝɼ ରߦҝੜͷͨΊͷରࡦɼࣗવݴޠੜΛ(64ʹՃͨ͠ͷͰ͋Δɽ w ରγεςϜɼਓؒͱίϯϐϡʔλͷ૬ޓ࡞༻ͷҰछͰ͋Γɼ ઃܭʹɼϢʔβͷׂɼγϛϡϨʔγϣϯɼઃܭςετͷ܁Γฦ͠ͷॏཁੑͳͲɼ ώϡʔϚϯίϯϐϡʔλΠϯλϥΫγϣϯͷݪଇ͕ద༻͞ΕΔɽ