Share
Embed
Numerical Reasoning with NLP Models
Scatter Lab Inc.
April 17, 2020
Transcript
42 slides
-
ݾର ݾର *OUSP/VNCFSJO/-1 %P.PEFMT,OPX/VNCFST 1SPCJOH/VNFSBDZJO&NCFEEJOHT &./-1
*OKFDUJOH/VNFSJDBM3FBTPOJOH4LJMMTJOUP-BOHVBHF.PEFMT "$- %FFQ-FBSOJOHGPS4ZNCPMJD.BUIFNBUJDT *$-3 -
• ӝઓীبݽ؛۽ࣻधਸಽ۰ҊӔೠߑߨٜ • /FVSBM/FUXPSLחӏӝ߈ࣻधਸಽӝীೞঋ • ాੋݠन۞ా҅णਸਤೠӏӝ߈୶ۿਸ߈ೣ • ഋੋ$7/-1ޙઁٜҗэా҅ಁఢਸੋधೞחޙઁٜীࢲ୭࢚Ѿҗܳࠁৈષ • पઁ۽ؔࣅ
ғࣅ١ࣿোਸಽযࠁ۰೮ਵաજѾҗܳޅೣ • #&35 %FWMJOFUBM ١റӝઓపझٜੜಽܿ • ޙઁӔߨٜ1SFUSBJOJOH'JOFUVOJOHਵ۽ాੌؽ • ؊ߊػ୶ۿמ۱ਸਃҳೞחపझٜઁदؽ • /VNFSJDBM3FBTPOJOH ࣻ୶ۿמ۱ بӒೞա *OUSP/VNCFSJO/-1 ंীೠҙब -
• ୭Ӕীઁदػ2"ؘఠࣇࣻ೧ ୶ۿ מ۱ਸਃҳೣ • %301 • &26"5& • അઁ405"ݽ؛ٜ࢚જࢿמ
' ਸࠁ • ܲషҗزੌೞѱஂәೣ ߬٬ • ࣻ୶ۿמ۱ • ৵ੜؼө %P/-1.PEFMT,OPX/VNCFST /-1ݽ؛ंܳ೧ೞחמ۱ -
• %301 • 2" .3$ ޙઁܳಿ • ࣻੋো DPVOU TPSU
BEE ߂֤ܻࢿਸഛੋೡࣻחޙ ನೣغয • ੌ߈ੋ.3$৬ਬࢎೞѱযޙױ ޙীઓೣ • /"2"/FU /VNFSJDBMMZ"VHNFOUFE2"/FU • ੌઁػӒद405"ݽ؛ • $IBS$// (-P7F߬٬ਸ߬٬ਵ۽ਊ • ౠ߹ंܳഅೞӝਤೠਃࣗחহ %P/-1.PEFMT,OPX/VNCFST %301/"2"/FU -
• ޙਸѐ۽࠙ܨ • $PNQBSBUJWF #JOBSZ/PO#JOBSZ فѐ Ӓ࢚ ূ౭౭ࢎࣗҙ҅ܳ೧ೞחמ۱ • 4VQFSMBUJWF
/VNCFS4QBO যܻझীࢲ୭୭ࣗ١ਸחޙઁ • /VNCFSंੋ҃ ױࣽ.JO .BYো • 4QBO4QBOੋ҃ "SH.BYো %P/-1.PEFMT,OPX/VNCFST /"2"/FU"OBMZTJT -
• ࣿޙীೠഛبחಣӐࠁ഻ঁ֫ • $PNQBSBUJWF #JOBSZ '׳ࢿ ಣӐ' ੋрҗبର • $PNQBSBUJWF
/PO#JOBSZ #JOBSZী࠺೧ৈ۞୶ۿױ҅ܳѢঠೞחؘ ࢤпࠁ ҡଳѾҗܳࠁ • 4VQFSMBUJWF /VNCFS '׳ࢿ • 4VQFSMBUJWF 4QBO بܳݏ BSHNBYোبযוبࣻ೯оמ %P/-1.PEFMT,OPX/VNCFST /"2"/FU"OBMZTJT -
• %301Ѩૐࣇਸࣻ೧ࢲੜೞחഛੋ೧ࠆ • ࣻߧਤےؒনࣻܳࢤࢿೞҊппޙױীחݽٚࣻ৬ғೞѢա؊ೣ • ഋध߸҃%JHJU tu 8PSE'PSN t4FWFOUZ'JWFu
• %301ীࢲחӝࣻী݅ࢎਊغӝٸޙী < >ࢎࣻ݅ജೣ %P/-1.PEFMT,OPX/VNCFST 4USFTT5FTUJOH/"2"/FU -
• ӝ߸ച< >࠺Үࢿמೞо • ߸ച< >ࢿמೞܳࠁ • णࣇীࢲࠄহחࣻо١ೣݽ؛ ੜೞޅೣ •
8PSE'PSNীࢲب࠺तೠ҃ೱਸࠁ • णীࢲߓਛ؍ߧਤղࣻഅী೧ࢲח೧ ೞ݅ ܲчٜী೧ࢲחডೠݽणਸࠁ %P/-1.PEFMT,OPX/VNCFST 4USFTT5FTUJOH/"2"/FU -
• /"2"/FU2"ؘఠ۽tࣻuী೧рਵ۽ण೮ীبࠛҳೞҊӝ࢚מ۱ਸ ࠁৈષ • ࣻ୶ۿޙઁ %301 ܳಽӝਤ೧ࢲחفоਃࣗоਃೣ • ࣻܳഅೞחמ۱ •
߬٬ (-P7F $IBS$// ਸೞաঀઁ৻ೞҊप೧ࠌਸٸ Ѿҗоજঋও • tష߬٬uӒীࣻੋࠁоӟ • ࠺ҮঌҊ્ܻ .BYчਸחѪ لࢎ࠺Ү١ • ࣻ݅ੜഅغݶ ࠺ҮঌҊ્ܻ2" .3$ ۽ण೧بणೡࣻ %P/-1.PEFMT,OPX/VNCFST ۞ೠѾҗਗੋ -
%P/-1.PEFMT,OPX/VNCFST 1SPCJOH/VNFSBDZPG&NCFEEJOHT ష߬٬ࣿמ۱ਸૐݺೞӝਤ೧ ৈ۞ݽ؛߬٬݅ਸਊ೧୶оੋࣿపझܳण • -JTU.BYJNVNѐं߬٬যਸٸ ୭؆чੋؙझܳஏ • ܻझпਗࣗח࠺तೠӝܳоب۾ࢸ ࢿਸഛੋ
• /---PTTਊ • "EEJUJPOযفࣻ߬٬ਸਊ೧Ӓٜਸஏ • فష߬٬ਸDPODBUೞҊ୶оੋMBZFS'$/ .4&MPTTਊ • %FDPEJOHযࣻ߬٬ਵ۽ࣻоݻੋஏࣻӝо݃ੋݏ୶חపझ • MBZFS'$/ 3F-6 .4&MPTTਊ • 5SBJOJOH&WBMVBUJPO • ݽ؛णߧਤղࣻ۽ಣоؽߧਤܳೞҊ೧ߧਤٜࣻਸےؒਵ۽࣊ೞৈUSBJOUFTUա׃ ࠂহ • ंחࣻ XPSEGPSN< > ࣗࣻ ࣻ۽ઁҕ -
%P/-1.PEFMT,OPX/VNCFST 1SPCJOH/VNFSBDZPG&NCFEEJOHT • ݽٚQSFUSBJOFE߬٬ࣻӝ৬ࣽࢲী೧ੜ݀ػࠁܳನೣೞҊ • &-.Pо4P5"ੋؘ ח$IBS$//ೱਵ۽ࠅࣻ • 4VC8PSEױਤషաૉ #&35
חंੋधীೞঋ • ࠺तೠчਸы؊ۄبܲTVCXPSEܻ࠙оؼࣻ • 8PSE߭ఠ 8PSE7FD (-P7F оࢤпࠁજࢿמਸࠁ • $#P8৬эPCKFDUJWF۽بࣻীೠࠁܳ൧ࣻ -
%P/-1.PEFMT,OPX/VNCFST $PODMVTJPO • ंח$IBSBDUFSױਤ۽ܻ࠙ೡٸ ࢿמоજ 4VC8PSEח߹۽ • ࣻܳੋPCKFDUJWF۽णೞঋ؊ۄب ݆নؘఠ۽೯ೞחQSF
USBJOJOHաंীҙ۲ػ֤ܻࢿਸਃҳೞחޙನೣػ2"١ਵ۽بܻ࠙ࣻ מ۱ਸणೡࣻ • അߑߨٜणߧਤղࣻী೧ъೞ݅ ߆ٜࣻী೧ࢲחডೣ • ؘఠ"VHNFOUBUJPO١ਵ۽যוبࠁ৮ೡࣻ -
*OKFDUJOH/VNFSJDBM3FBTPOJOH4LJMMTJOUP-BOHVBHF.PEFMT /VNFSJDBM3FBTPOJOH0WFS5FYU /3P5 • ੌ߈ੋ3FBEJOH$PNQSFIFOTJPO 3$ ޙઁ৬زੌೠࢸ • 2 ޙ
$ ஶఫझ оযҊ" ਸஏೞחޙઁ 1 "]$ 2 • ղࠗਵ۽ஶఫझী١ೞחূ౭౭৬ࣻীೠࣻੋ҅ ਃҳؽ • ߧਤחޙஶఫझTQBOա҅Ѿҗчؼࣻ • খীࢲࢸݺ೮؍%301җэؘఠо೧ؽ -
*OKFDUJOH/VNFSJDBM3FBTPOJOH4LJMMTJOUP-BOHVBHF.PEFMT 1SFWJPVT"QQSPBDIFT • 4ZNCPMJD"QQSPBDIݽ؛2 $੍ܳҊী೧ೞחࣻഅधਸٜ݅Ҋ ܳ ৻ࠗ҅ӝ۽҅ೞৈಣоೣ • ࣻഅधҊ ઑࣻоݒ݆
णয۰ • ۞ೠഅधਸా೧ࢲחࣻੋ݅ೡࣻ "SHNBY৬эোޅೣ • %JTUSJCVUFE"QQSPBDIয 2 $ ী೧߄۽ " ਸחߑߨ • UFYUTQBOੋ҃ 2 $ীࢲ୶ೡࣻ ӝઓ.3$৬ਬࢎ • ৻҃ਸࢤࢿೣ (FOFSBUJPO • णחрױ೧݅ ݽ؛࠺Үؘఠࣇਵ۽ࣻোਸߓਕঠೣ -
*OKFDUJOH/VNFSJDBM3FBTPOJOH4LJMMTJOUP-BOHVBHF.PEFMT 1SFWJPVT"QQSPBDIFT .5.4/ • খفӔߨਸഒೞৈࢎਊ • оܳஏೡࣻחIFBEܳҳࢿೞҊ Ӓೞա۽ࢶఖೞৈஏਸ೯ • $POUFYU4QBOযஶఫझীࢲ4QBOਸ
• 2VFTUJPO4QBOযޙীࢲ4QBOਸ • $PVOU\ j ^ীࢶఖೣ • "SJUINFUJDஶఫझী١ೞחंٜҗোઑٜਸ҅ೞҊ ࢶఖೞա۽ࢶఖೣ • )FBEࢶఖоIFBEೞաܳࢶఖ • ݽف#&35ܳ'JOFUVOJOHೞҊ ୨ѐ'JOFUVOJOH)FBEܳਊ -
*OKFDUJOH/VNFSJDBM3FBTPOJOH4LJMMTJOUP-BOHVBHF.PEFMT 1SFUSBJOJOH5BTLTGPS/VNFSJDBM4LJMMT • 1SFUSBJOFE#&35ীࣻ೧ࢳמ۱ਸਤೠ୶оੋ పझ۽QSFUSBJOJOHਸ೯ೣ • /% /VNFSJDBM%BUB
җэݽ؛ ࣻੋোਸಹחױ҅ • 5% 5FYUVBM%BUB 2"৬эഋधਵ۽যஶ ఫझী೧ࢲࣻੋޙਸಹחױ҅ • فоੋపझ৬.-.ਸ.VMUJUBTL-FBSOJOH ਵ۽ण -
*OKFDUJOH/VNFSJDBM3FBTPOJOH4LJMMTJOUP-BOHVBHF.PEFMT (FO#&35"SDIJUFDUVSF • ݽ؛ҳઑח۪झನݠ ੋ؊٣؊ ҳઑ۽ҳࢿೣ • ੋ؊٣؊ппQSFUSBJOFE#&35۽ୡӝചೣ • ٣؊ীࢲ4PVSDF"UUFOUJPO
ੋ؊٣؊ ژೠ 4FMG"UUFOUJPOदীਊೞח5SBOTGPSNFS#MPDLਵ ۽ୡӝച • ੋ؊٣؊חݽٚҕాغחоܳTIBSJOH UJF ೣ • ҳ߹ػSFQSFTFOUBUJPOਸणೞӝਤ೧ ୶оੋ ''/ -BZFS/PSNਊ ''FOD ''EFD -
*OKFDUJOH/VNFSJDBM3FBTPOJOH4LJMMTJOUP-BOHVBHF.PEFMT (FO#&351SFUSBJOJOH • ઁदೠоQSFUSBJOJOHਸಹחߑߨ • .-.ੋ؊۱ -@FOD ܳਊ • /%5%٣؊۱
ࢤࢿ ਸਊ • %JHJU5PLFOJ[BUJPO %5 • 8PSE1JFDFܳਊೞݶ ंоযڌѱੜܾ࢚ೡࣻহޖઑѤ EJHJUCZEJHJUਵ۽ܴ • 3BOEPN4IJGU 34 • /%҃ੑ۱ӡоૣؘ ۧѱغݶ ನ࣊օੋ٬ী೧ ૣޙ݅ੜಽࣻب۾য়ߡೖؼࣻ • ےؒਵ۽दਸয়ܲଃਵ۽ѹષ -
*OKFDUJOH/VNFSJDBM3FBTPOJOH4LJMMTJOUP-BOHVBHF.PEFMT (FO#&35'JOFUVOJOH • %301ؘఠ۽'JOFUVOJOHਸ೯ • $POUFYU4QBO 2VFTUJPO4QBO %FDPEFS ࢤࢿ UZQF
୨оઙܨIFBEܳणೣ • )ZCSJEߑधীࢲ$PVOU"SJUINFUJDनী %FDPEFS ࢤࢿ ୶оؽ -
*OKFDUJOH/VNFSJDBM3FBTPOJOH4LJMMTJOUP-BOHVBHF.PEFMT 1SFUSBJOJOH3FTVMU • /%/VNFSJDBMؘఠ .-.ण • /%-.ਤࢸীࢲ.-.ઁѢ • /%-.%5ߣࢸীࢲXPSLQJFDFਊ •
/%-.34ߣࢸীࢲ34ઁѢ • 5%5FYUVBMؘఠ .-.ण • /% 5%/% 5% .-.ण -
*OKFDUJOH/VNFSJDBM3FBTPOJOH4LJMMTJOUP-BOHVBHF.PEFMT 1SFUSBJOJOH3FTVMU • /% 5% /% 5%ݽفQSFUSBJOJHಣоࣇীࢲ ࢚ഛبܳ׳ࢿ • 1SFUSBJOFE-.ਵ۽ࠗఠઁदೠపझٜ
ਸणೡࣻ • /%-.%5ооࢿמծؘ 8PSE1JFDF ݅ਊೞݶࢿמೞۅѪਸࠅࣻ • /5 %5ࣻ۴оࡅؘܲ חفపझী ࢲਃҳೞחҕాػמ۱Ҋࠅࣻ -
*OKFDUJOH/VNFSJDBM3FBTPOJOH4LJMMTJOUP-BOHVBHF.PEFMT 'JOFUVOJOH3FTVMU %301 • .5.4/җэীೠઁডઑѤহীبࠛҳ ೞҊ ࠺١ೠࢿמਸࠁ • ઁदೠҳઑী'JOFUVOJOH݅߄۽ೠ҃ (FO#&35
ী࠺೧/%5%ܳਊೠ҃ীࢿמ ೱ࢚ਸࠁ • /%5%ܳппਊ೮ਸٸࠁೣԋਊ೮ਸٸ ؊ જࢿמਸࠁ࢚ഐࠁ৮ҙ҅ • ޙઙܨীٮۄ࠙ࢳ೧ࠁݶ ৈ۞TQBOਸࡳਸࣻ חמ۱হӝٸޙীTQBOT҃ࢿמڄয -
*OKFDUJOH/VNFSJDBM3FBTPOJOH4LJMMTJOUP-BOHVBHF.PEFMT 'JOFUVOJOH3FTVMU 42V"% • ࣻמ۱ਸनܲמ۱ڄযݶউغפө (FO#&35ীࢲӝઓ.3$ 42V"% ࢿמࠁઓغח ഛੋ •
(FO#&35ܳਊೠ҃ #&35ܳ'JOFUVOJOHೠѪ җزੌೠࢿמਸഅೣ -
%FFQ-FBSOJOHGPS4ZNCPMJD.BUIFNBUJDT .BUIFNBUJDTBTB/BUVSBM-BOHVBHF • ݆ࣻޙઁٜ TZNCPMJDDBMDVMBUJPO ਸಽӝਤ೧নೠ/VFSBM/FUXPSL оઁदغ • рױೠো ؔࣅ
ғࣅ ١بੜޅಽ • ࠄ֤ޙীࢲחفоޙઁܳ/-1ݽ؛ఋѶ ߣ ਵ۽೧ѾೞҊ೮ • ࠙ • 0%&ରର࠙ߑध • فޙઁݽفࢎۈஹೊఠীѱয۰ࢎۈӏਸߓҊ ஹೊఠदझమ ࠂೠঌҊ્ܻਸਊೣ -
%FFQ-FBSOJOHGPS4ZNCPMJD.BUIFNBUJDT .BUIFNBUJDTBTB/BUVSBM-BOHVBHF • ࣻഅधਸܻ۽അೞӝ • ࣻഅधো৬ೣࣻܳղ֢ࠗ٘ 0QFSBOEٜਸध֢٘ ࢚ࣻ৬߸ࣻ ֢ܳ٘۽ೞחܻ۽աఋյࣻ •
ܻҳઑחࢶࣽਤ৬োҙࢿҊ۰غয োࣽࢲоݺഛೞҊҚഐоਃহ • അधܻҙ҅ܳਤ೧ࢲݻоઁডࢎ೦ਸم • ো೦ো۽ஂә Y҃ Y৬эաఋն • ܻחয়ܲଃਵ۽ӟഋకоغب۾ೣ • ݆ࣻޙઁٜഅधܻীೠোਵ۽ҳࢿؼࣻ -
%FFQ-FBSOJOHGPS4ZNCPMJD.BUIFNBUJDT .BUIFNBUJDTBTB/BUVSBM-BOHVBHF • ܻܳद௫झ۽അೞӝ • ߣद௫झীࢲद௫झ۽ TFRTFR োਸ೯ೣ • ߣݽ؛ੑ۱ਵ۽ٜযтद௫झܳ݅ٝ
• খীࢲܻ݅ٚܳQSFGJYOPUBUJPOਸਊ೧ࢲೞաद௫झ۽ݒೝೣ • द௫झղࠗীࢲ4ZNCPMٜഅ ష җэ • ো ೣࣻ ߸ࣻ ࢚ࣻ ١ ౠࣻష • ࣻחTJHO EJHJU\ j ^୨ѐоઓೣ • • -
%FFQ-FBSOJOHGPS4ZNCPMJD.BUIFNBUJDT (FOFSBUF%BUBTFU • ࠙࠙ߑधппਸणೞӝਤೠؘఠܳزਵ۽ࢤࢿೣ • ࠙ • '8%ೣࣻG Y ܳӝઓۨਕ
ݫە١ ܳਊ೧ࢲ࠙ೞৈ' Y ܳ ҅ೞৈ G Y ' Y हਸӝઓۨਕٜبಽࣻחޙઁ • #8%ೣࣻ' Y ܳ࠙೧ࢲ G Y ' Y हਸ • ߑߨਵ۽חрױೠೣࣻ࠙ਸࢤࢿ೧յഛܫ • *#1#8%ೠ҅ܳӓࠂೡࣻחܼ ӝઓؘఠ৬࠺Үܳా೧ؘ ఠܳ୶о -
%FFQ-FBSOJOHGPS4ZNCPMJD.BUIFNBUJDT 5SBJOJOH1BSBNFUFS • .PEFM4FR4FR5SBOTGPSNFS - ) ) ؊ݽ؛۽प೮ਵ աରоহযࢲӝࠄࢎૉਊ •
-3F • .BY-FOHUI • #BUDI4J[F -
%FFQ-FBSOJOHGPS4ZNCPMJD.BUIFNBUJDT &WBMVBUJPO • пFQPDI݃ಣо • %FDPEJOH#FBN4FBSDIܳਊ೮חؘ #FBNӝܳܰѱ೧оݶࢲप೯ • ಣоߑߨ"DVSSBDZ •
࠙ߑध҃ җܰѱഅغ؊ۄبэधݶਵ۽ܻ ӝ ઓधীѾҗ೧ܳ೧ࢲݏਵݶݏחѪਵ۽ܻ • ࠙҃ ࠙೧ࢲਗېधҗزੌೠഛੋ • #FBNTFBSDIীࢲUPQ݅ࠁחѪইפۄ୭ઙ#FBNউীਵݶݏח Ѫਵ۽ܻ