文献紹介：Relational inductive biases, deep learning, and graph networks

3FMBUJPOBMJOEVDUJWFCJBTFT EFFQMFBSOJOH BOEHSBQIOFUXPSLT ๺཮ઌ୺Պֶٕज़େֶӃେֶ ത࢜ޙظ՝ఔ೥Ճ౻ཾ඙ !$PH-VODI 1

͸͡Ίʹ w ҎԼͷจݙΛ঺հ͠·͢ w ॻࢽ৘ใɿ#BUUBHMJB 18 )BNSJDL +# #BQTU 7
4BODIF[(PO[BMF[ " ;BNCBMEJ 7 .BMJOPXTLJ . (VMDFISF $ 3FMBUJPOBMJOEVDUJWFCJBTFT EFFQ MFBSOJOH BOEHSBQIOFUXPSLTBS9JWQSFQSJOU BS9JW w εϥΠυதͷਤ͸͢΂ͯݪ࿦จதͷਤʹͳΓ·͢ 2

１．イントロダクション 3

ਓͷ஌ੑͱ߹੒ੑ w ਓ͸ʮ༗ݶͷखஈΛແݶʹ࢖͏ʯʢ)VNCPMU $IPNTLZ ʣ ʢFHݴޠʣ w ૊Έ߹ΘͤʹΑΔ൚ԽʢDPNCJOBUPSJBMHFOFSBMJ[BUJPOʣ w Ͳ͏ͨ͠Β"*ʹ͜ͷೳྗΛ࣮૷Ͱ͖Δ͔ʁ
w ਓͷ૊Έ߹Θͤ൚Խೳྗ w ߏ଄Λදݱ͠ɼؔ܎ੑʹ͍ͭͯਪ࿦Ͱ͖Δ w ෳࡶͳܥΛର৅ͱͦΕΒͷ૬ޓ࡞༻ͱͯ͠දݱ͢Δʢ/BWPO ʜʣ w ֊૚ੑΛ༻͍ͯҰൠతͳڞ௨ੑΛೝࣝ͢Δʢ#PUWJOJDL ʣ w ͍࣋ͬͯΔεΩϧΛ૊Έ߹Θͤͯ৽͍͠໰୊Λղ͘ʢ"OEFSTPO ʜʣ w ྨਪΛ͢Δʢ(FOUOFSBOE.BSLNBO )VNNFMBOE)PMZPBL ʣ 4

ਂ૚ֶशͷڧΈͱऑΈ w ڧΈɿେྔͷσʔλͱେྔͷܭࢉࢿݯ͔ΒɼlFOEUPFOEzͰ ֶशͯ͠ෳࡶͳ໰୊Λղ͚Δ w ը૾෼ྨɼࣗવݴޠॲཧɼήʔϜʜ w ऑΈɿ૊Έ߹ΘͤʹΑΔ൚Խ͕ඞཁʹͳΔ໰୊ w ෳࡶͳݴޠͱঢ়گͷཧղɼߏ଄Խ͞Εͨσʔλʹؔ͢Δਪ
࿦ɼֶशͷసҠɼগྔͷσʔλ͔Βͷֶशʢ.BSDVT 4IBMFW4IXBSU[FUBM -BLFFUBM ʜʣ ‎"*ͷਐలʹ͸૊Έ߹Θͤ൚Խ͕ॏཁ w zOBUVSFWFSTVTOVSUVSFzͰ͸ͳ͘ɼzVTFOBUVSFBOE OVSUVSFKPJOUMZzͰߦ͘΂͠ 5

૊Έ߹Θͤ൚ԽೳྗΛඋ͑ͨ"*ʹ޲͚ͯɿ άϥϑωοτϫʔΫͷఏҊ w ۙ೥άϥϑͱͯ͠ߏ଄Խ͞Εͨσʔλ্ͷؔ܎΍ର৅Λѻ͏ //͕ఏҊʢ4DBSTFMMJFUBM C#SPOTUFJOFUBM ʜʣ w ର৅΍ؔ܎ͦͷ΋ͷͷදݱΛֶशՄʂ
w ର৅΍ؔ܎ΛͲͷΑ͏ʹֶश͢Δ΂͖͔ʹؔ͢ΔόΠΞε ʮؔ܎తؼೲόΠΞεʯΛ࣋ͭ w ͜͏ͨ͠طଘͷϞσϧΛ౷Ұͯ͠ʮάϥϑωοτϫʔΫʯΛ ఏҊ͢Δ 6

͍͔ͭ͘ͷ༻ޠͷఆٛʢ#PYʣ w ର৅ʢFOUJUZʣɿଐੑ෇͖ͷཁૉʢFHαΠζͱ࣭ྔ͕͋Δ ෺ཧతΦϒδΣΫτʣ w ؔ܎ʢSFMBUJPOʣɿର৅ؒͷੑ࣭ʢFH4".&4*;& "4ʜʣɼੑ࣭ࣗମ΋ଐੑΛ࣋ͪಘΔʢFH.03&5)"/9 5*.&4)&"7*&35)"/ʣɼؔ܎͸จ຺ʹґଘ͢ΔʢFH '"--48*5)(3&"5&3"$$&-&3"5*0/5)"/ */"*3
PS*/7"$66. ʣ w نଇʢSVMFʣɿ͋Δର৅ͱؔ܎Λผͷର৅ͱؔ܎ʹࣸ૾͢Δ ʢFH*4&/5*5:9-"3(& ʣ 7

２．関係的帰納バイアス 8

ؔ܎తؼೲόΠΞεͱ͸ w ֶशաఔͰର৅ؒͷؔ܎ੑ΍૬ޓ࡞༻ʹ੍໿Λ෇͚Δؼೲό ΠΞεͷ͜ͱ w ؼೲόΠΞεͱ͸ w ֶशΛߦ͏ࡍʹ͸σʔλΛΑ͘આ໌͢ΔղΛݟ͚ͭΔඞཁ ͕͋Δ w
͔͠͠ɼಉ༷ʹྑ͍ղ͸ͨ͘͞Μ͋Γ͑Δʂ ʢ(PPENBO ʣ w ؼೲόΠΞε͸ղͷ޷·͠͞ΛܾΊΔ w ϕΠζͰ͸ࣄલ෼෍ w ઢܗ࠷খೋ৐๏ɼ-ਖ਼ଇԽʜ 9

ਂ૚ֶशʹ͓͚Δؔ܎తؼೲόΠΞε w ਂ૚ֶशࣗମ΋ؔ܎తؼೲόΠΞεΛ࣋ͭ w .-1ɿ֊૚తॲཧ w ೖྗσʔλ͔Β૚ΛܦΔຖʹϩϯάϨϯδͳ৘ใͷ૬ޓ ࡞༻͕ੜ·ΕΔ 10

ਂ૚ֶशʹ͓͚Δؔ܎తؼೲόΠΞε 11

ू߹ͱάϥϑ্ͷܭࢉ 12 w %//΋ؔ܎తؼೲόΠΞεΛ͕࣋ͭɼ࣮ੈքͷ༷ʑͳؔ܎Λѻ͏ʹ͸ෆे෼ w ॱংʢฒ΂ସ͑ʣ΁ͷෆมੑ w O࿭੕͔ΒͳΔଠཅܥͷॏ৺Λܭࢉ͢Δ໰୊Λߟ͑Δ w ࿭੕͸࣭ྔɼҐஔɼ଎౓ͳͲͷଐੑΛ࣋ͭ
w .-1ʹ΍ΒͤΔͱɼଐੑͷॱংΛม͑Δͱ൚ԽͰ͖ͳ͍ʢ͜͏ͨ͠૊Έ߹Θ ͤ͸O͋Δʂʣ w ղܾࡦɿ༧ଌΛೖྗͷଐੑʹ͍ͭͯରশͳؔ਺ʹґଘ͢ΔΑ͏ʹ͢Δʁ w ฒ΂ସ͑΁ͷෆมੑ͚ͩͰ΋ෆे෼ w ઌ΄Ͳͷ໰୊Ͱɼඍখ࣌ؒޙͷ֤࿭੕ͷҐஔΛܭࢉ͢Δ໰୊Λߟ͑Δ w ֤࿭੕ͷӡಈ͸ͦͷଞ͢΂ͯͷ࿭੕ͷٴ΅͢ྗʹґଘ͢Δ ‎୯ʹฏۉΛऔΔ͚ͩͰ͸ܭࢉͰ͖ͣɽؔ܎Λߟྀ͢Δඞཁ w ࠷ॳͷ໰୊͸ؔ܎̌ɼ̎ͭ໨͸֤ཁૉؒʹؔ܎͕͋Δ w άϥϑ͸೚ҙͷཁૉؒͷؔ܎ߏ଄ΛදݱՄ ‎ڧྗͳؔ܎తؼೲόΠΞεΛ࢖͑Δ

3．グラフネットワーク 13

άϥϑωοτϫʔΫͷఏҊ 14 w άϥϑχϡʔϥϧωοτϫʔΫ w ๛෋ͳؔ܎తߏ଄Λ࣋ͭλεΫͰ׆༂ w ը૾ͷγʔϯཧղ w গ਺σʔλֶश
w ෺ཧγεςϜͷμΠφϛΫε w ϚϧνΤʔδΣϯτγεςϜ w ஌ࣝάϥϑ w ෼ࢠߏ଄ w ͳͲͳͲʜʢQʣ

άϥϑωοτϫʔΫϒϩοΫ 15 w άϥϑωοτϫʔΫϒϩοΫ w άϥϑΛೖɾग़ྗ͢ΔϞδϡʔϧ w άϥϑͷఆٛ

(/ϒϩοΫ্Ͱͷঢ়ଶͷߋ৽ w Τοδˠϊʔυˠάϩʔόϧͷॱʹঢ়ଶΛߋ৽ 16

(/্Ͱͷؔ܎తؼೲόΠΞε w ೚ҙͷؔ܎ੑʹؔ͢ΔԾఆΛදݱՄೳ w ͋Δ̎ͭͷ΋ͷ͕૬ޓ࡞༻͢Δͱ૝ఆ͞ΕΔͳΒͦͷ̎ͭ ͷର৅ؒʹΤοδΛೖΕΔ w άϥϑॱংʹෆมͳͨΊɼ(/͸ॱংʹෆม w Τοδɾϊʔυͷߋ৽ͷؔ਺͸શମͰ࢖͍ճ͞ΕΔ
‎૊Έ߹Θͤత൚ԽΛදݱՄೳ 17

4．グラフネットワークアーキテクチャのデザイン原理 18

ॊೈͳදݱ w ଐੑ w ଐੑͷදݱʹ͸ϕΫτϧɼςϯιϧɼू߹ɼάϥϑͳͲ༷ʑͳ ΋ͷΛ࢖༻Մ w ग़ྗ΋ΤοδɼϊʔυɼάϥϑͳͲΛબ୒Մ w άϥϑߏ଄
w ೖྗͷߏ଄͕ܾ·͍ͬͯΔ৔߹ʢιʔγϟϧωοτϫʔΫɼ஌ࣝ άϥϑʜʣ w ೖྗͷߏ଄Λ൓ө͢ΔΑ͏ʹ(/Λઃܭ w ؔ܎ߏ଄Λਪ࿦͢Δ৔߹ʢࢹ֮తγʔϯɼςΩετίʔύεʜʣ w ର৅͚ͩϊʔυͱͯ͠༩͑ͯɼશͯͷϊʔυؒʹ༗޲Τοδ Λ࡞ֶͬͯश 19

ϒϩοΫ಺ͷߏ଄ͷઃܭ w ߋ৽ͷͨΊͷؔ਺ɼؔ਺ ͷೖग़ྗ͸ࣗ༝ʹઃܭՄ w طଘͷϞσϧ͸(/ͷઃܭ ͷҰछͱߟ͑ΒΕΔ w .1// w
/-// 20

૊Έ߹ΘͤՄೳͳෳ਺ϒϩοΫͷΞʔΩςΫνϟ w ෳ਺ͷ(/Λɼؔ਺߹੒ͷΑ͏ʹͯ͠૊Έ߹ΘͤՄೳ 21

５．議論 22

άϥϑωοτϫʔΫ্Ͱͷ૊Έ߹Θͤ൚Խ w (/͸ର৅ͱؔ܎ʹ͍ͭͯͦΕͧΕؔ਺Λڞ༗͢Δ͜ͱͰɼϞσϧʹͱͬͯ৽͍͠ߏ଄ʹ͍ͭͯ΋ਪ࿦Մೳ w (/ͷ૊Έ߹Θͤ൚Խೳྗͷ࣮ূ w #BUUBHMJBFUBM w
λΠϜεςοϓΛ༧ଌˠԿઍ΋ͷλΠϜςοϓΛ༧ଌՄ w ܇࿅͔࣌Βର৅਺Λഒɾ൒෼ͯ͠θϩγϣοτՄ w 4BODIF[(PO[BMF[FUBM w ෳ਺ؔઅͰֶशˠؔઅ਺Λ૿΍ͯ͠΋0, w )BNSJDLFUBM ͱ8BOHFUBM w (/Ͱֶशͨ͠ҙࢥܾఆͷํࡦ͸ର৅Λ૿΍ͯ͠΋సҠ w #FMMPFUBM ͳͲ w ૊Έ߹Θͤ࠷దԽ໰୊ w ܇࿅࣌ͱҟͳΔαΠζͷ໰୊ʹ൚Խ w ܭը໰୊ w ্ͱಉ༷ w ϒʔϧ4"5໰୊ w ໰୊αΠζͱ෼෍ʹ൚Խ 23

ݶք w ͋Δछͷඇಉܕάϥϑ͸͏·͘෼ׂͰ͖ͳ͍ w ॱংʹର͢Δڞ෼ࢄʢෆมੑͰ͸ͳ͘ʣΛ࢖͏ͷ͕͍͍ʁ ʢ,POEPSFUBM ʣ w ࠶ؼɼ੍ޚϑϩʔɼ৚݅෇͖܁Γฦ͠ͳͲ͸άϥϑͰද͢ͷ ͕೉͍͠
w ϓϩάϥϜͳͲΛ࢖͏ͷ͕͍͍ʁʢ5FOFOCBVNFUBM ͳͲʣ 24

՝୊ w άϥϑ͸Ͳ͔͜ΒདྷΔͷ͔ʁ w ੜͷײ֮σʔλ͔Βάϥϑతͳߏ଄ΛൃݟͰ͖Δ͔ w ର৅ؒͷશ݁߹ΛԾఆ͢Δʢ7BTXBOJFUBM 8BOHFUBM Dʣ
w ໰୊఺ w Ծఆ͞ΕΔର৅͸ඞͣ͠΋ݱ࣮ͷର৅ʹରԠ͠ͳ͍ w ඞཁͳάϥϑߏ଄͸શ݁߹ΑΓ΋εύʔε w ঢ়گʹԠͯ͡μΠφϛοΫʹάϥϑߏ଄Λมߋͤ͞Δ w (/͕ѻ͏ର৅΍ؔ܎͸ਓ͕௚ײతʹཧղͰ͖Δ΋ͷʹରԠ͢ ΔͷͰղऍ΍෼ੳ͕͠΍͍͢ 25

文献紹介：Relational inductive biases, deep learning, and graph networks

文献紹介：Relational inductive biases, deep learning, and graph networks

Fiction

More Decks by Fiction

Other Decks in Research

Featured

Transcript

3FMBUJPOBMJOEVDUJWFCJBTFT EFFQMFBSOJOH BOEHSBQIOFUXPSLT ๺཮ઌ୺Պֶٕज़େֶӃେֶ ത࢜ޙظ՝ఔ೥Ճ౻ཾ඙ !$PH-VODI 1

͸͡Ίʹ w ҎԼͷจݙΛ঺հ͠·͢ w ॻࢽ৘ใɿ#BUUBHMJB 18 )BNSJDL +# #BQTU 7

１．イントロダクション 3

ਓͷ஌ੑͱ߹੒ੑ w ਓ͸ʮ༗ݶͷखஈΛແݶʹ࢖͏ʯʢ)VNCPMU $IPNTLZ ʣ ʢFHݴޠʣ w ૊Έ߹ΘͤʹΑΔ൚ԽʢDPNCJOBUPSJBMHFOFSBMJ[BUJPOʣ w Ͳ͏ͨ͠Β"*ʹ͜ͷೳྗΛ࣮૷Ͱ͖Δ͔ʁ

ਂ૚ֶशͷڧΈͱऑΈ w ڧΈɿେྔͷσʔλͱେྔͷܭࢉࢿݯ͔ΒɼlFOEUPFOEzͰ ֶशͯ͠ෳࡶͳ໰୊Λղ͚Δ w ը૾෼ྨɼࣗવݴޠॲཧɼήʔϜʜ w ऑΈɿ૊Έ߹ΘͤʹΑΔ൚Խ͕ඞཁʹͳΔ໰୊ w ෳࡶͳݴޠͱঢ়گͷཧղɼߏ଄Խ͞Εͨσʔλʹؔ͢Δਪ

૊Έ߹Θͤ൚ԽೳྗΛඋ͑ͨ"*ʹ޲͚ͯɿ άϥϑωοτϫʔΫͷఏҊ w ۙ೥άϥϑͱͯ͠ߏ଄Խ͞Εͨσʔλ্ͷؔ܎΍ର৅Λѻ͏ //͕ఏҊʢ4DBSTFMMJFUBM C#SPOTUFJOFUBM ʜʣ w ର৅΍ؔ܎ͦͷ΋ͷͷදݱΛֶशՄʂ

２．関係的帰納バイアス 8

ؔ܎తؼೲόΠΞεͱ͸ w ֶशաఔͰର৅ؒͷؔ܎ੑ΍૬ޓ࡞༻ʹ੍໿Λ෇͚Δؼೲό ΠΞεͷ͜ͱ w ؼೲόΠΞεͱ͸ w ֶशΛߦ͏ࡍʹ͸σʔλΛΑ͘આ໌͢ΔղΛݟ͚ͭΔඞཁ ͕͋Δ w

ਂ૚ֶशʹ͓͚Δؔ܎తؼೲόΠΞε w ਂ૚ֶशࣗମ΋ؔ܎తؼೲόΠΞεΛ࣋ͭ w .-1ɿ֊૚తॲཧ w ೖྗσʔλ͔Β૚ΛܦΔຖʹϩϯάϨϯδͳ৘ใͷ૬ޓ ࡞༻͕ੜ·ΕΔ 10

ਂ૚ֶशʹ͓͚Δؔ܎తؼೲόΠΞε 11

ू߹ͱάϥϑ্ͷܭࢉ 12 w %//΋ؔ܎తؼೲόΠΞεΛ͕࣋ͭɼ࣮ੈքͷ༷ʑͳؔ܎Λѻ͏ʹ͸ෆे෼ w ॱংʢฒ΂ସ͑ʣ΁ͷෆมੑ w O࿭੕͔ΒͳΔଠཅܥͷॏ৺Λܭࢉ͢Δ໰୊Λߟ͑Δ w ࿭੕͸࣭ྔɼҐஔɼ଎౓ͳͲͷଐੑΛ࣋ͭ

3．グラフネットワーク 13

άϥϑωοτϫʔΫͷఏҊ 14 w άϥϑχϡʔϥϧωοτϫʔΫ w ๛෋ͳؔ܎తߏ଄Λ࣋ͭλεΫͰ׆༂ w ը૾ͷγʔϯཧղ w গ਺σʔλֶश

άϥϑωοτϫʔΫϒϩοΫ 15 w άϥϑωοτϫʔΫϒϩοΫ w άϥϑΛೖɾग़ྗ͢ΔϞδϡʔϧ w άϥϑͷఆٛ

(/ϒϩοΫ্Ͱͷঢ়ଶͷߋ৽ w Τοδˠϊʔυˠάϩʔόϧͷॱʹঢ়ଶΛߋ৽ 16

(/্Ͱͷؔ܎తؼೲόΠΞε w ೚ҙͷؔ܎ੑʹؔ͢ΔԾఆΛදݱՄೳ w ͋Δ̎ͭͷ΋ͷ͕૬ޓ࡞༻͢Δͱ૝ఆ͞ΕΔͳΒͦͷ̎ͭ ͷର৅ؒʹΤοδΛೖΕΔ w άϥϑॱংʹෆมͳͨΊɼ(/͸ॱংʹෆม w Τοδɾϊʔυͷߋ৽ͷؔ਺͸શମͰ࢖͍ճ͞ΕΔ

4．グラフネットワークアーキテクチャのデザイン原理 18

ॊೈͳදݱ w ଐੑ w ଐੑͷදݱʹ͸ϕΫτϧɼςϯιϧɼू߹ɼάϥϑͳͲ༷ʑͳ ΋ͷΛ࢖༻Մ w ग़ྗ΋ΤοδɼϊʔυɼάϥϑͳͲΛબ୒Մ w άϥϑߏ଄

ϒϩοΫ಺ͷߏ଄ͷઃܭ w ߋ৽ͷͨΊͷؔ਺ɼؔ਺ ͷೖग़ྗ͸ࣗ༝ʹઃܭՄ w طଘͷϞσϧ͸(/ͷઃܭ ͷҰछͱߟ͑ΒΕΔ w .1// w

૊Έ߹ΘͤՄೳͳෳ਺ϒϩοΫͷΞʔΩςΫνϟ w ෳ਺ͷ(/Λɼؔ਺߹੒ͷΑ͏ʹͯ͠૊Έ߹ΘͤՄೳ 21

５．議論 22

άϥϑωοτϫʔΫ্Ͱͷ૊Έ߹Θͤ൚Խ w (/͸ର৅ͱؔ܎ʹ͍ͭͯͦΕͧΕؔ਺Λڞ༗͢Δ͜ͱͰɼϞσϧʹͱͬͯ৽͍͠ߏ଄ʹ͍ͭͯ΋ਪ࿦Մೳ w (/ͷ૊Έ߹Θͤ൚Խೳྗͷ࣮ূ w #BUUBHMJBFUBM w

ݶք w ͋Δछͷඇಉܕάϥϑ͸͏·͘෼ׂͰ͖ͳ͍ w ॱংʹର͢Δڞ෼ࢄʢෆมੑͰ͸ͳ͘ʣΛ࢖͏ͷ͕͍͍ʁ ʢ,POEPSFUBM ʣ w ࠶ؼɼ੍ޚϑϩʔɼ৚݅෇͖܁Γฦ͠ͳͲ͸άϥϑͰද͢ͷ ͕೉͍͠

՝୊ w άϥϑ͸Ͳ͔͜ΒདྷΔͷ͔ʁ w ੜͷײ֮σʔλ͔Βάϥϑతͳߏ଄ΛൃݟͰ͖Δ͔ w ର৅ؒͷશ݁߹ΛԾఆ͢Δʢ7BTXBOJFUBM 8BOHFUBM Dʣ