文献紹介：Relational inductive biases, deep learning, and graph networks

タイトル論文
Battaglia, P. W., Hamrick, J. B., Bapst, V., Sanchez-Gonzalez, A., Zambaldi, V., Malinowski, M., ... & Gulcehre, C. (2018). Relational inductive biases, deep learning, and graph networks. arXiv preprint arXiv:1806.01261.
の紹介

Transcript

1. 3FMBUJPOBM
   JOEVDUJWF
   CJBTFT
   EFFQ
   MFBSOJOH
   BOE
   HSBQI
   OFUXPSLT ๺཮ઌ୺Պֶٕज़େֶӃେֶ
   ത࢜ޙظ՝ఔ೥
   Ճ౻ཾ඙
   !$PH-VODI 1
2. ͸͡Ίʹ w ҎԼͷจݙΛ঺հ͠·͢
   w ॻࢽ৘ใɿ#BUUBHMJB
   1
   8
   )BNSJDL
   +
   #
   #BQTU
   7
   4BODIF[(PO[BMF[
   "
   ;BNCBMEJ
   7
   .BMJOPXTLJ
   .
   
   
   (VMDFISF
   $
    
   3FMBUJPOBM
   JOEVDUJWF
   CJBTFT
   EFFQ
   MFBSOJOH
   BOE
   HSBQI
   OFUXPSLT
   BS9JW
   QSFQSJOU
   BS9JW
   w εϥΠυதͷਤ͸͢΂ͯݪ࿦จதͷਤʹͳΓ·͢ 2
3. １．イントロダクション 3
4. ਓͷ஌ੑͱ߹੒ੑ w ਓ͸ʮ༗ݶͷखஈΛແݶʹ࢖͏ʯʢ)VNCPMU
   
   $IPNTLZ
   ʣ ʢFH
   ݴޠʣ
   w ૊Έ߹ΘͤʹΑΔ൚ԽʢDPNCJOBUPSJBM
   HFOFSBMJ[BUJPOʣ
   w Ͳ͏ͨ͠Β"*ʹ͜ͷೳྗΛ࣮૷Ͱ͖Δ͔ʁ
   w ਓͷ૊Έ߹Θͤ൚Խೳྗ
   w ߏ଄Λදݱ͠ɼؔ܎ੑʹ͍ͭͯਪ࿦Ͱ͖Δ
   w ෳࡶͳܥΛର৅ͱͦΕΒͷ૬ޓ࡞༻ͱͯ͠දݱ͢Δʢ/BWPO
   ʜʣ
   w ֊૚ੑΛ༻͍ͯҰൠతͳڞ௨ੑΛೝࣝ͢Δʢ#PUWJOJDL
   ʣ
   w ͍࣋ͬͯΔεΩϧΛ૊Έ߹Θͤͯ৽͍͠໰୊Λղ͘ʢ"OEFSTPO
   ʜʣ
   w ྨਪΛ͢Δʢ(FOUOFS
   BOE
   .BSLNBO
   
   )VNNFM
   BOE
   )PMZPBL
   ʣ 4
5. ਂ૚ֶशͷڧΈͱऑΈ w ڧΈɿେྔͷσʔλͱେྔͷܭࢉࢿݯ͔ΒɼlFOEUPFOEzͰ ֶशͯ͠ෳࡶͳ໰୊Λղ͚Δ
   w ը૾෼ྨɼࣗવݴޠॲཧɼήʔϜʜ
   w ऑΈɿ૊Έ߹ΘͤʹΑΔ൚Խ͕ඞཁʹͳΔ໰୊
   w ෳࡶͳݴޠͱঢ়گͷཧղɼߏ଄Խ͞Εͨσʔλʹؔ͢Δਪ ࿦ɼֶशͷసҠɼগྔͷσʔλ͔Βͷֶशʢ.BSDVT
   
   4IBMFW4IXBSU[
   FU
   BM
   
   -BLF
   FU
   BM
   ʜʣ
   ‎"*ͷਐలʹ͸૊Έ߹Θͤ൚Խ͕ॏཁ
   w zOBUVSF
   WFSTVT
   OVSUVSFzͰ͸ͳ͘ɼzVTF
   OBUVSF
   BOE
   OVSUVSF
   KPJOUMZzͰߦ͘΂͠ 5
6. ૊Έ߹Θͤ൚ԽೳྗΛඋ͑ͨ"*ʹ޲͚ͯɿ
   άϥϑωοτϫʔΫͷఏҊ w ۙ೥άϥϑͱͯ͠ߏ଄Խ͞Εͨσʔλ্ͷؔ܎΍ର৅Λѻ͏ //͕ఏҊʢ4DBSTFMMJ
   FU
   BM
   C
   #SPOTUFJO
   FU
   BM
   ʜʣ
   w ର৅΍ؔ܎ͦͷ΋ͷͷදݱΛֶशՄʂ
   w ର৅΍ؔ܎ΛͲͷΑ͏ʹֶश͢Δ΂͖͔ʹؔ͢ΔόΠΞε ʮؔ܎తؼೲόΠΞεʯΛ࣋ͭ
   w ͜͏ͨ͠طଘͷϞσϧΛ౷Ұͯ͠ʮάϥϑωοτϫʔΫʯΛ ఏҊ͢Δ 6
7. ͍͔ͭ͘ͷ༻ޠͷఆٛʢ#PY
   ʣ w ର৅ʢFOUJUZʣɿଐੑ෇͖ͷཁૉʢFH
   αΠζͱ࣭ྔ͕͋Δ ෺ཧతΦϒδΣΫτʣ
   w ؔ܎ʢSFMBUJPOʣɿର৅ؒͷੑ࣭ʢFH
   4".&
   4*;&
   "4ʜʣɼੑ࣭ࣗମ΋ଐੑΛ࣋ͪಘΔʢFH
   .03&
   5)"/
   9
   5*.&4
   )&"7*&3
   5)"/ʣɼؔ܎͸จ຺ʹґଘ͢ΔʢFH
   '"--4
   8*5)
   (3&"5&3
   "$$&-&3"5*0/
   5)"/
   */
   "*3
   PS
   */
   7"$66. ʣ
   w نଇʢSVMFʣɿ͋Δର৅ͱؔ܎Λผͷର৅ͱؔ܎ʹࣸ૾͢Δ ʢFH
   *4
   &/5*5:
   9
   -"3(& ʣ 7
8. ２．関係的帰納バイアス 8
9. ؔ܎తؼೲόΠΞεͱ͸ w ֶशաఔͰର৅ؒͷؔ܎ੑ΍૬ޓ࡞༻ʹ੍໿Λ෇͚Δؼೲό ΠΞεͷ͜ͱ
   w ؼೲόΠΞεͱ͸
   w ֶशΛߦ͏ࡍʹ͸σʔλΛΑ͘આ໌͢ΔղΛݟ͚ͭΔඞཁ ͕͋Δ
   w ͔͠͠ɼಉ༷ʹྑ͍ղ͸ͨ͘͞Μ͋Γ͑Δʂ ʢ(PPENBO
   ʣ
   w ؼೲόΠΞε͸ղͷ޷·͠͞ΛܾΊΔ
   w ϕΠζͰ͸ࣄલ෼෍
   w ઢܗ࠷খೋ৐๏ɼ-ਖ਼ଇԽʜ 9
10. ਂ૚ֶशʹ͓͚Δؔ܎తؼೲόΠΞε w ਂ૚ֶशࣗମ΋ؔ܎తؼೲόΠΞεΛ࣋ͭ
    w .-1ɿ֊૚తॲཧ
    w ೖྗσʔλ͔Β૚ΛܦΔຖʹϩϯάϨϯδͳ৘ใͷ૬ޓ ࡞༻͕ੜ·ΕΔ 10
11. ਂ૚ֶशʹ͓͚Δؔ܎తؼೲόΠΞε 11
12. ू߹ͱάϥϑ্ͷܭࢉ 12 w %//΋ؔ܎తؼೲόΠΞεΛ͕࣋ͭɼ࣮ੈքͷ༷ʑͳؔ܎Λѻ͏ʹ͸ෆे෼
    w ॱংʢฒ΂ସ͑ʣ΁ͷෆมੑ
    w O࿭੕͔ΒͳΔଠཅܥͷॏ৺Λܭࢉ͢Δ໰୊Λߟ͑Δ
    w ࿭੕͸࣭ྔɼҐஔɼ଎౓ͳͲͷଐੑΛ࣋ͭ
    w .-1ʹ΍ΒͤΔͱɼଐੑͷॱংΛม͑Δͱ൚ԽͰ͖ͳ͍ʢ͜͏ͨ͠૊Έ߹Θ ͤ͸O͋Δʂʣ
    w ղܾࡦɿ༧ଌΛೖྗͷଐੑʹ͍ͭͯରশͳؔ਺ʹґଘ͢ΔΑ͏ʹ͢Δʁ
    w ฒ΂ସ͑΁ͷෆมੑ͚ͩͰ΋ෆे෼
    w ઌ΄Ͳͷ໰୊Ͱɼඍখ࣌ؒޙͷ֤࿭੕ͷҐஔΛܭࢉ͢Δ໰୊Λߟ͑Δ
    w ֤࿭੕ͷӡಈ͸ͦͷଞ͢΂ͯͷ࿭੕ͷٴ΅͢ྗʹґଘ͢Δ
    ‎୯ʹฏۉΛऔΔ͚ͩͰ͸ܭࢉͰ͖ͣɽؔ܎Λߟྀ͢Δඞཁ
    w ࠷ॳͷ໰୊͸ؔ܎̌ɼ̎ͭ໨͸֤ཁૉؒʹؔ܎͕͋Δ
    w άϥϑ͸೚ҙͷཁૉؒͷؔ܎ߏ଄ΛදݱՄ
    ‎ڧྗͳؔ܎తؼೲόΠΞεΛ࢖͑Δ
13. 3．グラフネットワーク 13
14. άϥϑωοτϫʔΫͷఏҊ 14 w άϥϑχϡʔϥϧωοτϫʔΫ
    w ๛෋ͳؔ܎తߏ଄Λ࣋ͭλεΫͰ׆༂
    w ը૾ͷγʔϯཧղ
    w গ਺σʔλֶश
    w ෺ཧγεςϜͷμΠφϛΫε
    w ϚϧνΤʔδΣϯτγεςϜ
    w ஌ࣝάϥϑ
    w ෼ࢠߏ଄
    w ͳͲͳͲʜʢQʣ
15. άϥϑωοτϫʔΫϒϩοΫ 15 w άϥϑωοτϫʔΫϒϩοΫ
    w άϥϑΛೖɾग़ྗ͢ΔϞδϡʔϧ
    w άϥϑͷఆٛ
16. (/ϒϩοΫ্Ͱͷঢ়ଶͷߋ৽ w Τοδˠϊʔυˠάϩʔόϧͷॱʹঢ়ଶΛߋ৽ 16
17. (/্Ͱͷؔ܎తؼೲόΠΞε w ೚ҙͷؔ܎ੑʹؔ͢ΔԾఆΛදݱՄೳ
    w ͋Δ̎ͭͷ΋ͷ͕૬ޓ࡞༻͢Δͱ૝ఆ͞ΕΔͳΒͦͷ̎ͭ ͷର৅ؒʹΤοδΛೖΕΔ
    w άϥϑॱংʹෆมͳͨΊɼ(/͸ॱংʹෆม
    w Τοδɾϊʔυͷߋ৽ͷؔ਺͸શମͰ࢖͍ճ͞ΕΔ
    ‎૊Έ߹Θͤత൚ԽΛදݱՄೳ 17
18. 4．グラフネットワーク アーキテクチャのデザイン原理 18
19. ॊೈͳදݱ w ଐੑ
    w ଐੑͷදݱʹ͸ϕΫτϧɼςϯιϧɼू߹ɼάϥϑͳͲ༷ʑͳ ΋ͷΛ࢖༻Մ
    w ग़ྗ΋ΤοδɼϊʔυɼάϥϑͳͲΛબ୒Մ
    w άϥϑߏ଄
    w ೖྗͷߏ଄͕ܾ·͍ͬͯΔ৔߹ʢιʔγϟϧωοτϫʔΫɼ஌ࣝ άϥϑʜʣ
    w ೖྗͷߏ଄Λ൓ө͢ΔΑ͏ʹ(/Λઃܭ
    w ؔ܎ߏ଄Λਪ࿦͢Δ৔߹ʢࢹ֮తγʔϯɼςΩετίʔύεʜʣ
    w ର৅͚ͩϊʔυͱͯ͠༩͑ͯɼશͯͷϊʔυؒʹ༗޲Τοδ Λ࡞ֶͬͯश 19
20. ϒϩοΫ಺ͷߏ଄ͷઃܭ w ߋ৽ͷͨΊͷؔ਺ɼؔ਺ ͷೖग़ྗ͸ࣗ༝ʹઃܭՄ
    w طଘͷϞσϧ͸(/ͷઃܭ ͷҰछͱߟ͑ΒΕΔ
    w .1//
    w /-// 20
21. ૊Έ߹ΘͤՄೳͳෳ਺ϒϩοΫͷΞʔΩςΫνϟ w ෳ਺ͷ(/Λɼؔ਺߹੒ͷΑ͏ʹͯ͠૊Έ߹ΘͤՄೳ 21
22. ５．議論 22
23. άϥϑωοτϫʔΫ্Ͱͷ૊Έ߹Θͤ൚Խ w (/͸ର৅ͱؔ܎ʹ͍ͭͯͦΕͧΕؔ਺Λڞ༗͢Δ͜ͱͰɼϞσϧʹͱͬͯ৽͍͠ߏ଄ʹ͍ͭͯ΋ਪ࿦Մೳ
    w (/ͷ૊Έ߹Θͤ൚Խೳྗͷ࣮ূ
    w #BUUBHMJB
    FU
    BM
    
    w λΠϜεςοϓΛ༧ଌˠԿઍ΋ͷλΠϜςοϓΛ༧ଌՄ
    w ܇࿅͔࣌Βର৅਺Λഒɾ൒෼ͯ͠θϩγϣοτՄ
    w 4BODIF[(PO[BMF[
    FU
    BM
    
    w ෳ਺ؔઅͰֶशˠؔઅ਺Λ૿΍ͯ͠΋0,
    w )BNSJDL
    FU
    BM
     ͱ8BOH
    FU
    BM
    
    w (/Ͱֶशͨ͠ҙࢥܾఆͷํࡦ͸ର৅Λ૿΍ͯ͠΋సҠ
    w #FMMP
    FU
    BM
     ͳͲ
    w ૊Έ߹Θͤ࠷దԽ໰୊
    w ܇࿅࣌ͱҟͳΔαΠζͷ໰୊ʹ൚Խ
    w ܭը໰୊
    w ্ͱಉ༷
    w ϒʔϧ4"5໰୊
    w ໰୊αΠζͱ෼෍ʹ൚Խ 23
24. ݶք w ͋Δछͷඇಉܕάϥϑ͸͏·͘෼ׂͰ͖ͳ͍
    w ॱংʹର͢Δڞ෼ࢄʢෆมੑͰ͸ͳ͘ʣΛ࢖͏ͷ͕͍͍ʁ ʢ,POEPS
    FU
    BM
    ʣ
    w ࠶ؼɼ੍ޚϑϩʔɼ৚݅෇͖܁Γฦ͠ͳͲ͸άϥϑͰද͢ͷ ͕೉͍͠
    w ϓϩάϥϜͳͲΛ࢖͏ͷ͕͍͍ʁʢ5FOFOCBVN
    FU
    BM
    ͳͲʣ 24
25. ՝୊ w άϥϑ͸Ͳ͔͜ΒདྷΔͷ͔ʁ
    w ੜͷײ֮σʔλ͔Βάϥϑతͳߏ଄ΛൃݟͰ͖Δ͔
    w ର৅ؒͷશ݁߹ΛԾఆ͢Δʢ7BTXBOJ
    FU
    BM
    
    8BOH
    FU
    BM
    Dʣ
    w ໰୊఺
    w Ծఆ͞ΕΔର৅͸ඞͣ͠΋ݱ࣮ͷର৅ʹରԠ͠ͳ͍
    w ඞཁͳάϥϑߏ଄͸શ݁߹ΑΓ΋εύʔε
    w ঢ়گʹԠͯ͡μΠφϛοΫʹάϥϑߏ଄Λมߋͤ͞Δ
    w (/͕ѻ͏ର৅΍ؔ܎͸ਓ͕௚ײతʹཧղͰ͖Δ΋ͷʹରԠ͢ ΔͷͰղऍ΍෼ੳ͕͠΍͍͢ 25