(Reading) Relational Multi-Task Learning Modeling Relations between Data and Tasks

komachi lab

メモ：
（マルチタスク学習っていうよりかは、入力に対して一部の正解ラベルが与えられ、その情報を使って入力のembeddingを訓練して残りの正解ラベルを予測するタスク）
（unseenタスクは推論時には適当に出すしかない。補助タスクで一番それっぽいラベルを出力することになる？なので、タスクが似てないと解けない）

Transcript

1. ICLR 2022 Spotlight
2. - ϚϧνλεΫֶशʹ͓͍ͯλεΫͷؔ܎Λάϥϑͱͯ͠දݱ (//Λ࢖͏ ˠ λεΫؒͷؔ܎ੑΛ͏·ֶ͘श - ݴޠͱը૾Ͱ405" ৽͍͠λεΫΛηοςΟϯάɺख๏͕࢐৽ ݁Ռ΋େ͖ͳ͕ࠩग़͍ͯΔ 2 概要
3. - ̍ͭͷྫʹෳ਺ͷϥϕϧ͕෇༩͞Ε͍ͯΔઃఆʢڞ௨͢Δ৘ใ͕͋ͬͨΓ্ҐԼҐؔ܎͕͋Δϥϕϧʣ - Ϟσϧͷதؒ૚Λෳ਺λεΫʢϥϕϧʣͰڞ༗ֶͯ͠श - ޮՌ • Statistical Data Amplification 疑似的にデータ（インスタンス）が増える (Data augmentation的な) • Attribute Selection ノイズを軽減してタスクに関係のある特徴を捉えられる • Eavesdropping より簡単なタスクから難しいタスクはヒントを得ることができる • Representation Bias 複数のタスクで最適値を探索するため、1つのタスクより学習が安定する。（複数タスクで共有する最適 値に落ち着くため、初期値の影響が少なくなる） 3 マルチタスク学習 [Caruana, 1997] [Caruana, 1997]
4. - άϥϑߏ଄Λ//Ͱѻ͏ͨΊͷख๏ͷҰͭ - ϊʔυʹ৘ใ͕͋Δ৔߹ʹ༻͍Δɻͳ͍৔߹͸OPEFWFDͱ͔Λ࢖͏ ʢࠓճ͸͋Δઃఆʣ • ($/
   $//
   (//
   [Bruna, 2014] ˠ ೿ੜϞσϧ͸3($/ͳͲ 4 GNN (Graph neural networks) https://www.slideshare.net/ryosuke-kojima/ss-179423718
5. - )FSF
   XF
   QSPQPTF
   B
   OFX
   NVMUJUBTL
   MFBSOJOH
   TFUUJOH
   DBMMFE
   SFMBUJPOBM
   NVMUJUBTL
   MFBSOJOH - 5P
   UBDLMF
   UIF
   SFMBUJPOBM
   NVMUJUBTL
   MFBSOJOH
   XF
   QSPQPTF
   .FUB-JOL
   B
   HFOFSBM
   EJTDSJNJOBUJWF
   NPEFM
   UIBU
   DBO
   FYQMJDJUMZ
   JODPSQPSBUF
   UIF
   LOPXMFEHF
   GSPN
   BVYJMJBSZ
   UBTLT - σʔλʔϥϕϧରΛάϥϑͱ͢Δ ʢσʔλϊʔυɺλεΫϊʔυɺΤοδ ͷແ޲άϥϑʣ 5 Methodの概要
6. - ਪ࿦࣌ʹଞͷλεΫϥϕϧ͕࢖༻Ͱ͖Δ͔ - ਪ࿦࣌ͷλεΫϥϕϧΛ܇࿅࣌ʹΈͨ͜ͱ͕͋Δ͔ TFFO
   PS
   VOTFFO
   UBTL Ͱ̐λΠϓʹ෼ྨͰ͖Δ - 4UBOEBSE
   TVQFSWJTFE
   TFUUJOH
   Yσʔλɺ5λεΫू߹ɺZ@Jϥϕϧ - 3FMBUJPOBM
   TFUUJOH
   ʢ͋Δσʔλʹ͓͍ͯ໨తͷϥϕϧʢλεΫʣҎ֎ʹط஌ͷϥϕϧ͕͋Δʣ ʢط஌ͷσʔλʔλεΫର͕͋Δʣ 6 RELATIONAL MULTI-TASK LEARNING SETTINGS
7. - .FUB
   TFUUJOH
   ʢςετ͕࣌VOTFFOλεΫʣ - 3FMBUJPOBM
   TFUUJOH
   ʢط஌ͷσʔλʔλεΫର͕͋Δ͕ɺղ͖͍ͨͷ͸VOTFFOλεΫʣ 7 RELATIONAL MULTI-TASK LEARNING SETTINGS こっちが解きたい
8. - σʔλλεΫؔ܎ʢྫ͑͹ɺσʔλ఺͕λεΫʹϥϕϧΛ࣋ͭʣ - σʔλσʔλؔ܎ʢྫ͑͹ɺͭͷσʔλ఺͕ࣅ͍ͯΔ͔Ͳ͏͔ʣ - λεΫλεΫؔ܎ʢྫ͑͹ɺҟͳΔλεΫͷ֊૚ߏ଄ʣ ͜ΕΛ($/Ͱֶश͢Δ ͭ·ΓɺσʔλϊʔυͱλεΫϊʔυͱɺछྨͷΤοδ͕ଘࡏ͢Δ 8 METALINK FRAMEWORK
9. - جຊతʹ͸($/ - 6 8 0͸ύϥϝʔλ - ॳظ஋ʹߏஙࡁΈϞσϧΛ࢖ͬͯɺۙ๣̍ͷ֤ϊʔυʹରͯ͠ɺϝοηʔδλΠϓผͷύϥϝʔλͰ ϊʔυΛΞϑΟϯม׵ʢλεΫϊʔυͷ৔߹͸͞ΒʹผͷύϥϝʔλΛ༻ҙʣ - ׆ੑԽؔ਺Λ௨ͯ͠ɺશۙ๣ϊʔυͱͷฏۉΛܭࢉͯ͠ɺશΠςϨʔλͷӅΕ૚ͱDPODBU - ϥϕϧͱσʔλϊʔυͷӅΕ૚ͰΤοδΛ༧ଌͯ͠ύϥϝʔλʔߋ৽ 6OTFFOͷॳظ஋ σʔλϊʔυɿσʔληοτʹΑͬͯҧ͏ʢը૾͸3FT/FUʣ λεΫϊʔυɿ̍ͰຒΊΔ 9 METALINK FRAMEWORK
10. - 5PYɿόΠφϦϥϕϧʢBDUJWFJOBDUJWFʣछྨͷUPYJDPMPHJDBM࣮ݧ - 4JEFSɿࢢൢༀͱ෭࡞༻ "%3
    ɺλεΫ - 5PY$BTU ɿ໿,૊ͷ෼ࢠάϥϑͱͦΕʹରԠ͢Δ࣍ݩͷόΠφϦϕΫτϧ - .JDSPTPGU
    $0$0ɿ֤λΠϓͷΦϒδΣΫτ͕γʔϯʹଘࡏ͢Δ͔Ͳ͏͔ΛόΠφϦ෼ྨɻ ݸͷ஋෼ྨλεΫ - ิॿλεΫͷϥϕϧΛ࢖͏͜ͱͰʢ3FMBUJPOBMʣɺେ෯ʹਫ਼౓޲্ 10 結果 ROC AUC https://blog.kikagaku.co.jp/roc-auc
11. - ຊ౰ʹ͍ۙλεΫ͸༗༻ͳ৘ใΛ΋ͨΒ͢ͷ͔ - ૬͕ؔߴ͍λεΫͷ΄͏͕վળ͕ݦஶͳͷͰͦ͏ 11 ABLATION STUDIES
12. - 'FXTIPUઃఆʹ΋༗ޮ 12 Few-shotに対して