【論文紹介】マルチタスクな学習・おもしろ画像変換【SIGGRAPH Asia 2018】

SIGGRAPH Asia 2018に投稿されていた論文のうち、個人的に面白そうだと思ったものをまとめました。

3D再構成・顔の変形・深度推定という、既存手法が存在する問題に、新たな知見を加えることでそれぞれの精度を向上する研究は、その精度向上に使われたアイディアは他のタスクでも応用可能な物が多く面白かったです。

会場が東京だったせいもあってか、ポスターセッションでは、日本らしさのある問題を解いているものも多く、その中でも、今回は3Dアニメーションで、日本のセルアニメ風のレンダリング・動きをつけるという研究があったので、それらをまとめました。

Transcript

1. 4*((3"1)"TJBࢀՃใࠂձ
   ࿦จ঺հ
   
   ϚϧνλεΫͳֶशʹΑΔطଘख๏ͷ֦ு
   ͓΋͠Ζը૾ม׵
   େ֞ܚհ
   
   

   View Slide

2. 8BSQ(VJEFE("/TGPS4JOHMF1IPUP'BDJBM"OJNBUJPO
   
   
   ໰୊ઃఆ
   w ଞਓͷإΛಈ͔͢ʂ
   w ͜ͷ໰୊ઃఆྲྀߦͬͯΔͳʔ
   ΩʔΞΠσΞ
   w طଘͷಛ௃఺ϕʔεإϫʔϓख๏ͷzޙॲཧz
   ͱͯ͠("/Λར༻͢Δ
   w ϫʔϓʹΑΔΞʔςΟϑΝΫτΛফͤΔ
   w XH("/
   w ద౰ͳϫʔϓΛͨ͠΍ͭΛGBLF
   w ϫʔϓલΛUSVF
   w ("/Λ͔ͭ͏͜ͱͰɺݩͷը૾ʹଘࡏ
   ͠ͳ͍෦෼΋ੜ੒Ͱ͖Δ ϫʔϓҎ্ͷ
   ࣄ͕Ͱ͖Δ
   
   w ISI("/
   ײ૝
   w ݚڀͱͯ͠͸FOEUPFOEͷ៉ྷ͞ʹເΛ࣋ͬ
   ͯ͠·͏͚ΕͲɺ͢ͰʹͰ͖Δ͜ͱ͕Θ͔ͬ
   ͯΔࡶͳख๏ͷߴ඼࣭Խʹ("/Λ࢖͏ͱɺ
   Ұؾʹ࣮༻తʹͳΔɺͱ͍͏ͷ͸ଞͷ෼໺
   Ͱ΋࢖͑ͦ͏
   w QIPUPTIPQతͳ
   $IV)BO 2JBOH8FO 4IFOHGFOH)F 2JBOTIV;IV :JOKJF5BO (VPRJBOH)BO 5JFO5TJO8POH
   

   View Slide

3. %FFQ-FOT4IBMMPX%FQUI0G'JFME'SPN"4JOHMF*NBHF
   
   
   ໰୊ઃఆ
   w ඃࣸքਂ౓ͷઙ͍ΧϝϥͰࡱͬͨΑ͏ͳࣸਅΛ࡞
   Δ
   ΩʔΞΠσΞ
   w λεΫͷ߹Θٕͤ
   w σϓεਪఆ
   w ໨తͷඃࣸքਂ౓Ҏ֎͸ϒϥʔΛ͔͚ΔͷͰɺ
   ࣸਅ಺Ͱਖ਼نԽͨ͠dͷ஋Λਪఆ͢Δ ී௨
   ͸ϝʔτϧͱ͔ઈରਂ౓Λਪఆͯ͠Δ
   
   w ࢖Θͳ͍͚Ͳηάϝϯςʔγϣϯ΋ಉ࣌ʹਪ
   ఆ͢Δ͜ͱͰσϓεͷਫ਼౓্͕͕Δ
   w ϒϥʔߴղ૾౓Խ
   w Ϩϯζϒϥʔ΋ΧʔωϧΛֶश͢Δʂ
   w $//ͰΦϦδφϧαΠζͷը૾Λѻ͏ͷ͸࣌
   ؒɾۭؒܭࢉྔ͕ݫ͍͠ͷͰɺ௿ղ૾౓Ͱॲ
   ཧͯ͠ɺ࠷ޙʹߴղ૾౓ԽωοτϫʔΫ
   ײ૝
   w ͪͳΈʹ͜ͷྨࣅλεΫ͸(PPHMF3FTFBSDI͕લ
   ճ4*((3"1)ʹ࿦จग़ͯͨ͠
   w QJYFMͱ͔Ͱ࢖ΘΕ͍ͯΔͷͩΖ͏
   w ߴղ૾౓Խɺׂͱγϯϓϧ͚ͩͲίϨͰ͏·͍͘͘
   ͷ͔ʔɻࢀߟʹͳΔ
   /FBM8BEIXB 3BIVM(BSH %BWJE&+BDPCT #SZBO&'FMENBO /PSJ,BOB[BXB 3PCFSU$BSSPMM 

   :BJS.PWTIPWJU["UUJBT +POBUIBO5#BSSPO :BFM1SJUDI .BSD-FWPZ
   

   View Slide

4. 4FNBOUJD0CKFDU3FDPOTUSVDUJPOWJB$BTVBM)BOEIFME4DBOOJOH
   
   
   ໰୊ઃఆ
   w ଟࢹ఺͔Βͷ3(#%ը૾Λ༻͍ͯ%࠶ߏ੒
   ΩʔΞΠσΞ
   w ηϚϯςΟοΫηάϝϯςʔγϣϯΛલॲཧʹೖΕ
   Δͱ%࠶ߏ੒ͷਫ਼౓্͕͕Δ
   w %࠶ߏ੒͞Εͨ݁Ռ͔Βɺ͞Βʹ΋ͱͷ%ʹ࠶౤
   Ө͢Δ͜ͱͰɺ΋ͱͷϥϕϧͷ৴པ౓͕ग़ͤΔ
   w ΞΫςΟϒϥʔχϯάʹར༻Ͱ͖Δ
   ײ૝
   w %࠶ߏ੒Ҏ֎ʹ΋ηϚϯςΟοΫηάϝϯςʔγϣ
   ϯΛલॲཧʹೖΕΔͷ͸͔ͳΓ࢖͑ͦ͏ɻը૾ੜ
   ੒΍ڧԽֶशͳͲ
   3VJ[IFO)V $IFOH8FO 0MJWFSWBO,BJDL -VBONJO$IFO %J-JO %BOJFM$PIFO0S )VJ)VBOH
   ηάϝϯςʔγϣϯ͋Γͳ͠ͷൺֱ
   %ʹ෮ݩͨ͋͠ͱʹɺ%ʹ໭ͯ͠ɺݩͷηάϝϯςʔγϣϯͱ͚ۙΕ͹ɺ

   ֶशσʔλͱͯ͠ར༻͢ΔTFMGMFBSOJOH
   

   View Slide

5. %FFQ6OTVQFSWJTFE1JYFMJ[BUJPO
   
   
   ໰୊ઃఆ
   w υοτֆʹม׵
   ΩʔΞΠσΞ
   w $ZDMF("/Λϕʔεʹɺυοτֆม׵ಛ༗
   ͷ੍໿ΛೖΕࠐΉ
   w ৭ΛอͨͤΔͨΊʹɺม׵લޙʹ-ϩε
   w ΤοδΛอͭͨΊʹHSBEJFOUMPTT ޯ഑ը
   ૾ͷ-
   
   w ෳ਺ͷղ૾౓ͷυοτֆΛಉ࣌ʹੜ੒͢Δ
   ͜ͱͰɺ୯Ұͷղ૾౓Ͱֶश͢ΔΑΓ΋ɺ
   σΟςΟʔϧΛࣦ͍ʹ͘͘ͳΔ
   ײ૝
   w υοτֆͱΞχϝֆΛͦΕͧΕຕͰֶ
   शͰ͖Δͬͯͷເ͕͋Δ
   w ࿦จͷ಺༰తʹ͸ಛԽܕ$ZDMF("/
   w ϩεΛͦΕͧΕൈ͍࣮ͨݧ͕Θ͔Γ΍͍͢
   $IV)BO 2JBOH8FO 4IFOHGFOH)F 2JBOTIV;IV :JOKJF5BO (VPRJBOH)BO 5JFO5TJO8POH
   

   View Slide

6. %FFQ6OTVQFSWJTFE1JYFMJ[BUJPO
   
   
   $IV)BO 2JBOH8FO 4IFOHGFOH)F 2JBOTIV;IV :JOKJF5BO (VPRJBOH)BO 5JFO5TJO8POH
   ߹ܭͭͷϩεͰͭͷωοτϫʔΫΛֶश
   

   View Slide

7. ϙελʔ
   
   
   &WBMVBUJPOPG3FEVDJOH5ISFFEJNFOTJPOBMJUZPG
   .PWFNFOUUP$SFBUF%$("OJNBUJPOMPPLTNPSF
   MJLF%"OJNBUJPO
   "VUPNBUJD(FOFSBUJPOPG)BJS.PUJPOPG%
   $IBSBDUFST'PMMPXJOH+BQBOFTF"OJNF4UZMF ໰୊ઃఆ
   w ൅Λ͔ͬ͜Α͘༳Β͢
   ΩʔΞΠσΞ
   w λϝπϝΛఆࣜԽ͢Δ
   w DPT Y
   Ͱ͸ͳ͘DPT YM
   ͱɺ࣌ؒͷؔ਺
   ʹλϝπϝύϥϝλΛೖΕΔ
   ײ૝
   w ΞϦγΞͪΌΜʂ
   w ධՁ࣮ݧͱͯ͠ɺ࣮ࡍͷखඳ͖Ξχϝͱͷޡ
   ࠩΛܭଌ͍ͯͯ͠໘ന͍
   ໰୊ઃఆ
   w %Ξχϝ͔Βz࣍ݩײzΛݮΒ͍ͨ͠
   ΩʔΞΠσΞ
   w ಈ͖͕େ͖͍࣌ؒ͸ϑϨʔϜϨʔτΛߴ͘ɺ
   খ͍࣌ؒ͞͸ϑϨʔϜϨʔτΛ௿͘͢Δ
   w ಁࢹ౤Өͱฒߦ౤Өͷ૊Έ߹Θͤ
   w ಁࢹ౤Ө͸Ԟߦ͖ͷಈ͖Λײ͡΍͍͔͢
   Β
   w Ͱ΋ɺΧϝϥʹ͍ۙ෺ମ͸େ͖͍ɺͱ͍
   ͏zύʔεz͸ཉ͍͠
   ,FJ,JUBIBUB :VKJ4BLBNPUP
   ,FOKJ'VSVLBXB 4VTVNV/BLBUUB
   

   View Slide