深層学習を用いた3D仮想物理環境における キャラクターの動的な行動生成

SIGRRAPHの研究サーベイです．シミュレートされた物理環境下で3Dキャラクラーの動作を自動で生成する研究について紹介しています．とくに昨今注目されている深層強化学習を利用した方法に焦点を当てました．詳細な論文要約はhttps://github.com/DwangoMediaVillage/paper_readings/issues にあります．

Transcript

1. ਂ૚ֶशΛ༻͍ͨ%Ծ૝෺ཧ؀ڥʹ͓͚Δ
   ΩϟϥΫλʔͷಈతͳߦಈੜ੒
   ࠤʑ໦ɹҰຏ
   
   ࿦จαʔϕΠ
   

   View Slide

2. 
   
   ϦΞϧͳΞχϝʔγϣϯΩϟϥΫλʔͷಈ͖Λָͯ͠࡞Γ͍ͨ
   ήʔϜ։ൃɼΞχϝʔγϣϯ࡞੒ 73 ࣮ϩϘοτͷߦಈֶश
   ঢ়ଶʹಈతʹదԠͨ͠ಈ࡞ʢߦಈʣͷੜ੒
   ؀ڥɾΩϟϥͷঢ়ଶ͔Β࣍࣌ࠁͷಈ࡞ΛܾΊΔγεςϜ
   ΰʔϧΛ࣋ͬͨ؀ڥͱͷΠϯλϥΫγϣϯ
   Ծ૝෺ཧ؀ڥʹ͓͚Δߦಈੜ੒
   
   

   View Slide

3. 
   
   దԠੑɿ؀ڥͷมԽʹରͯ͠ॊೈʹৼΔ෣͍Λม͑Δ
   ಘΒΕΔঢ়ଶ͕ߦಈʹΑͬͯมΘΔ
   ଞϓϨΠϠʔɾϢʔβʔʹΑΔׯবʢΰʔϧͷมԽʣ
   ඼࣭ɿCJPMPHJDBMͳಈ͖
   ࣮ߦ࣌ؒɿϦΞϧλΠϜੑɼϓϥοτϑΥʔϜͷ੍ݶ
   ߦಈੜ੒γεςϜʹٻΊΒΕΔ΋ͷ
   

   View Slide

4. 
   
   खͰॻ͘ɿLFZGSBNF ϧʔϧϕʔεɼϞʔγϣϯΩϟϓνϟʔ
   ϧʔϧɾσʔλ࡞੒ʹख͕͔͔ؒΔ
   ؀ڥͱͷෳࡶͳΠϯλϥΫγϣϯΛ࣮ݱ͢Δͷ͕ࠔ೉
   ຖϑϨʔϜ࠷దԽ໰୊Λղ͘
   ͕͔͔࣌ؒΔ
   ߆ଋ৚݅ΛܾΊΔͷ͕೉͍͠
   ಈ࡞ੜ੒ͷओͳํ๏ͱ໰୊఺
   <(SPDIPXFUBM >
   <"HSBXBMBOEWBOEF1BOOF >
   <1FSUUVBOE5FDI >
   

   View Slide

5. 
   
   ਐԽઓུ
   ےࠎ֨Ϟσϧͷར༻
   ڧԽֶश
   1PMJDZ(SBEJFOUΛ࢖ͬͨ࿈ଓͳيಓͷ࠷దԽ
   ճؼϞσϧ
   ઢܗϞσϧ
   ඇઢܗϞσϧɿਂ૚ֶश
   ػցֶशʹΑΔߦಈੜ੒Ϟσϧ
   <(FJKUFOCFFLFUBM >
   <-FWJOFBOE,PMUVO >
   [-JVFUBM,]
   <4JMWFSFUBM >
   

   View Slide

6. ճؼʹΑΔ࢛଍าߦϞσϧ
   ࢛଍าߦϞʔγϣϯͷΦϯϥΠϯੜ੒
   
   
   ݘͷΩϟϓνϟσʔλΛճؼ
   Ҡಈํ޲͸Ϣʔβʔ͕ૢ࡞͍ͨ͠
   <;IBOHFUBM >
   ࿦จ঺հɿɹIUUQTHJUIVCDPN%XBOHP.FEJB7JMMBHFQBQFS@SFBEJOHTJTTVFT
   <࿦จΑΓ>
   

   View Slide

7. 
   
   .PUJPO1SFEJDUJPO/FUXPSL(BUJOH/FUXPSL
   ෳ਺ͷχϡʔϥϧωοτͷύϥϝʔλʔΛ༻ҙ
   ύϥϝʔλʔͷઢܗ࿨ͷॏΈΛਪఆ͢ΔϞσϧ΋ֶश
   ಈըɿIUUQTZPVUVCFV'+W3:UK2D
   .PEF"EBQUJWF/FVSBM/FUXPSLT <;IBOHFUBM >
   <࿦จΑΓ>
   

   View Slide

8. 
   
   ճؼͷ೉͠͞
   Ωϟϓνϟʔσʔλʹͳ͍ಈ͖͸Ͱ͖ͳ͍
   ো֐෺Λ৐Γӽ͑ΔͳͲ
   σʔλ͕͋Ε͹Ͱ͖Δʁ
   ൚ԽͰ͖Δఔ౓ͷे෼ͳσʔλΛूΊΔͷ͸େม
   ෺ཧ؀ڥ͕ҧ͏ͷͰಈ͖͸࠶ݱͰ͖ͯ΋ߦಈ͕ୡ੒Ͱ͖ͳ͍
   

   View Slide

9. 
   
   ڧԽֶशʹΑΔ୳ࡧ
   ؀ڥͷঢ়ଶ͔Β࣍࣌ࠁͷಈ࡞ΛܾΊΔํࡦؔ਺Λ୳ࡧͰٻΊΔ
   ಈ࡞ͷΰʔϧ͸ใुͰσβΠϯͰ͖Δ
   ΦϒδΣΫτͱͷ઀৮ΛؚΉෳࡶͳಈֶ͖͕शͰ͖Δ
   ୳ࡧ͕೉͍͠ɹˍʮෆࣗવͳʯಈ͖͕֫ಘ͞Εͯ͠·͏
   ΩϟϓνϟʔσʔλσʔλΛར༻ͯࣗ͠વͳಈ͖Λ͍ͤͨ͞
   
   

   View Slide

10. 
    
    ճؼϞσϧΛॳظ୳ࡧʹར༻
    όεέοτϓϨΠϠʔͷυϦϒϧಈ࡞Λੜ੒
    ࣮ࡍͷϓϨΠϠʔͷಈ͖ΛϞʔγϣϯΩϟϓνϟʔͰه࿥
    ྆࿹ͷಈ࡞ͱ-PDPNPUJPOΛผʑʹ࠷దԽ
    -PDPNPUJPO͸Ϙʔϧͳ͠ͰϞʔΩϟϓσʔλͷճؼ
    ྆࿹͸%FFQ%FUFSNJOJTUJD1PMJDZ(SBEJFOUΛ࢖͏
    w ڭࢣσʔλΛ$."&4Ͱͭ͘Δʢ໨తؔ਺͸࡞Γ͜Ήʣ
    w ॳظஈ֊Ͱ͸ճؼϞσϧΛ3FQMBZ#V⒎FSʹ࢖͏͜ͱͰ୳ࡧΛॿ͚Δ
    ಈըɿIUUQHSBQIJDTDTDNVFEVXQXQDPOUFOUVQMPBET
    #BTLFUCBMM4*((3"1)NQ
    <-JVBOE)PEHJOT >
    <)BOTFOBOE0TUFSNFJFS >
    ࿦จ঺հɿɹIUUQTHJUIVCDPN%XBOHP.FEJB7JMMBHFQBQFS@SFBEJOHTJTTVFT
    <4JMWFSFUBM >
    <࿦จΑΓ>
    

    View Slide

11. 
    
    %FFQ.JNJDใुʹ࢟੎໛฿Λ૊ΈࠐΉ
    ೋ଍าߦʴλεΫͷ࣮ߦ
    ύϯνɼΩοΫͳͲͷ4USJLJOH΍Ϙʔϧ౤͛ͳͲ
    ใुʹΩϟϓνϟσʔλͱੜ੒͞Εͨ࢟੎ͱͷڑ཭ΛೖΕΔ
    ॳظ࢟੎ͷαϯϓϦϯάˍΤϐιʔυͷ୹ظଧͪ੾Γ
    ݻఆͷ࢟੎͔Β࢝ΊΔͱಈ࡞ޙ൒ʹ౸ୡͰ͖ͳ͍··ऩଋ
    Ωϟϓνϟʔσʔλ͔ΒϥϯμϜʹॳظ࢟੎ΛαϯϓϦϯά
    Ωϟϥ͕సΜͩΒͦͷ৔ͰΤϐιʔυଧͪ੾Γ
    ಈըɿIUUQTZPVUVCFWQQ'WRRV2
    <1FOHFUBM >
    Ωϟϓνϟʔσʔλ ΩʔϑϨʔϜσʔλ
    ࿦จ঺հɿɹIUUQTHJUIVCDPN%XBOHP.FEJB7JMMBHFQBQFS@SFBEJOHTJTTVFT
    <࿦จΑΓ>
    

    View Slide

12. 
    
    ٞ࿦ɿ.JYUVSFPG&YQFSUͷԠ༻
    .PEF"EBQUJWF/FVSBM/FUXPSLTʢݘͷาߦʣ
    (BUJOH͢ΔϞσϧΛ༻ҙ
    (BUJOH͠ͳ͍ͱෳ਺ͷาߦϞʔυ͕ฏۉԽ͞Εͯ͠·ͬͨ
    %FFQ.JNJD
    ෳ਺ͷϞʔΩϟϓσʔλ͔Β࠷΋͍ۙ΋ͷΛใुʹՃ͑Δ
    ෳ਺ͷ"DUPS$SJUJDͷϖΞΛ༻ҙ
    ਪఆ͞ΕͨՁ஋ʹΑͬͯ"DUPSͷॏΈ෇͚Λߦ͏
    ߦಈͷόϦΤʔγϣϯΛଟ͘͢ΔͨΊʹෳ਺ͷϞσϧΛ౷߹
    

    View Slide

13. 
    
    ٞ࿦ɿࠓޙͷ՝୊
    ใुσβΠϯͷ೉͠͞
    ༂౓࠷খنൣͳͲ͸࢖͑ͳ͍ʁ
    ΩϟϥΫλʔͷ਎ମߏ଄ʹର͢Δ൚Խੑೳ
    Ωϟϓνϟʔσʔλ͕ಘΒΕͳ͍ߦಈͷֶश
    ஌ࣝͷ࠶ར༻ɿҟͳΔΩϟϥͷ਎ମߏ଄Ͱ௥Ճֶशʁ
    $PNQVUFS7JTJPOͰ͸సҠֶश͸ͱͯ΋ϗοτͳ෼໺ <;BNJSFUBM >
    <8BEBBOE,BXBUP >
    

    View Slide

14. 
    
    ·ͱΊ
    ϦΞϧͳΞχϝʔγϣϯΩϟϥΫλʔͷಈ͖Λָͯ͠࡞Γ͍ͨ
    ؀ڥͱͷෳࡶͳΠϯλϥΫγϣϯͷͨΊಈ࡞ੜ੒
    ػցֶशͰঢ়ଶ͔Β࣍࣌ࠁͷΩϟϥͷ࢟੎Λਪఆ͢Δؔ਺Λ࡞Δ
    /FVSBM/FUXPSLΛ࢖ͬͨճؼ
    ڭࢣσʔλ࡞੒ίετɼλεΫͷୡ੒
    ڧԽֶशʹΑΔ୳ࡧ
    ΩϟϓνϟʔσʔλσʔλΛར༻ͯ͠ʮࣗવͳಈ͖ʯΛͭ͘Δ
    

    View Slide

15. ࢀߟจݙ
    
    
    <8BEBBOE,BXBUP >8BEB : ,BXBUP .
    "WJBQPJOUUJNFPQUJNJ[BUJPOBMHPSJUINGPSDPNQMFYTFRVFOUJBMUSBKFDUPSZGPSNBUJPO/FVSBM
    /FUXPSLT
    rIUUQTEPJPSHKOFVOFU
    <;BNJSFUBM >;BNJS " 4BY " 4IFO 8 (VJCBT - .BMJL + 4BWBSFTF 4
    5BTLPOPNZ%JTFOUBOHMJOH5BTL5SBOTGFS-FBSOJOHIUUQT
    EPJPSH$713
    <1FOHFUBM >1FOH 9#JO "CCFFM 1 -FWJOF 4 WBOEF1BOOF .
    %FFQ.JNJD&YBNQMF(VJEFE%FFQ3FJOGPSDFNFOU-FBSOJOHPG
    1IZTJDT#BTFE$IBSBDUFS4LJMMT
    IUUQTEPJPSH
    <-JVBOE)PEHJOT >-JV - )PEHJOT +
    -FBSOJOH#BTLFUCBMM%SJCCMJOH4LJMMT6TJOH5SBKFDUPSZ0QUJNJ[BUJPOBOE%FFQ3FJOGPSDFNFOU
    -FBSOJOH"$.5SBOT(SBQI
    IUUQTEPJPSH
    <;IBOHFUBM >;IBOH ) 4UBSLF 4 ,PNVSB 5 4BJUP +
    .PEF"EBQUJWF/FVSBM/FUXPSLTGPS2VBESVQFE.PUJPO$POUSPM"$.
    3FGFSFODFGPSNBU"$.5SBOT(SBQI"SUJDMF
    rIUUQTEPJPSH
    [-FWJOFBOE,PMUVO,>-FWJOF 4 ,PMUVO 7
    -FBSOJOH$PNQMFY/FVSBM/FUXPSL1PMJDJFTXJUI5SBKFDUPSZ0QUJNJ[BUJPO*OUFSOBUJPOBM
    $POGFSFODFPO.BDIJOF-FBSOJOH r3FUSJFWFEGSPNIUUQKNMSPSHQSPDFFEJOHTQBQFSTWMFWJOFQEG
    <-JVFUBM >-JV - 1BOOF .7BO%F :JO ,
    (VJEFE-FBSOJOHPG$POUSPM(SBQITGPS1IZTJDT#BTFE$IBSBDUFST"$.5SBOTBDUJPOTPO
    (SBQIJDT
    rIUUQTEPJPSH
    <(FJKUFOCFFLFUBM >(FJKUFOCFFL 5 WBOEF1BOOF . WBOEFS4UBQQFO "'
    'MFYJCMFNVTDMFCBTFEMPDPNPUJPOGPSCJQFEBMDSFBUVSFT
    "$.5SBOTBDUJPOTPO(SBQIJDT
    rIUUQTEPJPSH
    <4JMWFSFUBM >4JMWFS % -FWFS ( )FFTT / %FHSJT 5 8JFSTUSB % 3JFENJMMFS .
    %FUFSNJOJTUJD1PMJDZ(SBEJFOU"MHPSJUINT
    1SPDFFEJOHTPGUIFTU*OUFSOBUJPOBM$POGFSFODFPO.BDIJOF-FBSOJOH *$.-
    r
    <)BOTFOBOE0TUFSNFJFS >)BOTFO / 0TUFSNFJFS "
    "EBQUJOHBSCJUSBSZOPSNBMNVUBUJPOEJTUSJCVUJPOTJOFWPMVUJPOTUSBUFHJFTUIF
    DPWBSJBODFNBUSJYBEBQUBUJPO1SPDFFEJOHTPG*&&&*OUFSOBUJPOBM$POGFSFODFPO&WPMVUJPOBSZ$PNQVUBUJPO rIUUQTEPJPSH*$&$
    
    <1FSUUVBOE5FDI >1FSUUV ) 5FDI (
    0OMJOF$POUSPMPG4JNVMBUFE)VNBOPJET6TJOH1BSUJDMF#FMJFG1SPQBHBUJPO r
    <"HSBXBMBOEWBOEF1BOOF >"HSBXBM 4 WBOEF1BOOF .
    5BTLCBTFEMPDPNPUJPO"$.5SBOTBDUJPOTPO(SBQIJDT
    r
    IUUQTEPJPSH
    <(SPDIPXFUBM >(SPDIPX , .BSUJO 4- )FSU[NBOO " 1PQPWJ㶛 ;
    4UZMFCBTFEJOWFSTFLJOFNBUJDT"$.4*((3"1)1BQFST
    PO4*((3"1)` IUUQTEPJPSH
    

    View Slide