深層学習を用いた3D仮想物理環境における キャラクターの動的な行動生成

SIGRRAPHの研究サーベイです．シミュレートされた物理環境下で3Dキャラクラーの動作を自動で生成する研究について紹介しています．とくに昨今注目されている深層強化学習を利用した方法に焦点を当てました．詳細な論文要約はhttps://github.com/DwangoMediaVillage/paper_readings/issues にあります．

1. ਂ૚ֶशΛ༻͍ͨ%Ծ૝෺ཧ؀ڥʹ͓͚Δ
   ΩϟϥΫλʔͷಈతͳߦಈੜ੒ ࠤʑ໦ɹҰຏ  ࿦จαʔϕΠ
2. 
    ϦΞϧͳΞχϝʔγϣϯΩϟϥΫλʔͷಈ͖Λָͯ͠࡞Γ͍ͨ
   ήʔϜ։ൃɼΞχϝʔγϣϯ࡞੒
   
   73
   ࣮ϩϘοτͷߦಈֶश
   ঢ়ଶʹಈతʹదԠͨ͠ಈ࡞ʢߦಈʣͷੜ੒
   ؀ڥɾΩϟϥͷঢ়ଶ͔Β࣍࣌ࠁͷಈ࡞ΛܾΊΔγεςϜ
   ΰʔϧΛ࣋ͬͨ؀ڥͱͷΠϯλϥΫγϣϯ Ծ૝෺ཧ؀ڥʹ͓͚Δߦಈੜ੒ <CMPHTVOJUZEDPN
   >
3. 
    దԠੑɿ؀ڥͷมԽʹରͯ͠ॊೈʹৼΔ෣͍Λม͑Δ
   ಘΒΕΔঢ়ଶ͕ߦಈʹΑͬͯมΘΔ
   ଞϓϨΠϠʔɾϢʔβʔʹΑΔׯবʢΰʔϧͷมԽʣ
   ඼࣭ɿCJPMPHJDBMͳಈ͖
   ࣮ߦ࣌ؒɿϦΞϧλΠϜੑɼϓϥοτϑΥʔϜͷ੍ݶ ߦಈੜ੒γεςϜʹٻΊΒΕΔ΋ͷ
4. 
    खͰॻ͘ɿLFZ
   GSBNF
   ϧʔϧϕʔεɼϞʔγϣϯΩϟϓνϟʔ
   ϧʔϧɾσʔλ࡞੒ʹख͕͔͔ؒΔ
   ؀ڥͱͷෳࡶͳΠϯλϥΫγϣϯΛ࣮ݱ͢Δͷ͕ࠔ೉
   ຖϑϨʔϜ࠷దԽ໰୊Λղ͘
   ͕͔͔࣌ؒΔ
   ߆ଋ৚݅ΛܾΊΔͷ͕೉͍͠ ಈ࡞ੜ੒ͷओͳํ๏ͱ໰୊఺ <(SPDIPX
   FU
   BM
   >
   <"HSBXBM
   BOE
   WBO
   EF
   1BOOF
   > <1FSUUV
   BOE
   5FDI
   >
5. 
    ਐԽઓུ
   ےࠎ֨Ϟσϧͷར༻
   ڧԽֶश
   1PMJDZ
   (SBEJFOUΛ࢖ͬͨ࿈ଓͳيಓͷ࠷దԽ
   ճؼϞσϧ
   ઢܗϞσϧ
   ඇઢܗϞσϧɿਂ૚ֶश ػցֶशʹΑΔߦಈੜ੒Ϟσϧ <(FJKUFOCFFL
   FU
   BM
   > <-FWJOF
   BOE
   ,PMUVO
   > [-JV
   FU
   BM,
   ] <4JMWFS
   FU
   BM
   >
6. ճؼʹΑΔ࢛଍าߦϞσϧ ࢛଍าߦϞʔγϣϯͷΦϯϥΠϯੜ੒
    ݘͷΩϟϓνϟσʔλΛճؼ
   Ҡಈํ޲͸Ϣʔβʔ͕ૢ࡞͍ͨ͠ <;IBOH
   FU
   BM
   > ࿦จ঺հɿɹIUUQTHJUIVCDPN%XBOHP.FEJB7JMMBHFQBQFS@SFBEJOHTJTTVFT <࿦จΑΓ>
7. 
    .PUJPO
   1SFEJDUJPO
   /FUXPSL
   
   (BUJOH
   /FUXPSL
   ෳ਺ͷχϡʔϥϧωοτͷύϥϝʔλʔΛ༻ҙ
   ύϥϝʔλʔͷઢܗ࿨ͷॏΈΛਪఆ͢ΔϞσϧ΋ֶश
   ಈըɿIUUQTZPVUVCFV'+W3:UK2D .PEF"EBQUJWF
   /FVSBM
   /FUXPSLT <;IBOH
   FU
   BM
   > <࿦จΑΓ>
8. 
    ճؼͷ೉͠͞ Ωϟϓνϟʔσʔλʹͳ͍ಈ͖͸Ͱ͖ͳ͍
   ো֐෺Λ৐Γӽ͑ΔͳͲ
   σʔλ͕͋Ε͹Ͱ͖Δʁ
   ൚ԽͰ͖Δఔ౓ͷे෼ͳσʔλΛूΊΔͷ͸େม
   ෺ཧ؀ڥ͕ҧ͏ͷͰಈ͖͸࠶ݱͰ͖ͯ΋ߦಈ͕ୡ੒Ͱ͖ͳ͍
9. 
    ڧԽֶशʹΑΔ୳ࡧ
   ؀ڥͷঢ়ଶ͔Β࣍࣌ࠁͷಈ࡞ΛܾΊΔํࡦؔ਺Λ୳ࡧͰٻΊΔ
   ಈ࡞ͷΰʔϧ͸ใुͰσβΠϯͰ͖Δ
   ΦϒδΣΫτͱͷ઀৮ΛؚΉෳࡶͳಈֶ͖͕शͰ͖Δ
   ୳ࡧ͕೉͍͠ɹˍʮෆࣗવͳʯಈ͖͕֫ಘ͞Εͯ͠·͏ ΩϟϓνϟʔσʔλσʔλΛར༻ͯࣗ͠વͳಈ͖Λ͍ͤͨ͞ <CMPHTVOJUZEDPN
   >
10. 
     ճؼϞσϧΛॳظ୳ࡧʹར༻ όεέοτϓϨΠϠʔͷυϦϒϧಈ࡞Λੜ੒
    ࣮ࡍͷϓϨΠϠʔͷಈ͖ΛϞʔγϣϯΩϟϓνϟʔͰه࿥
    ྆࿹ͷಈ࡞ͱ-PDPNPUJPOΛผʑʹ࠷దԽ
    -PDPNPUJPO͸Ϙʔϧͳ͠ͰϞʔΩϟϓσʔλͷճؼ
    ྆࿹͸%FFQ
    %FUFSNJOJTUJD
    1PMJDZ
    (SBEJFOUΛ࢖͏
    w ڭࢣσʔλΛ$."&4Ͱͭ͘Δʢ໨తؔ਺͸࡞Γ͜Ήʣ
    w ॳظஈ֊Ͱ͸ճؼϞσϧΛ3FQMBZ
    #V⒎FSʹ࢖͏͜ͱͰ୳ࡧΛॿ͚Δ
    ಈըɿIUUQHSBQIJDTDTDNVFEVXQXQDPOUFOUVQMPBET #BTLFUCBMM4*((3"1)NQ <-JV
    BOE
    )PEHJOT
    > <)BOTFO
    BOE
    0TUFSNFJFS
    > ࿦จ঺հɿɹIUUQTHJUIVCDPN%XBOHP.FEJB7JMMBHFQBQFS@SFBEJOHTJTTVFT <4JMWFS
    FU
    BM
    > <࿦จΑΓ>
11. 
     %FFQ.JNJD
    ใुʹ࢟੎໛฿Λ૊ΈࠐΉ ೋ଍าߦʴλεΫͷ࣮ߦ
    ύϯνɼΩοΫͳͲͷ4USJLJOH΍Ϙʔϧ౤͛ͳͲ
    ใुʹΩϟϓνϟσʔλͱੜ੒͞Εͨ࢟੎ͱͷڑ཭ΛೖΕΔ
    ॳظ࢟੎ͷαϯϓϦϯάˍΤϐιʔυͷ୹ظଧͪ੾Γ
    ݻఆͷ࢟੎͔Β࢝ΊΔͱಈ࡞ޙ൒ʹ౸ୡͰ͖ͳ͍··ऩଋ
    Ωϟϓνϟʔσʔλ͔ΒϥϯμϜʹॳظ࢟੎ΛαϯϓϦϯά
    Ωϟϥ͕సΜͩΒͦͷ৔ͰΤϐιʔυଧͪ੾Γ
    ಈըɿIUUQTZPVUVCFWQQ'WRRV2 <1FOH
    FU
    BM
    > Ωϟϓνϟʔσʔλ ΩʔϑϨʔϜσʔλ ࿦จ঺հɿɹIUUQTHJUIVCDPN%XBOHP.FEJB7JMMBHFQBQFS@SFBEJOHTJTTVFT <࿦จΑΓ>
12. 
     ٞ࿦ɿ.JYUVSF
    PG
    &YQFSUͷԠ༻ .PEF"EBQUJWF
    /FVSBM
    /FUXPSLT
    ʢݘͷาߦʣ
    (BUJOH͢ΔϞσϧΛ༻ҙ
    (BUJOH͠ͳ͍ͱෳ਺ͷาߦϞʔυ͕ฏۉԽ͞Εͯ͠·ͬͨ
    %FFQ.JNJD
    ෳ਺ͷϞʔΩϟϓσʔλ͔Β࠷΋͍ۙ΋ͷΛใुʹՃ͑Δ
    ෳ਺ͷ"DUPS$SJUJDͷϖΞΛ༻ҙ
    ਪఆ͞ΕͨՁ஋ʹΑͬͯ"DUPSͷॏΈ෇͚Λߦ͏ ߦಈͷόϦΤʔγϣϯΛଟ͘͢ΔͨΊʹෳ਺ͷϞσϧΛ౷߹
    
13. 
     ٞ࿦ɿࠓޙͷ՝୊ ใुσβΠϯͷ೉͠͞
    ༂౓࠷খنൣͳͲ͸࢖͑ͳ͍ʁ
    ΩϟϥΫλʔͷ਎ମߏ଄ʹର͢Δ൚Խੑೳ
    Ωϟϓνϟʔσʔλ͕ಘΒΕͳ͍ߦಈͷֶश
    ஌ࣝͷ࠶ར༻ɿҟͳΔΩϟϥͷ਎ମߏ଄Ͱ௥Ճֶशʁ
    $PNQVUFS
    7JTJPOͰ͸సҠֶश͸ͱͯ΋ϗοτͳ෼໺ <;BNJS
    FU
    BM
    >
    <8BEB
    BOE
    ,BXBUP
    >
14. 
     ·ͱΊ ϦΞϧͳΞχϝʔγϣϯΩϟϥΫλʔͷಈ͖Λָͯ͠࡞Γ͍ͨ
    ؀ڥͱͷෳࡶͳΠϯλϥΫγϣϯͷͨΊಈ࡞ੜ੒
    ػցֶशͰঢ়ଶ͔Β࣍࣌ࠁͷΩϟϥͷ࢟੎Λਪఆ͢Δؔ਺Λ࡞Δ
    /FVSBM
    /FUXPSLΛ࢖ͬͨճؼ
    ڭࢣσʔλ࡞੒ίετɼλεΫͷୡ੒
    ڧԽֶशʹΑΔ୳ࡧ
    ΩϟϓνϟʔσʔλσʔλΛར༻ͯ͠ʮࣗવͳಈ͖ʯΛͭ͘Δ
15. ࢀߟจݙ
     <8BEB
    BOE
    ,BXBUP
    >
    8BEB
    :
    
    ,BXBUP
    .
     
    "
    WJBQPJOU
    UJNF
    PQUJNJ[BUJPO
    BMHPSJUIN
    GPS
    DPNQMFY
    TFRVFOUJBM
    USBKFDUPSZ
    GPSNBUJPO
    /FVSBM
    /FUXPSLT
     
    r
    IUUQTEPJPSHKOFVOFU
    <;BNJS
    FU
    BM
    >
    ;BNJS
    "
    4BY
    "
    4IFO
    8
    (VJCBT
    -
    .BMJL
    +
    
    4BWBSFTF
    4
     
    5BTLPOPNZ
    %JTFOUBOHMJOH
    5BTL
    5SBOTGFS
    -FBSOJOH
    IUUQT EPJPSH$713
    <1FOH
    FU
    BM
    >
    1FOH
    9
    #JO
    "CCFFM
    1
    -FWJOF
    4
    
    WBO
    EF
    1BOOF
    .
     
    %FFQ.JNJD
    &YBNQMF(VJEFE
    %FFQ
    3FJOGPSDFNFOU
    -FBSOJOH
    PG
    1IZTJDT#BTFE
    $IBSBDUFS
    4LJMMT
      
    IUUQTEPJPSH
    <-JV
    BOE
    )PEHJOT
    >
    -JV
    -
    
    )PEHJOT
    +
     
    -FBSOJOH
    #BTLFUCBMM
    %SJCCMJOH
    4LJMMT
    6TJOH
    5SBKFDUPSZ
    0QUJNJ[BUJPO
    BOE
    %FFQ
    3FJOGPSDFNFOU
    -FBSOJOH
    "$.
    5SBOT
    (SBQI
     
    
    IUUQTEPJPSH
    <;IBOH
    FU
    BM
    >
    ;IBOH
    )
    4UBSLF
    4
    ,PNVSB
    5
    
    4BJUP
    +
     
    .PEF"EBQUJWF
    /FVSBM
    /FUXPSLT
    GPS
    2VBESVQFE
    .PUJPO
    $POUSPM
    "$.
    3FGFSFODF
    GPSNBU
    "$.
    5SBOT
    (SBQI
    "SUJDMF
     
    r
    IUUQTEPJPSH
    [-FWJOF
    BOE
    ,PMUVO,
    >
    -FWJOF
    4
    
    ,PMUVO
    7
     
    -FBSOJOH
    $PNQMFY
    /FVSBM
    /FUXPSL
    1PMJDJFT
    XJUI
    5SBKFDUPSZ
    0QUJNJ[BUJPO
    *OUFSOBUJPOBM
    $POGFSFODF
    PO
    .BDIJOF
    -FBSOJOH
    
    r
    3FUSJFWFE
    GSPN
    IUUQKNMSPSHQSPDFFEJOHTQBQFSTWMFWJOFQEG
    <-JV
    FU
    BM
    >
    -JV
    -
    1BOOF
    .
    7BO
    %F
    
    :JO
    ,
     
    (VJEFE
    -FBSOJOH
    PG
    $POUSPM
    (SBQIT
    GPS
    1IZTJDT#BTFE
    $IBSBDUFST
    "$.
    5SBOTBDUJPOT
    PO
    (SBQIJDT
     
    r
    IUUQTEPJPSH
    <(FJKUFOCFFL
    FU
    BM
    >
    (FJKUFOCFFL
    5
    WBO
    EF
    1BOOF
    .
    
    WBO
    EFS
    4UBQQFO
    "
    '
     
    'MFYJCMF
    NVTDMFCBTFE
    MPDPNPUJPO
    GPS
    CJQFEBM
    DSFBUVSFT
    "$.
    5SBOTBDUJPOT
    PO
    (SBQIJDT
     
    r
    IUUQTEPJPSH
    <4JMWFS
    FU
    BM
    >
    4JMWFS
    %
    -FWFS
    (
    )FFTT
    /
    %FHSJT
    5
    8JFSTUSB
    %
    
    3JFENJMMFS
    .
     
    %FUFSNJOJTUJD
    1PMJDZ
    (SBEJFOU
    "MHPSJUINT
    1SPDFFEJOHT
    PG
    UIF
    TU
    *OUFSOBUJPOBM
    $POGFSFODF
    PO
    .BDIJOF
    -FBSOJOH
    *$.-
    r
    <)BOTFO
    BOE
    0TUFSNFJFS
    >
    )BOTFO
    /
    
    0TUFSNFJFS
    "
     
    "EBQUJOH
    BSCJUSBSZ
    OPSNBM
    NVUBUJPO
    EJTUSJCVUJPOT
    JO
    FWPMVUJPO
    TUSBUFHJFT
    UIF
    DPWBSJBODF
    NBUSJY
    BEBQUBUJPO
    1SPDFFEJOHT
    PG
    *&&&
    *OUFSOBUJPOBM
    $POGFSFODF
    PO
    &WPMVUJPOBSZ
    $PNQVUBUJPO
    r
    IUUQTEPJPSH*$&$ 
    <1FSUUV
    BOE
    5FDI
    >
    1FSUUV
    )
    
    5FDI
    (
     
    0OMJOF
    $POUSPM
    PG
    4JNVMBUFE
    )VNBOPJET
    6TJOH
    1BSUJDMF
    #FMJFG
    1SPQBHBUJPO
    r
    <"HSBXBM
    BOE
    WBO
    EF
    1BOOF
    >
    "HSBXBM
    4
    
    WBO
    EF
    1BOOF
    .
     
    5BTLCBTFE
    MPDPNPUJPO
    "$.
    5SBOTBDUJPOT
    PO
    (SBQIJDT
     
    r
    IUUQTEPJPSH
    <(SPDIPX
    FU
    BM
    >
    (SPDIPX
    ,
    .BSUJO
    4
    -
    )FSU[NBOO
    "
    
    1PQPWJ㶛
    ;
     
    4UZMFCBTFE
    JOWFSTF
    LJOFNBUJDT
    "$.
    4*((3"1)
    
    1BQFST
    PO
    
    
    4*((3"1)
    `
    
    IUUQTEPJPSH