[Journal club] Scalable Diffusion Models with Transformers

1. 4DBMBCMF
   %JGGVTJPO
   .PEFMT
   XJUI
   5SBOTGPSNFST ܚጯٛक़େֶ ਿӜ޸໌ݚڀࣨ
   #
   ീౡେ஍ 8JMMJBN
   1FFCMFT
   4BJOJOH
   9JF 6$
   #FSLFMFZ
   /FX
   :PSL
   6OJWFSTJUZ *$$7
    8JMMJBN
   1FFCMFT
   4BJOJOH
   9JF
   l4DBMBCMF
   %JGGVTJPO
   .PEFMT
   XJUI
   5SBOTGPSNFSTz
   JO
   *$$7
   
   QQ
   
2. എܠɿ֦ࢄϞσϧʹΑΔಈը૾ੜ੒
   FH
   4PSB
   ͷൃల  IUUQTXXXZPVUVCFDPNXBUDI W),Z%"1/@
   
3. ؔ࿈ݚڀɿ֦ࢄϞσϧͷόοΫϘʔϯͱͯ͠6/FU͕ଟ༻  • 6/FUͷ.VMUJTDBMF
   TLJQ
   DPOOFDUJPOT
   ˠ ෆཁͳܭࢉࢿݯͷ࢖༻ 手法 概要 DALL-E 2 [Ramesh+, 22] CLIPを用いてテキストと画像のAlignmentを行う Stable Diffusion [Rombach+, CVPR22] 潜在拡散モデル 6/FU
   <3POOFCFSHFS
   .*$$"*> 4UBCMF
   %JGGVTJPO
   <3PNCBDI
   $713>
4. ఏҊख๏ɿ%JGGVTJPO
   5SBOTGPSNFS
   %J5 • જࡏ֦ࢄϞσϧ
   -%. <3PNCBDI
   $713>Λϕʔεʹߏங • 7JTJPO
   5SBOTGPSNFS
   7J5
   <%PTPWJUTLJZ
   *$-3>
   ػߏΛಋೖ • $POEJUJPOJOHʹΑΔ৚݅৘ใͷೖྗ 
5. ఏҊख๏  ɿજࡏ֦ࢄϞσϧͱֶͯ͠शͤ͞Δ  • ߴ࣍ݩͷըૉۭؒͰ֦ࢄϞσϧΛֶश ͤ͞Δ͜ͱ͸ܭࢉྔతʹࠔ೉ • -%.ͱֶͯ͠शͤ͞Δ͜ͱͰ ܭࢉྔΛ࡟ݮ • ըૉۭؒͷ֦ࢄϞσϧͰ͋Δ "%.
   <%IBSJXBM
   /FVS*14>
   ͷ໿ͷͷ(GMPQTͰֶशՄೳ
6. ఏҊख๏  ɿೖྗϊΠζΛQBUDIʹ෼ղ • "VUPFODPEFS͔ΒಘΒΕͨ /PJTFE
   -BUFOU
   YY
   Λ 7J5ͱಉ༷ʹE࣍ݩͷτʔΫϯ5ʹม׵ • 1BUDIαΠζQΛ൒෼ʹ͢Δͱ5͸ഒ ʹͳΓUSBOTGPSNFS૚ͷ (GMPQT͸গͳ͘ͱ΋ഒҎ্ 
7. ఏҊख๏  ɿ৚݅෇͖ೖྗ $POEJUJPOJOH ͷॲཧ • ৚݅෇͖֦ࢄϞσϧͰ͸ϊΠζΛؚΉը૾ͱͱ΋ʹ௥Ճ৘ใ͕Ճ͑ΒΕΔ FH
   UJNFTUFQɼΫϥεϥϕϧɼࣗવݴޠ
   FUD • ຊݚڀͰ͸͜ΕΒͷ৚݅෇͖ೖྗΛॲཧ͢ΔͨΊʹҎԼͷͭͷҟͳΔઃܭΛఏҊ • *ODPOUFYU
   DPOEJUJPOJOH • $SPTT"UUFOUJPO
   CMPDL • "EBQUJWF
   MBZFS
   OPSN
   BEB-/
   CMPDL • BEB-/;FSP
   CMPDL 
8. ఏҊख๏  ɿBEB-/;FSP
   CMPDL  • 7J5ͷTFMGBUUFOUJPO
   CMPDLʹରͯ͠"EB-/ػߏΛಋೖ • "EB-/ͷεέʔϧ܎਺
   ͓Αͼ ࢒ࠩ઀ଓͷલͷεέʔϧ܎਺
   Λύϥϝʔλͱͯ͠௥Ճ ˠ৚݅৘ใΛը૾ʹΑΓڧ͘൓ө • "EB-/;FSP
   CMPDLͰ͸ͦΕΒΛθϩʹॳظԽ ˠ
   ֶशͷॳظஈ֊͸߃౳ؔ਺ʹ͍ۙಇ͖ ˠ ֶशͷ҆ఆԽ
9. ࣮ݧઃఆ  • σʔληοτ • $MBTT$POEJUJPOBM
   *NBHF/FU
   Y
   Y
   <%FOH
   $713>
   • ΞʔΩςΫνϟ • 7J5ͱಉ༷ʹͭͷϞσϧͷେ͖͞ 4
   #
   -
   9- Λ༻ҙ • QBUDI
   TJ[F
   Q
   
   
   
    • %%1.
   TBNQMJOH
   TUFQT
   
    • ධՁई౓ • '*%
   T'*%
   *4
   1SFDJTJPO
   3FDBMM • (GMPQT • ֶश • 516W
   
   QPE
   #BUDI
   TJ[F
   
   
10. ఆྔత݁Ռɿ6/FUϕʔεͷख๏Λ্ճͬͨ 
11. ఆੑత݁Ռ  • 1BUDI
    TJ[FΛখ͘͞ɼϞσϧΛେ͖͘͢ΔͱΑΓࣗવͳը૾͕ग़ྗ͞ΕΔ ˠ
    %J5Ͱ͸(GMPQT਺͕େ͖͍΄Ͳग़ྗը૾ͷ඼্࣭͕͕Δ
12. ௥ࢼ͓ΑͼΤϥʔ෼ੳ
    ఆੑత݁Ռ ɿࣦഊྫ  • ಛఆͷMBCFMʹରͯ͠ෆࣗવͳը૾͕ੜ੒͞ΕΔ • ྫɿJOQVU
    MBCFM
    
    
    UPZ
    QPPEMF
    %%1.
    TBNQMJOH
    TUFQ
    
     • ϥϕϧʹΑͬͯTUFQͰ͸ੜ੒ը૾͕ෆ҆ఆ
    ˠ ਪ࿦࣌ͷTUFQ਺Λಈతʹมߋ
13. ॴײ  • 4USFOHUI • ֦ࢄϞσϧʹUSBOTGPSNFSΛಋೖ • ܭࢉࢿݯͱग़ྗը૾ͷ඼࣭ʹ͍ͭͯͷߟ࡯ • 8FBLOFTT • ਺͕ࣜগͳ͔ͬͨ • Τϥʔ෼ੳ͕ͳ͍
14. ·ͱΊ • എܠ • ֦ࢄϞσϧʹΑΔಈը૾ੜ੒
    FH
    4PSB
    ͷൃల • ֦ࢄϞσϧʹ͓͚ΔUSBOTGPSNFSͷར༻͕গͳ͍ • ఏҊख๏ • USBOTGPSNFSϕʔεͷ֦ࢄϞσϧͰ͋Δ%JGGVTJPO
    5SBOTGPSNFS
    %J5 ΛఏҊ • ݁Ռ • %J5͸εέʔϥϏϦςΟ͕ߴ͘ɼ(GMPQT͕େ͖͍΄Ͳ'*%͕௿Լ ˠ ܭࢉࢿݯͱग़ྗը૾ͷ඼࣭ʹڧ͍૬ؔؔ܎ • %J59-Ϟσϧ͕ɼ$MBTT$POEJUJPOBM
    *NBHF/FUʹ͓͍ͯ ैདྷͷ6/FUϕʔεͷ֦ࢄϞσϧΛ্ճͬͨ 
15. "QQFOEJYɿ%FOPJTJOH
    %JGGVTJPO
    1SPCBCJMJTUJD
    .PEFM
    %%1.  ֶश
16. "QQFOEJYɿ$MBTTJGJFSGSFF
    HVJEBODF • ৚݅෇͖֦ࢄϞσϧͰ͸ΫϥεϥϕϧΛϥϯμϜʹυϩοϓ
    
    
    
    
    
    
    
    
    
    
    
    
    ˠ αϯϓϦϯάͷਫ਼౓Λ޲্ • #BZFTͷఆཧΑΓ • ֦ࢄϞσϧͷग़ྗΛείΞͱͯ͠ղऍ͢Δͱਪఆ͢ΔϊΠζ͸ҎԼͷΑ͏ʹͳΔ
    T
    
    ɿΨΠμϯεεέʔϧ 
17. "QQFOEJYɿ*ODPOUFYU
    DPOEJUJPOJOH • $POEJUJPOJOHͰ৚݅ͱͯ͠ೖྗ͞ΕͨτʔΫϯΛ ը૾τʔΫϯͷઌ಄ʹ௥Ճ • ͜ΕΒͷτʔΫϯ͸ը૾τʔΫϯͱಉ༷ʹѻΘΕɺ 7J5ʣʹ͓͚ΔDMTτʔΫϯͱࣅͨ໾ׂΛ࣋ͭ 
18. "QQFOEJYɿ$SPTT"UUFOUJPO
    CMPDL • 4FMG"UUFOUJPOϒϩοΫͷޙʹ$SPTT"UUFOUJPOΛ ௥Ճͨ͠ઃܭ • <7BTXBOJ
    /*14>
    ΍-%.ͱྨࣅͨ͠ΞʔΩςΫνϟ 
19. "QQFOEJYɿ%J5
    CMPDL
    EFTJHO  • %J59-Ϟσϧʹ͓͍ͯBEB-/;FSPΛ༻͍ͨ ৔߹͕࠷΋গͳ͍ܭࢉࢿݯͰ࠷΋ྑ͍ '*%,είΞΛୡ੒
20. "QQFOEJYɿ7JTJPO
    5SBOTGPSNFS  <%PTPWJUTLJZ
    *$-3>
21. "QQFOEJYɿ*ODFQUJPO
    4DPSF
    *4  • *NBHF/FUͰࣄલֶशࡁΈͷ*ODFQUJPO
    OFUXPSLΛ༻͍ͨධՁࢦඪ • *ODFQUJPO
    OFUXPSL͕ࣝผ͠΍͘͢ɼࣝผ͞ΕΔϥϕϧͷଟ༷ੑ͕͋Δ΄Ͳ େ͖͘ͳΔࢦඪ <4[FHFEZ
    $713>
    
22. "QQFOEJYɿ'SFDIFU
    *ODFQUJPO
    %JTUBODF
    '*%  • *NBHF/FUͰࣄલֶशࡁΈͷ*ODFQUJPO
    OFUXPSLΛ༻͍ͨධՁࢦඪ • ੜ੒͞Εͨը૾ͷಛ௃෼෍
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    ͕(5ը૾ͷಛ௃෼෍
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    ͱͲͷఔ ౓ࣅ͍ͯΔ͔ΛධՁ͢Δࢦඪ • '*%͕খ͍͞΄Ͳੜ੒͞Εͨը૾ͷ඼࣭͕(5ը૾ʹ͍ۙͱߟ͑ΒΕΔ
23. "QQFOEJYɿ1SFDJTJPO3FDBMM  • *NBHF/FUͰࣄલֶशࡁΈͷ7((
    <4JNPOZBO
    *$-3>Λ༻͍ͯ ಛ௃ϕΫτϧू߹
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    ΛಘΔ
24. "QQFOEJYɿ(GMPQT  • 'MPQTɿුಈখ਺఺ԋࢉͷճ਺ • (GMPQT
    
    
    
    
    
    
    'MPQT
    • ը૾ੜ੒λεΫͰΞʔΩςΫνϟͷෳࡶ͞ΛධՁ͢Δࡍύϥϝʔλ਺Λ༻͍Δͷ ͕Ұൠత • ੑೳʹେ͖͘Өڹ͢Δը૾ղ૾౓ΛҰ੾ߟྀ͍ͯ͠ͳ͍ • Ϟσϧͷෳࡶ͞Λද͢ࢦඪͱͯ͠͸ෆे෼ͳ৔߹͕͋Δ
25. "QQFOEJYɿఆྔత݁Ռ 
26. "QQFOEJY
    (GMPQTͱ'*%ͷ૬ؔ  • ΑΓଟ͘ͷ(GMPQT਺Λ΋ͭϞσϧ͸'*%͕௿͘ͳΔ܏޲
27. "QQFOEJYɿϞσϧαΠζͱύοναΠζͷݕ౼