No content

ࢁޱޫଠ 3FTFBSDI.BOBHFS $ZCFS"HFOU"*-BC

w ݚڀઓུ w ΫϦΤΠςΟϒݚڀνʔϜ͕໨ࢦ͢΋ͷ w ϕΫλάϥϑΟοΫε΁ͷ௅ઓ w ࠷ۙͷݚڀ੒Ռ w ςΩετͷϕΫλ࠶ߏ੒ w σβΠϯςϯϓϨʔτͷࣗಈੜ੒ w ϢʔβʔʹΑΔϨΠΞ΢τੜ੒ͷ੍ޚ "HFOEB

w ಈը޿ࠂɺόφʔ޿ࠂɺݕࡧ࿈ಈܕ޿ࠂͳͲͷ ͋ΒΏΔදݱ෺ ΫϦΤΠςΟϒ ʘ഑৴֦େதʂʂʗɹΠϯϑΟʔυܕ޿ࠂ αϯϓϧςΩετͰ͢ʂ ΠϯϑΟʔυ޿ࠂ ΠϯϑΟʔυܕ޿ࠂαϯϓϧςΩ ετͰ͢ʂ ΠϯϑΟʔυ޿ࠂ ޿ࠂओϩΰ

w αʔϏε։ൃ͔Βಠཱͯ͠ݚڀ։ൃ w ػցֶशɺը૾ೝࣝɺࣗવݴޠॲཧɺԻ੠৴߸ॲཧ "*-BCΫϦΤΠςΟϒݚڀνʔϜ ޿ࠂޮՌͷ༧ଌ ੍࡞ͷࢧԉ

w େن໛ͳࣾ಺σʔλΛ࢖ͬͨػցֶशϞσϧ ݚڀࣄྫɿ޿ࠂޮՌͷ༧ଌ ML model ʘ഑৴֦େதʂʂʗɹΠϯϑΟʔυܕ޿ࠂ αϯϓϧςΩετͰ͢ʂ ΠϯϑΟʔυ޿ࠂ ΠϯϑΟʔυܕ޿ࠂαϯϓϧςΩ ετͰ͢ʂ ΠϯϑΟʔυ޿ࠂ ޿ࠂओϩΰ Good?

w ޿ࠂޮՌΛࣄલ༧ଌ͢Δ͜ͱͰʮউͯΔʯΫϦΤΠςΟϒ͚ͩΛ੍࡞ ͜Ε·ͰͷαʔϏεల։ "*Ͱ޿ࠂΫϦΤΠςΟϒ੍࡞ΛҰมɺใु͸޿ࠂޮՌ͕ Ͱͨ࣌ͷΈͷྉۚମܥʮۃ༧ଌ"*ʯͷఏڙΛ։࢝ XXXDZCFSBHFOUDPKQOFXTEFUBJMJE "*Ͱ਺ԯΩʔϫʔυͷ඼࣭είΞΛࣗಈͰվળɹޮՌͷग़ ͤΔ޿ࠂςΩετΛࣗಈੜ੒ʮۃ༧ଌ5%ʯͷఏڙΛ։࢝ XXXDZCFSBHFOUDPKQOFXTEFUBJMJE

ࣗಈͰΫϦΤΠςΟϒΛ࡞Γ͍ͨ

w ۙ೥ͷը૾ੜ੒͸΄ͱΜͲϥελܗࣜ ը૾ͷࣗಈੜ੒ͷݱࡏ 72("/<&TTFS>$-*1<3BEGPSE>ʹΑΓੜ੒ Bananas sold in the market

Typography Typography Typography ϥελܗࣜ w σΟεϓϨΠϑΥʔϚοτ w +1&(ɺ1/(ɺ8FC1 w ϐΫηϧͷ഑ྻʹΑΔը૾දݱ w ղ૾౓ݻఆɺฤूࠔ೉ ϕΫλܗࣜ w ΫϦΤΠςΟϒ੍࡞ϑΥʔϚοτ w 47(ɺ1%'ɺ1PXFS1PJOU w υΩϡϝϯτߏ଄هड़ʹΑΔը૾දݱ w ղ૾౓ඇґଘɺฤू༰қ

w ϕΫλܗࣜͷը૾ੜ੒ٕज़ "*-BC͕໨ࢦࣗ͢ಈੜ੒ ! ! ! ! … ! … ML model ղ૾౓ඇґଘɺ࠶ฤूՄೳ

ςΩετͷϕΫλ࠶ߏ੒ 4IJNPEB )BSBHVDIJ 6DIJEB :BNBHVDIJ *$$7 ۝भେֶͱͷڞಉݚڀ

ςΩετͷϕΫλ࠶ߏ੒ Resolution: [1699, 1280] Location: [247, 1130, !!!!!!!!!! 748, 1280] Text: "WANT" Font: Barlow Semi Condensed ExtraBold Fill: ! RGB: [44, 34, 41] Border: ! Visible: True ! RGB: [217, 91, 97] ! Width: 2 Shadow: ! Visible: False Background: ϥελը૾ ϕΫλදݱ ςΩετฤू ελΠϧฤू

w طଘσβΠϯͷ࠶ར༻ɾΞηοτԽ w ഑৴͞ΕͯҰ౓ݶΓͩͬͨΫϦΤΠςΟϒ͕ࢿ࢈ʹ w ޮՌͷߴ͍ΫϦΤΠςΟϒͷ࠶ݱ w ϥελԽ͞ΕͨσβΠϯͷඍௐ੔ w ղ૾౓ʹґଘ͠ͳ͍ฤू͕Մೳʹ ϕΫλ࠶ߏ੒͕Մೳʹ͢ΔϫʔΫϑϩʔ

w ςΩετͷݕग़ͱೝࣝʢ0$3 w Ͳ͜ʹςΩετ͕͋Γ·͔͢ w ͳΜͱॻ͔Ε͍ͯ·͔͢ w ελΠϧͷೝࣝ w ͲΜͳϑΥϯτͰ͔͢ w Կ৭Ͱ͔͢ w Ө΍ԑऔΓ͸͍͍ͭͯ·͔͢ w എܠͷਪఆ w ςΩετͷޙΖ͸Ͳ͏ͳ͍ͬͯ·͔͢ʁ ϕΫλԽ΁ͷ̏ͭͷ՝୊

Feedforward inference ςΩετ࠶ߏ੒Ϟσϧ Resolution: [1699, 1280] Location: [247, 1130, !!!!!!!!!! 748, 1280] Text: "WANT" Font: Barlow Semi Condensed ExtraBold Fill: ! RGB: [44, 34, 41] Border: ! Visible: True ! RGB: [217, 91, 97] ! Width: 2 Shadow: ! Visible: False Background: OCR Font style Inpaint Feedback refinement Differentiable rendering

ϥελը૾ ࠶ߏ੒ը૾ #PPLDPWFSEBUBTFU<*XBOB>

No content

'&&%ࣗಈঝೝ"*ͰͷαʔϏεల։ "*ʹΑͬͯ(PPHMFγϣοϐϯά޿ࠂʹ͓͚Δঝೝ཰ͷେ෯վળΛਤΔαʔ Ϗεʮ'&&%ࣗಈঝೝ"*ʯΛ։ൃɾఏڙ։࢝ IUUQTXXXDZCFSBHFOUDPKQOFXTEFUBJMJE

σβΠϯςϯϓϨʔτͷ ࣗಈੜ੒ :BNBHVDIJ *$$7

w ௚઀ϕΫλܗࣜͰੜ੒͢ΔػցֶशϞσϧ σβΠϯςϯϓϨʔτͷࣗಈੜ੒ CanvasVAE

w σβΠφʔʹΑΔ࠶ฤू͕Մೳ w ແݶʹੜ੒͞ΕΔσβΠϯςϯϓϨʔτ w ղ૾౓ʹґଘ͠ͳ͍ը૾ੜ੒ ϕΫλܗࣜͰͷςϯϓϨʔτੜ੒ ! ! ! ! … ! …

ϕΫλܗࣜͷυΩϡϝϯτ Canvas Image Text Text Text Text Canvas Image Text Text Text Text άϥϑΟοΫ υΩϡϝϯτ Ωϟϯόε ཁૉྻ

$BOWBT7"&υΩϡϝϯτੜ੒Ϟσϧ ϚϧνϞʔμϧͳߏ଄త7"& Canvas Image Text Text Text Text Canvas Image Text Text Text Text CanvasVAE Z Encoder Decoder

ϥϯμϜੜ੒͞ΕͨσβΠϯ !"#!!"# !" !"#!!"# !"#!! !" !"#! !"#! !"#! ! !"# !"#! !" !"#! !"# !" !"#! !"#! !"#! !"#! ! !"#! !"#! !"#! !"# !"#! !"#! ! !"#! !"#! !"# !"#! !"#! !"#! ! !"#! !"#! ! !"# !"# !"#! ! !"#! !"#! !"# !"#! !"#! !"# ! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !" !"#! !" !"#! !"#! !"#! !"# !"#! ! !"#! !" !"#! !"#! !"#! !"# !"#!!" !"#! !"#! !"#! !"#! !"# !"#! !"#! !"#! !"#! !"# !" !" !"# !"#! !"# ! ! ! !" !"#! !"#

σβΠϯςϯϓϨʔτͷ಺ૠ !"#$%&' !"#$%&( )*+,"-%.$+%/,"& ( )*+,"-%.$+%/,"& ' !"%*.#,01%/," !"#! !"#! !"#! !"#! ! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"# !"#! !"#! !"#! !"#! ! !"#! !"#! !"#! ! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! ! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"# !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"#! ! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! ! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"# !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"# !"#! !"#! !"# !"#! !"#! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"# !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"# !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"# !"#! !"#! !"#! !"#! !"# ೋͭͷσβΠϯͷؒΛऔͬͨΒʁ

w ݪཧతʹੜ੒͕Ͱ͖Δ͜ͱΛ࣮ূ w طଘݚڀʹυΩϡϝϯτੜ੒ख๏͸ଘࡏ͠ͳ͍ w ࣮༻Խʹ޲͚ͯͷ՝୊ w େن໛ͳάϥϑΟοΫσβΠϯͷσʔληοτߏங w Ϟσϧߏ଄ͷվળ ࣗಈੜ੒ͷݱࡏͱల๬

ϢʔβʔʹΑΔ ϨΠΞ΢τੜ੒ͷ੍ޚ ,JLVDIJ 4JNP4FSSB 0UBOJ :BNBHVDIJ "$... ૣҴాେֶڞಉݚڀ

w ࣗಈੜ੒ʹ஫จΛ͚ͭΔʹ͸ʁ ϨΠΞ΢τੜ੒ͷ੍ޚ Canvas Image Text Text Text Text ΋ͬͱ্ʹಈ͔͍ͨ͠ ྡͷςΩετͱἧ͍͑ͨ ML model

w ϨΠΞ΢τੜ੒ϞσϧΛֶश $-(-0੍໿෇͖࠷దԽʹΑΔੜ੒੍ޚ LayoutGAN++ Generator Z ॳظੜ੒ ϨΠΞ΢τ

w ϢʔβʔͷࢦࣔΛຬͨ͢Α͏ʹਪ࿦࣌ʹ࠷దԽ $-(-0੍໿෇͖࠷దԽʹΑΔੜ੒੍ޚ LayoutGAN++ Generator Z ੍໿৚݅ • Alignment • Overlap • Element x is top • … ॳظੜ੒ ϨΠΞ΢τ ࠷దԽࡁ ϨΠΞ΢τ

19 Generation w/ Beautification Constraints Initial Optimized Initial Optimized Initial Optimized Alignment Non-overlap ഑ஔΛ੔͑Δ࠷దԽ

20 Generation w/ Relational Constraints Initial Optimized Initial Optimized ཁૉͷฒͼΛ࠷దԽ

w ࣗಈੜ੒͚ͩͰ͸඼࣭ͷ୲อ͕೉͍͠ w ਓͱ"*Ͱڠௐ͢ΔϫʔΫϑϩʔ w ࢦࣔʹରͯ͠ʮͦΕͬΆ͘ʯฤूͯ͘͠ΕΔ"* w ؒҧ͍ͬͯͯ΋ϕΫλܗࣜͳͷͰ༰қʹਓ͕ฤूՄೳ w όφʔ΍ϥϯσΟϯάϖʔδ੍࡞΁ͷԠ༻ ࣗಈੜ੒ͱਓؒͷڠௐ

͜Ε͔ΒͷΫϦΤΠςΟϒ Λࢧ͑Δٕज़

w ࣄલ൚ԽֶशͱԼྲྀλεΫ w େن໛σʔλ͔Β࡞ΒΕΔ൚༻ػցֶशϞσϧ w (15<#SPXO> $-*1<3BEGPSE> w தখن໛σʔλͰͷλʔήοτλεΫԠ༻ w ϚϧνϞʔμϧϞσϧͷڵོ w 5SBOTGPSNFSΞʔΩςΫνϟ w ը૾ɺςΩετɺԻڹɺςʔϒϧͳͲΛ౷Ұͯ͠هड़ ࠷ۙͷݚڀτϨϯυ

w େن໛ΫϦΤΠςΟϒσʔλʹΑΔ൚༻Ϟσϧ w ޮՌ༧ଌ͔Β੍࡞ࢧԉ·Ͱ࢖͑Δࣄલֶशج൫ w େن໛ࣾ಺஝ੵσʔλΛ࠷େݶʹ׆༻ w ϕΫλʔάϥϑΟοΫߏ଄ͷͨΊͷػցֶश w ΫϦΤΠςΟϒ͸ϚϧνϞʔμϧͳߏ଄σʔλ ΫϦΤΠςΟϒٕज़ͷڧԽઓུ

ݚڀ։ൃͷΠϯύΫτ࠷େԽ Research Developers Business Creators 1P$Λ௨ͨ͠৽ٕज़࣮૷ ৽ٕज़ʹΑΔαʔϏεల։ "*ࢧԉʹΑΔѹ౗తͳੜ࢈ੑ

͓ΘΓʹ ΫϦΤΠςΟϒࣗಈੜ੒ʹ޲͚ͨݚڀ։ൃ ςΩετ࠶ߏ੒ɺςϯϓϨʔτੜ੒ɺϨΠΞ΢τ੍ޚ ਓͱ"*͕ڠௐ͢Δ੍࡞ϫʔΫϑϩʔ ୭΋͕༰қʹޮՌͷߴ͍ΫϦΤΠςΟϒΛ੍࡞͢Δੈք΁