AI Labの進めるクリエイティブ自動生成の研究【CADC2022】

CyberAgent AI Labではバナーや動画広告といったクリエイティブを自動生成するための研究開発に取り組み、極AIのようなサービスを通して事業成長につなげてまいりました。この発表ではベクターグラフィック形式のドキュメントの自動生成する手法、画像に描画済みのテキストを再編集可能にする手法、最適化による制約を満たしたレイアウトを生成する手法など、難関国際会議に採択された最新のクリエイティブ生成に関する研究成果を紹介しつつ、技術を用いた新しいクリエイティブ制作のワークフローについてお話しします。

Transcript

2. ࢁޱ
   ޫଠ 3FTFBSDI
   .BOBHFS
   $ZCFS"HFOU
   "*
   -BC
3. w ݚڀઓུ
   w ΫϦΤΠςΟϒݚڀνʔϜ͕໨ࢦ͢΋ͷ
   w ϕΫλάϥϑΟοΫε΁ͷ௅ઓ
   w ࠷ۙͷݚڀ੒Ռ
   w ςΩετͷϕΫλ࠶ߏ੒
   w σβΠϯςϯϓϨʔτͷࣗಈੜ੒
   w ϢʔβʔʹΑΔϨΠΞ΢τੜ੒ͷ੍ޚ "HFOEB
4. w ಈը޿ࠂɺόφʔ޿ࠂɺݕࡧ࿈ಈܕ޿ࠂͳͲͷ ͋ΒΏΔදݱ෺ ΫϦΤΠςΟϒ ʘ഑৴֦େதʂʂʗɹΠϯϑΟʔυܕ޿ࠂ αϯϓϧςΩετͰ͢ʂ ΠϯϑΟʔυ޿ࠂ ΠϯϑΟʔυܕ޿ࠂαϯϓϧςΩ ετͰ͢ʂ ΠϯϑΟʔυ޿ࠂ ޿ࠂओϩΰ
5. w αʔϏε։ൃ͔Βಠཱͯ͠ݚڀ։ൃ
   w ػցֶशɺը૾ೝࣝɺࣗવݴޠॲཧɺԻ੠৴߸ॲཧ "*
   -BCΫϦΤΠςΟϒݚڀνʔϜ ޿ࠂޮՌͷ༧ଌ ੍࡞ͷࢧԉ
6. w େن໛ͳࣾ಺σʔλΛ࢖ͬͨػցֶशϞσϧ ݚڀࣄྫɿ޿ࠂޮՌͷ༧ଌ ML model ʘ഑৴֦େதʂʂʗɹΠϯϑΟʔυܕ޿ࠂ αϯϓϧςΩετͰ͢ʂ ΠϯϑΟʔυ޿ࠂ ΠϯϑΟʔυܕ޿ࠂαϯϓϧςΩ ετͰ͢ʂ ΠϯϑΟʔυ޿ࠂ ޿ࠂओϩΰ Good?
7. w ޿ࠂޮՌΛࣄલ༧ଌ͢Δ͜ͱͰʮউͯΔʯΫϦΤΠςΟϒ͚ͩΛ੍࡞ ͜Ε·ͰͷαʔϏεల։ "*Ͱ޿ࠂΫϦΤΠςΟϒ੍࡞ΛҰมɺใु͸޿ࠂޮՌ͕ Ͱͨ࣌ͷΈͷྉۚମܥʮۃ༧ଌ"*ʯͷఏڙΛ։࢝
   XXXDZCFSBHFOUDPKQOFXTEFUBJMJE "*Ͱ਺ԯΩʔϫʔυͷ඼࣭είΞΛࣗಈͰվળɹޮՌͷग़ ͤΔ޿ࠂςΩετΛࣗಈੜ੒ʮۃ༧ଌ5%ʯͷఏڙΛ։࢝
   XXXDZCFSBHFOUDPKQOFXTEFUBJMJE
8. ࣗಈͰΫϦΤΠςΟϒΛ࡞Γ͍ͨ
9. w ۙ೥ͷը૾ੜ੒͸΄ͱΜͲϥελܗࣜ ը૾ͷࣗಈੜ੒ͷݱࡏ 72("/
   <&TTFS
   >
   
   $-*1
   <3BEGPSE
   >
   ʹΑΓੜ੒ Bananas sold in the market
10. Typography Typography Typography ϥελܗࣜ
    w σΟεϓϨΠϑΥʔϚοτ
    w +1&(ɺ1/(ɺ8FC1
    w ϐΫηϧͷ഑ྻʹΑΔը૾දݱ
    w ղ૾౓ݻఆɺฤूࠔ೉ ϕΫλܗࣜ
    w ΫϦΤΠςΟϒ੍࡞ϑΥʔϚοτ
    w 47(ɺ1%'ɺ1PXFS1PJOU
    w υΩϡϝϯτߏ଄هड़ʹΑΔը૾දݱ
    w ղ૾౓ඇґଘɺฤू༰қ
11. w ϕΫλܗࣜͷը૾ੜ੒ٕज़ "*
    -BC͕໨ࢦࣗ͢ಈੜ੒ <svg> ! <defs></defs> ! <image xlink:href=“…”> ! <rect x=“0” y=“0”></rect> ! <text x=“20”>…</text> ! … </svg> ML model ղ૾౓ඇґଘɺ࠶ฤूՄೳ
12. ςΩετͷϕΫλ࠶ߏ੒ 4IJNPEB
    )BSBHVDIJ
    6DIJEB
    :BNBHVDIJ
    *$$7
    
    ۝भେֶͱͷڞಉݚڀ
13. ςΩετͷϕΫλ࠶ߏ੒ Resolution: [1699, 1280] Location: [247, 1130, !!!!!!!!!! 748, 1280] Text: "WANT" Font: Barlow Semi Condensed ExtraBold Fill: ! RGB: [44, 34, 41] Border: ! Visible: True ! RGB: [217, 91, 97] ! Width: 2 Shadow: ! Visible: False Background: <pixels> ϥελը૾ ϕΫλදݱ ςΩετฤू ελΠϧฤू
14. w طଘσβΠϯͷ࠶ར༻ɾΞηοτԽ
    w ഑৴͞ΕͯҰ౓ݶΓͩͬͨΫϦΤΠςΟϒ͕ࢿ࢈ʹ
    w ޮՌͷߴ͍ΫϦΤΠςΟϒͷ࠶ݱ
    w ϥελԽ͞ΕͨσβΠϯͷඍௐ੔
    w ղ૾౓ʹґଘ͠ͳ͍ฤू͕Մೳʹ ϕΫλ࠶ߏ੒͕Մೳʹ͢ΔϫʔΫϑϩʔ
15. w ςΩετͷݕग़ͱೝࣝʢ0$3
    w Ͳ͜ʹςΩετ͕͋Γ·͔͢
    w ͳΜͱॻ͔Ε͍ͯ·͔͢
    w ελΠϧͷೝࣝ
    w ͲΜͳϑΥϯτͰ͔͢
    w Կ৭Ͱ͔͢
    w Ө΍ԑऔΓ͸͍͍ͭͯ·͔͢
    w എܠͷਪఆ
    w ςΩετͷޙΖ͸Ͳ͏ͳ͍ͬͯ·͔͢ʁ ϕΫλԽ΁ͷ̏ͭͷ՝୊
16. Feedforward inference ςΩετ࠶ߏ੒Ϟσϧ Resolution: [1699, 1280] Location: [247, 1130, !!!!!!!!!! 748, 1280] Text: "WANT" Font: Barlow Semi Condensed ExtraBold Fill: ! RGB: [44, 34, 41] Border: ! Visible: True ! RGB: [217, 91, 97] ! Width: 2 Shadow: ! Visible: False Background: <pixels> OCR Font style Inpaint Feedback refinement Differentiable rendering
17. ϥελը૾ ࠶ߏ੒ը૾ #PPL
    DPWFS
    EBUBTFU
    <*XBOB
    >
19. '&&%ࣗಈঝೝ"*ͰͷαʔϏεల։ "*ʹΑͬͯ(PPHMFγϣοϐϯά޿ࠂʹ͓͚Δঝೝ཰ͷେ෯վળΛਤΔαʔ Ϗεʮ'&&%ࣗಈঝೝ"*ʯΛ։ൃɾఏڙ։࢝
    IUUQTXXXDZCFSBHFOUDPKQOFXTEFUBJMJE
20. σβΠϯςϯϓϨʔτͷ
    ࣗಈੜ੒ :BNBHVDIJ
    *$$7
    
21. w ௚઀ϕΫλܗࣜͰੜ੒͢ΔػցֶशϞσϧ σβΠϯςϯϓϨʔτͷࣗಈੜ੒ CanvasVAE
22. w σβΠφʔʹΑΔ࠶ฤू͕Մೳ
    w ແݶʹੜ੒͞ΕΔσβΠϯςϯϓϨʔτ
    w ղ૾౓ʹґଘ͠ͳ͍ը૾ੜ੒ ϕΫλܗࣜͰͷςϯϓϨʔτੜ੒ <svg> ! <defs></defs> ! <image xlink:href=“…”> ! <rect x=“0” y=“0”></rect> ! <text x=“20”>…</text> ! … </svg>
23. ϕΫλܗࣜͷυΩϡϝϯτ Canvas Image Text Text Text Text  Canvas Image Text Text Text Text άϥϑΟοΫ
    υΩϡϝϯτ Ωϟϯόε ཁૉྻ
24. $BOWBT7"&
    υΩϡϝϯτੜ੒Ϟσϧ ϚϧνϞʔμϧͳߏ଄త7"& Canvas Image Text Text Text Text Canvas Image Text Text Text Text CanvasVAE Z Encoder Decoder
25. ϥϯμϜੜ੒͞ΕͨσβΠϯ !"#!!"# !" !"#!!"# !"#!! !" !"#! !"#! !"#! ! !"# !"#! !" !"#! !"# !" !"#! !"#! !"#! !"#! ! !"#! !"#! !"#! !"# !"#! !"#! ! !"#! !"#! !"# !"#! !"#! !"#! ! !"#! !"#! ! !"# !"# !"#! ! !"#! !"#! !"# !"#! !"#! !"# ! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !" !"#! !" !"#! !"#! !"#! !"# !"#! ! !"#! !" !"#! !"#! !"#! !"# !"#!!" !"#! !"#! !"#! !"#! !"# !"#! !"#! !"#! !"#! !"# !" !" !"# !"#! !"# ! ! ! !" !"#! !"#
26. σβΠϯςϯϓϨʔτͷ಺ૠ !"#$%&' !"#$%&( )*+,"-%.$+%/,"& ( )*+,"-%.$+%/,"& ' !"%*.#,01%/," !"#! !"#! !"#! !"#! ! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"# !"#! !"#! !"#! !"#! ! !"#! !"#! !"#! ! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! ! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"# !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"#! ! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! ! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"# !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"# !"#! !"#! !"# !"#! !"#! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"# !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"# !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"# !"#! !"#! !"#! !"#! !"# ೋͭͷσβΠϯͷؒΛऔͬͨΒʁ
27. w ݪཧతʹੜ੒͕Ͱ͖Δ͜ͱΛ࣮ূ
    w طଘݚڀʹυΩϡϝϯτੜ੒ख๏͸ଘࡏ͠ͳ͍
    w ࣮༻Խʹ޲͚ͯͷ՝୊
    w େن໛ͳάϥϑΟοΫσβΠϯͷσʔληοτߏங
    w Ϟσϧߏ଄ͷվળ ࣗಈੜ੒ͷݱࡏͱల๬
28. ϢʔβʔʹΑΔ
    ϨΠΞ΢τੜ੒ͷ੍ޚ ,JLVDIJ
    4JNP4FSSB
    0UBOJ
    :BNBHVDIJ
    "$...
    
    ૣҴాେֶڞಉݚڀ
29. w ࣗಈੜ੒ʹ஫จΛ͚ͭΔʹ͸ʁ ϨΠΞ΢τੜ੒ͷ੍ޚ Canvas Image Text Text Text Text ΋ͬͱ্ʹಈ͔͍ͨ͠
    ྡͷςΩετͱἧ͍͑ͨ ML model
30. w ϨΠΞ΢τੜ੒ϞσϧΛֶश $-(-0
    ੍໿෇͖࠷దԽʹΑΔੜ੒੍ޚ LayoutGAN++ Generator Z ॳظੜ੒
    ϨΠΞ΢τ
31. w ϢʔβʔͷࢦࣔΛຬͨ͢Α͏ʹਪ࿦࣌ʹ࠷దԽ $-(-0
    ੍໿෇͖࠷దԽʹΑΔੜ੒੍ޚ LayoutGAN++ Generator Z ੍໿৚݅ • Alignment • Overlap • Element x is top • … ॳظੜ੒
    ϨΠΞ΢τ ࠷దԽࡁ
    ϨΠΞ΢τ
32. 19 Generation w/ Beautification Constraints Initial Optimized Initial Optimized Initial Optimized Alignment Non-overlap ഑ஔΛ੔͑Δ࠷దԽ
33. 20 Generation w/ Relational Constraints Initial Optimized Initial Optimized ཁૉͷฒͼΛ࠷దԽ
34. w ࣗಈੜ੒͚ͩͰ͸඼࣭ͷ୲อ͕೉͍͠
    w ਓͱ"*Ͱڠௐ͢ΔϫʔΫϑϩʔ
    w ࢦࣔʹରͯ͠ʮͦΕͬΆ͘ʯฤूͯ͘͠ΕΔ"*
    w ؒҧ͍ͬͯͯ΋ϕΫλܗࣜͳͷͰ༰қʹਓ͕ฤूՄೳ
    w όφʔ΍ϥϯσΟϯάϖʔδ੍࡞΁ͷԠ༻ ࣗಈੜ੒ͱਓؒͷڠௐ
35. ͜Ε͔ΒͷΫϦΤΠςΟϒ Λࢧ͑Δٕज़
36. w ࣄલ൚ԽֶशͱԼྲྀλεΫ
    w େن໛σʔλ͔Β࡞ΒΕΔ൚༻ػցֶशϞσϧ
    w (15
    <#SPXO
    >
    $-*1
    <3BEGPSE
    >
    w தখن໛σʔλͰͷλʔήοτλεΫԠ༻
    w ϚϧνϞʔμϧϞσϧͷڵོ
    w 5SBOTGPSNFSΞʔΩςΫνϟ
    w ը૾ɺςΩετɺԻڹɺςʔϒϧͳͲΛ౷Ұͯ͠هड़ ࠷ۙͷݚڀτϨϯυ
37. w େن໛ΫϦΤΠςΟϒσʔλʹΑΔ൚༻Ϟσϧ
    w ޮՌ༧ଌ͔Β੍࡞ࢧԉ·Ͱ࢖͑Δࣄલֶशج൫
    w େن໛ࣾ಺஝ੵσʔλΛ࠷େݶʹ׆༻
    w ϕΫλʔάϥϑΟοΫߏ଄ͷͨΊͷػցֶश
    w ΫϦΤΠςΟϒ͸ϚϧνϞʔμϧͳߏ଄σʔλ ΫϦΤΠςΟϒٕज़ͷڧԽઓུ
38. ݚڀ։ൃͷΠϯύΫτ࠷େԽ Research Developers Business Creators 1P$Λ௨ͨ͠৽ٕज़࣮૷ ৽ٕज़ʹΑΔαʔϏεల։ "*ࢧԉʹΑΔѹ౗తͳੜ࢈ੑ
39. ͓ΘΓʹ ΫϦΤΠςΟϒࣗಈੜ੒ʹ޲͚ͨݚڀ։ൃ
    ςΩετ࠶ߏ੒ɺςϯϓϨʔτੜ੒ɺϨΠΞ΢τ੍ޚ
    ਓͱ"*͕ڠௐ͢Δ੍࡞ϫʔΫϑϩʔ
    ୭΋͕༰қʹޮՌͷߴ͍ΫϦΤΠςΟϒΛ੍࡞͢Δੈք΁