Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AI Labの進めるクリエイティブ自動生成の研究【CADC2022】

AI Labの進めるクリエイティブ自動生成の研究【CADC2022】

CyberAgent AI Labではバナーや動画広告といったクリエイティブを自動生成するための研究開発に取り組み、極AIのようなサービスを通して事業成長につなげてまいりました。この発表ではベクターグラフィック形式のドキュメントの自動生成する手法、画像に描画済みのテキストを再編集可能にする手法、最適化による制約を満たしたレイアウトを生成する手法など、難関国際会議に採択された最新のクリエイティブ生成に関する研究成果を紹介しつつ、技術を用いた新しいクリエイティブ制作のワークフローについてお話しします。

CyberAgent

March 24, 2022
Tweet

More Decks by CyberAgent

Other Decks in Technology

Transcript

  1. Typography Typography Typography ϥελܗࣜ w σΟεϓϨΠϑΥʔϚοτ w +1&(ɺ1/(ɺ8FC1 w ϐΫηϧͷ഑ྻʹΑΔը૾දݱ

    w ղ૾౓ݻఆɺฤूࠔ೉ ϕΫλܗࣜ w ΫϦΤΠςΟϒ੍࡞ϑΥʔϚοτ w 47(ɺ1%'ɺ1PXFS1PJOU w υΩϡϝϯτߏ଄هड़ʹΑΔը૾දݱ w ղ૾౓ඇґଘɺฤू༰қ
  2. w ϕΫλܗࣜͷը૾ੜ੒ٕज़ "*-BC͕໨ࢦࣗ͢ಈੜ੒ <svg> ! <defs></defs> ! <image xlink:href=“…”> !

    <rect x=“0” y=“0”></rect> ! <text x=“20”>…</text> ! … </svg> ML model ղ૾౓ඇґଘɺ࠶ฤूՄೳ
  3. ςΩετͷϕΫλ࠶ߏ੒ Resolution: [1699, 1280] Location: [247, 1130, !!!!!!!!!! 748, 1280]

    Text: "WANT" Font: Barlow Semi Condensed ExtraBold Fill: ! RGB: [44, 34, 41] Border: ! Visible: True ! RGB: [217, 91, 97] ! Width: 2 Shadow: ! Visible: False Background: <pixels> ϥελը૾ ϕΫλදݱ ςΩετฤू ελΠϧฤू
  4. w ςΩετͷݕग़ͱೝࣝʢ0$3  w Ͳ͜ʹςΩετ͕͋Γ·͔͢ w ͳΜͱॻ͔Ε͍ͯ·͔͢ w ελΠϧͷೝࣝ w

    ͲΜͳϑΥϯτͰ͔͢ w Կ৭Ͱ͔͢ w Ө΍ԑऔΓ͸͍͍ͭͯ·͔͢ w എܠͷਪఆ w ςΩετͷޙΖ͸Ͳ͏ͳ͍ͬͯ·͔͢ʁ ϕΫλԽ΁ͷ̏ͭͷ՝୊
  5. Feedforward inference ςΩετ࠶ߏ੒Ϟσϧ Resolution: [1699, 1280] Location: [247, 1130, !!!!!!!!!!

    748, 1280] Text: "WANT" Font: Barlow Semi Condensed ExtraBold Fill: ! RGB: [44, 34, 41] Border: ! Visible: True ! RGB: [217, 91, 97] ! Width: 2 Shadow: ! Visible: False Background: <pixels> OCR Font style Inpaint Feedback refinement Differentiable rendering
  6. ϕΫλܗࣜͷυΩϡϝϯτ Canvas Image Text Text Text Text  Canvas Image

    Text Text Text Text άϥϑΟοΫ υΩϡϝϯτ Ωϟϯόε ཁૉྻ
  7. ϥϯμϜੜ੒͞ΕͨσβΠϯ !"#!!"# !" !"#!!"# !"#!! !" !"#! !"#! !"#! !

    !"# !"#! !" !"#! !"# !" !"#! !"#! !"#! !"#! ! !"#! !"#! !"#! !"# !"#! !"#! ! !"#! !"#! !"# !"#! !"#! !"#! ! !"#! !"#! ! !"# !"# !"#! ! !"#! !"#! !"# !"#! !"#! !"# ! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !" !"#! !" !"#! !"#! !"#! !"# !"#! ! !"#! !" !"#! !"#! !"#! !"# !"#!!" !"#! !"#! !"#! !"#! !"# !"#! !"#! !"#! !"#! !"# !" !" !"# !"#! !"# ! ! ! !" !"#! !"#
  8. σβΠϯςϯϓϨʔτͷ಺ૠ !"#$%&' !"#$%&( )*+,"-%.$+%/,"& ( )*+,"-%.$+%/,"& ' !"%*.#,01%/," !"#! !"#!

    !"#! !"#! ! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"# !"#! !"#! !"#! !"#! ! !"#! !"#! !"#! ! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! ! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"# !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"#! ! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! ! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"# !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"# !"#! !"#! !"# !"#! !"#! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"# !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !" !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"# !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"#! !"# !"#! !"#! !"#! !"#! !"# ೋͭͷσβΠϯͷؒΛऔͬͨΒʁ
  9. 19 Generation w/ Beautification Constraints Initial Optimized Initial Optimized Initial

    Optimized Alignment Non-overlap ഑ஔΛ੔͑Δ࠷దԽ
  10. w ࣄલ൚ԽֶशͱԼྲྀλεΫ w େن໛σʔλ͔Β࡞ΒΕΔ൚༻ػցֶशϞσϧ w (15<#SPXO> $-*1<3BEGPSE> w தখن໛σʔλͰͷλʔήοτλεΫԠ༻ w

    ϚϧνϞʔμϧϞσϧͷڵོ w 5SBOTGPSNFSΞʔΩςΫνϟ w ը૾ɺςΩετɺԻڹɺςʔϒϧͳͲΛ౷Ұͯ͠هड़ ࠷ۙͷݚڀτϨϯυ