Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Vision Proで広告フリーな世界を実現したい
Search
Shuhei Shitamori
December 12, 2024
Programming
0
63
Vision Proで広告フリーな世界を実現したい
MIERUNE BBQ #14発表資料
Shuhei Shitamori
December 12, 2024
Tweet
Share
More Decks by Shuhei Shitamori
See All by Shuhei Shitamori
Wallet API, Verifier APIで実現するIDカード on iPhoneの世界
shitamori1272
1
2.4k
Other Decks in Programming
See All in Programming
技術懸念に立ち向かい 法改正を穏便に乗り切った話
pop_cashew
0
1.2k
実はすごいスピードで進化しているCSS
hayato_yokoyama
0
100
ワイがおすすめする新潟の食 / 20250530phpconf-niigata-eve
kasacchiful
0
290
Devinで実践する!AIエージェントと協働する開発組織の作り方
masahiro_nishimi
6
2.9k
Agent Rules as Domain Parser
yodakeisuke
1
470
つよそうにふるまい、つよい成果を出すのなら、つよいのかもしれない
irof
0
240
テスト分析入門/Test Analysis Tutorial
goyoki
13
2.9k
社内での開発コミュニティ活動とモジュラーモノリス標準化事例のご紹介/xPalette and Introduction of Modular monolith standardization
m4maruyama
0
100
KotlinConf 2025 現地で感じたServer-Side Kotlin
n_takehata
1
110
Prism.parseで 300本以上あるエンドポイントに 接続できる権限の一覧表を作ってみた
hatsu38
1
110
Blueskyのプラグインを作ってみた
hakkadaikon
1
440
ktr0731/go-mcpでMCPサーバー作ってみた
takak2166
0
130
Featured
See All Featured
Build The Right Thing And Hit Your Dates
maggiecrowley
35
2.7k
Optimizing for Happiness
mojombo
379
70k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.8k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
48
5.4k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Faster Mobile Websites
deanohume
307
31k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Automating Front-end Workflow
addyosmani
1370
200k
For a Future-Friendly Web
brad_frost
179
9.8k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
2.8k
The Pragmatic Product Professional
lauravandoore
35
6.7k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.3k
Transcript
Լɹपฏ 2024/11/20 Vision ProͰࠂϑϦʔͳੈքΛ ࣮ݱ͍ͨ͠ MIERUNE BBQ
Լ पฏ w ࠓͷ݄͔Βࡳຈࡏॅ ग़Γ w Χφμͷσδλϧ*%ελʔτΞοϓͰJ04ΤϯδχΞ w 7JTJPO1SPങͬͨ
2 #MVFTLZ -JOLFEJO
XRͱ • Ծੈքͱݱ࣮ੈքͷΈ߹ΘͤʹΑͬͯ ৽ͨͳମݧΛੜΈग़ٕ͢ज़ͷ૯শ https://www.canon-its.co.jp/solution/mr/vr-ar-mr/
AR(֦ுݱ࣮)ͰͰ͖Δମݧ https://k-tai.watch.impress.co.jp/docs/news/1203694.html
ใྔ͕ଟ͍ͱετϨε • ใྔ͕ଟ͍ͱετϨεΛײ͍͢͡ • λεΫύϑΥʔϚϯεʹӨڹ • ใΛݮΒͨ͢ΊͷऔΓΈॏཁ
Diminished Reality(ݮଛݱ࣮) • ARͱରʹ࣮ࡍʹଘࡏ͢ΔͷΛϦΞϧλΠϜͰݟ͑ͳ͘͢Δٕज़ • ΠϠϗϯͷϊΠζΩϟϯηϦϯάͷࢹ֮όʔδϣϯ https://solution.itage.jp/2021/12/16/16738/
Vision ProͰDRΛͬͯΈΔ • ֗த͔ΒࠂுΓࢴΛফͯ͠ೝෛՙͷ͍ੈքΛ࣮ݱ͍ͨ͠
Vision Proͱ • Apple͕2023ʹൢച։࢝ͨ͠MRϔουηοτ • MacBookͱಉͷM2 νοϓࡌ • ߴղ૾ͷө૾ •
ϓϥΠόγʔΛྀͨ͠ମݧઃܭ
ࠂDRʹඞཁͳٕज़ Vision Proͷಛٕज़ཁ݅ʹϚον͍ͯ͠Δʂ • 1. ࢹ֮ใ(Χϝϥ)͔Βࠂͷݕग़ • Vision ProʹߴੑೳͳΧϝϥ͕ࡌ͞ΕͯΔ •
2. ࠂΛফͨ͢Ίͷഎܠը૾Λੜ • Vision ProʹAIΛಈ͔ͨ͢Ίͷߴੑೳͳνοϓ͕ࡌ͞ΕͯΔ • 3. ੜͨ͠ը૾ΛࠂʹॏͶͯදࣔ • Vision ProʹԾମΛۭؒʹஔͰ͖Δ
ࠂDRʹඞཁͳٕज़ Vision Proͷಛٕज़ཁ݅ʹϚον͍ͯ͠Δʂ͠ͳ͍… • 1. ࢹ֮ใ(Χϝϥ)͔Βࠂͷݕग़ • Vision ProʹߴੑೳͳΧϝϥ͕ࡌ͞ΕͯΔ͕ɺΧϝϥө૾ʹΞΫηεͰ͖ͳ͍ •
2. ࠂΛফͨ͢Ίͷഎܠը૾Λੜ • Vision ProʹAIΛಈ͔ͨ͢Ίͷߴੑೳͳνοϓ͕ࡌ͞ΕͯΔ͕ɺAI༻ΤϯδϯʹΞΫηεͰ͖ͳ͍ • 3. ੜͨ͠ը૾ΛࠂʹॏͶͯදࣔ • Vision ProʹԾମΛۭؒʹஔͰ͖Δ
ࠓճͷॲཧϑϩʔ • PCͰࣄલʹʮݕ͍ͨ͠ࠂʯͱʮॏͶ͍ͨഎܠը૾ͷੜʯΛΔ • Vision Proʮੜͨ͠ը૾ΛࠂʹॏͶͯදࣔʯ͚ͩ • ࢹ֮ใ(Χϝϥ)͔Β ࠂͷݕग़ 1.
ࠂΛࡱӨͯ͠σʔληοτ࡞ 2. ը૾͔ΒࠂྖҬΛݕग़ 3. ը૾ੜ༻ʹྖҬΛܗ ࠂΛফͨ͢Ίͷ എܠը૾ͷੜ 1. ࠂʹସΘΔഎܠը૾Λੜ 2. Vision Pro༻ʹը૾Λܗ ੜͨ͠ը૾Λ ࠂʹॏͶͯදࣔ 1. Vision Pro༻ͷΞϓϦΛ࡞ PCͰࣄલʹ AVPͰϦΞϧλΠϜʹ
ࢹ֮ใ(Χϝϥ)͔Βࠂͷݕग़ ࠂΛࡱӨͯ͠σʔληοτ࡞ • ԼమӺʹܝࡌ͞ΕͨࠂுΓࢴΛΧϝϥͰࡱӨ
ࢹ֮ใ(Χϝϥ)͔Βࠂͷݕग़ ը૾͔ΒࠂྖҬΛݕग़ • ը૾͔ΒҙͷΦϒδΣΫτΛݕग़Ͱ͖Δ Segmented Anything Model(SAM)ϕʔεͷϞσϧΛར༻ • prompt=“Advertisement”Ͱ֘͢ΔྖҬΛࣗಈͰݕग़ ”Advertisement”
https://github.com/hustvl/EVF-SAM
ࢹ֮ใ(Χϝϥ)͔Βࠂͷݕग़ ྖҬݕग़݁Ռͷܗ • ΪβΪβ݀ݕग़ྖҬͱͯ͠ෆਖ਼֬ͳͷͰ࢛֯ܗͱͯ͠ܗ • ܗޙͷը૾Λॏը૾ੜͷϚεΫͱͯ͠ར༻
ࠂΛফͨ͢Ίͷഎܠը૾ͷੜ ݕग़ྖҬΛੜAIͰ࠶ඳը • ը૾෮ݩʹಛԽͨ͠stable-di ff usionϞσϧͰϚεΫྖҬΛ࠶ੜ ޭ ύλʔϯ ࣦഊ ύλʔϯ
https://huggingface.co/stabilityai/stable-di ff usion-2-inpainting
ࠂΛফͨ͢Ίͷഎܠը૾ͷੜ Vision ProͰ͏σʔληοτΛ࡞ • Vision ProͰར༻͢Δը૾σʔληοτΛ࡞ • ݕग़༻ͷReference, ॏ༻ͷGeneratedΛ࡞ Reference
Generated
ੜͨ͠ը૾ΛࠂʹॏͶͯදࣔ Vision ProΞϓϦͷ࡞ • Reference ImageΛݕग़ͨ͠Β Generated ImageΛಉ͡Ґஔʹදࣔͤ͞ΔγϯϓϧͳΞϓϦ Reference ൃݟʂ
Generated ࠂ্ʹ ॏͶͯදࣔʂ
͍͟ɺӺߏͰ࣮ݧ ͦͷ1
͍͟ɺӺߏͰ࣮ݧ ͦͷ2
݁Ռ • Reference ImageΛ͖ͪΜͱݕग़ͯ͠Generated ImageΛॏදࣔͰ͖ͨ • ҰํͰ • ࠂʹेʹ͔ۙͮͳ͍ͱVision Pro͕ReferenceΛݕ͠ͳ͍
• Generated Imageʹมͳͷ͕ೖΓɺʮফ͢ʯ͜ͱ͕Ͱ͖ͳ͍࣌͋ͬͨ
ࠓޙվળ͢ΔͳΒ • ेʹࠂʹ͔ۙͮͳ͍ͱVision Pro͕ReferenceΛݕ͠ͳ͍ -> ͋Β͔͡Ί্ۭؒʹGenerated ImageΛஔ͓͚ͯ͠ ReferenceͷݕΛඞཁͱ͠ͳ͍͔ʁ • Generated
Imageʹมͳͷ͕ೖΓɺʮফ͢ʯ͜ͱ͕Ͱ͖ͳ͍࣌͋ͬͨ -> SAMʹΑΔࠂྖҬݕग़ͷਫ਼͕ෆेͩͬͨͷͰɺଞͷख๏ݕ౼ -> Generated ImageΛੜ͢Δࡍʹ”น”ͱ໌ࣔͯ͠ྑ͔͔ͬͨ