Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Vision Proで広告フリーな世界を実現したい
Search
Shuhei Shitamori
December 12, 2024
Programming
0
78
Vision Proで広告フリーな世界を実現したい
MIERUNE BBQ #14発表資料
Shuhei Shitamori
December 12, 2024
Tweet
Share
More Decks by Shuhei Shitamori
See All by Shuhei Shitamori
Apple SharePlayで 非対称クロスプレイ チャレンジ (SharePlay使ってみた編)
shitamori1272
0
19
Foundation Models触ってみた - iPhone Dev Sapporo — WWDC25 Recap
shitamori1272
0
78
Wallet API, Verifier APIで実現するIDカード on iPhoneの世界
shitamori1272
1
2.7k
Other Decks in Programming
See All in Programming
decksh - a little language for decks
ajstarks
4
21k
可変性を制する設計: 構造と振る舞いから考える概念モデリングとその実装
a_suenami
10
1.7k
CEDEC 2025 『ゲームにおけるリアルタイム通信への QUIC導入事例の紹介』
segadevtech
3
880
React 使いじゃなくても知っておきたい教養としての React
oukayuka
18
5.7k
それ CLI フレームワークがなくてもできるよ / Building CLI Tools Without Frameworks
orgachem
PRO
17
3.9k
Scale out your Claude Code ~自社専用Agentで10xする開発プロセス~
yukukotani
9
2.2k
CLI ツールを Go ライブラリ として再実装する理由 / Why reimplement a CLI tool as a Go library
ktr_0731
3
1.1k
大規模FlutterプロジェクトのCI実行時間を約8割削減した話
teamlab
PRO
0
480
LLMは麻雀を知らなすぎるから俺が教育してやる
po3rin
3
2.1k
新しいモバイルアプリ勉強会(仮)について
uetyo
1
260
Introduction to Git & GitHub
latte72
0
110
Go製CLIツールをnpmで配布するには
syumai
2
1.2k
Featured
See All Featured
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
36
2.5k
GitHub's CSS Performance
jonrohan
1031
460k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
1.1k
Building Adaptive Systems
keathley
43
2.7k
A better future with KSS
kneath
239
17k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
131
19k
Facilitating Awesome Meetings
lara
55
6.5k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
Code Reviewing Like a Champion
maltzj
525
40k
Designing for Performance
lara
610
69k
Building a Modern Day E-commerce SEO Strategy
aleyda
43
7.4k
We Have a Design System, Now What?
morganepeng
53
7.7k
Transcript
Լɹपฏ 2024/11/20 Vision ProͰࠂϑϦʔͳੈքΛ ࣮ݱ͍ͨ͠ MIERUNE BBQ
Լ पฏ w ࠓͷ݄͔Βࡳຈࡏॅ ग़Γ w Χφμͷσδλϧ*%ελʔτΞοϓͰJ04ΤϯδχΞ w 7JTJPO1SPങͬͨ
2 #MVFTLZ -JOLFEJO
XRͱ • Ծੈքͱݱ࣮ੈքͷΈ߹ΘͤʹΑͬͯ ৽ͨͳମݧΛੜΈग़ٕ͢ज़ͷ૯শ https://www.canon-its.co.jp/solution/mr/vr-ar-mr/
AR(֦ுݱ࣮)ͰͰ͖Δମݧ https://k-tai.watch.impress.co.jp/docs/news/1203694.html
ใྔ͕ଟ͍ͱετϨε • ใྔ͕ଟ͍ͱετϨεΛײ͍͢͡ • λεΫύϑΥʔϚϯεʹӨڹ • ใΛݮΒͨ͢ΊͷऔΓΈॏཁ
Diminished Reality(ݮଛݱ࣮) • ARͱରʹ࣮ࡍʹଘࡏ͢ΔͷΛϦΞϧλΠϜͰݟ͑ͳ͘͢Δٕज़ • ΠϠϗϯͷϊΠζΩϟϯηϦϯάͷࢹ֮όʔδϣϯ https://solution.itage.jp/2021/12/16/16738/
Vision ProͰDRΛͬͯΈΔ • ֗த͔ΒࠂுΓࢴΛফͯ͠ೝෛՙͷ͍ੈքΛ࣮ݱ͍ͨ͠
Vision Proͱ • Apple͕2023ʹൢച։࢝ͨ͠MRϔουηοτ • MacBookͱಉͷM2 νοϓࡌ • ߴղ૾ͷө૾ •
ϓϥΠόγʔΛྀͨ͠ମݧઃܭ
ࠂDRʹඞཁͳٕज़ Vision Proͷಛٕज़ཁ݅ʹϚον͍ͯ͠Δʂ • 1. ࢹ֮ใ(Χϝϥ)͔Βࠂͷݕग़ • Vision ProʹߴੑೳͳΧϝϥ͕ࡌ͞ΕͯΔ •
2. ࠂΛফͨ͢Ίͷഎܠը૾Λੜ • Vision ProʹAIΛಈ͔ͨ͢Ίͷߴੑೳͳνοϓ͕ࡌ͞ΕͯΔ • 3. ੜͨ͠ը૾ΛࠂʹॏͶͯදࣔ • Vision ProʹԾମΛۭؒʹஔͰ͖Δ
ࠂDRʹඞཁͳٕज़ Vision Proͷಛٕज़ཁ݅ʹϚον͍ͯ͠Δʂ͠ͳ͍… • 1. ࢹ֮ใ(Χϝϥ)͔Βࠂͷݕग़ • Vision ProʹߴੑೳͳΧϝϥ͕ࡌ͞ΕͯΔ͕ɺΧϝϥө૾ʹΞΫηεͰ͖ͳ͍ •
2. ࠂΛফͨ͢Ίͷഎܠը૾Λੜ • Vision ProʹAIΛಈ͔ͨ͢Ίͷߴੑೳͳνοϓ͕ࡌ͞ΕͯΔ͕ɺAI༻ΤϯδϯʹΞΫηεͰ͖ͳ͍ • 3. ੜͨ͠ը૾ΛࠂʹॏͶͯදࣔ • Vision ProʹԾମΛۭؒʹஔͰ͖Δ
ࠓճͷॲཧϑϩʔ • PCͰࣄલʹʮݕ͍ͨ͠ࠂʯͱʮॏͶ͍ͨഎܠը૾ͷੜʯΛΔ • Vision Proʮੜͨ͠ը૾ΛࠂʹॏͶͯදࣔʯ͚ͩ • ࢹ֮ใ(Χϝϥ)͔Β ࠂͷݕग़ 1.
ࠂΛࡱӨͯ͠σʔληοτ࡞ 2. ը૾͔ΒࠂྖҬΛݕग़ 3. ը૾ੜ༻ʹྖҬΛܗ ࠂΛফͨ͢Ίͷ എܠը૾ͷੜ 1. ࠂʹସΘΔഎܠը૾Λੜ 2. Vision Pro༻ʹը૾Λܗ ੜͨ͠ը૾Λ ࠂʹॏͶͯදࣔ 1. Vision Pro༻ͷΞϓϦΛ࡞ PCͰࣄલʹ AVPͰϦΞϧλΠϜʹ
ࢹ֮ใ(Χϝϥ)͔Βࠂͷݕग़ ࠂΛࡱӨͯ͠σʔληοτ࡞ • ԼమӺʹܝࡌ͞ΕͨࠂுΓࢴΛΧϝϥͰࡱӨ
ࢹ֮ใ(Χϝϥ)͔Βࠂͷݕग़ ը૾͔ΒࠂྖҬΛݕग़ • ը૾͔ΒҙͷΦϒδΣΫτΛݕग़Ͱ͖Δ Segmented Anything Model(SAM)ϕʔεͷϞσϧΛར༻ • prompt=“Advertisement”Ͱ֘͢ΔྖҬΛࣗಈͰݕग़ ”Advertisement”
https://github.com/hustvl/EVF-SAM
ࢹ֮ใ(Χϝϥ)͔Βࠂͷݕग़ ྖҬݕग़݁Ռͷܗ • ΪβΪβ݀ݕग़ྖҬͱͯ͠ෆਖ਼֬ͳͷͰ࢛֯ܗͱͯ͠ܗ • ܗޙͷը૾Λॏը૾ੜͷϚεΫͱͯ͠ར༻
ࠂΛফͨ͢Ίͷഎܠը૾ͷੜ ݕग़ྖҬΛੜAIͰ࠶ඳը • ը૾෮ݩʹಛԽͨ͠stable-di ff usionϞσϧͰϚεΫྖҬΛ࠶ੜ ޭ ύλʔϯ ࣦഊ ύλʔϯ
https://huggingface.co/stabilityai/stable-di ff usion-2-inpainting
ࠂΛফͨ͢Ίͷഎܠը૾ͷੜ Vision ProͰ͏σʔληοτΛ࡞ • Vision ProͰར༻͢Δը૾σʔληοτΛ࡞ • ݕग़༻ͷReference, ॏ༻ͷGeneratedΛ࡞ Reference
Generated
ੜͨ͠ը૾ΛࠂʹॏͶͯදࣔ Vision ProΞϓϦͷ࡞ • Reference ImageΛݕग़ͨ͠Β Generated ImageΛಉ͡Ґஔʹදࣔͤ͞ΔγϯϓϧͳΞϓϦ Reference ൃݟʂ
Generated ࠂ্ʹ ॏͶͯදࣔʂ
͍͟ɺӺߏͰ࣮ݧ ͦͷ1
͍͟ɺӺߏͰ࣮ݧ ͦͷ2
݁Ռ • Reference ImageΛ͖ͪΜͱݕग़ͯ͠Generated ImageΛॏදࣔͰ͖ͨ • ҰํͰ • ࠂʹेʹ͔ۙͮͳ͍ͱVision Pro͕ReferenceΛݕ͠ͳ͍
• Generated Imageʹมͳͷ͕ೖΓɺʮফ͢ʯ͜ͱ͕Ͱ͖ͳ͍࣌͋ͬͨ
ࠓޙվળ͢ΔͳΒ • ेʹࠂʹ͔ۙͮͳ͍ͱVision Pro͕ReferenceΛݕ͠ͳ͍ -> ͋Β͔͡Ί্ۭؒʹGenerated ImageΛஔ͓͚ͯ͠ ReferenceͷݕΛඞཁͱ͠ͳ͍͔ʁ • Generated
Imageʹมͳͷ͕ೖΓɺʮফ͢ʯ͜ͱ͕Ͱ͖ͳ͍࣌͋ͬͨ -> SAMʹΑΔࠂྖҬݕग़ͷਫ਼͕ෆेͩͬͨͷͰɺଞͷख๏ݕ౼ -> Generated ImageΛੜ͢Δࡍʹ”น”ͱ໌ࣔͯ͠ྑ͔͔ͬͨ