Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【Gemini本発売記念】npaka による マルチモーダルとローカルLLMの現在と未来
Search
npaka
June 27, 2024
Programming
3
2.1k
【Gemini本発売記念】npaka による マルチモーダルとローカルLLMの現在と未来
npaka
June 27, 2024
Tweet
Share
More Decks by npaka
See All by npaka
【OpenAI本出版記念】npakaによるOpenAI最新技術情報と技術情報キャッチアップ術
npaka
9
2.1k
どうなる?2024年のLLM
npaka
3
850
Other Decks in Programming
See All in Programming
なぜ「共通化」を考え、失敗を繰り返すのか
rinchoku
1
630
Is Xcode slowly dying out in 2025?
uetyo
1
250
Deep Dive into ~/.claude/projects
hiragram
12
2.3k
なんとなくわかった気になるブロックテーマ入門/contents.nagoya 2025 6.28
chiilog
1
260
ソフトウェア品質を数字で捉える技術。事業成長を支えるシステム品質の マネジメント
takuya542
1
7.9k
PipeCDのプラグイン化で目指すところ
warashi
1
250
#kanrk08 / 公開版 PicoRubyとマイコンでの自作トレーニング計測装置を用いたワークアウトの理想と現実
bash0c7
1
680
GraphRAGの仕組みまるわかり
tosuri13
8
530
PHPでWebSocketサーバーを実装しよう2025
kubotak
0
260
イベントストーミング図からコードへの変換手順 / Procedure for Converting Event Storming Diagrams to Code
nrslib
2
610
Porting a visionOS App to Android XR
akkeylab
0
240
Systèmes distribués, pour le meilleur et pour le pire - BreizhCamp 2025 - Conférence
slecache
0
120
Featured
See All Featured
Docker and Python
trallard
44
3.5k
Scaling GitHub
holman
459
140k
Documentation Writing (for coders)
carmenintech
72
4.9k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Automating Front-end Workflow
addyosmani
1370
200k
Balancing Empowerment & Direction
lara
1
400
Producing Creativity
orderedlist
PRO
346
40k
The Invisible Side of Design
smashingmag
301
51k
Making the Leap to Tech Lead
cromwellryan
134
9.4k
How STYLIGHT went responsive
nonsquared
100
5.6k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
48
2.9k
A better future with KSS
kneath
239
17k
Transcript
None
2 ࣗݾհ ɾཹӳҰ ;Δ͔ΘͻͰ͔ͣ ɾϋϯυϧOQBLB ɾגࣜձࣾθϧϖϜ ɾϓϩάϥϜྺ
ɾΠϯλʔωοτྺ ɾٕज़ॻྺ ɹɹؒϖʔεͰ΄Ͳ
3 OPUF
4 ɾΠϯλʔωοτɾਓੜ໋ɾਓແ ɾ+BWB ɾ.JOE4UPSNT
5 ɾΨϥέʔɾεϚʔτϑΥϯ ɾ.JDSPTPGU3PCPUJDT4UVEJP ɾJ40#05ɾωοτλϯαʔɾ&.."
6 ɾਂֶशɾڧԽֶश ɾ%FFQ.JOE"MQIB(P ɾ0QFO"*(ZNɾ#BTFMJOFT ɾUPJP
7 ɾੜ"*ɾ--.ɾ"*ΤʔδΣϯτ ɾϚϧνϞʔμϧɾϩʔΧϧ--. ɾύʔιφϧ"*Ξγελϯτ ɾύʔιφϧ"*ϩϘοτ
8 ΞδΣϯμ
9 ΞδΣϯμ (FNJOJͷ࠷৽ٕज़ใ ɹ(FNJOJຊͷհ ɹ(FNJOJͷ࠷৽ใ ɹ-BOH$IBJOɾ-MBNB*OEFYͷ࠷৽ใ ϚϧνϞʔμϧͱϩʔΧϧ--.ͷݱࡏͱະདྷ ɹϚϧνϞʔμϧͷݱࡏͱະདྷ ɹϩʔΧϧ--.ͷݱࡏͱະདྷ
10 (FNJOJͷ࠷৽ٕज़ใ
11 (FNJOJຊͷհ
12 (FNJOJຊͷհ ɾϘʔϯσδλϧΦϯϥΠϯϒοΫετΞ IUUQTXHOPCTTIPQQSPKQ QJE ɾBNB[PO ԁ IUUQTXXXBNB[PODPKQEQ
(PPHMF(FNJOJʗ -MBNB*OEFYʗ-BOH$IBJO ਓೳϓϩάϥϛϯά࣮ફೖ
13 (FNJOJຊͷ࣍ ষ(FNJOJͷ֓ཁͱ͡Ίํ ষ(FNJOJͷར༻๏ ষ1ZUIPO։ൃڥͷ४උ ষ(FNJOJ"1*ʢ1ZUIPOฤʣ ষ(FNJOJ"1*ʢ"OESPJEฤʣ ষ(FNJOJ"1*ʢJ04ฤʣ ষ-MBNB*OEFY ষ-BOH$IBJO
݄ͷେܕΞοϓσʔτʹରԠʂ
14 (FNJOJͷ࠷৽ใ
15 (FNJOJͷϦϦʔεද ݄1B-. ݄#BSE ݄1B-. ݄(FNJOJ6MUSBɾ1SPɾ/BOP ݄#BSEΛ(FNJOJʹվ໊ ݄(FNJOJ1SPϓϨϏϡʔ൛
݄(FNJOJ'MBTIϓϨϏϡʔ൛ ݄(FNJOJ1SPɾ'MBTI҆ఆ൛
16 (FNJOJͷϞσϧҰཡ ɾ(FNJOJ6MUSBɾ(FNJOJ1SP ɾ(FNJOJ1SPɾ(FNJOJ'MBTI ɾ(FNJOJ/BOP
17 ຊޠੑೳͷϕϯνϚʔΫͰτοϓ ݄
18 ສτʔΫϯͷίϯςΩετΟϯυ
19 ϚϧνϞʔμϧ
20 (FNJOJͱ(15ͷରൺ ɾ(FNJOJ ɾ(FNJOJ ɾ(PPHFM"*(FNJOJ"1* ɾ(PPHMF"*4UVEJP ɾ7FSUFY"*(FNJOJ"1* ɾ7FSUFY"*4UVEJP ɾ$IBU(15 ɾ(15P
ɾ0QFO"*"1* ɾ1MBZHSPVOE ɾ"[VSF0QFO"*4FSWJDF ɾ"[VSF0QFO"*4UVEJP
21 ϩʔΧϧ--. ɾ(FNJOJ/BOP ɾ(FNNB ɾ$PEF(FNNBɾ3FDDVSFOU(FNNBɾ1BMJ(FNNB
22 -BOH$IBJOɾ -MBNB*OEFYͷ࠷৽ใ
23 -BOH$IBJOͱ-MBNB*OEFY ɾ-BOH$IBJO"*ΤʔδΣϯτ ɾ-MBNB*OEFY3"( ɾ--.ΞϓϦΛߏங͢ΔϑϨʔϜϫʔΫ ɾ--.ΞϓϦͷະདྷΛߟ͑ΔίϛϡχςΟ
24 -BOH$IBJO ɾMBOHDIBJODPSF ɹMBOHDIBJODPNNVOJUZ ɹMBOHDIBJO ɹͷύοέʔδʹ ɾ$IBJOΠϯλϑΣʔε ɹɹˣ ɹ-$&- ɹ-BOH(SBQI
25 ΤʔδΣϯτ
26 ೝΞʔΩςΫνϟ --.͕ͲͷΑ͏ʹใΛॲཧ͠ԠΛੜ͢Δ͔Λ ཧղ͢ΔͨΊͷΈ
27 -MBNB*OEFY ɾMMBNBJOEFYDPSFͱݸผͷ*OUFHSBUJPOʹ ɾݸผͷ*OUFHSBUJPOΛ-MBNB)VCͰཧ ɾ4FSWJDF$POUFYUˠ4FUUJOHT
28 3"( 3FUSJFWBM"VHNFOUFE(FOFSBUJPO
29 ϩϯάίϯςΩετ--. ʹରԠͨ͠3"(ͷ৽ΞʔΩςΫνϟ ɾνϟϯΫͷௐ͕༰қʹͳΔ ɾࢥߟ࿈ΤʔδΣϯτͷௐ͕༰қʹͳΔ ɾཁ͕༰қʹͳΔ ɾهԱͷߏங͕༰қʹͳΓΔ ɾ.τʔΫϯେنͳจॻίʔύεʹेͰͳ͍ ɾຒΊࠐΈϞσϧͷίϯςΩετ͍·· ɾίετͱϨΠςϯγʔ
30 ϚϧνϞʔμϧͱ ϩʔΧϧ--.ͷݱࡏͱະདྷ
31 ϚϧνϞʔμϧͷ ݱࡏͱະདྷ
32 ϚϧνϞʔμϧͷݱࡏ
33 ϚϧνϞʔμϧ ใίϛϡχέʔγϣϯʹ͓͍ͯɺ ෳͷҟͳΔײ֮ഔମΛΈ߹Θͤͯ༻͢Δ͜ͱ ɾςΩετ ɾϏδϡΞϧʢը૾ɾಈըʣ ɾΦʔσΟΦʢԻʣ ɾϋϓςΟΫε ৮֮
ɾͦͷଞͷੈքΛཧղ͢ΔͨΊͷใ
34 7JEFPUP5FYU (FNJOJ (c) copyright 2008, Blender Foundation / www.bigbuckbunny.org
and licensed under the Creative Commons Attribution 3.0 License. ಈը͔ΒςΩετੜ
35 "VEJPUP5FYU (FNJOJ Ի͔ΒςΩετੜ
36 *NBHFɾ5FYUUP*NBHF (15P ը૾ɾςΩετ͔Βը૾ੜ
37 *NBHFɾ5FYUUP7JEFP %SFBN.BDIJOF ը૾ɾςΩετ͔Βಈըੜ
TextɾAudio-to-Audio (Suno) ςΩετɾΦʔσΟΦ͔ΒՎੜ
VideoɾText-to-Audio (DeepMind) ಈըɾςΩετ͔ΒΦʔσΟΦੜ
40 ϚϧνϞʔμϧͷະདྷ
41 ϚϧνϞʔμϧͷະདྷ ϚϧνϞʔμϧʹΑͬͯੈքͷཧղ͕ਐΉ ˣ ਓೳ͕ເͷதͰֶशͰ͖ΔΑ͏ʹͳΔ ˣ ະདྷ༧ଌ͕ՄೳͳظใुΛ࠷େԽ͢Δ "*ΤʔδΣϯτͷొ
42 Ҏલͷ %FFQ.JOEͱ0QFO"*
43 ڧԽֶशYήʔϜ"* 0QFO"*'JWF "MQIB4UBS
44 ڧԽֶशYήʔϜ ɾήʔϜݱ࣮ੈքͷλεΫͷϞσϧԽ ɾήʔϜΛ߈ུͰ͖Δ"* ɾݱ࣮ੈքͷλεΫΛ͜ͳͤΔ"*
45 ڧԽֶश ΤʔδΣϯτ͕ڥͱ૬ޓ࡞༻͠ͳ͕Β ڥ͔ΒͷใुΛड͚ͯߦಈΛֶश ظใुΑΓظใु͕ॏཁ
46 ڧԽֶशͷେ͖ͳ 1. ඇৗʹଟ͘ͷֶशσʔλΛඞཁͱ͢Δɻ 2. ڥλεΫͷมԽʹ͏·͘ରԠͰ͖ͳ͍ɻ ਓೳ͕ເͷதͰֶश ੈքϞσϧ
47 ਓޒײͰײͨ͡ੈքͷใͷஅยΛݩʹ ಄ͷதͰԾੈքΛߏங͢Δ ੈքϞσϧ
48 ҎલͷੈքϞσϧ Car RacingͱDoomֶशͰ͖ͨ ιχοΫݫ͍͠
49 ϚϧνϞʔμϧੈքϞσϧͷ࣮ݱͷجૅ ཧੈքΛγϛϡϨʔτ͠ɺͦͷੈքͰߦಈՄೳ 4PSB
50 ϚϧνϞʔμϧͷະདྷ ࠶ܝ ϚϧνϞʔμϧʹΑͬͯݱ࣮ੈքͷཧղ͕ਐΉ ˣ ਓೳ͕ເͷதͰֶशͰ͖ΔΑ͏ʹͳΔ ˣ ະདྷ༧ଌ͕ՄೳͳظใुΛ࠷େԽ͢Δ "*ΤʔδΣϯτͷొ
51 ϩʔΧϧ--.ͷ ݱࡏͱະདྷ
52 ϩʔΧϧ--.ͷݱࡏ
53 ϩʔΧϧ--. ओʹΤοδσόΠε্Ͱಈ࡞͢Δ খنͳݴޠϞσϧ ɾϓϥΠόγʔอޢ ɾΦϑϥΠϯಈ࡞ ɾΧελϚΠζੑ ɾίετ
54 ϩʔΧϧ--.ͷϦϦʔεද ݄-MBNB ݄"MQBDB ݄-MBNBDQQ ݄"MQBDB-P3" ݄3FE1BKBNB ݄-MBNB ݄0QFO*OUFSQSFUFS
݄.JTUSBMW ݄(FNJOJ/BOP ݄$PNNBOE3 ݄.JYUSBMW ݄$PNNBOE3 ݄-MBNB ݄.JTUSBMW ݄"QQMF*OUFMMJHFODF ݄,"3",63*-.Y# ݄-MBNB&-:;"+1#
1$ɾεϚʔτϑΥϯʹඪ४ࡌ ɾ(FNJOJ/BOP ɹ(PPHMF"OESPJEɾ$ISPNF ɾ"QQMF*OUFMMJHFODFͷΦϯσόΠεج൫Ϟσϧ ɹ"QQMFJ1IPFOɾJ1BEɾ.BD ɾ1IJ4JMJDB ɹ.JDSPTPGU$PQJMPU 1$ɹ
ίϐϖײ֮Ͱ"*Λར༻ (FNJOJ/BOP "QQMF*OUFMMJHFODF
57 ϩʔΧϧ--.ͷະདྷ
58 ϩʔΧϧ--.ͷະདྷ ϩʔΧϧ--.ͷੑೳ্ ˣ ύʔιφϧ"*Ξγελϯτͷൃల ˣ ύʔιφϧ"*ϩϘοτΞγελϯτͷൃల Project Astra Figure
01
59 ɾաڈͷΓͱΓΛهԱ͠ɺ ɹͦΕʹج͍ͮͯԠΛΧελϚΠζ ύʔιφϥΠζ ϦΞϧλΠϜͳಈըɾԻ ೖྗςΩετ ϓϥΠόγʔ͕ΑΓॏཁʹʂ
60 ύʔιφϥΠζ ϓϥΠόγʔͱΧελϚΠζੑͷ؍Ͱ ύʔιφϥΠζϩʔΧϧ--.Ͱ͋Δ͜ͱ͕ॏཁ ɾϓϥΠόγʔอޢ ɾΦϑϥΠϯಈ࡞ ɾΧελϚΠζੑ ɾίετ
61 ϩʔΧϧ--.ͰΓͳ͍λεΫ֎෦πʔϧͰॲཧ ࠓੑೳతʹϩʔΧϧ--.ݫ͍͠ Ϣʔβʔ͕σʔλఏڙΛڐՄͨ͠߹ͷΈ ֎෦πʔϧͰॲཧ "QQMF*OUFMMJHFODFͷ αʔόʔج൫Ϟσϧ $IBU(15 (FNJOJ
62 ύʔιφϥΠζʹهԱͷཧ͕ॏཁ ɾݸਓใϩʔΧϧͰอ࣋ ɾͷऴΘΓʹهԱͷཧ͕ඞཁ (FOFSBUJWF"HFOUT
63 ϩʔΧϧ--.ͷະདྷ ࠶ܝ ϩʔΧϧ--.ͷੑೳ্ ˣ ύʔιφϧ"*Ξγελϯτͷൃల ˣ ύʔιφϧ"*ϩϘοτΞγελϯτͷൃల Project Astra
Figure 01
64 ͓͠·͍