Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【Gemini本発売記念】npaka による マルチモーダルとローカルLLMの現在と未来
Search
npaka
June 27, 2024
Programming
4
2.2k
【Gemini本発売記念】npaka による マルチモーダルとローカルLLMの現在と未来
npaka
June 27, 2024
Tweet
Share
More Decks by npaka
See All by npaka
【GPT-5本出版記念】npaka による AIの今とこれから と AI時代の生存戦略
npaka
3
890
手が届くところまで来た!ロボット開発とAIの今とこれから
npaka
1
680
【OpenAI本出版記念】npakaによるOpenAI最新技術情報と技術情報キャッチアップ術
npaka
9
2.1k
どうなる?2024年のLLM
npaka
3
880
Other Decks in Programming
See All in Programming
NixOS + Kubernetesで構築する自宅サーバーのすべて
ichi_h3
0
640
2分台で1500examples完走!爆速CIを支える環境構築術 - Kaigi on Rails 2025
falcon8823
3
3.6k
Building, Deploying, and Monitoring Ruby Web Applications with Falcon (Kaigi on Rails 2025)
ioquatix
4
2k
タスクの特性や不確実性に応じた最適な作業スタイルの選択(ペアプロ・モブプロ・ソロプロ)と実践 / Optimal Work Style Selection: Pair, Mob, or Solo Programming.
honyanya
3
160
All About Angular's New Signal Forms
manfredsteyer
PRO
0
120
Catch Up: Go Style Guide Update
andpad
0
220
Goで実践するドメイン駆動開発 AIと歩み始めた新規プロダクト開発の現在地
imkaoru
4
820
大規模アプリのDIフレームワーク刷新戦略 ~過去最大規模の並行開発を止めずにアプリ全体に導入するまで~
mot_techtalk
1
430
株式会社 Sun terras カンパニーデック
sunterras
0
280
CSC509 Lecture 05
javiergs
PRO
0
300
dynamic!
moro
10
7.4k
Go言語はstack overflowの夢を見るか?
logica0419
0
200
Featured
See All Featured
Designing for humans not robots
tammielis
254
26k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Imperfection Machines: The Place of Print at Facebook
scottboms
269
13k
KATA
mclloyd
32
15k
Art, The Web, and Tiny UX
lynnandtonic
303
21k
Building an army of robots
kneath
306
46k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
19
1.2k
Java REST API Framework Comparison - PWX 2021
mraible
33
8.9k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
359
30k
Learning to Love Humans: Emotional Interface Design
aarron
274
41k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
45
2.5k
Building a Modern Day E-commerce SEO Strategy
aleyda
43
7.7k
Transcript
None
2 ࣗݾհ ɾཹӳҰ ;Δ͔ΘͻͰ͔ͣ ɾϋϯυϧOQBLB ɾגࣜձࣾθϧϖϜ ɾϓϩάϥϜྺ
ɾΠϯλʔωοτྺ ɾٕज़ॻྺ ɹɹؒϖʔεͰ΄Ͳ
3 OPUF
4 ɾΠϯλʔωοτɾਓੜ໋ɾਓແ ɾ+BWB ɾ.JOE4UPSNT
5 ɾΨϥέʔɾεϚʔτϑΥϯ ɾ.JDSPTPGU3PCPUJDT4UVEJP ɾJ40#05ɾωοτλϯαʔɾ&.."
6 ɾਂֶशɾڧԽֶश ɾ%FFQ.JOE"MQIB(P ɾ0QFO"*(ZNɾ#BTFMJOFT ɾUPJP
7 ɾੜ"*ɾ--.ɾ"*ΤʔδΣϯτ ɾϚϧνϞʔμϧɾϩʔΧϧ--. ɾύʔιφϧ"*Ξγελϯτ ɾύʔιφϧ"*ϩϘοτ
8 ΞδΣϯμ
9 ΞδΣϯμ (FNJOJͷ࠷৽ٕज़ใ ɹ(FNJOJຊͷհ ɹ(FNJOJͷ࠷৽ใ ɹ-BOH$IBJOɾ-MBNB*OEFYͷ࠷৽ใ ϚϧνϞʔμϧͱϩʔΧϧ--.ͷݱࡏͱະདྷ ɹϚϧνϞʔμϧͷݱࡏͱະདྷ ɹϩʔΧϧ--.ͷݱࡏͱະདྷ
10 (FNJOJͷ࠷৽ٕज़ใ
11 (FNJOJຊͷհ
12 (FNJOJຊͷհ ɾϘʔϯσδλϧΦϯϥΠϯϒοΫετΞ IUUQTXHOPCTTIPQQSPKQ QJE ɾBNB[PO ԁ IUUQTXXXBNB[PODPKQEQ
(PPHMF(FNJOJʗ -MBNB*OEFYʗ-BOH$IBJO ਓೳϓϩάϥϛϯά࣮ફೖ
13 (FNJOJຊͷ࣍ ষ(FNJOJͷ֓ཁͱ͡Ίํ ষ(FNJOJͷར༻๏ ষ1ZUIPO։ൃڥͷ४උ ষ(FNJOJ"1*ʢ1ZUIPOฤʣ ষ(FNJOJ"1*ʢ"OESPJEฤʣ ষ(FNJOJ"1*ʢJ04ฤʣ ষ-MBNB*OEFY ষ-BOH$IBJO
݄ͷେܕΞοϓσʔτʹରԠʂ
14 (FNJOJͷ࠷৽ใ
15 (FNJOJͷϦϦʔεද ݄1B-. ݄#BSE ݄1B-. ݄(FNJOJ6MUSBɾ1SPɾ/BOP ݄#BSEΛ(FNJOJʹվ໊ ݄(FNJOJ1SPϓϨϏϡʔ൛
݄(FNJOJ'MBTIϓϨϏϡʔ൛ ݄(FNJOJ1SPɾ'MBTI҆ఆ൛
16 (FNJOJͷϞσϧҰཡ ɾ(FNJOJ6MUSBɾ(FNJOJ1SP ɾ(FNJOJ1SPɾ(FNJOJ'MBTI ɾ(FNJOJ/BOP
17 ຊޠੑೳͷϕϯνϚʔΫͰτοϓ ݄
18 ສτʔΫϯͷίϯςΩετΟϯυ
19 ϚϧνϞʔμϧ
20 (FNJOJͱ(15ͷରൺ ɾ(FNJOJ ɾ(FNJOJ ɾ(PPHFM"*(FNJOJ"1* ɾ(PPHMF"*4UVEJP ɾ7FSUFY"*(FNJOJ"1* ɾ7FSUFY"*4UVEJP ɾ$IBU(15 ɾ(15P
ɾ0QFO"*"1* ɾ1MBZHSPVOE ɾ"[VSF0QFO"*4FSWJDF ɾ"[VSF0QFO"*4UVEJP
21 ϩʔΧϧ--. ɾ(FNJOJ/BOP ɾ(FNNB ɾ$PEF(FNNBɾ3FDDVSFOU(FNNBɾ1BMJ(FNNB
22 -BOH$IBJOɾ -MBNB*OEFYͷ࠷৽ใ
23 -BOH$IBJOͱ-MBNB*OEFY ɾ-BOH$IBJO"*ΤʔδΣϯτ ɾ-MBNB*OEFY3"( ɾ--.ΞϓϦΛߏங͢ΔϑϨʔϜϫʔΫ ɾ--.ΞϓϦͷະདྷΛߟ͑ΔίϛϡχςΟ
24 -BOH$IBJO ɾMBOHDIBJODPSF ɹMBOHDIBJODPNNVOJUZ ɹMBOHDIBJO ɹͷύοέʔδʹ ɾ$IBJOΠϯλϑΣʔε ɹɹˣ ɹ-$&- ɹ-BOH(SBQI
25 ΤʔδΣϯτ
26 ೝΞʔΩςΫνϟ --.͕ͲͷΑ͏ʹใΛॲཧ͠ԠΛੜ͢Δ͔Λ ཧղ͢ΔͨΊͷΈ
27 -MBNB*OEFY ɾMMBNBJOEFYDPSFͱݸผͷ*OUFHSBUJPOʹ ɾݸผͷ*OUFHSBUJPOΛ-MBNB)VCͰཧ ɾ4FSWJDF$POUFYUˠ4FUUJOHT
28 3"( 3FUSJFWBM"VHNFOUFE(FOFSBUJPO
29 ϩϯάίϯςΩετ--. ʹରԠͨ͠3"(ͷ৽ΞʔΩςΫνϟ ɾνϟϯΫͷௐ͕༰қʹͳΔ ɾࢥߟ࿈ΤʔδΣϯτͷௐ͕༰қʹͳΔ ɾཁ͕༰қʹͳΔ ɾهԱͷߏங͕༰қʹͳΓΔ ɾ.τʔΫϯେنͳจॻίʔύεʹेͰͳ͍ ɾຒΊࠐΈϞσϧͷίϯςΩετ͍·· ɾίετͱϨΠςϯγʔ
30 ϚϧνϞʔμϧͱ ϩʔΧϧ--.ͷݱࡏͱະདྷ
31 ϚϧνϞʔμϧͷ ݱࡏͱະདྷ
32 ϚϧνϞʔμϧͷݱࡏ
33 ϚϧνϞʔμϧ ใίϛϡχέʔγϣϯʹ͓͍ͯɺ ෳͷҟͳΔײ֮ഔମΛΈ߹Θͤͯ༻͢Δ͜ͱ ɾςΩετ ɾϏδϡΞϧʢը૾ɾಈըʣ ɾΦʔσΟΦʢԻʣ ɾϋϓςΟΫε ৮֮
ɾͦͷଞͷੈքΛཧղ͢ΔͨΊͷใ
34 7JEFPUP5FYU (FNJOJ (c) copyright 2008, Blender Foundation / www.bigbuckbunny.org
and licensed under the Creative Commons Attribution 3.0 License. ಈը͔ΒςΩετੜ
35 "VEJPUP5FYU (FNJOJ Ի͔ΒςΩετੜ
36 *NBHFɾ5FYUUP*NBHF (15P ը૾ɾςΩετ͔Βը૾ੜ
37 *NBHFɾ5FYUUP7JEFP %SFBN.BDIJOF ը૾ɾςΩετ͔Βಈըੜ
TextɾAudio-to-Audio (Suno) ςΩετɾΦʔσΟΦ͔ΒՎੜ
VideoɾText-to-Audio (DeepMind) ಈըɾςΩετ͔ΒΦʔσΟΦੜ
40 ϚϧνϞʔμϧͷະདྷ
41 ϚϧνϞʔμϧͷະདྷ ϚϧνϞʔμϧʹΑͬͯੈքͷཧղ͕ਐΉ ˣ ਓೳ͕ເͷதͰֶशͰ͖ΔΑ͏ʹͳΔ ˣ ະདྷ༧ଌ͕ՄೳͳظใुΛ࠷େԽ͢Δ "*ΤʔδΣϯτͷొ
42 Ҏલͷ %FFQ.JOEͱ0QFO"*
43 ڧԽֶशYήʔϜ"* 0QFO"*'JWF "MQIB4UBS
44 ڧԽֶशYήʔϜ ɾήʔϜݱ࣮ੈքͷλεΫͷϞσϧԽ ɾήʔϜΛ߈ུͰ͖Δ"* ɾݱ࣮ੈքͷλεΫΛ͜ͳͤΔ"*
45 ڧԽֶश ΤʔδΣϯτ͕ڥͱ૬ޓ࡞༻͠ͳ͕Β ڥ͔ΒͷใुΛड͚ͯߦಈΛֶश ظใुΑΓظใु͕ॏཁ
46 ڧԽֶशͷେ͖ͳ 1. ඇৗʹଟ͘ͷֶशσʔλΛඞཁͱ͢Δɻ 2. ڥλεΫͷมԽʹ͏·͘ରԠͰ͖ͳ͍ɻ ਓೳ͕ເͷதͰֶश ੈքϞσϧ
47 ਓޒײͰײͨ͡ੈքͷใͷஅยΛݩʹ ಄ͷதͰԾੈքΛߏங͢Δ ੈքϞσϧ
48 ҎલͷੈքϞσϧ Car RacingͱDoomֶशͰ͖ͨ ιχοΫݫ͍͠
49 ϚϧνϞʔμϧੈքϞσϧͷ࣮ݱͷجૅ ཧੈքΛγϛϡϨʔτ͠ɺͦͷੈքͰߦಈՄೳ 4PSB
50 ϚϧνϞʔμϧͷະདྷ ࠶ܝ ϚϧνϞʔμϧʹΑͬͯݱ࣮ੈքͷཧղ͕ਐΉ ˣ ਓೳ͕ເͷதͰֶशͰ͖ΔΑ͏ʹͳΔ ˣ ະདྷ༧ଌ͕ՄೳͳظใुΛ࠷େԽ͢Δ "*ΤʔδΣϯτͷొ
51 ϩʔΧϧ--.ͷ ݱࡏͱະདྷ
52 ϩʔΧϧ--.ͷݱࡏ
53 ϩʔΧϧ--. ओʹΤοδσόΠε্Ͱಈ࡞͢Δ খنͳݴޠϞσϧ ɾϓϥΠόγʔอޢ ɾΦϑϥΠϯಈ࡞ ɾΧελϚΠζੑ ɾίετ
54 ϩʔΧϧ--.ͷϦϦʔεද ݄-MBNB ݄"MQBDB ݄-MBNBDQQ ݄"MQBDB-P3" ݄3FE1BKBNB ݄-MBNB ݄0QFO*OUFSQSFUFS
݄.JTUSBMW ݄(FNJOJ/BOP ݄$PNNBOE3 ݄.JYUSBMW ݄$PNNBOE3 ݄-MBNB ݄.JTUSBMW ݄"QQMF*OUFMMJHFODF ݄,"3",63*-.Y# ݄-MBNB&-:;"+1#
1$ɾεϚʔτϑΥϯʹඪ४ࡌ ɾ(FNJOJ/BOP ɹ(PPHMF"OESPJEɾ$ISPNF ɾ"QQMF*OUFMMJHFODFͷΦϯσόΠεج൫Ϟσϧ ɹ"QQMFJ1IPFOɾJ1BEɾ.BD ɾ1IJ4JMJDB ɹ.JDSPTPGU$PQJMPU 1$ɹ
ίϐϖײ֮Ͱ"*Λར༻ (FNJOJ/BOP "QQMF*OUFMMJHFODF
57 ϩʔΧϧ--.ͷະདྷ
58 ϩʔΧϧ--.ͷະདྷ ϩʔΧϧ--.ͷੑೳ্ ˣ ύʔιφϧ"*Ξγελϯτͷൃల ˣ ύʔιφϧ"*ϩϘοτΞγελϯτͷൃల Project Astra Figure
01
59 ɾաڈͷΓͱΓΛهԱ͠ɺ ɹͦΕʹج͍ͮͯԠΛΧελϚΠζ ύʔιφϥΠζ ϦΞϧλΠϜͳಈըɾԻ ೖྗςΩετ ϓϥΠόγʔ͕ΑΓॏཁʹʂ
60 ύʔιφϥΠζ ϓϥΠόγʔͱΧελϚΠζੑͷ؍Ͱ ύʔιφϥΠζϩʔΧϧ--.Ͱ͋Δ͜ͱ͕ॏཁ ɾϓϥΠόγʔอޢ ɾΦϑϥΠϯಈ࡞ ɾΧελϚΠζੑ ɾίετ
61 ϩʔΧϧ--.ͰΓͳ͍λεΫ֎෦πʔϧͰॲཧ ࠓੑೳతʹϩʔΧϧ--.ݫ͍͠ Ϣʔβʔ͕σʔλఏڙΛڐՄͨ͠߹ͷΈ ֎෦πʔϧͰॲཧ "QQMF*OUFMMJHFODFͷ αʔόʔج൫Ϟσϧ $IBU(15 (FNJOJ
62 ύʔιφϥΠζʹهԱͷཧ͕ॏཁ ɾݸਓใϩʔΧϧͰอ࣋ ɾͷऴΘΓʹهԱͷཧ͕ඞཁ (FOFSBUJWF"HFOUT
63 ϩʔΧϧ--.ͷະདྷ ࠶ܝ ϩʔΧϧ--.ͷੑೳ্ ˣ ύʔιφϧ"*Ξγελϯτͷൃల ˣ ύʔιφϧ"*ϩϘοτΞγελϯτͷൃల Project Astra
Figure 01
64 ͓͠·͍