Share
Embed
Large Vision Language Model (LVLM) に関する最新知見まとめ (Part 1)
本資料では、大規模視覚言語モデル (LVLM) に関する最新の知見を包括的にまとめて紹介しています。
Part 1 では、「画像エンコーダ」と「大規模言語モデル (LLM)」の接続方法及び、画像のエンコード方法に焦点を当てて解説しています。
(続編の Part 2 では、学習データに焦点を当てて解説する予定です)
※ 本資料で紹介する知見は 2024-11-12 時点での情報に基づいています。
※ Speaker Deck 上だと、フォントがかすれて見にくくなっているので、気になる方は pdf ファイルをダウンロードして閲覧してください 🙇
Daiki Shiono
November 18, 2024
Transcript
53 slides
-
2 ࣗݾհ •໊લԘେً %BJLJ4IJPOP •ॴଐ ◦౦େֶླ ५ ݚڀࣨ 5PIPLV/-1 ◦Πϯλʔϯ
!5VSJOH ੜ "*νʔϜ •ݚڀ7JTJPO-BOHVBHF 7- -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ 1PSUPGPMJP -
3 7JTJPO-BOHVBHF 7- ͱ 導⼊ •ίϯϐϡʔλϏδϣϯ $7 ͱ ࣗવݴޠॲཧ /-1
ͷ༥߹ ◦ $7 /-1Ͱͷ 5SBOTGPSNFST<7BTXBOJ b> ͷޭ͕ɺ7-ʹٴ͠ٸʹൃల Describe the image with a sentence consisting of Three/Six/Nine words. Three: Seaside dining table Six: Dining table overlooking ocean with beer Nine: Outdoor restaurant table with ocean view and a beer (157 ʹΑΔը૾ʹؔ͢ΔςΩετੜ [Yang+, ʼ23] -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ -
4 େنࢹ֮ݴޠϞσϧ -7-. ͷ؆୯ͳઆ໌ 導⼊ •ը૾ͱςΩετΛೖྗͱͯ͠ɺςΩετΛग़ྗ͢ΔϞσϧ Ҏ߱ɺ-7-. ͱݺͿ ◦ ࣄલʹֶश͞Εͨʮը૾ΤϯίʔμʯͱʮେنݴޠϞσϧ
--. ʯ ΛΈ߹Θͤͯը૾ςΩετσʔλΛ༻ͯ͠Ճֶश͢Δ͜ͱͰ -7-. Λߏங͢Δ <image> Describe the image with a sentence consisting of three/six/nine words. Three: Seaside dining table Six: Dining table overlooking ocean with beer Nine: Outdoor restaurant table with ocean view and a beer ը૾ Τϯίʔμʔ େنݴޠϞσϧ --. -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ -
5 େنࢹ֮ݴޠϞσϧ -7-. ߏங࣌ͷબࢶແʹଘࡏ͢Δ 導⼊ •ը૾ͱςΩετΛೖྗͱͯ͠ɺςΩετΛग़ྗ͢ΔϞσϧ Ҏ߱ɺ-7-. ͱݺͿ ◦ ࣄલʹֶश͞Εͨʮը૾ΤϯίʔμʯͱʮେنݴޠϞσϧ
--. ʯ ΛΈ߹Θͤͯը૾ςΩετσʔλΛ༻ͯ͠Ճֶश͢Δ͜ͱͰ -7-. Λߏங͢Δ <image> Describe the image with a sentence consisting of three/six/nine words. Three: Seaside dining table Six: Dining table overlooking ocean with beer Nine: Outdoor restaurant table with ocean view and a beer ը૾ Τϯίʔμʔ େنݴޠϞσϧ --. ͔͠͠ɺ-7-.ߏங࣌ͷબࢶ ΞʔΩςΫνϟ ༻͢Δֶश σʔλͷछྨ -7-.ͷֶश࣌ͷ ϋΠύϥ ͳͲ ແʹଘࡏ͠ɺ ͲͷΞϓϩʔν͕༏Ε͍ͯΔͷ͔ ͱͯ͠ͷಉҙಘΒΕ͍ͯͳ͍ -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ -
6 େنࢹ֮ݴޠϞσϧ -7-. ߏங࣌ͷબࢶແʹଘࡏ͢Δ 導⼊ •ը૾ͱςΩετΛೖྗͱͯ͠ɺςΩετΛग़ྗ͢ΔϞσϧ Ҏ߱ɺ-7-. ͱݺͿ ◦ ࣄલʹֶश͞Εͨʮը૾ΤϯίʔμʯͱʮେنݴޠϞσϧ
--. ʯ ΛΈ߹Θͤͯը૾ςΩετσʔλΛ༻ͯ͠Ճֶश͢Δ͜ͱͰ -7-. Λߏங͢Δ <image> Describe the image with a sentence consisting of three/six/nine words. Three: Seaside dining table Six: Dining table overlooking ocean with beer Nine: Outdoor restaurant table with ocean view and a beer ը૾ Τϯίʔμʔ େنݴޠϞσϧ --. ͔͠͠ɺ-7-.ߏங࣌ͷબࢶ ΞʔΩςΫνϟ ༻͢Δֶश σʔλͷछྨ -7-.ͷֶश࣌ͷ ϋΠύϥ ͳͲ ແʹଘࡏ͠ɺ ͲͷΞϓϩʔν͕༏Ε͍ͯΔͷ͔ ͱͯ͠ͷಉҙಘΒΕ͍ͯͳ͍ ઌߦݚڀͰߦΘΕ͖ͯͨ ΞϓϩʔνΛෳհ͢Δ -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ -
7 հ͢ΔઌߦݚڀΞϓϩʔνͷྨ ⽬次 •ຊεϥΠυͰɺઌߦݚڀͷΞϓϩʔνΛ ͭʹେผͯ͠հ͢Δ ◦ʮը૾ΤϯίʔμʯͱʮେنݴޠϞσϧ --. ʯͷଓํ๏ -4FMG"UUFOUJPOWT$SPTT"UUFOUJPO ◦ը૾ͷΤϯίʔυํ๏
- طଘͷը૾ΤϯίʔμΛ༻ͨ͠ ߴղ૾ը૾ͷѻ͍ -ߴղ૾ը૾Λ /BUJWFʹѻ͏͜ͱͷͰ͖Δը૾Τϯίʔμͷ༻ ◦ֶशσʔλ ˡ 1BSUͰѻ͏༧ఆͰ͢ -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ -
8 հ͢ΔઌߦݚڀΞϓϩʔνͷྨ ⽬次 •ຊεϥΠυͰɺઌߦݚڀͷΞϓϩʔνΛ ͭʹେผͯ͠հ͢Δ ◦ʮը૾ΤϯίʔμʯͱʮେنݴޠϞσϧ --. ʯͷଓํ๏ -4FMG"UUFOUJPOWT$SPTT"UUFOUJPO ◦ը૾ͷΤϯίʔυํ๏
- طଘͷը૾ΤϯίʔμΛ༻ͨ͠ ߴղ૾ը૾ͷѻ͍ -ߴղ૾ը૾Λ /BUJWFʹѻ͏͜ͱͷͰ͖Δը૾Τϯίʔμͷ༻ ◦ֶशσʔλ ˡ 1BSUͰѻ͏༧ఆͰ͢ -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ -
9 4FMG"UUFOUJPOWT$SPTT"UUFOUJPO 1. 「画像エンコーダ」と「⼤規模⾔語モデル (LLM)」の接続⽅法 •'SP[FO <5TJNQPVLFMMJ `> 'MBNJOHP <"MBZSBD
`>Ͱಋೖ͞ΕͯҎདྷɺ ΄ͱΜͲશͯͷ -7-.ʢશͯͷύϥϝʔλΛθϩ͔Βֶशͤ͞ΔͷͰͳ͘ʣ ࣄલֶश͞Εͨը૾Τϯίʔμͱ --.ΛΈ߹ΘͤͯՃֶश͍ͯ͠Δ ◦ ࣄલֶशࡁΈͷ֤όοΫϘʔϯͷੑೳ͕ɺ݁Ռͱͯ͠ಘΒΕΔ -7-.ͷੑೳʹ ڧؔ͘࿈͍ͯ͠Δ͜ͱ͕ෳͷจͰࣔ͞Ε͍ͯΔ <-J `> <.D,JO[JF `> <-BVSFOÇPO `> <> <> ˛ όοΫϘʔϯͷมߋʹΑΔ -7-.ͷੑೳൺֱ ˞"WHTDPSF 72"W 0,72" 5FYU72" $0$0ͷ #FODINBSLͷείΞฏۉ ˞ 8IBUNBUUFSTXIFOCVJMEJOHWJTJPOMBOHVBHFNPEFMT <-BVSFOÇPO `> <>5BCMF <>5BCMF -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ ◦ ࣄલֶशࡁΈͷ --.ͷੑೳը૾ΤϯίʔμͷੑೳΑΓޮՌత <-J `> ◦ ը૾ΤϯίʔμɺϞσϧαΠζΑΓߏ ೖྗղ૾ ग़ྗը૾τʔΫϯ ͕ॏཁ <-J `> -
11 4FMG"UUFOUJPOΞʔΩςΫνϟϕʔεͷ -7-. 1. 「画像エンコーダ」と「⼤規模⾔語モデル (LLM)」の接続⽅法 •--.ͷ 4FMG"UUFOUJPO Ͱը૾τʔΫϯΛ ॲཧ͢Δػߏ
ຒΊࠐΈ࣍ݩͷΈૢ࡞ ը૾ύονʹมԽͳ͠ ը૾ύον࣍ݩͷૢ࡞ ຒΊࠐΈ࣍ݩʹมԽͳ͠ ը૾τʔΫϯͷຒΊࠐΈ User:<image>What do you see in this image?<eot> Assistant: ը૾Τϯίʔμ Ξμϓλʔ --. <s> ŋŋŋ ŋŋŋ ŋŋŋ ը૾ύον ࠾༻͢Δը૾ΤϯίʔμʹΑΔ͕ جຊతʹݻఆͷը૾ύονΛग़ྗ .-1 1FSDFJWFS3FTBNQMFS 1JYFM4IVGGMF લॲཧ "QQMZDIBUUFNQMBUF ŋŋŋ <s> User:<image>…<image>What do you see in this image?<eot> Assistant: User : <image> <image> ŋŋŋ <s> ŋŋŋ ▁User : <image> <image> ŋŋŋ JNBHFͷຒΊࠐΈʹɺ ࠨͷͷΛར༻͢Δ τʔΫϯຒΊࠐΈΛ࡞ : : -.)&"% ▁A What What Assistant Assistant -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ -
13 4FMG"UUFOUJPOΞʔΩςΫνϟͷಛ 1. 「画像エンコーダ」と「⼤規模⾔語モデル (LLM)」の接続⽅法 •ෳࡶͳ࣮ͳ͠ͰෳͷϞμϦςΟΛ౷ҰతʹॲཧͰ͖Δ •Ξμϓλʔ෦ʹΛࢪ͢͜ͱͰɺը૾τʔΫϯΛॖͰ͖Δ ◦--.ͷݶΒΕͨೖྗܥྻΛઅ͢Δࣄ͕Ͱ͖Δ -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ Ξμϓλʔ
ŋŋŋ .-1 1FSDFJWFS3FTBNQMFS 1JYFM4IVGGMF ŋŋŋ -
14 4FMG"UUFOUJPOΞʔΩςΫνϟͷಛ 1. 「画像エンコーダ」と「⼤規模⾔語モデル (LLM)」の接続⽅法 •ෳࡶͳ࣮ͳ͠ͰෳͷϞμϦςΟΛ౷ҰతʹॲཧͰ͖Δ •Ξμϓλʔ෦ʹΛࢪ͢͜ͱͰɺը૾τʔΫϯΛॖͰ͖Δ ◦--.ͷݶΒΕͨೖྗܥྻΛઅ͢Δࣄ͕Ͱ͖Δ ◦Ξμϓλʔ෦ͷʹɺҎԼͷදతͳબࢶ͕͋Δ -.-1
.VMUJMBZFS1FSDFQUSPO ͚ͩΛ༻͢Δ ✗ ը૾τʔΫϯॖ -ྫ --B7" <-JV b> .PMNP <%FJULF b> -.-1 1FSDFJWFS3FTBNQMFS Λ༻͢Δ ̋ ը૾τʔΫϯॖ -ྫ *EFGJDT <-BVSFOÇPO `> Y(FO.. #-*1 <9VF `> -.-1 1JYFM4IVGGMF Λ༻͢Δ ̋ ը૾τʔΫϯॖ -ྫ *OUFSO7- <$IFO `> *EFGJDT <-BVSFOÇPO `> /7-.% <%BJ `> Ξμϓλʔ ŋŋŋ .-1 1FSDFJWFS3FTBNQMFS 1JYFM4IVGGMF ŋŋŋ -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ -
15 Ξμϓλʔͷ ᶃ1FSDFJWFS3FTBNQMFS <+BFHMF `> ͱʁ 1. 「画像エンコーダ」と「⼤規模⾔語モデル (LLM)」の接続⽅法 ◦1FSDFJWFS3FTBNQMFS
ͰɺજࡏมΛߋ৽͍ͯ͘͜͠ͱͰɺ ݩͷը૾τʔΫϯΑΓগͳ͍৽ͨͳը૾τʔΫϯྻΛ࡞Ͱ͖Δ όΠτྻ ೖྗ͞Εͨ ݩͷը૾τʔΫϯ જࡏมྻ ৽͘͠࡞ΒΕΔ ը૾τʔΫϯ -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ <> <>1FSDFJWFS(FOFSBM1FSDFQUJPOXJUI*UFSBUJWF"UUFOUJPO<+BFHMF `> 'JHVSF -
16 Ξμϓλʔͷ ᶄ1JYFM4IVGGMFͱʁ 1. 「画像エンコーダ」と「⼤規模⾔語モデル (LLM)」の接続⽅法 ◦ 1JYFM4IVGGMFͰɺͭͷྡ͢Δը૾τʔΫϯΛνϟϯωϧ࣍ݩʹԊͬͯ݁߹͢Δ ͨΊɺݩͷը૾τʔΫϯΑΓগͳ͍৽ͨͳը૾τʔΫϯྻΛ࡞Ͱ͖Δ <>
<>*OTQJSFECZ/7-.0QFO'SPOUJFS$MBTT.VMUJNPEBM--.T<%BJ `> 'JHVSF ը૾Τϯίʔμ Ξμϓλʔ ŋŋŋ ŋŋŋ .-1 ŋŋŋ ! × !$%& × ' ! × (%×(% × ' 1JYFM4IVGGMF ! × (!*×!*) × &' ! × %,* × &' 'MBUUFO ˣ $PODBU ೖྗ͞Εͨ ݩͷը૾τʔΫϯ ৽͘͠มܗ͞Εͨ ը૾τʔΫϯ -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ -
17 4FMG"UUFOUJPOϕʔεͷ -7-.ͷֶश 1. 「画像エンコーダ」と「⼤規模⾔語モデル (LLM)」の接続⽅法 ຒΊࠐΈ࣍ݩͷΈૢ࡞ ը૾ύονʹมԽͳ͠ ը૾ύον࣍ݩͷૢ࡞ ຒΊࠐΈ࣍ݩʹมԽͳ͠
ը૾τʔΫϯͷຒΊࠐΈ User:<image>What do you see in this image?<eot> Assistant: ը૾Τϯίʔμ Ξμϓλʔ --. <s> ŋŋŋ ŋŋŋ ŋŋŋ ը૾ύον ࠾༻͢Δը૾ΤϯίʔμʹΑΔ͕ جຊతʹݻఆͷը૾ύονΛग़ྗ .-1 1FSDFJWFS3FTBNQMFS 1JYFM4IVGGMF લॲཧ "QQMZDIBUUFNQMBUF ŋŋŋ <s> User:<image>…<image>What do you see in this image?<eot> Assistant: User : <image> <image> ŋŋŋ <s> ŋŋŋ ▁User : <image> <image> ŋŋŋ JNBHFͷຒΊࠐΈʹɺ ࠨͷͷΛར༻͢Δ τʔΫϯຒΊࠐΈΛ࡞ : : -.)&"% ▁A What What Assistant Assistant •͘࠾༻͞Ε͍ͯΔֶशઓུ ◦ 4UBHF ࣄલֶशஈ֊ ը૾ςΩετؒΞϥΠϝϯτ֫ಘ USBJOBCMF\Ξμϓλʔ^ GSP[FO\ը૾Τϯίʔμ --.^Ͱֶश -ֶश TUFQͷ૿ՃͱͱʹऔΓѻ͏ը૾ղ૾Λঃʑʹ্͍͛ͯ͘ઓུ͕༗ޮɻ ߴղ૾ը૾Λѻ͏ֶशஈ֊Λ৽ͨʹઃ͚͍ͯΔࣄྫ͋Δ <-BVSFOÇPO `> <;IBOH `> -ը૾Τϯίʔμ͕ൺֱతऑ͍߹ʢྫ7J5-ʣɺࣄલֶशσʔληοτ͕े ʹଟ༷ͳ߹ʹɺΞμϓλʔͱը૾ΤϯίʔμΛڞಉͰֶश͢Δઓུ͕༗ޮ <%BJ `> -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ ˞࣌Ͱɺ 4UBHF ΛϑϧύϥϝʔλͰֶशͤ͞Δࣄྫෳ؍ଌ͞Ε͍ͯ·͢ɻ -
18 4FMG"UUFOUJPOϕʔεͷ -7-.ͷֶश 1. 「画像エンコーダ」と「⼤規模⾔語モデル (LLM)」の接続⽅法 ຒΊࠐΈ࣍ݩͷΈૢ࡞ ը૾ύονʹมԽͳ͠ ը૾ύον࣍ݩͷૢ࡞ ຒΊࠐΈ࣍ݩʹมԽͳ͠
ը૾τʔΫϯͷຒΊࠐΈ User:<image>What do you see in this image?<eot> Assistant: ը૾Τϯίʔμ Ξμϓλʔ --. <s> ŋŋŋ ŋŋŋ ŋŋŋ ը૾ύον ࠾༻͢Δը૾ΤϯίʔμʹΑΔ͕ جຊతʹݻఆͷը૾ύονΛग़ྗ .-1 1FSDFJWFS3FTBNQMFS 1JYFM4IVGGMF લॲཧ "QQMZDIBUUFNQMBUF ŋŋŋ <s> User:<image>…<image>What do you see in this image?<eot> Assistant: User : <image> <image> ŋŋŋ <s> ŋŋŋ ▁User : <image> <image> ŋŋŋ JNBHFͷຒΊࠐΈʹɺ ࠨͷͷΛར༻͢Δ τʔΫϯຒΊࠐΈΛ࡞ : : -.)&"% ▁A What What Assistant Assistant •͘࠾༻͞Ε͍ͯΔֶशઓུ ◦ 4UBHF ࣄલֶशஈ֊ ը૾ςΩετؒΞϥΠϝϯτ֫ಘ USBJOBCMF\Ξμϓλʔ^ GSP[FO\ը૾Τϯίʔμ --.^Ͱֶश -ֶश TUFQͷ૿ՃͱͱʹऔΓѻ͏ը૾ղ૾Λঃʑʹ্͍͛ͯ͘ઓུ͕༗ޮɻ ߴղ૾ը૾Λѻ͏ֶशஈ֊Λ৽ͨʹઃ͚͍ͯΔࣄྫ͋Δ <-BVSFOÇPO `> <;IBOH `> -ը૾Τϯίʔμ͕ൺֱతऑ͍߹ʢྫ7J5-ʣɺࣄલֶशσʔληοτ͕े ʹଟ༷ͳ߹ʹɺΞμϓλʔͱը૾ΤϯίʔμΛڞಉͰֶश͢Δઓུ͕༗ޮ <%BJ `> ◦ 4UBHF 4'5ஈ֊ ࢦࣔैೳྗ্ USBJOBCMF\Ξμϓλʔ --.^ GSP[FO\ը૾Τϯίʔμ^Ͱֶश ---.Λݻఆ͠ͳ͍߹ɺςΩετ POMZλεΫͷੑೳ͕ྼԽͯ͠͠·͏ ˠ ߴ࣭ͷςΩετ POMZ*OTUSVDUJPO5VOJOHσʔλΛΈࠐΉ͜ͱͰ੍ <%BJ `> -ֶश͕ෆ҆ఆʹͳΔ߹ --.ʹ -P3" Λద༻͢Δ߹͋Δ <-BVSFOÇPO `> -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ ˞ ˞࣌Ͱɺ 4UBHF ΛϑϧύϥϝʔλͰֶशͤ͞Δࣄྫෳ؍ଌ͞Ε͍ͯ·͢ɻ -
19 4FMG"UUFOUJPOϕʔεͷ -7-.ͷֶशࣝ֫ಘࢦ͍ͨ͠߹ 1. 「画像エンコーダ」と「⼤規模⾔語モデル (LLM)」の接続⽅法 •--B7" 0OF7JTJPO --B7" /F95
#MPH Ͱࣝ֫ಘஈ֊Λݕ౼ ◦ 4UBHF ࣄલֶशஈ֊ ը૾ςΩετؒΞϥΠϝϯτ֫ಘ USBJOBCMF\Ξμϓλʔ^ GSP[FO\ը૾Τϯίʔμ --.^Ͱֶश ◦ 4UBHF ࣝ֫ಘஈ֊ ৽ͨͳࣝͷ֫ಘ USBJOBCMF\Ξμϓλʔ --.^ GSP[FO\ը૾Τϯίʔμ^Ͱֶश -ࣄલֶशࡁΈͷ --. ը૾Τϯίʔμ͕طʹଟ͘ͷࣝΛ༗͍ͯ͠Δ͜ͱΛલఏ ͱ͠ɺߴ࣭ͳσʔλͰࣝΛચ࿅ɾڧԽ͢Δ͜ͱΛతͱ͢Δ -ࣝΛؚΉσʔλͷ༻8FCϖʔδ ৄࡉը૾આ໌σʔλ จॻ0$3σʔλ ͳͲ -͜͜Ͱɺ৽͍͠ߴ࣭σʔλʹܧଓతʹ৮ΕΔ͜ͱͰ৽ͨͳࣝ֫ಘΛࢦ͢ ◦ 4UBHF 4'5ஈ֊ ࢦࣔैೳྗ্ USBJOBCMF\Ξμϓλʔ --.^ GSP[FO\ը૾Τϯίʔμ^Ͱֶश -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ ˞ ˞--B7" 0OF7JTJPO --B7" /F95Ͱɺ 4UBHF 4UBHF ͱʹϑϧύϥϝʔλΛֶश͍ͤͯ͞Δɻ ͜ͷࡍɺ-7-.ͷֶश͕҆ఆ͢Δͱ͍͏ཧ༝Ͱɺը૾ΤϯίʔμͷֶशΛ --.ͷֶशΑΓৗʹഒ͘ઃఆ͍ͯ͠Δɻ ৄࡉ͕ؾʹͳΔํɺ--B7" /F95ͷ #MPH 4FDUJPO -BOHVBHF.PEFMT <-J `> Λࢀর͍ͯͩ͘͠͞ɻ ˞ -
20 4FMG"UUFOUJPOϕʔεͷ -7-.1FSDFJWFS3FTBNQMFSपลͷޮՌ 1. 「画像エンコーダ」と「⼤規模⾔語モデル (LLM)」の接続⽅法 • 1FSDFJWFS3FTBNQMFS͔Βग़ྗ͞ΕΔը૾τʔΫϯΛ ૿͢ͱɺಛʹ 0$3ؔ࿈λεΫͰͷੑೳ্͕͢Δ
• 1FSDFJWFS3FTBNQMFS ୯७ͳઢܗͷΈͷ Ξμϓλʔͱൺֱͯ͠ -7-.ͷੑೳ͕ߴ͘ͳΔ • 1FSDFJWFS3FTBNQMFS ͷΛ૿ͯ͠ ݮΒͯ͠ -7-.ͷੑೳʹ͋·Γد༩͠ͳ͍Մೳੑ • 1FSDFJWFS3FTBNQMFS ͷલʹ .-1ΛڬΜͩํ͕ྑ͍ <> ˛ ը૾ UPLFOΛมԽͤͨ࣌͞ͷੑೳൺֱ 8IBUNBUUFSTXIFOCVJMEJOHWJTJPOMBOHVBHFNPEFMT <-BVSFOÇPO `> <>5BCMF <>5BCMF <>5BCMF <>5BCMF <> <> <> ˛ Ξμϓλʔʹ༻͢ΔϞδϡʔϧผͷੑೳൺֱ ˛ 1FSDFJWFS3FTBNQMFS ͷʹΑΔੑೳൺֱ ˛ 1FSDFJWFS3FTBNQMFS ͷલʹ .-1ΛՃ͢Δ ͜ͱʹΑΔੑೳൺֱ ˞"WHTDPSF 72"W 0,72" 5FYU72" $0$0ͷ #FODINBSLͷείΞฏۉ -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ -
21 4FMG"UUFOUJPOϕʔεͷ -7-.ͷֶशֶश࣌ͷઃఆʹؔ͢Δݟ 1. 「画像エンコーダ」と「⼤規模⾔語モデル (LLM)」の接続⽅法 -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ •MPTT <-J `>
◦Έࠐ·Ε͍ͯΔ --.͕େ͖͍΄Ͳऩଋ͕ૣ͘ MPTT͕͘ͳΔ͕͋Δ •ֶश <-J `> ◦ֶश͕ෆ҆ఆʹͳΔ߹ɺֶशΛ͘͢Δͱֶशͷෆ҆ఆ͕ܰݮ͞ΕΔ ◦ը૾Τϯίʔμͷֶश --.ͷֶशΑΓৗʹ ʙഒখ͍͞ํ͕ ֶशͷ҆ఆੑ্͕͢Δ ◦--.ͷֶशΛ Fˠ Fʹมߋͯ͠ MPTTʹେ͖ͳ͕ࠩݟΒΕͳ ͔͕ͬͨɺԼྲྀλεΫͰͷ࠷ऴతͳੑೳʹେ͖ͳ͕ࠩੜͨ͡ͱ͍͏ใࠂ •/&'5VOF <-BVSFOÇPO `> ◦4'5ஈ֊Ͱ /&'5VOF ϊΠζ <+BJO `>ΛೖྗʹՃ͑ͯɺճτʔΫϯͷΈͰ ଛࣦΛܭࢉ͍ͯ͠Δࣄྫ͋Δ -
22 4FMG"UUFOUJPOϕʔεͷ -7-.ͷֶशઃఆͷ۩ମྫ*EFGJDT 1. 「画像エンコーダ」と「⼤規模⾔語モデル (LLM)」の接続⽅法 -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ • --.
-MBNB#*OTUSVDU • ը૾Τϯίʔμ 4JH-*140. • Ξμϓλʔ .-1 1JYFM4IVGGMF <>#VJMEJOHBOECFUUFSVOEFSTUBOEJOHWJTJPOMBOHVBHFNPEFMTJOTJHIUTBOEGVUVSFEJSFDUJPOT<-BVSFOÇPO `> 5BCMF <> 1M ਪଌ 3M ਪଌ 1.5M ਪଌ 5M ਪଌ # Samples ਪଌ (DoRA) (DoRA) (DoRA) -
23 4FMG"UUFOUJPOϕʔεͷ -7-.ͷֶशઃఆͷ۩ମྫ/7-.% 1. 「画像エンコーダ」と「⼤規模⾔語モデル (LLM)」の接続⽅法 -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ 4UBHF 4UBHF •
--. 2XFO#*OTUSVDU • ը૾Τϯίʔμ *OUFSO7J5#QY7 • Ξμϓλʔ .-1 1JYFM4IVGGMF <>/7-.0QFO'SPOUJFS$MBTT.VMUJNPEBM--.T<%BJ `> 5BCMF 5BCMF <> 40M ਪଌ 5M ਪଌ # Samples ਪଌ -
24 4FMG"UUFOUJPOϕʔεͷ -7-.ͷֶशઃఆͷ۩ମྫ--B7"0OF7JTJPO 1. 「画像エンコーダ」と「⼤規模⾔語モデル (LLM)」の接続⽅法 -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ <> --B7"0OF7JTJPO&BTZ7JTVBM5BTL5SBOTGFS<-J `>
5BCMF <> • --. 2XFO • ը૾Τϯίʔμ 4JH-*140. • Ξμϓλʔ .-1 όΠϦχΞิ -
25 $SPTT"UUFOUJPOΞʔΩςΫνϟϕʔεͷ -7-. 1. 「画像エンコーダ」と「⼤規模⾔語モデル (LLM)」の接続⽅法 •--.ͷಛఆͷ %FDPEFS#MPDL͝ͱʹ $SPTT"UUFOUJPOΛ ૠೖ͠ɺͦͷதͰը૾
τʔΫϯΛॲཧ͢Δػߏ User:<image>What do you see in this image?<eot> Assistant: ը૾Τϯίʔμ --. <s> ŋŋŋ ŋŋŋ ŋŋŋ 1FSDFJWFS3FTBNQMFS લॲཧ "QQMZDIBUUFNQMBUF <s> User:<image>What do you see in this image?<eot> Assistant: User : <image> <s> ŋŋŋ ▁User : <image> τʔΫϯຒΊࠐΈΛ࡞ : : -.)&"% ▁A What What Assistant Assistant 4FMG"UUFOUJPO 'FFE'PSXBSE/FUXPSL ''/ (BUFE$SPTT"UUFOUJPO ௨ৗɺ/൪ͷ #MPDL͝ͱʹ (BUFE$SPTT"UUFOUJPO ͕ૠೖ͞Ε͍ͯΔ -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ -
26 $SPTT"UUFOUJPOΞʔΩςΫνϟͷಛ 1. 「画像エンコーダ」と「⼤規模⾔語モデル (LLM)」の接続⽅法 •࣮ෳࡶʹͳΔ͕ɺ--.ͷ %FDPEFS#MPDLͰը૾τʔΫϯΛ શͯల։͢Δඞཁ͕ͳ͘ͳΔͨΊɺܭࢉޮ͕ߴ͘ͳΔ ◦࣮͕ෳࡶʹͳΔཁҼ -Ճͷ
$SPTT"UUFOUJPOϞδϡʔϧͷಋೖ -ը૾ͱςΩετ͕ަޓʹஔ͞ΕΔઃఆͰͷ $SPTT"UUFOUJPO.BTLJOH -Ճͨ͠ $SPTT"UUFOUJPO͕ Ұൠʹ େ͖ͳύϥϝʔλΛ࣋ͭͨΊɺ ֶशʹଟ͘ͷσʔλ͕ඞཁͱͳΔ -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ -
27 $SPTT"UUFOUJPOΞʔΩςΫνϟͷಛ 1. 「画像エンコーダ」と「⼤規模⾔語モデル (LLM)」の接続⽅法 •࣮ෳࡶʹͳΔ͕ɺ--.ͷ %FDPEFS#MPDLͰը૾τʔΫϯΛ શͯల։͢Δඞཁ͕ͳ͘ͳΔͨΊɺܭࢉޮ͕ߴ͘ͳΔ ◦࣮͕ෳࡶʹͳΔཁҼ -Ճͷ
$SPTT"UUFOUJPOϞδϡʔϧͷಋೖ -ը૾ͱςΩετ͕ަޓʹஔ͞ΕΔઃఆͰͷ $SPTT"UUFOUJPO.BTLJOH -Ճͨ͠ $SPTT"UUFOUJPO͕ Ұൠʹ େ͖ͳύϥϝʔλΛ࣋ͭͨΊɺ ֶशʹଟ͘ͷσʔλ͕ඞཁͱͳΔ •$SPTT"UUFOUJPOʹೖྗ͞ΕΔલஈ֊ʹ͓͚Δࢹ֮ใͷॲཧ -ը૾Τϯίʔμ͔Βग़ྗ͞Εͨࢹ֮ಛྔΛͦͷ··༻͢Δ -ྫ -MBNB7 <%VCFZ `> /7-.9 <%BJ `> -ը૾Τϯίʔμ͔Βͷग़ྗ 1FSDFJWFS3FTBNQMFS Λ༻͢Δ -ྫ 'MBNJOHP <"MBZSBD `> *EFGJDT <-BVSFOÇPO `> ը૾Τϯίʔμ ŋŋŋ ŋŋŋ 1FSDFJWFS3FTBNQMFS ˞/7-.9<%BJ `> Ͱɺ1FSDFJWFS 3FTBNQMFS ͷજࡏྻͷ $SPTT"UUFOUJPO͕ೖྗը૾τʔΫϯΛࠞͥ߹ΘͤΔͨΊɺ จॻ 0$3λεΫʹॏཁͳը૾ύονؒͷۭؒత͕ؔཚΕΔՄೳੑΛࢦఠ͠ɺ࣮ࡍʹ 0$3λεΫͷੑೳ͕ѱԽͨ͠ͱͷใࠂ͕͋Δ ˞ -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ -
28 $SPTT"UUFOUJPOϕʔεͷ -7-.ͷֶश 1. 「画像エンコーダ」と「⼤規模⾔語モデル (LLM)」の接続⽅法 •͘࠾༻͞Ε͍ͯΔֶशઓུ ◦ 4UBHF ࣄલֶशஈ֊
USBJOBCMF\Ξμϓλʔ $SPTT"UUO^ GSP[FO\ը૾Τϯίʔμ --.^Ͱֶश -όοναΠζΛେ͖͘͢Δ͜ͱͰɺੑೳ͕վળ <%BJ `> User:<image>What do you see in this image?<eot> Assistant: ը૾Τϯίʔμ --. <s> ŋŋŋ ŋŋŋ ŋŋŋ 1FSDFJWFS3FTBNQMFS લॲཧ "QQMZDIBUUFNQMBUF <s> User:<image>What do you see in this image?<eot> Assistant: User : <image> <s> ŋŋŋ ▁User : <image> τʔΫϯຒΊࠐΈΛ࡞ : : -.)&"% ▁A What What Assistant Assistant 4FMG"UUFOUJPO 'FFE'PSXBSE/FUXPSL ''/ (BUFE$SPTT"UUFOUJPO ௨ৗɺ/൪ͷ #MPDL͝ͱʹ (BUFE$SPTT"UUFOUJPO ͕ૠೖ͞Ε͍ͯΔ -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ -
29 $SPTT"UUFOUJPOϕʔεͷ -7-.ͷֶश 1. 「画像エンコーダ」と「⼤規模⾔語モデル (LLM)」の接続⽅法 •͘࠾༻͞Ε͍ͯΔֶशઓུ ◦ 4UBHF ࣄલֶशஈ֊
USBJOBCMF\Ξμϓλʔ $SPTT"UUO^ GSP[FO\ը૾Τϯίʔμ --.^Ͱֶश -όοναΠζΛେ͖͘͢Δ͜ͱͰɺੑೳ͕վળ <%BJ `> ◦ 4UBHF 4'5ஈ֊ USBJOBCMF\Ξμϓλʔ $SPTT"UUO^ GSP[FO\ը૾Τϯίʔμ --.^Ͱֶश ---.Λݻఆ͍ͯ͠Δ߹ɺࢹ֮ݴޠλεΫͷੑೳ͕Լ͢Δ߹͕͋Δ ͜ΕɺΈࠐ·Εͨ --.͕աڈʹֶश͍ͯ͠ͳ͍λεΫࢦࣔΛֶश͢Δ߹ʹ ൃੜ͢ΔՄೳੑ͕ߴ͍ ˠ --.ΛֶशՄೳʹ͢Δ ߴ࣭ͷςΩετ POMZ*OTUSVDUJPO5VOJOHσʔλΛ ΈࠐΉ͜ͱͰςΩετ POMZͷੑೳԼΛ੍͍ͯ͠Δࣄྫ͋Δ <%BJ `> User:<image>What do you see in this image?<eot> Assistant: ը૾Τϯίʔμ --. <s> ŋŋŋ ŋŋŋ ŋŋŋ 1FSDFJWFS3FTBNQMFS લॲཧ "QQMZDIBUUFNQMBUF <s> User:<image>What do you see in this image?<eot> Assistant: User : <image> <s> ŋŋŋ ▁User : <image> τʔΫϯຒΊࠐΈΛ࡞ : : -.)&"% ▁A What What Assistant Assistant 4FMG"UUFOUJPO 'FFE'PSXBSE/FUXPSL ''/ (BUFE$SPTT"UUFOUJPO ௨ৗɺ/൪ͷ #MPDL͝ͱʹ (BUFE$SPTT"UUFOUJPO ͕ૠೖ͞Ε͍ͯΔ -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ -
30 $SPTT"UUFOUJPOϕʔεͷ -7-.ͷֶशઃఆͷ۩ମྫ/7-.9 1. 「画像エンコーダ」と「⼤規模⾔語モデル (LLM)」の接続⽅法 -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ 4UBHF 4UBHF •
--. ◦ # /PVT)FSNFT:J# ◦ # 2XFO#*OTUSVDU • ը૾Τϯίʔμ *OUFSO7J5#QY7 • Ξμϓλʔ .-1 (BUFE$SPTT"UUO <>/7-.0QFO'SPOUJFS$MBTT.VMUJNPEBM--.T<%BJ `> 5BCMF 5BCMF <> 40M ਪଌ 10M (34B), 5M (72B) ਪଌ # Samples ਪଌ -
31 4FMG"UUFOUJPOWT$SPTT"UUFOUJPOॴͱॴ 1. 「画像エンコーダ」と「⼤規模⾔語モデル (LLM)」の接続⽅法 • $SPTT"UUOϕʔεͷ -7-.ɺ$SPTT"UUO͕৽ͨʹ Ճ͞ΕΔͨΊɺύϥϝʔλ͕େ͖͘ͳΓ͕ͪʢ-MBNB7 #Ͱ
#ͷ৽ن $SPTT"UUOύϥϝʔλ͕Ճ͞Ε͍ͯΔʣ 4FMG "UUFOUJPO $SPTT "UUFOUJPO Ճύϥϝʔλ খ େ ֶशޮ ˛ ˔ ςΩετ POMZੑೳ ͷҡ࣋ͷ͢͠͞ ˛ ˔ ࣮ͷෳࡶ߹͍ ؆қ ෳࡶ • $SPTT"UUOϕʔεͷ -7-.ɺ --.ͷ %FDPEFS#MPDLͰ શͯͷը૾τʔΫϯΛల։͢Δඞཁ͕ͳ͍ͷͰɺ ߴղ૾ը૾ͷޮతͳॲཧ͕Մೳ • $SPTT"UUOϕʔεͷ -7-.ɺֶश࣌ʹ --.ͷॏΈ͕ ݻఆ͞Ε͍ͯΔͷͰɺςΩετ POMZͷੑೳΛҡ͍࣋͢͠ • $SPTT"UUOϕʔεͷ -7-.ɺ࣮͕ෳࡶʹͳΔ Qࢀর -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ -
32 4FMG"UUFOUJPOWT$SPTT"UUFOUJPOॴͱॴ ิֶशޮͷৄࡉ 1. 「画像エンコーダ」と「⼤規模⾔語モデル (LLM)」の接続⽅法 4FMG "UUFOUJPO $SPTT "UUFOUJPO
ֶशޮ ˛ ˔ • $SPTT"UUOϕʔεͷ -7-.ɺ --.ͷ %FDPEFS#MPDLͰ શͯͷը૾τʔΫϯΛల։͢Δඞཁ͕ͳ͍ͷͰɺ ߴղ૾ը૾ͷޮతͳॲཧ͕Մೳ $SPTT"UUOˠ 4FMG"UUOˠ ˞ˠ ˞/7-.) 4FMG"UUOϞσϧͱ $SPTT"UUOϞσϧͷྑ͍ͱ͜औΓΛͨ͠Α͏ͳϞσϧͱͳ͍ͬͯΔɻ ৄࡉ /7-.0QFO'SPOUJFS$MBTT.VMUJNPEBM--.T<%BJ `> Λࢀর͍ͯͩ͘͠͞ɻ -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ <> <>/7-.0QFO'SPOUJFS$MBTT.VMUJNPEBM--.T<%BJ `> 5BCMF -
33 4FMG"UUFOUJPOWT$SPTT"UUFOUJPO7-#FODINBSLͰͷධՁ݁Ռ 1. 「画像エンコーダ」と「⼤規模⾔語モデル (LLM)」の接続⽅法 <> <>/7-.0QFO'SPOUJFS$MBTT.VMUJNPEBM--.T<%BJ `> 5BCMF •
ϞσϧΞʔΩςΫνϟҎ֎ͷֶश࣌ͷઃఆ ֶशσʔλͳͲ ΛՄೳͳݶΓଗ͑ͨ߹ʹ͓͍ͯɺ 4FMG"UUOϞσϧ /7-.% ෳͷ #FODINBSLͰɺ$SPTT"UUOϞσϧ /7-.9 ΑΓ ༏ΕͨੑೳΛ͍ࣔͯ͠Δ • 4FMG"UUOϞσϧ $SPTT"UUOϞσϧͱʹɺ4'5࣌ʹߴ࣭ͷςΩετ POMZ*OTUSVDUJPO5VOJOH σʔλΛΈࠐΉ͜ͱͰɺςΩετ POMZλεΫͷੑೳྼԽΛ੍͞Βʹ্Ͱ͖͍ͯΔ -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ -
34 հ͢ΔઌߦݚڀΞϓϩʔνͷྨ ⽬次 •ຊεϥΠυͰɺઌߦݚڀͷΞϓϩʔνΛ ͭʹେผͯ͠հ͢Δ ◦ʮը૾ΤϯίʔμʯͱʮେنݴޠϞσϧ --. ʯͷଓํ๏ -4FMG"UUFOUJPOWT$SPTT"UUFOUJPO ◦ը૾ͷΤϯίʔυํ๏
- طଘͷը૾ΤϯίʔμΛ༻ͨ͠ ߴղ૾ը૾ͷѻ͍ -ߴղ૾ը૾Λ /BUJWFʹѻ͏͜ͱͷͰ͖Δը૾Τϯίʔμͷ༻ ◦ֶशσʔλ ˡ 1BSUͰѻ͏༧ఆͰ͢ -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ -
35 طଘͷը૾ΤϯίʔμΛ༻ͨ͠ ߴղ૾ը૾ͷѻ͍ •-7-.ͷߏங࣌ʹࣄલֶशࡁΈը૾ΤϯίʔμΛ༻͢Δ ◦ ࠷ऴੑೳ্ʹد༩͢ΔͨΊ $-*1༝དྷͷ 7J5 ը૾Τϯίʔμ͕ΘΕΔࣄ͕ଟ͍ <,BSBNDIFUJ
`> - ྫ -$-*17J5 -! -! -4JH-*1 -! -! ͳͲ - ྫ͑ɺ-!ͷ߹ɺ-BSHFϞσϧͷ 1BUDITJ[F ը૾ղ૾ʷQJYFM Ͱֶश͞Εͨ 7J5 Ͱ͋ΔͱಡΊΔ -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ 2. 画像のエンコード⽅法: (既存の画像エンコーダを使⽤した) ⾼解像度画像の扱い •ࣄલֶशࡁΈը૾Τϯίʔμͷେ͕੩తղ૾ ʷͳͲ Ͱֶश͞Ε͍ͯΔ -
36 طଘͷը૾ΤϯίʔμΛ༻ͨ͠ ߴղ૾ը૾ͷѻ͍ •ࣄલֶशࡁΈը૾Τϯίʔμͷେ͕੩తղ૾ ʷͳͲ Ͱֶश͞Ε͍ͯΔ •-7-.ͷߏங࣌ʹࣄલֶशࡁΈը૾ΤϯίʔμΛ༻͢Δ ◦ ࠷ऴੑೳ্ʹد༩͢ΔͨΊ $-*1༝དྷͷ
7J5 ը૾Τϯίʔμ͕ΘΕΔࣄ͕ଟ͍ <,BSBNDIFUJ `> - ྫ -$-*17J5 -! -! -4JH-*1 -! -! ͳͲ - ྫ͑ɺ-!ͷ߹ɺ-BSHFϞσϧͷ 1BUDITJ[F ը૾ղ૾ʷQJYFM Ͱֶश͞Εͨ 7J5 Ͱ͋ΔͱಡΊΔ -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ 2. 画像のエンコード⽅法: (既存の画像エンコーダを使⽤した) ⾼解像度画像の扱い •ը૾ΛϦαΠζͯ͠੩తղ૾ ʷͳͲ ʹམͱͤѻ͑ΔΑ͏ʹͳΔ͕ɺ ϦαΠζ͢Δࡍʹݩͷղ૾ͷը૾ʹؚ·Ε͍ͯͨใ͕མͪͯ͠·͏ Ͳ͏͢Δʜ 🤔 -
37 ࠷ۙͷ -7-.Ͱʮը૾ׂઓུʯ͕ඇৗʹΑ͘ΘΕΔ 2. 画像のエンコード⽅法: (既存の画像エンコーダを使⽤した) ⾼解像度画像の扱い •ೖྗը૾ͷΞεϖΫτൺͱղ૾ʹج͍ͮͯλΠϧʹׂ͢Δઓུ ◦ ྫ
$-*17J5-!Λ༻͍ͯɺߴղ૾ը૾ ʷQJYFM Λॲཧ͢Δ߹ ೖྗը૾ ೖྗը૾ 5JMF 5JMF 5JMF 5JMF 5JMF 5JMF QY QY ᶃ ೖྗը૾ͷΞεϖ Ϋτൺʹج͍ͮͯɺ ࣄલʹఆٛ͞ΕͨΞ εϖΫτൺͷத͔Β ࠷͍ۙͷ͕બ ͞Εɺ͞Βʹղ૾ ʹج͍ͮͯλΠϧʹ ׂ͞ΕΔ QY QY શମ ը૾ 5JMF QY ը૾ Τϯίʔμ ŋŋŋ ը૾ Τϯίʔμ ŋŋŋ QY ը૾ Τϯίʔμ ŋŋŋ ŋŋŋ 5JMF ŋŋŋ ᶄ ϦαΠζ͞Εͨશମը૾ͱλΠϧը૾Λ ݸผʹը૾Τϯίʔμʹೖྗ͢Δ ᶅ ͜ΕΒશͯͷը૾τʔΫϯΛ༻ ˠ Ξμϓλʔʹೖྗ͞ΕΔ -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ -
38 ը૾ׂઓུͰؾΛ͚ͭΔ͜ͱλΠϧλάͷಋೖ 2. 画像のエンコード⽅法: (既存の画像エンコーダを使⽤した) ⾼解像度画像の扱い •ը૾ׂઓུʹΑΓɺಛʹ 0$3ؔ࿈λεΫͰͷੑೳ͕େ෯ʹ্͢Δ •͔͠͠ɺλΠϧ͔ΒಘΒΕͨશͯͷը૾τʔΫϯΛ୯७ʹ࿈݁ͯ͠ --.ʹೖྗͯ͠͠·͏ͱਪؔ࿈ͷλεΫͰͷੑೳ͕Լ͢Δ߹͕͋Δ
◦ λΠϧؒͷؔੑ͕໌ࣔ͞Ε͍ͯͳ͍ͷͰɺֶश࣌ʹ --.͕ࠞཚ͢ΔՄೳੑ͕͋Δ ˠ λΠϧλάΛಋೖ͢Δ͜ͱͰɺೖྗը૾શମͷλΠϧͷҐஔΛ໌ࣔ͢Δ B /PUBHλΠϧλάΛ༻ͤͣʹ୯७ʹ࿈݁͢Δํ๏ C %UBH<tile_1> <tile_2> ʜ <tile_6> <tile_global> D %HSJEUBH<tile_x0_y0> <tile_x1_y0> ʜ <tile_x2_y1> <tile_global> E %CCPY UBH<box> (x0, y0), (x1, y1) </box> ʜ <box> (x2, y1) (x3, y2) </box> ߴղ૾ը૾શମͰͷ֘λΠϧͷ <box> (ࠨ্࠲ඪ), (ӈԼ࠲ඪ) </box> ྫ /7-. <%BJ `> ʹ͓͚ΔλΠϧλάͷྫ -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ -
39 ը૾ׂઓུ λΠϧλά ͷޮՌ ᶃ 4FMG"UUFOUJPOͷ߹ 2. 画像のエンコード⽅法: (既存の画像エンコーダを使⽤した) ⾼解像度画像の扱い
• ը૾ׂઓུʹΑΓɺಛʹ 0$3ؔ࿈λεΫ $IBSU2" %PD72" 0$3#FODI Ͱͷੑೳ͕େ෯ʹ্ • λΠϧλάΛ༩͢Δ͜ͱͰɺੑೳ্͕֬ೝͰ͖Δ ಛʹ %UBH͕༗ޮͦ͏ ˛ 4FMG"UUFOUJPOϕʔεͷ -7-. ʹ͓͚Δɺը૾ׂઓུ λΠϧλά༻࣌ͷੑೳൺֱ B /P UBHλΠϧλάΛ༻ͤͣʹ୯७ʹ࿈݁͢Δํ๏ C %UBH<tile_1> <tile_2> ʜ <tile_6> <tile_global> D %HSJE UBH <tile_x0_y0> <tile_x1_y0> ʜ <tile_x2_y1> <tile_global> E %CCPY UBH<box> (x0, y0), (x1, y1) </box> ʜ <box> (x2, y1) (x3, y2) </box> ߴղ૾ը૾શମͰͷ֘λΠϧͷ <box> (ࠨ্࠲ඪ), (ӈԼ࠲ඪ) </box> ྫ /7-. <%BJ `> ʹ͓͚ΔλΠϧλάͷྫ <>/7-.0QFO'SPOUJFS$MBTT.VMUJNPEBM--.T<%BJ `> 5BCMF <> -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ -
40 ը૾ׂઓུ λΠϧλά ͷޮՌ ᶄ $SPTT"UUFOUJPOͷ߹ 2. 画像のエンコード⽅法: (既存の画像エンコーダを使⽤した) ⾼解像度画像の扱い
•ը૾ׂઓུʹΑΓɺ...6Λআ͘શͯͷ #FODINBSLͰͷੑೳ্͕ •λΠϧλάΛ༩͢Δ͜ͱͰɺશͯͷ #FODINBSLͰੑೳ্Λ֬ೝ ˛ $SPTT"UUFOUJPOϕʔεͷ -7-. ʹ͓͚Δɺը૾ׂઓུ λΠϧλά༻࣌ͷੑೳൺֱ <>/7-.0QFO'SPOUJFS$MBTT.VMUJNPEBM--.T<%BJ `> 5BCMF <> B /P UBHλΠϧλάΛ༻ͤͣʹ୯७ʹ࿈݁͢Δํ๏ C %UBH<tile_1> <tile_2> ʜ <tile_6> <tile_global> ྫ /7-. <%BJ `> ʹ͓͚ΔλΠϧλάͷྫ -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ ˠ ΞʔΩςΫνϟ 4FMG"UUO $SPTT"UUO ʹΑΒͣɺը૾ׂઓུ λΠϧλάઓུ༗ޮ -
41 հ͢ΔઌߦݚڀΞϓϩʔνͷྨ ⽬次 •ຊεϥΠυͰɺઌߦݚڀͷΞϓϩʔνΛ ͭʹେผͯ͠հ͢Δ ◦ʮը૾ΤϯίʔμʯͱʮେنݴޠϞσϧ --. ʯͷଓํ๏ -4FMG"UUFOUJPOWT$SPTT"UUFOUJPO ◦ը૾ͷΤϯίʔυํ๏
- طଘͷը૾ΤϯίʔμΛ༻ͨ͠ ߴղ૾ը૾ͷѻ͍ -ߴղ૾ը૾Λ /BUJWFʹѻ͏͜ͱͷͰ͖Δը૾Τϯίʔμͷ༻ ◦ֶशσʔλ ˡ 1BSUͰѻ͏༧ఆͰ͢ -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ -
43 ߴղ૾ը૾Λ/BUJWFʹѻ͏͜ͱͷͰ͖Δը૾Τϯίʔμͷ༻ 2. 画像のエンコード⽅法 •ೖྗը૾Λݩͷղ૾ͱΞεϖΫτൺΛม͑ͣʹɺ/BUJWFʹॲཧͰ͖Δ ࣄલֶशࡁΈը૾Τϯίʔμ͕։ൃ͞ΕΔͱخ͍͠ͷ͕ͩ ◦ 2XFO7-<8BOH `>
◦ 1JYUSBM <"HSBXBM `> Ͱ Α͏͘ ಈతղ૾Λѻ͑Δը૾Τϯίʔμ͕։ൃɾ༻͞ΕΔʂ •ͦͦɺߴղ૾ը૾ͷॲཧʹઌ΄Ͳհͨ͠Α͏ͳը૾ׂઓུΛऔΒ͟ΔΛಘͳ͘ ͳͬͨେݩͷཁҼɺࣄલֶशࡁΈը૾Τϯίʔμͷେ͕੩తղ૾ ʷͳͲ Ͱ ֶश͞Ε͍ͯΔ ͨΊೖྗը૾ΛϦαΠζ͠ͳ͍ͱ͍͚ͳ͍ ͜ͱͰ͋Δ -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ -
45 ಈతղ૾Λѻ͑Δը૾ΤϯίʔμΛࢧ͑Δٕज़3P1&% 2. 画像のエンコード⽅法: ⾼解像度画像を Native に扱うことのできる画像エンコーダの使⽤ •࣍ݩʹ֦ு͞ΕͨճసҐஔຒΊࠐΈ 3P1& %
ʹΑΓɺՄมαΠζͷ ղ૾Λѻ͏͜ͱ͕ՄೳʹͳΔ <> <>1JYUSBM#<"HSBXBM `> 'JHVSF -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ -
46 ಈతղ૾Λѻ͑Δը૾ΤϯίʔμΛࢧ͑Δٕज़.3P1& 2. 画像のエンコード⽅法: ⾼解像度画像を Native に扱うことのできる画像エンコーダの使⽤ •.3P1&ճసҐஔຒΊࠐΈΛ ࣍ݩʹ·Ͱ֦ு͠ɺಈը ࣌ؒ࣠ํͷҐஔ
ใ ѻ͑ΔΑ͏ʹ͢Δ <> <>2XFO7-&OIBODJOH7JTJPO-BOHVBHF.PEFMT1FSDFQUJPOPGUIF8PSMEBU"OZ3FTPMVUJPO<8BOH `> 'JHVSF -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ -
47 ಈతղ૾Λѻ͑Δը૾ΤϯίʔμͷޮՌ 2. 画像のエンコード⽅法: ⾼解像度画像を Native に扱うことのできる画像エンコーダの使⽤ <>2XFO7-&OIBODJOH7JTJPO-BOHVBHF.PEFMT1FSDFQUJPOPGUIF8PSMEBU"OZ3FTPMVUJPO<8BOH `> 5BCMF
<> •ಈతղ૾ઓུฏۉͯ͠τʔΫϯফඅΛ͑ͭͭɺ ෳͷ #FODINBSLͰτοϓϨϕϧͷੑೳΛୡ͍ͯ͠Δ ˛ ੩తղ૾ઓུͱಈతղ૾ઓུ༻࣌ͷੑೳൺֱ -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ -
48 .VMUJNPEBM3P1&ͷޮՌ 2. 画像のエンコード⽅法: ⾼解像度画像を Native に扱うことのできる画像エンコーダの使⽤ <>2XFO7-&OIBODJOH7JTJPO-BOHVBHF.PEFMT1FSDFQUJPOPGUIF8PSMEBU"OZ3FTPMVUJPO<8BOH `> 5BCMF
<> •.VMUJNPEBM3P1& .3P1& ෳͷ #FODINBSLͰ %3P1&ΑΓ ༏ΕͨੑೳΛࣔ͢ ˛ %3P1&ͱ .3P1& ͷੑೳൺֱ -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ -
49 $PGGFFCSFBLᶃը૾Τϯίʔμඞཁͳ͍ʁ <>'VZV#".VMUJNPEBM"SDIJUFDUVSFGPS"*"HFOUT<#BWJTIJ `> <> •'VZV ɺը૾ΤϯίʔμΛΘͣʹɺը૾ύονʹ୯७ͳઢܗࣹӨͷΈద༻͢Δ ◦ ར ࣄલֶशࡁΈը૾Τϯίʔμ͕ඞཁͳ͍
◦ ར ৄࡉͳը૾ύονʹؔ͢ΔҐஔใҎ֎ͷ ݩͷը૾ใΛશͯอ࣋Ͱ͖Δ •͔͠͠ɺಉ࣌ظʹϦϦʔε͞ΕͨଞͷಉఔͷαΠζͷϞσϧͱൺֱͯ͠ #FODINBSL Ͱͷੑೳ͕͔ͬͨʢͷͰɺݱࡏը૾ΤϯίʔμΛ༻͢Δํ๏͕͘࠾༻͞Ε͍ͯΔͷͩͱࢲߟ͍ͯ͠·͢ʣ 2. 画像のエンコード⽅法 -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ -
50 $PGGFFCSFBLᶄςΩετΫΤϦߟྀͨ͠ը૾Τϯίʔμ <>7JT'PDVT1SPNQU(VJEFE7JTJPO&ODPEFSTGPS0$3'SFF%FOTF%PDVNFOU6OEFSTUBOEJOH<"CSBNPWJDI `> 'JHVSF <> •7JT'PDVT ɺςΩετΫΤϦ QSPNQU ߟྀͯ͠ɺը૾ΛΤϯίʔυ͢Δ
◦ ࢦࣔ͢Δ༰ʹΑͬͯɺඞཁͱ͞ΕΔը૾ใྔมΘͬͯ͘ΔͷͰɺࣗવͳൃͰ͋Δͱݴ͑Δ - ྫ ʮը૾ͷӈԼͷ൘ʹԿ͕ॻ͔Ε͍ͯ·͔͢ʁʯͱ͍͏ࢦࣔʹରͯ͠ɺը૾ӈԼͷใ͚ͩநग़Ͱ͖Εे ◦ ͨͩ͠ɺNVMUJUVSOͷձͰɺҎલͷ࣭ʹݴٴ͢ΔΑ͏ͳ QSPNQUʹɺରԠͰ͖ͳ͍ 2. 画像のエンコード⽅法 -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ -
51 1BSU·ͱΊ •ը૾Τϯίʔμͱ --.ͷଓํ๏ͱͯ͠ɺ4FMG"UUFOUJPO $SPTT"UUFOUJPOϕʔε ͷ͍ͣΕ͔͕Α͘༻͍ΒΕ͍ͯΔ ◦ 4FMG"UUFOUJPOϕʔεͷ -7-. -
ෳࡶͳ࣮ͳ͠ͰෳͷϞμϦςΟΛ౷ҰతʹॲཧͰ͖Δ - Ξμϓλʔ෦ʹΛࢪ͢͜ͱͰɺը૾τʔΫϯΛॖͰ͖Δ - ࠾༻͍ͯ͠Δઌߦࣄྫ͕ଟ͘ɺݟ͕๛Ͱ͋Δ ◦ $SPTT"UUFOUJPOϕʔεͷ -7-.ɺ - ࣮ෳࡶʹͳΔ͕ɺ--.ͷ %FDPEFS#MPDLͰը૾τʔΫϯΛશͯల։͢Δඞཁ͕ͳ͘ޮత - ௨ৗɺ--.ͷॏΈΛݻఆֶͯ͠श͢ΔͷͰɺςΩετ POMZͷੑೳΛҡ͍࣋͢͠ -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ • طଘͷը૾ΤϯίʔμΛ༻ͯ͠ ߴղ૾ը૾Λѻ͏࣌ʹɺ ϞσϧΞʔΩςΫνϟʹΑΒͣɺը૾ׂઓུͱλΠϧλάઓུ͕ޮՌత •࠷ۙʹͳͬͯɺߴղ૾ը૾Λ /BUJWFʹѻ͑Δը૾Τϯίʔμ͕༻͞Ε࢝ΊΔ -
52 1BSUʹଓ͘ ʜ ⽬次 •ຊεϥΠυͰɺઌߦݚڀͷΞϓϩʔνΛ ͭʹେผͯ͠հ͢Δ ◦ʮը૾ΤϯίʔμʯͱʮେنݴޠϞσϧ --. ʯͷଓํ๏ -4FMG"UUFOUJPOWT$SPTT"UUFOUJPO
◦ը૾ͷΤϯίʔυํ๏ - طଘͷը૾ΤϯίʔμΛ༻ͨ͠ ߴղ૾ը૾ͷѻ͍ -ߴղ૾ը૾Λ /BUJWFʹѻ͏͜ͱͷͰ͖Δը૾Τϯίʔμͷ༻ ◦ֶशσʔλ ˡ 1BSUͰѻ͏༧ఆͰ͢ -7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ 🏃 -
53 ࢀߟɾཱ͓ͪࢿྉ • ্ݪ߁ฏࣗવݴޠͱ7JTJPO-BOHVBHF౦ژେֶେֶӃ ߨٛʮೳใʯ 4QFBLFS%FDL ◦ 7-ʹؔ͢Δओཁͳݚڀɾٕज़Λਂֶशॳظ͔Β ࣌·Ͱ֓؍ͨ͠ڭՊॻతͳεϥΠυͰ͢ɻ 7-ॳֶऀͷํ͜ͷεϥΠυ͔ΒೖΔͱશମײΛ၆ᛌͰ͖͓ͯ͢͢ΊͰ͢ɻ
-7-.ʹؔ͢Δ࠷৽ݟ·ͱΊ ʢʹউख ၟӽͳ͕Βʣશʹओ؍Ͱɺཱ͓ͪࢿྉΛ͍͔ͭ͘հ͠·͢ʂ • ాதྋଠ େنݴޠϞσϧʹΑΔࢹ֮ɾݴޠͷ༥߹ୈճԬࢁେֶ"*ݚڀձ 4QFBLFS%FDL ◦ #&35࣌ͷΞϓϩʔν͔Β ࣌ͷ --.ͷਪೳྗΛ༻ͨ͠Ξϓϩʔν·ͰΛղઆ͞Ε͍ͯ·͢ɻ ஶऀͷాத͞Μจॻը૾ཧղΛઐʹ͓ͯ͠Γɺଞʹ༗ӹͳจɾεϥΠυΛଟ͘ެ։͞Ε͍ͯ·͢ɻ • ాژհ ాޫำ ాதྋଠ ੪౻͍ͭΈ /-1ͱ7JTJPOBOE-BOHVBHFͷجૅɾ࠷৽ಈ /-1ͱ7JTJPOBOE-BOHVBHFͷجૅɾ࠷৽ಈ %&*. 4QFBLFS%FDL ◦ #&35࣌ͷ /-1ͷؔ࿈ݚڀ͔Β࢝Ίɺॳظͷ -7-. ࣌ ·ͰΛղઆ͞Ε͍ͯ·͢ɻ • ଠ࿕ ϚϧνϞʔμϧରγεςϜ 4QFBLFS%FDL ◦ ࣌ͰͷϚϧνϞʔμϧରγεςϜपลͷใ͕·ͱΊΒΕ͍ͯ·͢ɻ ಛʹ $-*1पΓͷ͕໘ന͍ ஶऀͷઌੜ 7-શൠΛઐʹ͓ͯ͠Γɺଞʹ༗ӹͳจɾεϥΠυΛଟ͘ެ։͞Ε͍ͯ·͢ɻ • Ԭ࡚؍ େنݴޠϞσϧͷ։ൃ+4"*νϡʔτϦΞϧߨԋ 4QFBLFS%FDL ◦ ࣌ͷ --.ͷ։ൃʹؔ࿈͢ΔݚڀΛղઆ͞Ε͓ͯΓɺ--.Λ 7-.ʹΈࠐΉΑ͏ʹͳͬͨࠓͱͳͬͯɺ --.ͱ -7-.Ͱؔ࿈͢Δଟ͘ɺ͓͍ͬͯͯଛͳ͍ใ͕ඇৗʹଟ͘Γࠐ·Ε͍ͯ·͢ɻ • ੁপխಙ ਂֶशʹΑΔը૾ೝࣝͷجૅ ΦʔϜࣾ ॻ੶ ◦ $//ͱ 7J5 Λ௨ͯ͠ը૾ೝࣝͷجૅΛେม͔Γ͘͢ղઆ͞Ε͍ͯ·͢ɻ࠷ऴষʹ 7-ͷষؚ·Ε͓ͯΓେมࢀߟʹͳΓ·͢ɻ