ブラウザの組み込みAI🧠 Gemini Nanoで自動制御チャレンジ #goodbye2025

自動化実験はマリオ風ゲームでした

こちらで登壇。 https://cross-rel.connpass.com/event/377013/

Transcript

1. 
   HPPECZF ੁݪͷͼ͚͢
   
   !OCJTVLF ϒϥ΢βͷ૊ΈࠐΈ"*🧠
   (FNJOJ
   /BOPͰࣗಈ੍ޚνϟϨϯδ ✖ Gemini Nano
2. ੁݪ
   ͷͼ͚͢ ɾϓϩτλΠϐϯάઐ໳εΫʔϧʮϓϩτΞ΢τελδΦʯ
   
   
   
   σδλϧϋϦ΢ουେֶେֶӃ
   ϓϩμΫτϓϩτλΠϐϯά
   
   
   
   ΠϯετϥΫγϣφϧσβΠϯ
   
   ɾݸਓ׆ಈ
   
   
   
   *P5-5
   ʢࠃ಺࠷େͷ*P5ίϛϡχςΟʣओ࠵
   
   
   
   %FWFMPQFST
   4VNNJU
   
   ϕετεϐʔΧʔҐ
   
   
   
   -*/&
   "1*
   &YQFSU
   
   .JDSPTPGU
   .71
   
   *#.
   $IBNQJPO
   
   
   
   ݱ৔Λ஌ΔͨΊډञ԰ҰݢΊञ৔Ͱ೥ࠒʹ೥ऑۈ຿
   
   
   ΘΜͦ͜͹શ೔ຊબखݖ
   ഋ෼
   
   
   
   
   ࠓ೥͸ҴמΓͭͭ͠ɺେࡕͰઌ೔αΠϑΛ͢ΒΕͨΓ͠·ͨ͠ OPCJTVLF
   TVHBXBSB
3. ΫϥϑΝϯ·Ͱ΍ΒͤͨΓɺখࣾ͘͞ձ࣮૷ͤͨ͞Γ࣮ߦ·ͰΛ΍ΔεΫʔϧ Ͱ͢ɻ
6. ࠷ۙ࡞ͬͨ΋ͷ ػցֶश
   
   /JOUFOEP
   4XJUDI
   ͷίϯτϩʔϥʔϓϩάϥϜ
   
   "Ϙλϯ
7. ਺೔લͷ+4'&4ͱ͍͏ΠϕϯτͰ࿩Λͨ͠಺༰͕ϓνόζ 8FCͬΆ͍ਓ͕ଟ͍ؾ͕͢ΔͷͰ͜ͷԆ௕ͷ࿩Λ͠Α͏͔ͱࢥ͍·͢ɻ
8. $ISPNFͷ૊ΈࠐΈ"* Ҿ༻ݩ
   IUUQTEFWFMPQFSDISPNFDPNEPDTBJHFUTUBSUFE IMKB  $ISPNFͷதͷ૊ΈࠐΈϞσϧ
    ϞσϧʹΞΫηεͰ͖Δ"1*͕͋Δ
    Ϣʔβʔ͸+BWB4DSJQUΛ௨ͯ͠ΞΫηεՄೳ
    ׬શΦϑϥΠϯͳϝϦοτ
    ηΩϡΞ
   
   ϓϥΠόγʔ
    ίετແݶ
    Մ༻ੑ޲্
    ௿ϨΠςϯγ ҙ༁
   $ISPNF͑͋͞Ε͹ແྉͰແݶʹ"*࢖͑Δ +4'&4
9. (FNJOJ
   /BOP
   W ࢀߟ
   IUUQTEFWFMPQFSDISPNFDPNEPDTBJQSPNQUBQJ IMKB  αΠζ͸(#͘Β͍
    -.
   4UVEJPͱ͔Ͱ͸࢖͑ແͦ͞͏  ((6'
   
   ((.-
   
   4BGFUFOTPST 1Z5PSDI
   DLQUͳͲͰ͸ͳ͍ (FNJOJ
   /BOP
   W +4'&4
10. ϒϥ΢βͷ+BWB4DSJQUͰѻ͑Δ૊ΈࠐΈ"*
    "1*܈ ࢀߟ
    IUUQTEFWFMPQFSDISPNFDPNEPDTFYUFOTJPOTBJ IMKB  8SJUFS
    "1*
    
    
    จষͷϦϥΠτ
     3F8SJUFS
    "1*
    
    จষͷ࡞੒
     1SPPGSFBEFS
    "1*
    จষߍਖ਼
     5SBOTMBUJPO
    "1*
    ຋༁
     -BOHVBHF
    %FUFDU
    "1*
    ݴޠಛఆ
     4VNNBSJ[BUJPO
    "1*
    ཁ໿
     1SPNQU
    "1*
    ൚༻ͷ--.ར༻ ݕূ؀ڥˢ +4'&4
11.  fl BH
    QSPNQUBQJGPSHFNJOJOBOP
    QSPNQUBQJGPSHFNJOJOBOP NVMUJNPEBMJOQVU
    
     --.ʹ௚઀ΞΫηεͰ͖·͢ɻ
     ຊ໋ɻ݁ہ͜ΕͰྑ͍આ΋͋Δɻ
     ࣮͸ϚϧνϞʔμϧ 1SPNQU
    "1*
    ʢϚϧνϞʔμϧʣ +4'&4
12. 1SPNQU
    "1*
    ϚϧνϞʔμϧ
    ը૾ +4'&4
13. 1SPNQU
    "1*
    ϚϧνϞʔμϧ
    Ի੠ +4'&4
14. ʜͱ͍͏಺༰Λ঺հͨ͠Βɺൃදฉ͍ͯͨํ͕σϞΛ࡞ͬͯ͘Εͨ ͦΕ͕όζͬͯΔ IUUQTYDPNBNQFSTBOE@YZ[TUBUVT
15. ͱ͍͏಺༰Λ঺հͨ͠ΒࢀՃऀͷํ͕σϞΛ࡞ͬͯ͘Εͨ ͦΕ͕όζͬͯΔ IUUQTYDPNBNQFSTBOE@YZ[TUBUVT
16. ͷͼ͚͢ൃද
    
    ࢀߟʹͨ͠ํ͕όζΔ
17. ͷͼ͚͢ൃද
    
    ࢀߟʹͨ͠ํ͕όζΔ 
    չ͍͠ͷͰ๻΋ٯ༌ೖɻ
18. (FNJOJ
    /BOPͷϚϧνϞʔμϧΛΧϝϥ͔Β ݁ߏಡΜͰ͘ΕΔΑɻ଎౓͸1$ʹΑΔ͚Ͳ๻ͷ1$ͩͱׂͱૣ͍
    ʢΩϟογϡ΍ϝϞϦঢ়گ΋͋Γͦ͏ʣ ✖ ↑ HFU6TFS.FEJB
19. ը໘ΩϟϓνϟΛೖྗͱͯ͠࢖͑Δ ✖ ↑ HFU%JTQMBZ.FEJB
20. ׬શϩʔΧϧ"*ͰແݶίετͰߦ͚Δ
    
    ը໘ͷঢ়گΛಡΊΔ
21. ׬શϩʔΧϧ"*ͰແݶίετͰߦ͚Δ
    
    ը໘ͷঢ়گΛಡΊΔ 
    ͜͜ʹzखz͕෇͚͹৭ʑૢ࡞Ͱ͖ͪΌ͍ͦ͏ͩΑͶʁ
22. /PEFKTͰࣗಈԽͰ͖ΔϥΠϒϥϦ ࠓ͸ެ͕ࣜ044΍ΊͯͯαʔυύʔςΟ੡ ˞ࡢࠓͷOQN΍/PEFKT੬ऑੑ࿩୊͋ΔͷͰࣗݾ੹೚Ͱɻ
23. /PEFKTͰࣗಈԽͰ͖ΔϥΠϒϥϦ ࠓ͸ެ͕ࣜ044΍ΊͯͯαʔυύʔςΟ੡
24. ✖ ↑ ը໘Λ(FNJOJ
    /BOP͕ಡΉ 1$ͷ੍ޚΛ͢Δ ͜ΜͳͷͰ͖ͦ͏
25. ϒϥ΢βͰήʔϜ͕Ͱ͖ΔαΠτ
    
    ΞΫγϣϯήʔϜͷ҇ ϚϦΦΛ࠶ݱͨ͠ήʔϜ ΋ʢݖརո͍͠ʣ IUUQTHBNFBDDPNGSFFNBSJPTVQFSNBSJPCSPTFVSPQF
26. ϒϥ΢βͰήʔϜ͕Ͱ͖ΔαΠτ
    
    ΞΫγϣϯήʔϜͷ҇ ϚϦΦΛ࠶ݱͨ͠ήʔϜ ΋ʢݖརո͍͠ʣ IUUQTHBNFBDDPNGSFFNBSJPTVQFSNBSJPCSPTFVSPQF
27. ը໘Λ(FNJOJ
    /BOP ͕ಡΉ ໨͚ͩ͡Όͳͯ͘ख͕෇͘ͷͰૢ࡞͕Ͱ͖Δ ✖ ˠ ˡ
28. ը໘Λ(FNJOJ
    /BOP ͕ಡΉ ໨͚ͩ͡Όͳͯ͘ख͕෇͘ͷͰૢ࡞͕Ͱ͖Δ ʮఢ͕དྷ͔ͨΒ δϟϯϓ΍ʯ ✖ δϟϯϓΩʔ ˠ ˡ
30. ը໘Λ(FNJOJ
    /BOP ͕ಡΉ ࠷ॳ΍ͬͯΈͯΊͪΌ஗͍ ✖ ˠ ˡ ӈΩʔΛૹ৴ ʮӈʹਐΊʯ
31. ҎԼͷύλʔϯͷΩʔͰ͍͚Δ΍Ζͬͯࢥͬͯͨ  ӈ
     ࠨ
     ্
     Լ
     εϖʔε
     Τϯλʔ
32. ҎԼͷύλʔϯͷΩʔͰ͍͚Δ΍Ζͬͯࢥͬͯͨ  ӈ
     ࠨ
     ্
     Լ
     εϖʔε
     Τϯλʔ  ӈ
    ΛYYඵԡ͢
    YYϑϨʔϜ
     ࠨ
    ΛYYඵԡ͢
    YYϑϨʔϜ
     ্
    ΛYYඵԡ͢
    YYϑϨʔϜ
     Լ
    ΛYYඵԡ͢
    YYϑϨʔϜ
     εϖʔε
    ΛYYඵԡ͢
    YYϑϨʔϜ
     Τϯλʔ
    ΛYYඵԡ͢
    YYϑϨʔϜ 
    ࣮ࡍͷήʔϜʹ͸ԡ͢ඵ਺΋େࣄɻʢղ૾౓௿͔ͬͨʣ 
33. ը໘Λ(FNJOJ
    /BOP ͕ಡΉ ໨͚ͩ͡Όͳͯ͘ख͕෇͘ͷͰૢ࡞͕Ͱ͖Δ ʮఢ͕དྷ͔ͨΒ δϟϯϓ΍ʯ ✖ δϟϯϓΩʔ ˠ ˡ
35. ҎԼͷύλʔϯͷΩʔͰ͍͚Δ΍Ζͬͯࢥͬͯͨ  ӈ
     ࠨ
     ্
     Լ
     εϖʔε
     Τϯλʔ   ӈ
     ࠨ
     ্
     Լ
     ;Ωʔ εϖʔεͰ͸ͳ͘;ɻ͜Ε͸উखͳࢥ͍ࠐΈͩͬͨ
    ήʔϜʹΑͬͯҧ͏ΑͶɻ
37. ͜Εɺϒϥ΢βήʔϜΛྫʹ΍ͬͯΈ·͕ͨ͠ɺ
    
    /VUTKT͸1$ͷΩʔϘʔυͳͲͷૢ࡞৭ʑͰ͖ͪΌ͏ͷ Ͱଞͷιϑτ΢ΣΞͰ΋͍͚·͢ɻ
38. ͜Εɺϒϥ΢βήʔϜΛྫʹ΍ͬͯΈ·͕ͨ͠ɺ
    
    /VUTKT͸1$ͷΩʔϘʔυͳͲͷૢ࡞৭ʑͰ͖ͪΌ͏ͷ Ͱଞͷιϑτ΢ΣΞͰ΋͍͚·͢ɻ
40. νϟοτͳͲΛ(FNJOJ
    /BOPʹฦ৴ͤ͞Δ ը໘Ωϟϓνϟର৅Λ-*/&ΞϓϦ
41. +4'&4
    ೥͘Β͍લʹొஃ͍͖ͤͯͨͩ͞·ͨ͠ɻ %JTDPSE
42. ʮͼͬ͘Γ͞ΕΔͷͰؾΛ͚ͭ·͠ΐ͏ʯ
43. J1IPOFͷૢ࡞ͷ"*Խ΋΍ΕͪΌ͍·͢Ͷ J1IPOFϛϥʔϦϯάػೳɻ1$͔ΒJ1IPOFૢ࡞Ͱ͖ͪΌ͏ɻ J04
    Ҏ߱ͷػೳ
44. J1IPOFͷૢ࡞ͷ"*Խ΋΍ΕͪΌ͍·͢Ͷ J1IPOFϛϥʔϦϯά
    
    ը໘ڞ༗ͰΩϟϓνϟऔΓࠐΈ
45. ·ͱΊ  $ISPNFͷ૊ΈࠐΈ"*
    "1*Λ৮ͬͯΈ·ͨ͠ɻʢ੍ޚ΋ʣ
     (FNJOJ
    /BOP
     ࢥͬͨΑΓૣͯ͘༏लɺ·͔͞ͷϚϧνϞʔμϧʢը૾΋Ի੠΋͍͚Δʣ
     Ϟσϧ͕ॏ͍֤ࣗ͠ͷ1$εϖοΫʹΑͬͯ͸શવಈ࡞͕ݫ͍͠΋͋Γ͑Δ
     ը໘ΩϟϓνϟΛͯ͠ಡ·ͤΔ͜ͱ͕Ͱ͖Δ
     ίετແݶ
     /VUTKTͳͲ1$ૢ࡞ͷࣗಈԽπʔϧͱ૊Έ߹ΘͤΔͱ৭ʑ΍ΕΔ
     ήʔϜࣗಈԽ
    ʢ5"4 ʣ
    ϑϨʔϜ൑ఆ͕ݫ͍͠΋ͷ͸ݫͦ͠͏
     1$ΞϓϦ
     J1IPOFΞϓϦ΋͍͚ͪΌ͏
     ʢ࣍ճ࡞ʁʣ
     /JOUFOEP
    4XJUDIͷίϯτϩʔϥʔͷϓϩάϥϜʹ઀ଓͤͯ͞(FNJOJͱ౧మ͍ͨ͠ɻ ϑΥϩʔϛʔɹˏOCJTVLF