Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AGI福岡 第3回

yuky_az
November 14, 2024

AGI福岡 第3回

AGI時代に向けて、今からできることを共に考え、実行していこう!

yuky_az

November 14, 2024
Tweet

More Decks by yuky_az

Other Decks in Technology

Transcript

  1. ೥ϊʔϕϧ෺ཧֶ৆ © Johan Jarnestad/The Royal Swedish Academy of Sciences John

    Hop fi eld and Geoffrey Hinton. Ill. Niklas Elmehed © Nobel Prize Outreach ೥ͷϊʔϕϧ෺ཧֶ৆͸ɺ δϣϯɾ+ɾϗοϓϑΟʔϧυʢถࠃʣͱδΣϑϦʔɾ&ɾώϯτϯʢΧφμʣ͕ड৆
  2. ೥ϊʔϕϧ෺ཧֶ৆ • ड৆ཧ༝
 → ػցֶशͱਓ޻χϡʔϥϧωοτϫʔΫͷج൫Λߏங͠ɺσʔλύλʔϯͷ هԱɾ࠶ݱΛՄೳʹͨ͠ޭ੷ɻ • ओͳۀ੷
 → ϗοϓϑΟʔϧυɿεϐϯܥͷ෺ཧֶͷݪཧΛԠ༻ͨ͠ʮϗοϓϑΟʔϧυ

    ωοτϫʔΫʯΛ։ൃ͠ɺσʔλύλʔϯͷอଘͱ෮ݩΛ࣮ݱɻ
 → ώϯτϯɿʮϘϧπϚϯϚγϯʯΛ։ൃ͠ɺσʔλ͔Βಛ௃Λֶश͢Δٕज़ Λཱ֬ɻAIͱػցֶशͷඈ༂తͳਐలʹߩݙɻ • Өڹ
 → AIͱ෺ཧֶͷ༥߹ʹΑΔൃలΛଅਐ͠ɺԠ༻෼໺ͰͷՄೳੑΛେ͖֦͘େɻ
  3. ୅දऀ঺հ զ࠺޾௕ :VLJOBHB"[VNB !ZVLZ@B[ 4"*-BCגࣜձࣾ୅දऔక໾ w "*ؔ࿈ͷڭҭɺݚڀ w ཧֶത࢜ʢ෺ཧֶʣ w

    ๏੓େֶσβΠϯ޻ֶ෦݉೚ߨࢣ w 6EFNZͰສਓΛࢦಋ w ༗໊اۀͰ"*ݚमΛ୲౰ w ஶॻʹʮ͸͡ΊͯͷσΟʔϓϥʔχϯάʯͳͲ w झຯ͸ϒϥδϦΞϯॊज़"*Ξʔτ
  4. δϣϯɾϗοϓϑΟʔϧυࢯͷ঺հ ݚڀऀͱͯ͠ͷܦྺ • ೥ੜ·ΕɺΞϝϦΧͷ෺ཧֶऀɾੜ෺෺ཧֶऀ • ϓϦϯετϯେֶͰ෺ཧֶΛઐ߈ʢ1I%ʣ • ΧϦϑΥϧχΞ޻ՊେֶɺϓϦϯετϯେֶͳͲͰڭ佃 • ෺ཧֶ͔ΒਆܦՊֶ΁ݚڀྖҬΛ֦େ

    • ෳࡶܥͷݚڀͰଟେͳޭ੷ ओͳۀ੷ͱධՁ • ೥ɿϗοϓϑΟʔϧυωοτϫʔΫΛఏҊ • ෺ཧֶͷ֓೦Λ༻͍ͯχϡʔϥϧωοτΛཧ࿦Խ • ݱ୅ͷਂ૚ֶशͷཧ࿦తج൫Λங͍ͨઌۦऀͷҰਓ Ill. Niklas Elmehed © Nobel Prize Outreach
  5. جຊΞʔΩςΫνϟ ωοτϫʔΫߏ଄ • ͢΂ͯͷχϡʔϩϯ͕૬ޓʹ݁߹ • ֤χϡʔϩϯ͸૒ํ޲ʹ઀ଓɺͨͩࣗ͠ݾ݁߹͸ଘࡏ͠ͳ͍ • ݁߹ͷॏΈ͸ରশతʢ ʣ •

    χϡʔϩϯͷঢ়ଶ͸཭ࢄ஋ʢ ʣ·ͨ͸ೋ஋ʢ ʣ ಈ࡞ͷಛ௃ • ΤωϧΪʔؔ਺ ʹجͮ͘ঢ়ଶߋ৽ ◦ ɿχϡʔϩϯ ͷᮢ஋ʢόΠΞεʣ • ඇಉظతͳঢ়ଶߋ৽ʢҰ౓ʹͭͷχϡʔϩϯʣ • ہॴతͳ৘ใͷΈͰߋ৽൑அ • ΤωϧΪʔ࠷খԽʹΑΔ҆ఆঢ়ଶ΁ͷऩଋ • ෺ཧֶͷεϐϯάϥεϞσϧͱྨࣅͨ͠ৼΔ෣͍ wij = wji si ∈ − 1, + 1 si ∈ 0,1 E = − 1 2 ∑ i,j wij si sj − ∑ i θi si θi i
  6. ಈ࡞ݪཧ ঢ়ଶߋ৽ͷϝΧχζϜ • ֤χϡʔϩϯ΁ͷೖྗɿ  • ߋ৽نଇɿ ཭ࢄ஋ʢ૒ۃੑʣͷ৔߹ɿ  ೋ஋ʢ୯ۃੑʣͷ৔߹ɿ

     • ඇಉظతͳߋ৽ʢϥϯμϜʹબΜͩͭͷχϡʔϩϯΛߋ৽ʣ • ͢΂ͯͷχϡʔϩϯ͕҆ఆ͢Δ·Ͱ܁Γฦ͠ hi = ∑ j wij sj + θi si = { +1 JG hi ≥ 0 −1 JG hi < 0 si = { 1 JG hi ≥ 0 0 JG hi < 0
  7. ಈ࡞ݪཧ ΤωϧΪʔͱऩଋ • ΤωϧΪʔؔ਺͸ঢ়ଶߋ৽ʹΑΓ୯ௐݮগ • γεςϜ͸ඞͣہॴ࠷খ஋ʹऩଋ • ࠷ऴঢ়ଶ͸ॳظঢ়ଶʹґଘ • ΤωϧΪʔ஍ܗͷΠϝʔδɿ

    ◦ࢁʢෆ҆ఆঢ়ଶʣ͔Β୩ʢ҆ఆঢ়ଶʣ΁ ◦ෳ਺ͷ҆ఆঢ়ଶʢہॴ࠷খ஋ʣ͕ଘࡏ ◦هԱύλʔϯ͸҆ఆঢ়ଶͷҰͭʹରԠ
  8. ֶशͱهԱ ֶशʢॏΈͷܾఆʣ • ݁߹ՙॏͷֶशଇɿ ʢ ʣ ◦ ɿχϡʔϩϯ਺ ◦ ɿهԱͤ͞Δύλʔϯ਺

    ◦ ɿύλʔϯ ʹ͓͚Δχϡʔϩϯ ͷঢ়ଶ • Ұ౓ͷܭࢉͰॏΈΛܾఆʢඇ൓෮తʣ • ੜ෺ֶతͳϔϒଇʹجͮ͘ هԱ༰ྔͱಛ௃ • ཧ࿦తͳهԱ༰ྔɿ  ◦ ݸͷχϡʔϩϯͰ໿ ݸͷύλʔϯΛهԱՄೳ • ϊΠζΛؚΉೖྗ͔Βͷ૝ى͕Մೳ • ύλʔϯͷҰ෦͔ΒશମΛ࠶ߏ੒ wij = 1 N ∑p μ=1 sμ i sμ j i ≠ j N p sμ i μ i pmax ≈ 0.14N N 0.14N
  9. δΣϑϦʔɾώϯτϯࢯͷ঺հ Ill. Niklas Elmehed © Nobel Prize Outreach ܦྺͱݚڀ෼໺ •

    ೥ΠΪϦεੜ·ΕɺʮσΟʔϓϥʔχϯάͷ෕ʯ • τϩϯτେֶڭतɺ(PPHMF3FTFBSDIॴଐ • ೝ஌৺ཧֶ͔Βਓ޻஌ೳݚڀ΁ • ਂ૚ֶशͷཧ࿦తجૅΛཱ֬ ओͳۀ੷ • ޡࠩٯ఻೻๏ͷ࠶ൃݟʢ೥ʣ • %FFQ#FMJFG/FUXPSLͷఏҊʢ೥ʣ • νϡʔϦϯά৆ड৆ʢ೥ʣ • "*҆શੑ΁ͷܯ৊ʢ೥ʣ
  10. എܠͱ஀ੜ ։ൃͷഎܠ • ೥୅ɺϗοϓϑΟʔϧυωοτϫʔΫͷݶք • ౷ܭྗֶʢϘϧπϚϯ෼෍ʣͷԠ༻Λண૝ • )JOUPO4FKOPXTLJʹΑΔڞಉݚڀʢ೥ʣ • ֬཰తͳৼΔ෣͍ͷಋೖ

    ओཁͳֵ৽఺ • ֬཰తͳχϡʔϩϯͷಋೖ • Թ౓ύϥϝʔλʹΑΔ੍ޚ • ӅΕϢχοτͷಋೖ • ΤωϧΪʔ࠷খԽͱ֬཰తֶशͷ౷߹
  11. جຊΞʔΩςΫνϟ ωοτϫʔΫߏ଄ • Մࢹ૚ͱӅΕ૚ͷ૚ߏ଄ • ͢΂ͯͷϢχοτ͕ؒ૒ํ޲ʹ݁߹ • ֬཰తͳঢ়ଶભҠɿ  ◦

    ɿঢ়ଶมԽʹ൐͏ΤωϧΪʔมԽ ◦ ɿԹ౓ύϥϝʔλ ΤωϧΪʔؔ਺ •  ◦ ɿϢχοτؒͷ݁߹ॏΈ ◦ ɿϢχοτͷঢ়ଶʢ·ͨ͸ʣ ◦ ɿόΠΞε߲ • Թ౓ ʹΑͬͯঢ়ଶ෼෍Λ੍ޚ p(si = 1) = 1 1 + e−ΔEi/T ΔEi T E = − ∑ i<j wij si sj − ∑ i θi si wij si θi T
  12. ಈ࡞ϝΧχζϜ ঢ়ଶભҠͷ࢓૊Έ • ϘϧπϚϯ෼෍ʹै͏֬཰తͳঢ়ଶߋ৽ ◦  ◦ ɿ෼഑ؔ਺ ɿશϢχοτͷঢ়ଶϕΫτϧ •

    ΪϒεαϯϓϦϯάʹΑΔঢ়ଶભҠ ◦ϥϯμϜʹબΜͩϢχοτΛ֬཰తʹߋ৽ ◦೤ฏߧঢ়ଶʹ౸ୡ͢Δ·Ͱ܁Γฦ͠ Թ౓੍ޚͱ࠷దԽ • γϛϡϨʔςουΞχʔϦϯάͷར༻ ◦ߴԹ͔Β։࢝͠ɺঃʑʹԹ౓ΛԼ͛Δ ◦ہॴղճආͱେҬత࠷దԽ • Թ౓ʹΑΔ୳ࡧɾऩଋͷ੍ޚ ◦ߴԹɿϥϯμϜͳ୳ࡧ௿Թɿہॴతͳ࠷దԽ P(s) = 1 Z e−E(s)/T Z s
  13. ֶशΞϧΰϦζϜ ֶशͷجຊࣜ • ॏΈߋ৽ଇɿ  ◦ ɿֶश཰ ◦ ɿσʔλͷظ଴஋ʢਖ਼૬ʣ ◦

    ɿϞσϧͷظ଴஋ʢෛ૬ʣ ࣮૷্ͷ޻෉ • ίϯτϥεςΟϒμΠόʔδΣϯεʢ$%ʣ๏ͷಋೖ ◦׬શͳऩଋΛ଴ͨͣʹֶश ◦গ਺εςοϓͷαϯϓϦϯάͰ୅༻ • Թ౓εέδϡʔϧͷઃఆ ◦ֶशॳظ͸ߴԹͰ୳ࡧతʹ ◦ֶशޙظ͸௿ԹͰऩଋΛଅਐ Δwij = η(⟨si sj ⟩data − ⟨si sj ⟩model ) η ⟨ ⋅ ⟩data ⟨ ⋅ ⟩model