ゼロから始める大規模言語モデル入門

େن໛ݴޠϞσϧɺ ͍͢͝ͷ͸஌ͬͯΔ $IBU(15΋࢖ͬͨ͜ͱ͋Δ

࣮຿ɾݚڀͷͨΊʹ͸Կ͕ඞཁʁ

Α͋͘Δέʔε ΑΓܰྔͳ--.Λߏங͢ΔͨΊͷΞΠσΞΛఏҊ͍ͨ͠ ݚڀ

Α͋͘Δέʔε ΑΓܰྔͳ--.Λߏங͢ΔͨΊͷΞΠσΞΛఏҊ͍ͨ͠ ݚڀ طଘ--.ͷΞʔΩςΫνϟʹର͢Δཧղ େྔͷߦྻԋࢉ͕ϘτϧωοΫʹͳ͍ͬͯΔ ΑΓγϯϓϧͳܭࢉʹ͢ΔͨΊʹʓʓΛࢼͯ͠ΈΑ͏ Ծ આ

Α͋͘Δέʔε ΑΓܰྔͳ--.Λߏங͢ΔͨΊͷΞΠσΞΛఏҊ͍ͨ͠ ݚڀ طଘख๏ͷཧղ͕Ծઆʹܨ͕Δ ͦͷͨΊʹ਺ֶɾਂ૚ֶशͷجૅཧղ͕ඞཁ طଘ--.ͷΞʔΩςΫνϟʹର͢Δཧղ େྔͷߦྻԋࢉ͕ϘτϧωοΫʹͳ͍ͬͯΔ ΑΓγϯϓϧͳܭࢉʹ͢ΔͨΊʹʓʓΛࢼͯ͠ΈΑ͏ Ծ
આ

Α͋͘Δέʔε --.ʹࣾ಺ࢿྉΛࢀরͤͯ͞ɺࣾһͷٙ໰ʹ౴͑ΔνϟοτϘοτΛ࡞Γ͍ͨ ࣮຿

Α͋͘Δέʔε --.ʹࣾ಺ࢿྉΛࢀরͤͯ͞ɺࣾһͷٙ໰ʹ౴͑ΔνϟοτϘοτΛ࡞Γ͍ͨ ࣮຿ ࣾһ ࣾ༻1$ʹෆ۩߹͕ى͖ͨɻͲ͜ʹ໰͍߹ΘͤͨΒྑ͍ʁ --. ۀ຿ϚχϡΞϧʹΑΔͱʜ ۀ຿υΩϡϝϯτ

Α͋͘Δέʔε --.ʹࣾ಺ࢿྉΛࢀরͤͯ͞ɺࣾһͷٙ໰ʹ౴͑ΔνϟοτϘοτΛ࡞Γ͍ͨ ࣮຿ ࣾһ ࣾ༻1$ʹෆ۩߹͕ى͖ͨɻͲ͜ʹ໰͍߹ΘͤͨΒྑ͍ʁ --. ۀ຿ϚχϡΞϧʹΑΔͱʜ --.ͷ஌֦ࣝுΛηΩϡΞʹ࣮ݱ͍ͨ͠ ͦͷͨΊʹʮ--.Λಈ͔͢ϓϩάϥϜʯΛॻ͘εΩϧ͕༗ޮ
ۀ຿υΩϡϝϯτ

࣮຿ɾݚڀͷͨΊʹ͸Կ͕ඞཁʁ ਺ֶɾਂ૚ֶशͷجૅཧղ ʮ--.Λಈ͔͢ϓϩάϥϜʯΛॻ͘εΩϧ

ϚελϦϯά--. ਺ֶͱਂ૚ֶशͷجૅ --.ͷೳྗΛ֦ு͢Δٕज़ --.ͷࠜװΛࢧ͑Δٕज़Ͱ͋Δ5SBOTGPSNFSΛཧղ͢ΔͨΊͷ ࠷௿ݶͷ਺ֶͱਂ૚ֶशͷ஌ࣝ --.ͷೳྗΛ࠷େݶʹҾ͖ग़ͨ͢Ίͷ1ZUIPOϥΠϒϥϦͱͯ͠ ࠷΋Α͘ར༻͞Ε͍ͯΔ-BOH$IBJOͷجຊػೳ

਺ֶͱਂ૚ֶशͷجૅ ߦྻͱਂ૚ֶश 5SBOTGPSNFS ຒΊࠐΈ ςΩετΛܭࢉͷର৅ͱͯ͠ѻ͏ٕ๏ (15Λ͸͡Ίͱ͢Δଟ͘ͷ--.ͷج൫ ˞ ˞7BTXBOJ "TIJTI
FUBM"UUFOUJPOJTBMMZPVOFFE"EWBODFTJOOFVSBMJOGPSNBUJPOQSPDFTTJOHTZTUFNT

਺ֶͱਂ૚ֶशͷجૅ ߦྻͱਂ૚ֶश 5SBOTGPSNFS ຒΊࠐΈ ςΩετΛܭࢉͷର৅ͱͯ͠ѻ͏ٕ๏ (15Λ͸͡Ίͱ͢Δଟ͘ͷ--.ͷج൫

ਂ૚ֶशχϡʔϥϧωοτϫʔΫʹΑΔػցֶश ೖྗ૚ ग़ྗ૚ தؒ૚ T χϡʔϥϧωοτϫʔΫ

ਂ૚ֶशχϡʔϥϧωοτϫʔΫʹΑΔػցֶश ೖྗ૚ ग़ྗ૚ தؒ૚ T χϡʔϥϧωοτϫʔΫ ೖྗ͞Εͨσʔλͷಛ௃Λද͢ϕΫτϧʢʹ਺஋ͷྻʣ

ਂ૚ֶशχϡʔϥϧωοτϫʔΫʹΑΔػցֶश ೖྗ૚ ग़ྗ૚ தؒ૚ T χϡʔϥϧωοτϫʔΫ ೖྗ͞Εͨσʔλͷಛ௃Λද͢ϕΫτϧʢʹ਺஋ͷྻʣ ϕΫτϧ͔ΒϕΫτϧ΁ͷม׵

ߦྻͱਂ૚ֶश ϕΫτϧ [ 1 2 3 ] ਺͕ॎʹฒΜͩ΋ͷ  
ਖ਼֬ʹ͸ʮྻϕΫτϧʯͱݺͿ [ 1 2 3 ] ࣍ݩϕΫτϧ 1 2 3 4 ࣍ݩϕΫτϧ

ߦྻͱਂ૚ֶश ߦྻ ਺Λॎԣʹฒ΂ͨ΋ͷ 1 2 3 4 5 6
7 8 9 [ 1 2 3 4 5 6] [ 1 2 3 4 5 6 ]

1 2 3 4 5 6 7 8 9 ߦྻͱਂ૚ֶश
[ 1 2 3 4 5 6] [ 1 2 3 4 5 6 ] ߦ ྻ ߦྻ ਺Λॎԣʹฒ΂ͨ΋ͷ

1 2 3 4 5 6 7 8 9 ߦྻͱਂ૚ֶश
[ 1 2 3 4 5 6] [ 1 2 3 4 5 6 ] ߦ ྻ ߦྻ 3 × 3 ߦྻ 2 × 3 ߦྻ 3 × 2 ߦྻ ਺Λॎԣʹฒ΂ͨ΋ͷ

1 2 3 4 5 6 7 8 9 ߦྻͱਂ૚ֶश
[ 1 2 3 4 5 6] [ 1 2 3 4 5 6 ] ߦ ྻ ߦྻ 3 × 3 ߦྻ 2 × 3 ߦྻ 3 × 2 ߦྻ ਺Λॎԣʹฒ΂ͨ΋ͷ ϕΫτϧ͔ΒϕΫτϧ΁ͷม׵

ʮߦྻ͸ϕΫτϧΛϕΫτϧʹม׵͢Δʯ Ͳ͏͍͏͜ͱ͔ʁ

ߦྻͱϕΫτϧͷੵ [ a b c d] [ 2 3]

ߦྻͱϕΫτϧͷੵ [ a b c d] [ 2 3]
= [ 2a + 3b 2c + 3d]

[ a b c d] [ 2 3] = [
2a + 3b 2c + 3d] ߦྻͱϕΫτϧͷੵ

[ a b c d] [ 2 3] = [
2a + 3b 2c + 3d] ߦྻͱϕΫτϧͷੵ ม׵લ ม׵ޙ

[ a b c d] [ 2 3] = [
2a + 3b 2c + 3d] ߦྻͱϕΫτϧͷੵ ม׵લ ม׵ޙ ม׵ͷ࢓ํม׵લͷϕΫτϧͷ֤஋Λɺ   ม׵ޙͷϕΫτϧʹͲ͏൓өͤ͞Δ͔Λද͢

[ a b c d] [ 2 3] = [
2a + 3b 2c + 3d] ߦྻͱϕΫτϧͷੵ ม׵લ ม׵ޙ ม׵ͷ࢓ํม׵લͷϕΫτϧͷ֤஋Λɺ   ม׵ޙͷϕΫτϧʹͲ͏൓өͤ͞Δ͔Λද͢ ઢܗม׵

χϡʔϥϧωοτϫʔΫͷجຊཁૉ ઢܗม׵ ׆ੑԽؔ਺ 'FFE'PSXBSE/FUXPSL

χϡʔϥϧωοτϫʔΫͷجຊཁૉ ઢܗม׵ ׆ੑԽؔ਺ 'FFE'PSXBSE/FUXPSL ֶशߦྻʢઢܗม׵ʣͷ֤஋Λௐ੔͢Δ͜ͱ

͜͜·Ͱͷ੔ཧ ߦྻ͸ϕΫτϧ͔ΒϕΫτϧ΁ͷม׵Ͱ͋Δ 'FFE'PSXBSE/FUXPSLɿχϡʔϥϧωοτͷجຊཁૉ

਺ֶͱਂ૚ֶशͷجૅ ߦྻͱਂ૚ֶश 5SBOTGPSNFS ຒΊࠐΈ ςΩετΛܭࢉͷର৅ͱͯ͠ѻ͏ٕ๏ (15Λ͸͡Ίͱ͢Δଟ͘ͷ--.ͷج൫

ຒΊࠐΈ 'FFE'PSXBSE/FUXPSL͸ɺ૚ঢ়ͷχϡʔϥϧ ωοτϫʔΫͰɺ֤૚ͷϊʔυ͕࣍ͷ૚ͷϊʔ υʹ޲͚ͯͷΈ৘ใΛ఻͑ΔҰํ޲ͷ઀ଓΛ࣋ ͭɻ͜ͷωοτϫʔΫͰ͸ʜ 'FFE'PSXBSE/FUXPSLͱ͸ʁ Ṗͷॲཧ

ຒΊࠐΈ 'FFE'PSXBSE/FUXPSL͸ɺ૚ঢ়ͷχϡʔϥϧ ωοτϫʔΫͰɺ֤૚ͷϊʔυ͕࣍ͷ૚ͷϊʔ υʹ޲͚ͯͷΈ৘ใΛ఻͑ΔҰํ޲ͷ઀ଓΛ࣋ ͭɻ͜ͷωοτϫʔΫͰ͸ʜ 'FFE'PSXBSE/FUXPSLͱ͸ʁ Ṗͷॲཧ χϡʔϥϧωοτ͕ܭࢉΛ͍ͯ͠Δ

ຒΊࠐΈ 'FFE'PSXBSE/FUXPSL͸ɺ૚ঢ়ͷχϡʔϥϧ ωοτϫʔΫͰɺ֤૚ͷϊʔυ͕࣍ͷ૚ͷϊʔ υʹ޲͚ͯͷΈ৘ใΛ఻͑ΔҰํ޲ͷ઀ଓΛ࣋ ͭɻ͜ͷωοτϫʔΫͰ͸ʜ 'FFE'PSXBSE/FUXPSLͱ͸ʁ Ṗͷॲཧ χϡʔϥϧωοτ͕ܭࢉΛ͍ͯ͠Δ จࣈΛ࢖ͬͯͲ͏ܭࢉ͢Δͷ͔ʁ

ਂ૚ֶशχϡʔϥϧωοτϫʔΫʹΑΔػցֶश ೖྗ૚ ग़ྗ૚ தؒ૚ T χϡʔϥϧωοτϫʔΫ ೖྗ͞Εͨσʔλͷಛ௃Λද͢ϕΫτϧʢʹ਺஋ͷྻʣ ϕΫτϧ͔ΒϕΫτϧ΁ͷม׵

ຒΊࠐΈ ςΩετͷಛ௃Λද͢ϕΫτϧΛ࡞Δख๏ ಛʹɺχϡʔϥϧωοτΛ࢖͏৔߹ΛຒΊࠐΈͱݺͿ

ຒΊࠐΈ 'FFE'PSXBSE/FUXPSLͱ͸ʁ τʔΫϯԽ 'FFE'PSXBSE/FUXPSLͱ͸ʁ ຒΊࠐΈ ʜ ʜ ʜ ʜ
ʜ 'FFE 'PSXBSE /FUXPSL ͱ͸ w τʔΫϯͷಛ௃Λද͢ϕΫτϧ w ຒΊࠐΈϕΫτϧͱݺͿ w ਺ඦʙ਺ઍ࣍ݩ χϡʔϥϧωοτϫʔΫΛ࢖͏

਺ֶͱਂ૚ֶशͷجૅ ߦྻͱਂ૚ֶश 5SBOTGPSNFS (15Λ͸͡Ίͱ͢Δଟ͘ͷ--.ͷج൫ ຒΊࠐΈ ςΩετΛܭࢉͷର৅ͱͯ͠ѻ͏ٕ๏

--.ͷجຊߏ੒ɿϕΫτϧྻͷม׵ ς Ω ε τ ྻ ʜ ʜ ʜ
ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ૯ τ Ϋ ϯ ਺

ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ૯ τ Ϋ ϯ ਺ ࣍ʹདྷΔτʔΫϯͷ֬཰෼෍Λ༧ଌ͍ͯ͠Δ

ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ૯ τ Ϋ ϯ ਺ ΄΅શͯͷϞσϧ͕5SBOTGPSNFSΛ࠾༻͍ͯ͠Δ

5SBOTGPSNFS͸Կ͕ੌ͍ͷ͔ʁ

ྺ࢙తલ਎ɿ3// ς Ω ε τ ྻ ʜ ʜ ʜ
ʜ ʜ 'FFE'PSXBSE 'FFE'PSXBSE 'FFE'PSXBSE 'FFE'PSXBSE 'FFE'PSXBSE ʜ ຒΊࠐΈϕΫτϧͷྻΛॱ൪ʹ''/Ͱม׵

ྺ࢙తલ਎ɿ3// ς Ω ε τ ྻ ʜ ʜ ʜ
ʜ ʜ 'FFE'PSXBSE 'FFE'PSXBSE 'FFE'PSXBSE 'FFE'PSXBSE 'FFE'PSXBSE ʜ ຒΊࠐΈϕΫτϧͷྻΛॱ൪ʹ''/Ͱม׵ ೖྗ͕௕͘ͳΔͱ৘ใଛࣦ͕ ܹ͘͠ͳΔ ॱ൪ʹม׵͢ΔͨΊɺܭࢉʹ   ͕͔͔࣌ؒΔ

5SBOTGPSNFS͸Կ͕ੌ͍ͷ͔ʁ ೖྗ͕௕͘ͳΔͱ৘ใଛࣦ͕ ܹ͘͠ͳΔ ॱ൪ʹม׵͢ΔͨΊɺܭࢉʹ   ͕͔͔࣌ؒΔ 3// 5SBOTGPSNFS ೖྗ௕ʹΑΔ৘ใଛࣦ͕ͳ͍
શͯͷτʔΫϯΛฒྻʹॲཧ͢ΔͨΊɺ ޮ཰Խ͕͠΍͍͢

5SBOTGPSNFSͷΞʔΩςΫνϟ ·ͣ͸શମ૾Λ೺Ѳ͢Δ

5SBOTGPSNFSͷΞʔΩςΫνϟ Ϛϧνϔου ࣗݾ஫ҙ Ճࢉਖ਼نԽ 'FFE'PSXBSE   /FUXPSL Ճࢉਖ਼نԽ ϚεΫ෇͖
  Ϛϧνϔου ࣗݾ஫ҙ Ճࢉਖ਼نԽ Ϛϧνϔου ࣗݾ஫ҙ Ճࢉਖ਼نԽ Ճࢉਖ਼نԽ ೖྗςΩετ ग़ྗςΩετ 'FFE'PSXBSE   /FUXPSL ઢܗม׵ ιϑτϚοΫεؔ਺ ֬཰෼෍ ҐஔຒΊࠐΈ ҐஔຒΊࠐΈ 🌟 🌟 🌟 /ʷ ʷ/

  Ϛϧνϔου ࣗݾ஫ҙ Ճࢉਖ਼نԽ Ϛϧνϔου ࣗݾ஫ҙ Ճࢉਖ਼نԽ Ճࢉਖ਼نԽ ೖྗςΩετ ग़ྗςΩετ 'FFE'PSXBSE   /FUXPSL ઢܗม׵ ιϑτϚοΫεؔ਺ ֬཰෼෍ ҐஔຒΊࠐΈ ҐஔຒΊࠐΈ 🌟 🌟 🌟 Τϯίʔμ ೖྗϕΫτϧྻΛ पลจ຺Λߟྀͨ͠ϕΫτϧྻʹΞοϓσʔτ ೿ੜϞσϧɿ#&35 FUD

  Ϛϧνϔου ࣗݾ஫ҙ Ճࢉਖ਼نԽ Ϛϧνϔου ࣗݾ஫ҙ Ճࢉਖ਼نԽ Ճࢉਖ਼نԽ ೖྗςΩετ ग़ྗςΩετ 'FFE'PSXBSE   /FUXPSL ઢܗม׵ ιϑτϚοΫεؔ਺ ֬཰෼෍ ҐஔຒΊࠐΈ ҐஔຒΊࠐΈ 🌟 🌟 🌟 σίʔμ Τϯίʔμͷग़ྗΛجʹ ςΩετྻΛੜ੒͢Δ ೿ੜϞσϧɿ(15 -MBNB FUD

  Ϛϧνϔου ࣗݾ஫ҙ Ճࢉਖ਼نԽ Ϛϧνϔου ࣗݾ஫ҙ Ճࢉਖ਼نԽ Ճࢉਖ਼نԽ ೖྗςΩετ ग़ྗςΩετ 'FFE'PSXBSE   /FUXPSL ઢܗม׵ ιϑτϚοΫεؔ਺ ֬཰෼෍ ҐஔຒΊࠐΈ ҐஔຒΊࠐΈ 🌟 🌟 🌟

  Ϛϧνϔου ࣗݾ஫ҙ Ճࢉਖ਼نԽ Ϛϧνϔου ࣗݾ஫ҙ Ճࢉਖ਼نԽ Ճࢉਖ਼نԽ ೖྗςΩετ ग़ྗςΩετ 'FFE'PSXBSE   /FUXPSL ઢܗม׵ ιϑτϚοΫεؔ਺ ֬཰෼෍ ҐஔຒΊࠐΈ ҐஔຒΊࠐΈ 🌟 🌟 🌟 ࣗݾ஫ҙ TFMGBUUFOUJPO w ϕΫτϧྻΛจ຺Λߟྀ͠ͳ͕Βม׵͢Δ w 5SBOTGPSNFSͷ࠷΋ॏཁͳ෦඼ w ࢓૊Έͷཧղ͸ඞਢ w ͕ͩɺ΍΍͍͜͠

ࣗݾ஫ҙ ஫ҙ BUUFOUJPO ͷҰछ

ࣗݾ஫ҙ ࣗݾ஫ҙ ʜ ʜ ʜ ࢲ ͸ ٢ా ʜ
ʜ ʜ ೖ ྗ ϕ Ϋ τ ϧ ྻ ग़ ྗ ϕ Ϋ τ ϧ ྻ ࢲ ͸ ٢ా

ࣗݾ஫ҙ ʜ ʜ ʜ ࢲ ͸ ٢ా ʜ ʜ
ʜ ࢲ ͸ ٢ా ࣗݾ஫ҙ ೖ ྗ ϕ Ϋ τ ϧ ྻ ग़ ྗ ϕ Ϋ τ ϧ ྻ

ࣗݾ஫ҙ ʜ ʜ ʜ ࢲ ͸ ٢ా ʜ ʜ
ʜ ࢲ ͸ ٢ా ࣗݾ஫ҙ ʮࢲʯ͚ͩͰͳ͘ ʮ͸ʯͱʮ٢ాʯͷ৘ใ΋ؚΉ ೖ ྗ ϕ Ϋ τ ϧ ྻ ग़ ྗ ϕ Ϋ τ ϧ ྻ

ࣗݾ஫ҙ ೖྗϕΫτϧྻʹࡾͭͷઢܗม׵Λద༻͠ɺϕΫτϧྻΛ   ࡾͭ࡞ΔʢͦΕͧΕΫΤϦɾΩʔɾόϦϡʔͱݺͿʣ ʜ ʜ ʜ ʜ
ʜ ʜ ʜ ʜ ʜ ΫΤϦ Ωʔ όϦϡʔ ࢲ ͸ ٢ా ࢲ ͸ ٢ా ࢲ ͸ ٢ా

ࣗݾ஫ҙ ೖྗϕΫτϧྻʹࡾͭͷઢܗม׵Λద༻͠ɺϕΫτϧྻΛ   ࡾͭ࡞ΔʢͦΕͧΕΫΤϦɾΩʔɾόϦϡʔͱݺͿʣ ʜ ʜ ʜ ʜ
ʜ ʜ ʜ ʜ ʜ ΫΤϦ Ωʔ όϦϡʔ ࢲ ͸ ٢ా ࢲ ͸ ٢ా ྫ͑͹ʮࢲʯϕΫτϧͷܭࢉʹ͸͜ΕΒΛ࢖͏ ࢲ ͸ ٢ా

ࣗݾ஫ҙ ΫΤϦͱΩʔͷ಺ੵΛٻΊΔ ΫΤϦ Ωʔ ʜ ʜ ʜ ʜ
ࢲ ࢲ ͸ ٢ా ʜ ʜ ʜ ʜ ͸ ࢲ ͸ ٢ా ʜ ʜ ʜ ʜ ٢ా ࢲ ͸ ٢ా

ࣗݾ஫ҙ ΫΤϦͱΩʔͷ಺ੵΛٻΊΔ ΫΤϦ Ωʔ ʜ ʜ ʜ ʜ
ࢲ ࢲ ͸ ٢ా ʜ ʜ ʜ ʜ ͸ ࢲ ͸ ٢ా ʜ ʜ ʜ ʜ ٢ా ࢲ ͸ ٢ా ֤੒෼ͷੵͷ࿨ ϕΫτϧ͕ࣅ͍ͯΔͱେ͖ͳ஋ʹͳΔ

ࣗݾ஫ҙ ٻΊͨ಺ੵʷόϦϡʔϕΫτϧͷ࿨Λ࡞Δ ΫΤϦ Ωʔ ʜ ʜ ʜ ʜ
ࢲ ࢲ ͸ ٢ా ʷ ʜ 🌟 ࢲ ʜ ʜ ʜ ࢲ ͸ ٢ా ʷ ʷ ʹ

Ϛϧνϔουࣗݾ஫ҙෳ਺ͷࣗݾ஫ҙΛฒྻܭࢉ ʜ ʜ ʜ ೖ ྗ ϕ Ϋ τ
ϧ ྻ ग़ ྗ ϕ Ϋ τ ϧ ྻ Ϛϧνϔου ࣗݾ஫ҙ ʜ ʜ ʜ

--.Ͱ޿͘࠾༻͞Ε͍ͯΔΞʔΩςΫνϟ ϚεΫ෇͖   Ϛϧνϔου ࣗݾ஫ҙ Ճࢉਖ਼نԽ Ճࢉਖ਼نԽ ग़ྗςΩετ 'FFE'PSXBSE
  /FUXPSL ઢܗม׵ ιϑτϚοΫεؔ਺ ֬཰෼෍ ҐஔຒΊࠐΈ w (15 w -MBNB w FUD ্هҎ֎΋ɺେ࿮ͷߏ੒͸ ͜ͷܗͰ͋Δ͜ͱ͕ଟ͍

5SBOTGPSNFS͸Կ͕ੌ͍ͷ͔ʁ ೖྗ͕௕͘ͳΔͱ৘ใଛࣦ͕ ܹ͘͠ͳΔ ॱ൪ʹม׵͢ΔͨΊɺܭࢉʹ   ͕͔͔࣌ؒΔ 3// 5SBOTGPSNFS ೖྗ௕ʹΑΔ৘ใଛࣦ͕ͳ͍
શͯͷτʔΫϯΛฒྻʹॲཧ͢ΔͨΊɺ ޮ཰Խ͕͠΍͍͢

ݚڀτϐοΫͷ঺հ

ݚڀτϐοΫͷ঺հ --.ͷܰྔԽ w --.ͷେ͖ͳ՝୊ͷͻͱͭ͸ɺֶश΍ੜ੒ʹ͔͔ΔίετͰ͋Δ w ྔࢠԽ΍-P3"ͱ͍ͬͨख๏Λ༻͍ͨɺΑΓܰྔͳ--.ͷ࣮ݱ͕໨ࢦ͞Ε͍ͯΔ ؔ࿈จݙ )V &EXBSE+
FUBM-PSB-PXSBOLBEBQUBUJPOPGMBSHFMBOHVBHFNPEFMTBS9JWQSFQSJOUBS9JW 8BOH )POHZV FUBM#JUOFU4DBMJOHCJUUSBOTGPSNFSTGPSMBSHFMBOHVBHFNPEFMTBS9JWQSFQSJOUBS9JW 5SBOTGPSNFS͸࠷దͳͷ͔ w 5SBOTGPSNFS͕ݴޠϞσϧͱͯ͠࠷దͳΞʔΩςΫνϟ͔Ͳ͏͔͸ࣗ໌Ͱ͸ͳ͍ w 3//΍ঢ়ଶۭؒϞσϧͳͲΛϕʔεͱͨ͠ɺ5SBOTGPSNFSʹऔͬͯ୅ΘΔϞσϧͷՄೳੑ͕   ໛ࡧ͞Ε͍ͯΔ ؔ࿈จݙ 1FOH #P FUBM3XLW3FJOWFOUJOHSOOTGPSUIFUSBOTGPSNFSFSBBS9JWQSFQSJOUBS9JW (V "MCFSU BOE5SJ%BP.BNCB-JOFBSUJNFTFRVFODFNPEFMJOHXJUITFMFDUJWFTUBUFTQBDFTBS9JWQSFQSJOUBS9JW

ݚڀτϐοΫͷ঺հ 3"(৘ใநग़ͱͷΠϯλϥΫγϣϯ w --.͸ֶशʹ͔͔Δίετ͕๲େͳͨΊɺ৽ͨͳ஌ࣝΛ༩͑Δͷ͸؆୯Ͱ͸ͳ͍ w --.ͷ஌ࣝΛิ׬͢ΔͨΊͷख๏ͱͯ͠ɺ3FUSJFWBM"VHNFOUFE(FOFSBUJPO͕஫໨͞Ε͍ͯΔ ؔ࿈จݙ (BP :VOGBO
FUBM3FUSJFWBMBVHNFOUFEHFOFSBUJPOGPSMBSHFMBOHVBHFNPEFMT"TVSWFZBS9JWQSFQSJOUBS9JW

਺ֶͱਂ૚ֶशͷجૅ ߦྻͱਂ૚ֶश 5SBOTGPSNFS ຒΊࠐΈ ςΩετΛܭࢉͷର৅ͱͯ͠ѻ͏ٕ๏ (15Λ͸͡Ίͱ͢Δଟ͘ͷ--.ͷج൫ ˞ ˞7BTXBOJ "TIJTI
FUBM"UUFOUJPOJTBMMZPVOFFE"EWBODFTJOOFVSBMJOGPSNBUJPOQSPDFTTJOHTZTUFNT

ϚελϦϯά--. ਺ֶͱਂ૚ֶशͷجૅ --.ͷೳྗΛ֦ு͢Δٕज़ --.ͷࠜװΛࢧ͑Δٕज़Ͱ͋Δ5SBOTGPSNFSΛཧղ͢ΔͨΊͷ ࠷௿ݶͷ਺ֶͱਂ૚ֶशͷ஌ࣝ --.ͷೳྗΛ࠷େݶʹҾ͖ग़ͨ͢Ίͷ1ZUIPOϥΠϒϥϦͱͯ͠ ࠷΋Α͘ར༻͞Ε͍ͯΔ-BOH$IBJOͷجຊػೳ

Α͋͘Δέʔε --.ʹࣾ಺ࢿྉΛࢀরͤͯ͞ɺࣾһͷٙ໰ʹ౴͑ΔνϟοτϘοτΛ࡞Γ͍ͨ ࣮຿ ࣾһ ࣾ༻1$ʹෆ۩߹͕ى͖ͨɻͲ͜ʹ໰͍߹ΘͤͨΒྑ͍ʁ ۀ຿υΩϡϝϯτ --. ۀ຿ϚχϡΞϧʹΑΔͱʜ --.ͷ஌֦ࣝுΛηΩϡΞʹ࣮ݱ͍ͨ͠
ͦͷͨΊʹʮ--.Λಈ͔͢ϓϩάϥϜʯΛॻ͘εΩϧ͕༗ޮ

3"( --.ͷ஌֦ࣝு

3"( ϓϨʔϯ--. 3"( νϟοτϞσϧ ϓϩϯϓτ ೖྗςΩετ ग़ྗςΩετ ϓϩϯϓτ ֎෦஌ࣝ
จຒΊࠐΈϞσϧ ʜ ϓϩϯϓτϕΫτϧ ʜ ֎෦஌ࣝϕΫτϧ ʜ ʜ

จຒΊࠐΈϞσϧ ʜ ϓϩϯϓτϕΫτϧ ʜ ֎෦஌ࣝϕΫτϧ ʜ ʜ ϓϩϯϓτͱؔ࿈ͷڧ͍ ֎෦஌ࣝ

จຒΊࠐΈϞσϧ ʜ ϓϩϯϓτϕΫτϧ ʜ ֎෦஌ࣝϕΫτϧ ʜ ʜ ϓϩϯϓτͱؔ࿈ͷڧ͍ ֎෦஌ࣝ ϓϩϯϓτ νϟοτϞσϧ

ゼロから始める大規模言語モデル入門

ゼロから始める大規模言語モデル入門

More Decks by 数理の弾丸

Featured

Transcript