第３回G検定合格講座 1. 活性化関数 2. 学習率の最適化 3. 更なるテクニック 4. CNN:畳み込みニューラルネットワーク
Έ͜Ͱ*5ෑډͷ͍"*ษڧձϓϨθϯλʔɹTomohiro Iidaࢀߟॻ੶ɹʮσΟʔϓϥʔχϯάɹGݕఆެࣜςΩετʯɹमɿJDLA
View Slide
ΞδΣϯμ ࣗݾհʢʣ ࢀՃऀͦΕͧΕͷࣗݾհʢʣ (ݕఆ߹֨ߨ࠲ ./*45ϋϯζΦϯʢʣ
ࣗݾհʢʣ ࢀՃऀͦΕͧΕͷࣗݾհʢʣ (ݕఆ߹֨ߨ࠲ ./*45ϋϯζΦϯʢʣ
ܦྺ
ࢯ໊ʢϋϯυϧωʔϜՄʣझຯࠓͷே͝ΜԿΛ৯·͔ͨ͠ʁࢀՃऀࣗݾհ
(ݕఆ߹֨ߨ࠲ θωϥϦετʹ͍ͭͯ (ݕఆ֓ཁઆ໌ʢఆٛɾࢼݧ༰ʣ ୈ̒ষʢσΟʔϓϥʔχϯάͷख๏ʣ
ࠓޙधཁ͕ߴ·Δ"*ਓࡐͷখʮ"*ΤϯδχΞʹݶΒͣͰ͕͢ɺ ࠓɺݱʹΓͳ͍ͷθωϥϦετͱͯ͠׆༂Ͱ͖Δਓ ͩͱ͍͏͜ͱ͕Α͘ݴΘΕ͍ͯ·͢ɻΞϧΰϦζϜɺΤϯδχΞϦϯάɺϏδωεɺͦͷͯ͢ͷͰೳྗΛൃشͰ͖Δਓ͕ٻΊΒΕ͍ͯΔΑ͏Ͱ͢ɻʯCZגࣜձࣾϝϧΧϦɹ"*ΤϯδχΞɹদԬྰԻ͞ΜIUUQTUZQFKQFUGFBUVSF
IUUQTUZQFKQFUGFBUVSF(ݕఆͷ֓ཁઆ໌ఆٛ(ݕఆͱʁɹ"*δΣωϥϦετΛഉग़͢ΔͨΊͷݕఆͷ͜ͱɹ"*δΣωϥϦετͱʁɹʰσΟʔϓϥʔχϯάͷجૅࣝΛ༗͠ɺదͳ׆༻ํΛܾఆͯ͠ࣄۀԠ༻͢ΔೳྗΛ࣋ͭਓࡐʱʢ+%-"ެࣜ)1ʣ
(ݕఆͷ֓ཁઆ໌ࢼݧ֓ཁJDLAެࣜHPެࣜHPΛࢀর͠·͠ΐ͏ʂ
(ݕఆͷ֓ཁઆ໌ࢼݧ֓ཁ࣌ؒΊͬͪΌݫ͍͠ݸͷΛͰղ͢Δʹʹ͔͚ΒΕΔฏۉ࣌ؒඵ҉هଈͰ͖ΔϨϕϧʹ͠Α͏ʂˑ5*14ɹͯ͢ͷʹνΣοΫϘοΫε͕ଘࡏ͠·͢ɻɹগ͠ͰΜͩνΣοΫͯ͠ޙճ͠ʹͯ͠͠·͓͏ʂ
(ݕఆͷ֓ཁઆ໌ࢼݧ֓ཁݫ͠Ίؙ҉هͰͯ͢ʹ͑ΒΕͳ͍ɻσΟʔϓϥʔχϯάʹؔͯ͠ಛʹཧղΛਂΊ͍ͨͱ͜Ζɻˑ5*14ɹେ·͔ͳߏͪ͜ΒɻɹਓೳͷجૅࣝʢୈষʙୈষʣɹɹׂɹσΟʔϓϥʔχϯάʢୈষʙୈষʣɹɹׂɹ࢈ۀͷԠ༻ɾ࣌ࣄʢୈষʙୈষʣׂ
׆ੑԽؔ ֶशͷ࠷దԽ ߋͳΔςΫχοΫ $//ΈࠐΈχϡʔϥϧωοτϫʔΫ 3//ϦΧϨϯτχϡʔϥϧωοτϫʔΫ ਂڧԽֶश ਂੜϞσϧ(ݕఆ߹֨ߨ࠲ୈ6ষ:σΟʔϓϥʔχϯάͷख๏ ׆ੑԽؔ ֶशͷ࠷దԽ ߋͳΔςΫχοΫ $//ΈࠐΈχϡʔϥϧωοτϫʔΫ
׆ੑԽؔ ֶशͷ࠷దԽ ߋͳΔςΫχοΫ $//ΈࠐΈχϡʔϥϧωοτϫʔΫ
׆ੑԽؔύʔηϓτϩϯʹΑΔܭࢉೖྗ தؒ ग़ྗ[email protected]׆ੑԽؔʹΑΔܭࢉ׆ੑԽؔ
׆ੑԽؔͷׂϞσϧͷදݱྗΛ૿͢͜Μͳͷࣅ߹͏Μ͡Όͳ͍͔͠Β
εςοϓؔ[email protected]ใͷϩε͕ܹ͘͠දݱྗʹ͍͠ͷ͕ܽ
IUUQTOFXUFDIOPMPHZMJGFTUZMFOFU&&"&#&"&&'&&#&&""&&###&"&$&"&#&"&"'γάϞΠυؔೖྗ͕ͨ͠େ͖͚Εେ͖͍΄Ͳʹ͖ۙͮɺೖྗ͕ͨ͠খ͚͞Εখ͍͞΄Ͳʹۙͮؔ͘ɻݩͷೖྗͷΛࡴ͗͢͠ͳ͍ͱݴ͑Δɻ[email protected]
γάϞΠυؔχϡʔϥϧωοτϫʔΫͰ༻͍ΒΕΔ׆ੑԽ͕ؔͩݱࡏ͋·ΓΘΕ͍ͯͳ͍ɻγάϞΠυؔΛ׆ੑԽؔͱͯ͠༻͍Δͱޯফࣦͱ͍͏ݱ͕ى͜Γɺֶश͕ఀͯ͠͠·͏͜ͱ͕͋ΔͨΊɻIUUQTJNBHJOHTPMVUJPOOFUEFFQMFBSOJOHNBUIFNBUJDTEFSJWBUJWFPGTJHNPJEGVODUJPO
[email protected]ιϑτϚοΫεؔग़ྗͰΘΕΔؔɻҰൠతʹྨͰΘΕΔɻ
IUUQTTPOFPIBUFOBCMPHDPNFOUSZUBOIؔγάϞΠυؔΑΓਫ਼͕ग़͍͢ͷͷɺ͋͘·Ͱඍͷz࠷େz͕ʮ̍ʯͰ͋Γɺ̍ΑΓখ͍͞ʹͳͬͯ͠·͏έʔε͕΄΅શͯɻ ਂ͍ωοτϫʔΫͰɺޯফࣦΛ͙͜ͱ͕͍͠ɻ
ೖྗ͕ҎԼͳΒɺҎ্ͳΒͦͷ··ग़ྗ͢Δؔͷ͜ͱɻҎԼͷࣜͰදͤΔɻZNBY YIUUQTUFDICMPHHNPBQKQ&"'&"#&"%"&#'&&"&#$&&"&#$&#&#&#&"&#%#'&'&$&#&'#"&$"$&"&""3F-6ؔ3F-6ؔ࠷Ұൠʹ༻͍ΒΕΔ׆ੑԽؔɻ ͭͷେ͖ͳಛɿ ޯফࣦ͕ى͜Γʹ͍͘ ܭࢉ͍͢͠ͱ͍͏ 3F-6ؔ࠷׆ੑԽؔͱ͍ͯ͠উख͕͍͍ͱ͞ΕΔɻ
IUUQTTPOFPIBUFOBCMPHDPNFOUSZ3F-6ؔY͕ΑΓେ͖͍߹ɺඍৗʹ࠷େͰ͋Δ͕ಘΒΕΔɻޡࠩٯͷࡍʹޯ͕খ͘͞ͳΓʹ͍͘ ʢޯফࣦ͠ʹ͍͘ʣ
ޯ߱Լ๏ඍΛ׆༻͢Δ͜ͱʹΑͬͯɺϞσϧͷ༧ଌͱ ࣮ࡍͷʢຊͷਖ਼ղʣͱͷޡࠩΛͳ͍ͯ͘͘͠ɻͦͷΞϓϩʔνΛ࣮ݱ͢Δख๏ʹ ޯ߱Լ๏
ޯ߱Լ๏IUUQXXXQMBODWUJUFDIBDKQGVLVEBMBCCBDCEEBCDCBGDDGDQEGֶशΛ͏·ʙ͘ௐ͢Δ͜ͱ͕େ⭐ޯ߱Լ๏ͷߟ͑ํ˰্͔ΒϘʔϧΛམͱ͠Ұ൪͍ͱ͜Ζ୧Γண͘·ͰͭେҬ࠷దղʹຊͷ࠷దղہॴ࠷దղʹݟ͔͚ͤͷ࠷దղ
ޯ߱Լ๏࣌ࠁ𝑡Ͱ𝝎 𝑡ʹ͋ͬͨϘʔϧΛޯͷٯํಈ͔͢ࡍͷϧʔϧ𝝎(𝑡+1) = 𝝎(𝑡) + ∆𝝎(𝑡) , ∆𝝎(𝑡) = −𝜂𝛻𝐸 𝝎 𝑡 (4.9)𝑡 lͱॱ࣍܁Γฦ͢͜ͱͰɼޡࠩؔάϥϑͷఈ߱Γ͍ͯ͘ˎ̍εςοϓͷҠಈڑ∆𝝎 𝑡lֶशz𝜂Ͱܾఆ͞ΕΔIUUQXXXQMBODWUJUFDIBDKQGVLVEBMBCCBDCEEBCDCBGDDGDQEG
ޯ߱Լ๏ˎ̍εςοϓͷҠಈڑ ʮޯʹԊͬͯҰʹͲΕ͚ͩ߱Γ͍͔ͯ͘ʯ lֶशzʢϋΠύʔύϥϝʔλʣ
ޯ߱Լ๏ֶशͷऔΓํτϥΠΞϯυΤϥʔʹجͮ͘w ֶश͕େ͖͍ ˰ࠁΈ͕ߥ͗ͯ͢ޡࠩؔͷܗঢ়Λଊ͑ΒΕͣɼऩଋ͠ͳ͍ w ֶश͕খ͍͞ ˰ֶश͕Ұʹਐߦ͠ͳ͍IUUQXXXQMBODWUJUFDIBDKQGVLVEBMBCCBDCEEBCDCBGDDGDQEG
ࣗݾհIUUQTRJJUBDPN)JSPLJYJUFNTBBCEE
ϋΠύʔύϥϝʔλʁʁʁϋΠύʔύϥϝʔλʁʁʁIUUQTYOUKBBORKNKUGQDKEDPN&&##"&#&"&"#&$"$&#&"&"&&&&'#$&&"#&#"&'&$&&"&"&&'
υϩοϓΞτΘͨ͠ͷλʔϯʂ ຐ๏ΧʔυɹlΦʔόʔϑΟοςΟϯάzIUUQTCPLFUFKQCPLF͋͞ɺ࢝ΊΔΘΑɻҋͷήʔϜΛɾɾɾ
υϩοϓΞτͦ͜·Ͱͩ;&ͬˑΘͨ͠ ਓೳքͷࢧऀʹͳΔͷΑ ୭ʹअຐͤ͞ͳ͍Θɾɾɾ
υϩοϓΞττϥοϓΧʔυൃಈʂlυϩοϓΞτIUUQTNBUPNFOBWFSKQPEBJ
χϡʔϩϯΛϥϯμϜʹυϩοϓΞτ͠ɺ ΦʔόʔϑΟοςΟϯάΛ͙IUUQTRJJUBDPNNJOFJUFNTECBCCFGDυϩοϓΞτ
ςετσʔλʹର͢Δޡࠩؔͷ্͕Γ࢝ΊʹଧͪΓʹ࠷దͳλΠϛϯάͱݟͳ͢FBSMZTUPQQJOHֶशΛૣΊʹଧͪΔख๏./*45ϋϯζΦϯͰ֬ೝ͠·͢ʂ
σʔλͷਖ਼نԽ֤ಛྔΛdͷൣғʹม͢Δॲཧ./*45ϋϯζΦϯͰ֬ೝ͠·͢ʂ
σʔλͷඪ४Խඪ४Խ͢ΔͱԿ͕ྑ͍ͷ͔ʁ
$//ͱը૾σʔλʹదͨ͠ܗͷ χϡʔϥϧωοτϫʔΫը૾Λͦͷ··ͷܗʹ̎࣍ݩͰ ѻ͏͜ͱ͕Ͱ͖Δ$POWPMVUJPOBM/FVSBM/FUXPSL
$//ʢશମ૾ʣ$//ɺΈࠐΈϓʔϦϯάʹΑͬͯಘΒΕͨಛϚοϓͷ֤ϐΫηϧσʔλΛɺ χϡʔϥϧωοτϫʔΫͷೖྗͱͯ͠ར༻͢ΔɻIUUQTXXXBUNBSLJUDPKQBJUBSUJDMFTOFXTIUNM
$// ΈࠐΈIUUQTULFOHPHJUIVCJPCMPHVOEFSTUBOEJOHDPOWPMVUJPOBMOFVSBMOFUXPSLTGPSOMQ Χʔωϧ ʢϑΟϧλʔʣ
$// ϓʔϦϯάIUUQTULFOHPHJUIVCJPCMPHVOEFSTUBOEJOHDPOWPMVUJPOBMOFVSBMOFUXPSLTGPSOMQಛϚοϓͷ࠷େΛநग़͠ɺ ը૾αΠζΛܾΊΒΕͨϧʔϧʹैͬͯ খ͘͢͞ΔNBYϓʔϦϯά
$// શ݁߹ग़ྗͷܗΛ̍࣍ݩʹมܗ͢Δ௨ৗͷχϡʔϥϧωοτϫʔΫͱಉ͡ ʮӅΕʯʮग़ྗʯʹଓ͠ɺ
./*45ͱ./*45ͱɺը૾σʔληοτͷ͜ͱɻ ʢखॻ͖ࣈը૾ ຕͱɺςετը૾ ຕΛूΊͨͷʣ ҎԼ͕ϖΞʹͳ͍ͬͯΔɻखॻ͖ͷʙͷࣈ͕ॻ͔Εͨը૾σʔλͱɺͦͷը૾ʹॻ͔Ε࣮ͨࡍͷࣈσʔλ
./*45ͱIUUQTXFCMBCPPTDBTJFSSBOFUQZUIPOLFSBTNOJTUTBNQMFIUNMσʔλͷ༷ࢠ
./*45ͱIUUQTXFCMBCPPTDBTJFSSBOFUQZUIPOLFSBTNOJTUTBNQMFIUNMग़ྗ͜Μͳײ͡ࣈ ֬0 0.0141 0.0012 0.0133 0.7194 0.0345 0.0166 0.0237 0.0658 0.0869 0.029
ͰɺͬͯΈ·͠ΐ͏࣮
4FRVFOUJBMϞσϧIUUQNBSVQFLFDPN*,%"%[email protected]%[email protected]/[email protected],FSBTIUNM
͓͠·͍pO
asagiman
ammeep
thekraken
addyosmani
aki_iinuma
mraible
mthomps
erikaheidi
chrislema
kastner
jmmastey
3n
reverentgeek