Neural Network Consoleについて

Sony社の提供するNeural Network Consoleについて

https://dl.sony.com

Transcript

1. Neural Network Console ϋϯζΦϯ 2018.09.19
2. NNCͱ͸ʁ جૅ஌ࣝ
3. ιχʔͷఏڙ͢ΔσΟʔϓϥʔχϯά։ൃ؀ڥ ▸ Windows ൛ & Ϋϥ΢υ൛ ▸ ίʔσΟϯάϨε / ίϯϙʔωϯτͷυϥοά&υϩοϓ ▸ ੜ੒ͨ͠Ϟσϧ͸ϥΠϒϥϦʢOSSʣΛ༻͍ͯϓϩάϥϜ͔ Βར༻Մೳ https://dl.sony.com Neural Network Consoleͱ͸ʁ
4. Neural Network Consoleͱ͸ʁ Neural Network LibrariesͷωοτϫʔΫΛGUIͰߏஙɺ࣮ߦͰ͖Δ؀ڥ ▸ Ϋϥ΢υ΍WindowsΞϓϦͰGUIΛ࢖ͬͯσΟʔϓϥʔχϯάΛߏங ▸ τϨʔχϯάσʔλɺςετσʔλΛ࢖࣮ͬͯࡍʹ࣮ߦɺධՁ ▸ Ϟσϧ + PythonʹΑΔωοτϫʔΫΛهड़ͨ͠ίʔυΛμ΢ϯϩʔυʢWindowsʣ ▸ ϞσϧͱωοτϫʔΫΛҰͭʹͨ͠ϑΝΠϧΛμ΢ϯϩʔυʢΫϥ΢υʣ ▸ ͲͪΒ΋Python/C++/C͔Βར༻Մೳ
5. Neural Network Librariesͱ͸ʁ ιχʔͷ։ൃͨ͠σΟʔϓϥʔχϯάιϑτ΢ΣΞ ▸ Φʔϓϯιʔεͱͯ͠ެ։ʢGitHubʣ
 https://github.com/sony/nnabla ▸ ϥΠηϯε͸Apache 2.0 License ▸ Python/C++/CͰσΟʔϓϥʔχϯάΛهड़Մೳ ▸ ONNX΁ͷग़ྗʹରԠ
6. ྉۚମܥ WINDOWS / Ϋϥ΢υ൛ͰҟͳΓ·͢ ▸ Windows ൛͸ແྉ
 ࡞੒ͨ͠Ϟσϧͷ঎༻ར༻Մ ▸ Ϋϥ΢υ൛͸ैྔ՝ۚ
 CPU : 85ԁ/࣌ؒ ɹGPU : 210ԁ/࣌ؒʙ
 ετϨʔδ : 200ԁ/10GBʙ
7. ར༻Ͱ͖Δٕज़ ը૾͚ͩͰͳ͘ɺςΩετʹ΋ ▸ ͋Β͔͡ΊςΩετͷ୯ޠΛΠϯσοΫεԽʢ·ͨ͸ϕΫτϧ ܥྻʣʹม׵ͯ͠ར༻ ▸ ෳ਺ཁૉͷೖྗΛֶश͠ɺΧςΰϦ෼͚ʢྫɿ͋΍Ίͷڭࢣ͋ ΓσΟʔϓϥʔχϯάʣ ▸ Ԡ༻࣍ୈͰखॻ͖ೝࣝɺ෺ମೝࣝɺϔουδΣενϟʔͳͲ
8. σΟʔϓϥʔχϯά։ൃͷਏ͍ͱ͜Ζ PythonʹΑΔίʔσΟϯάඞਢ ▸ σΟʔϓϥʔχϯά։ൃͱϓϩάϥϚʔ͸ҟͳΔεΩϧ͕ඞཁ ▸ σΟʔϓϥʔχϯάʹਖ਼ղ͸ͳ͘ɺ৚݅Λม͑ͯࢼ͢΄͔ͳ͍ ▸ ࢼ͍ͯ͘͠தͰɺਫ਼౓Λൺֱͨ͠ΓɺաڈͷωοτϫʔΫΛฤू͍ͨ͠ ▸ Ͱ͖͕͋ͬͨϞσϧɺωοτϫʔΫΛͳΔ΂͘ίʔσΟϯάϨεʹ૊ΈࠐΈ͍ͨ
9. χϡʔϥϧωοτϫʔΫͱ͸ʁ جૅ஌ࣝ
10. ೴ͷ࢓૊ΈΛίϯϐϡʔλ্Ͱ࠶ݱ ਓؒͷΑ͏ʹࢥߟ͢Δػցֶश ▸ ೴ͷਆܦճ࿏ʢχϡʔϥϧωοτϫʔΫʣΛݩʹઃܭ ▸ େྔͷσʔλΛύλʔϯͱֶͯ͠शͤ͞ɺͦΕҎ֎ͷ৚݅ʹ͓͍ͯ΋ߴਫ਼౓ʹ൑ ผ͢Δ ▸ ڭࢣ͋Γσʔλͱڭࢣͳ͠σʔλ
11. χϡʔϥϧωοτϫʔΫͷ֓ཁ ೖྗ૚ɺதؒ૚ʢӅΕ૚ʣɺग़ྗ૚ ϊʔυ
12. χϡʔϥϧωοτϫʔΫͷ֓ཁ ೖྗ૚ɺதؒ૚ʢӅΕ૚ʣɺग़ྗ૚ ೖྗ૚ தؒ૚ ग़ྗ૚
13. χϡʔϥϧωοτϫʔΫͷ֓ཁ ೖྗ૚ɺதؒ૚ʢӅΕ૚ʣɺग़ྗ૚ ೖྗ૚ தؒ૚ ग़ྗ૚ Τοδ ॏΈ
14. χϡʔϥϧωοτϫʔΫͷ֓ཁ ೖྗ૚ɺதؒ૚ʢӅΕ૚ʣɺग़ྗ૚ ೖྗ૚ தؒ૚ ग़ྗ૚ Τοδ ॏΈ N1 × ॏΈ1 + N2 × ॏΈ2 + … → ׆ੑԽؔ਺Ͱม׵
15. ׆ੑԽؔ਺ γάϞΠυؔ਺ɺ૒ۂઢؔ਺ɺRELUؔ਺ͳͲ ը૾Ҿ༻ɿʲReLU, PReLU, γάϞΠυ etc...ʳχϡʔϥϧωοτͰΑ͘࢖͏׆ੑԽؔ਺ͷޮՌΛKerasͰௐ΂ͯΈͨ - ϓϩΫϥγετ
16. ॱ఻೻ → ٯ఻೻ ޡࠩؔ਺ʢަࠩΤϯτϦϐʔ΍ೋ৐ޡࠩʣͰޡࠩΛٻΊΔ ೖྗ૚ தؒ૚ ग़ྗ૚ ॏΈΛߋ৽
17. ޯ഑߱Լ๏ ॏΈ ޡࠩ
18. ہॴ࠷ద఺ʹؕΔ৔߹΋ ॏΈ ޡࠩ ϛχόονʢֶशσʔλΛ෼ׂʣͰ๷͛Δ
19. σΟʔϓϥʔχϯά ଟ͘ͷதؒ૚Λ࣋ͭ͜ͱͰɺΑΓෳࡶͳ໰୊ʹରԠ ೖྗ૚ தؒ૚ ग़ྗ૚
20. ৞ΈࠐΈχϡʔϥϧωοτϫʔΫ ը૾ೝࣝͰΑ͘࢖ΘΕΔख๏ 28x28 px άϨʔεέʔϧ ৞ΈࠐΈ૚ ϓʔϦϯά૚ ৞ΈࠐΈ૚ ϓʔϦϯά૚ શ݁߹ ׆ੑԽؔ਺ ग़ྗ
21. ৞ΈࠐΈχϡʔϥϧωοτϫʔΫ ը૾ೝࣝͰΑ͘࢖ΘΕΔख๏ 28x28 px άϨʔεέʔϧ ৞ΈࠐΈ૚ ϓʔϦϯά૚ ৞ΈࠐΈ૚ ϓʔϦϯά૚ શ݁߹ ׆ੑԽؔ਺ ग़ྗ ը૾ʹϑΟϧλΛ͔͚ͯ ಛ௃Λநग़
22. ৞ΈࠐΈχϡʔϥϧωοτϫʔΫ ը૾ೝࣝͰΑ͘࢖ΘΕΔख๏ 28x28 px άϨʔεέʔϧ ৞ΈࠐΈ૚ ϓʔϦϯά૚ ৞ΈࠐΈ૚ ϓʔϦϯά૚ શ݁߹ ׆ੑԽؔ਺ ग़ྗ ൣғ಺ͷ࠷େ஋΍ฏۉ஋ Λऔͬͯѹॖ
23. ৞ΈࠐΈχϡʔϥϧωοτϫʔΫ ը૾ೝࣝͰΑ͘࢖ΘΕΔख๏ 28x28 px άϨʔεέʔϧ ৞ΈࠐΈ૚ ϓʔϦϯά૚ ৞ΈࠐΈ૚ ϓʔϦϯά૚ શ݁߹ ׆ੑԽؔ਺ ग़ྗ
24. ৞ΈࠐΈχϡʔϥϧωοτϫʔΫ ը૾ೝࣝͰΑ͘࢖ΘΕΔख๏ 28x28 px άϨʔεέʔϧ ৞ΈࠐΈ૚ ϓʔϦϯά૚ ৞ΈࠐΈ૚ ϓʔϦϯά૚ શ݁߹ ׆ੑԽؔ਺ ग़ྗ
25. ৞ΈࠐΈχϡʔϥϧωοτϫʔΫ ը૾ೝࣝͰΑ͘࢖ΘΕΔख๏ 28x28 px άϨʔεέʔϧ ৞ΈࠐΈ૚ ϓʔϦϯά૚ ৞ΈࠐΈ૚ ϓʔϦϯά૚ શ݁߹ ׆ੑԽؔ਺ ग़ྗ y:9 → 0 y:9 → 1 0.000197 0.999722
26. NNC͓קΊϙΠϯτ × 3 ϙΠϯτ
27. NNCͷศརͳͱ͜Ζ1 ίʔσΟϯάϨεʂ ▸ ϓϩάϥϚͰ͋ͬͯ΋ϓϩάϥϛϯάͤͣʹࢼͤΔͷ͸ັྗʂ ▸ Ϋϥ΢υ൛ͳΒΠϯετʔϧ͢Δඞཁ΋ͳ͠ ▸ ϊʔυΛD&D͍͚ͯͩ͘͠ͷ؆୯ૢ࡞ ▸ Ͱֶ͖͕͋ͬͨश݁Ռ͸Python/C++/C͔Βར༻Մ
28. NNCͷศརͳͱ͜Ζ2 ֶश݁Ռͷཤྺ؅ཧ ▸ ػցֶशʹਖ਼ղ͸ͳ͍ ▸ ࢼߦࡨޡͯ͠࠷ྑͷ݁ՌΛੜΈग़͢ ▸ ࢼߦࡨޡͷ݁ՌΛه࿥ɺޙ͔Βݺͼग़ͤΔ ▸ ෳ਺ͷ݁ՌΛάϥϑͰൺֱͰ͖Δ
29. NNCͷศརͳͱ͜Ζ3 ࣗಈ୳ࡧ࣮ߦ ▸ ωοτϫʔΫߏ଄Λม͑ΔͱࣗಈͰධՁΛ։࢝ͯ͘͠ΕΔ ▸ ਫ਼౓ͱҰॹʹϦιʔεফඅʢϑοτϓϦϯτʣ΋࠷దԽ ▸ ϑοτϓϦϯτ࠷దԽ͸૊ΈࠐΈ༻్ʹ͓͍ͯॏཁ
30. ϋϯζΦϯʹ͍ͭͯ ຊ୊
31. શൠ ࢿྉΛݟͳ͕Βɺ͋ͳͨͷϖʔεͰߦͬͯԼ͍͞ ▸ ࣭໰΍ෆ໌఺͕͋Ε͹ɺ͙͢ʹखΛڍ͍͛ͯͩ͘͞
 ࣌ؒΛϜμʹͤͣɺ࣭໰͍ͯͩ͘͠͞ʂ ▸ શ෦ऴΘΒͳͯ͘΋ߏ͍·ͤΜ
 Ή͠Ζগ͠ଟΊʹͯ͋͠Γ·͢ ▸ ࢿྉ͸࣋ͪؼΕ·͢
 ࣗ୐΍ΦϑΟεͰଓ͖Λߦ͍ͬͯͩ͘͞ʂࢿྉ͸ΦϯϥΠϯʹ΋͋Γ·͢ ▸ ࣭໰͸GoogleάϧʔϓͰͥͻʂ
32. ϋϯζΦϯ1 4ͱ9Λ൑ผ͢Δ ▸ खॻ͖Ͱॻ͔Εͨ4͔9ͷը૾Λ൑ఆ͠·͢ ▸ 28x28pxɺάϨʔεέʔϧͷը૾Λར༻͠·͢
33. ϋϯζΦϯ2 ͢ΈΕͷछྨΛ൑ผ͠·͢ ▸ 3छྨ͋Δ͢ΈΕΛɺՖͼΒͱΨΫͷ௕͞ɺ෯ʹԠͯ͡෼ྨ෼͚͠·͢ ▸ ೖྗσʔλ͸4छྨɺ݁Ռ͸3ͭͷ෼ྨʹͳΓ·͢
34. ϋϯζΦϯ3 ίϯιʔϧ/ίϚϯυϓϩϯϓτͰNNCΛ࣮ߦ͠·͢ ▸ ࡞੒ͨ͠ϞσϧɺωοτϫʔΫΛμ΢ϯϩʔυ͠·͢ ▸ ςετ༻ͷCSVσʔλɺը૾Λ༻͍ͯϩʔΧϧͰίϚϯυΛ࣮ߦ͠·͢ ▸ PythonͱNeural Network LibrariesΛ࢖͍·͢
35. ϋϯζΦϯ4 WEBΞϓϦέʔγϣϯʹNNCͷϞσϧ/ωοτϫʔΫΛ૊ΈࠐΈ·͢ ▸ खॻ͖ೝࣝΞϓϦέʔγϣϯΛ࡞੒͠·͢ ▸ PythonΛ༻͍·͢ʢίʔσΟϯά͸ຆͲߦ͍·ͤΜʣ ▸ Neural Network LibrariesΛ࢖͍·͢
36. ϋϯζΦϯ5 0ʙ9ͷը૾Λ൑ผ͠·͢ ▸ ReLU΍MaxPoolingͳͲΛ༻͍ͯɺΑΓෳࡶͳωοτϫʔΫΛߏங͠·͢ ▸ Ϟσϧ͕͏·͘Ͱ͖ͨΒɺϋϯζΦϯ4ͷϞσϧͱೖΕସ࣮͑ͯߦͯ͠Έ·͠ΐ͏ ▸ ίʔυ͸ม͑ͣʹϞσϧ͚ͩΛࠩ͠ସ͑ͯ4/9͚ͩͰͳ͘ɺ0ʙ9ͷೝ͕ࣝՄೳʹ ͳΓ·͢