組込エンジニアのための深層学習

Transcript

1. ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश ൃදऀ kmt-t ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 1
2. ࣗݾ঺հ • ໊લ : kmt-t or kmt_t • ৬ۀ : ૊ࠐϓϩάϥϚ • ஶॻ : AndroidͷԾ૝Ϛγϯ • ௗऔݝຽͰ͢ • ࠷ۙస৬͠·ͨ͠ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 2
3. ࣗݾ঺հ • ઐ໳෼໺ • ը૾ॲཧ (ओʹ࠷దԽ) • ίϯϐϡʔλάϥϑΟοΫε • ϑΝΠϧγεςϜ • Ծ૝Ϛγϯ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 3
4. ࠓ೔ͷׂ࣌ؒ • ಋೖ (5෼) • ਂ૚ֶशҰൠ (10෼) • ૊ࠐਂ૚ֶश (20෼) • JetsonTX1/TX2঺հ (10෼) • ͔ͳΓਐߦ͕଎͍ͷͰࢿྉ͸ࣄલ഑෍͠·͢ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 4
5. ಋೖ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 5
6. ͜͏͍͏͜ͱ΍ͬͯ·͢ • σδλϧΧϝϥ޲͚௒ղ૾ • ίϯσδը૾ͷҰ؟ը૾΁ͷม׵ • ࢓ࣄͰ͸ͳ͘झຯͰ͢ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 6
7. ैདྷख๏ (SRCNN) • waifu2xͷख๏ • ॖখͷٯϑΟϧλΛʮճؼʯ͢Δ • ྼԽલ૾ͱྼԽޙը૾ͷϖΞ • શ͘ಉҰඃࣸମͷը૾ϖΞ͕ඞཁ • ը૾ϖΞ͕༻ҙͰ͖ΔΠϥετ޲͖ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 7
8. ఏҊख๏ • ߴղ૾౓৘ใΛʮੜ੒ʯ͢Δ • ը૾Λղ૾౓Ͱ֊૚Խ͢Δ • ϥϓϥγΞϯϐϥϛου • ௿ղ૾౓ʙߴղ૾ͷը૾ϨΠϠ • ಉ͡ඃࣸମͷը૾ϖΞ͕ෆཁ • ը૾ϖΞ͕༻ҙͰ͖ͳ͍σδλϧΧϝ ϥ޲͖ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 8
9. GANͷ࢓૊Έ • ϥϯμϜͳZ͔Βը૾ੜ੒ • ੜ੒͞Εͨը૾͕ຊ෺ʹ͍͔ۙ൑ผ • ੜ੒ը૾͕൑ผෆՄʹͳΔΑ͏ֶश • Z͕ԿΛද੍͔͢ޚෆՄೳ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 9
10. Condi&onal GANͷ࢓૊Έ • ҙຯͷ͋ΔYΛ༩͑ͯը૾ੜ੒ • ʮੜ੒͞Εͨը૾ͱYͷ૊Έ߹Θͤʯ ͕ຊ෺ʹ͍͔ۙ൑ผ • ੜ੒ը૾͕൑ผෆՄʹͳΔΑ͏ֶश • Y͕ԿΛද੍͔͢ޚՄೳ • ͜Ε࢖͍ͬͯ·͢ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 10
11. ࠓ೔ͷൃදͷ໨త • ΈΜͳձࣾͰਂ૚ֶश͏Μ͕ͪ͘Ͱ͖Δͷ͕໨ඪ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 11
12. ࣭໰ • ਂ૚ֶशͷجຊతͳ࢓૊ΈΛ஌ͬͯΔਓʂ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 12
13. ͿͬͪΌ͚࿩ • ۀ຿Ͱ΍Δఔ౓ͷਂ૚ֶश͸೉͘͠ͳ͍ • ੈؒҰൠͷߴ౓ͳ਺ֶ͕ඞཁͱ͍͏ᷚ͸ӕ • ߴߍཧܥίʔεఔ౓ʴภඍ෼Ͱे෼ • ౷ܭֶ͕ඞཁͳͷ͸Ԡ༻෼໺ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 13
14. ࢀߟॻ -ʮθϩ͔Β࡞ΔDeep Learningʯ - ඇৗʹ؆୯Ͱ͢ - ೉͍͠਺ࣜ͸ग़͖ͯ·ͤΜ - ϑϨʔϜϫʔΫ͕͔͚Δ͙Β͍ͷ஌ࣝ͸ ਎ʹ͖ͭ·͢ - (͑ͬͦΜͳʹ؆୯ͳͷʁ) ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 14
15. ਂ૚ֶशҰൠ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 15
16. ਂ૚ֶशͷجຊతͳϞσϧ • σʔλΛࣝผ͢Δʮ෼ྨϞσϧʯ • ؔ਺Λۙࣅ͢ΔʮճؼϞσϧʯ • σʔλΛ፻଄͢Δʮੜ੒Ϟσϧʯ • ΑΓΑ͍ߦಈΛબ୒͢ΔʮڧԽֶशʯ • ΍Γ͍ͨ͜ͱ͕͜ΕΒͷͲΕʹ֘౰͢Δͷ͔ʁ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 16
17. ϓϩάϥϚ͕΍Βͳ͍ͱ͍͚ͳ͍͜ͱ • ϓϩάϥϛϯά • ֶश • ਪ࿦ • ૊ࠐ։ൃऀʹͱͬͯ͸ʮਪ࿦ʯ͕ॏཁ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 17
18. ਂ૚ֶशͷਪ࿦ͷ࢓૊Έ • ؆୯ʹઆ໌͠·͢ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 18
19. શ݁߹ωοτϫʔΫ • ͍͔ͭ͘ͷϊʔυΛ࣋ͭෳ਺ͷ૚ • ྡΓ߹͏૚ͷ͢΂ͯͷϊʔυΛ઀ଓ • ઀ଓ͸ॏΈΛ࣋ͪɺग़ྗΛௐ੔͢Δ • ग़ྗ૚͕ҙຯͷ͋Δ݁ՌΛग़ྗ͢Δ • ҙຯ͕͋Δ݁ՌΛग़ྗ͢ΔΑ͏ʹॏΈ Λֶश͢Δ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 19
20. ίϯϘϦϡʔγϣϯ • ૚͸ෳ਺νϟϯωϧը૾Ͱߏ੒ • ྡΓ߹͏૚ͷνϟϯωϧΛ઀ଓ • ઀ଓ͸N✕NϐΫηϧͷը૾ϑΟϧλ • N✕NͷϑΟϧλͷ܎਺Λֶश͢Δ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 20
21. ਂ૚ֶशͷֶशͷ࢓૊Έ • ΞϧΰϦζϜ͸ͦΕ΄ͲෳࡶͰ͸ͳ͍ • ʮภඍ෼ʯͱʮ࿈࠯཯ʯ͕Ωʔϫʔυ • ૊ࠐΤϯδχΞʹ͸ॏཁͰ͸ͳ͍ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 21
22. ΍ͨΒͱߦྻ͕ग़ͯ͘Δཧ༝ • ૚ͷ઀ଓ͸ߦྻͰදݱ͢Δ΄͏͕ѻ͍΍͍͢ • ϊʔυྻ͕ϕΫτϧɺॏΈ͕ߦྻ • ίϯϘϦϡʔγϣϯ΋ߦྻܭࢉͰՄೳ • ߦྻͩͱBLAS͕࢖͑ΔͷͰ଎͍ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 22
23. ܭࢉྫ • ͕ೖྗ૚ͷ ൪໨ͷϊʔυग़ྗ • ͕தؒ૚ͷ ൪໨ͷϊʔυग़ྗ • ͕ೖྗ૚ͷ ൪໨ϊʔυͱதؒ૚ ൪ ໨Λ઀ଓ͢ΔΤοδͷॏΈ • தؒ૚ͱग़ྗ૚ͷܭࢉ΋ಉ༷ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 23
24. ࣭໰ • ͜͜·Ͱͷ಺༰͸೉͍͠Ͱ͔͢ʁ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 24
25. ૊ࠐਂ૚ֶश ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 25
26. ؀ڥߏங • ֶश͸PC (Tensorflow͔Caffe͋ͨΓ) • ਪ࿦͸૊ࠐ੡඼ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 26
27. ֶश༻PC؀ڥ • CPU • CPU͸AMD RYZENγϦʔζڧྗʹਪ঑ • ίΞ͕ଟ͍ͷ͕ਖ਼ٛ • ΄ͱΜͲͷϑϨʔϜϫʔΫ͕ฒྻԽରԠ • ϝϞϦ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 27
28. ֶश༻PC؀ڥ • GPU • GeForce͕ίεύ͕ྑ͍ • ௕࣌ؒಈ͔͢ͷͰϋΠΤϯυඇਪ঑ • ϝϞϦ͕଍Γͳ͍ͱಈ͔ͳ͍͜ͱ͋Γ • ྫྷ٫ʹ͸ؾΛ͚ͭΔ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 28
29. ֶश؀ڥπϘ • λΠϜΠζϚωʔ • ύϥϝʔλͷௐ੔͸ΧοτΞϯυτϥΠ • ୆਺૿΍ͯ͠ผʑʹಈ͔͢ͷ͕Α͍ • ΫϥελͳͲڊେͳܭࢉࢿݯͰܭࢉͨ݁͠Ռ͸Ͳ͏ͤ੡඼ʹ͸ ࣮૷Ͱ͖ͳ͍ • ΑͬͯPC͸͍҆΄͏͕Α͍ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 29
30. ਪ࿦ • Android/LinuxͩͱTensorflow͔ΒϞσϧͷҠߦ͕Ͱ͖Δ • Tensorflow Lite • TensorRT • ͦ͏Ͱ͸ͳ͍੡඼͸૊ࠐΤϯδχΞ͕͕Μ͹Δ • ਂ૚ֶशͱϑϨʔϜϫʔΫͷ஌͕ࣝඞཁ • ੡඼ͰܭࢉՄೳͳܭࢉྔ͔Θ͔Δ͔Ͳ͏͔ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 30
31. ࠷దԽ͕૊ࠐΤϯδχΞͷ໋ • ΍ͬͯΈ͚ͨͲ஗͍ͷͰఘΊΔɺ͡Ό͋ବ໨ • ΈΜͳΤϯδχΞͩ͠… • ࣗ෼Ͱਪ࿦ϓϩάϥϜΛॻ͘έʔε͸ΘΓͱ͋Δ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 31
32. FP16ศར • ුಈখ਺఺/ූ߸1bit/ࢦ਺5bit/Ծ਺10bit • Ұ෦GPU͕HWαϙʔτ • ARM/x86ʹ͸FP16<=>FP32ͷม׵໋ྩ͕͋Δ • FP32ͩͱͰ͔ա͗ΔͷͰը૾ͷුಈখ਺఺දݱʹ࠷ద • গ͠ͷΦʔόʔϔουͰϝϞϦ࢖༻ྔ൒෼ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 32
33. ྔࢠԽ • ྔࢠԽͱ͍͏ख๏ • ྔࢠԽͰσʔλαΠζΛখ͘͢͞Δ • GoogleͷTPUͰ࠾༻ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 33
34. INT8ྔࢠԽ • ߦྻͷཁૉΛ8bit੔਺Ͱදݱ͢Δ • ߦྻͷཁૉͷ࠷େ஋ͱ࠷খ஋ • ࠷େ஋ͱ࠷খ஋ͷؒΛ8bitͰදݱ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 34
35. INT8ྔࢠԽ • ߦྻʹεΧϥΛՃࢉ͢Δ৔߹ • ࠷খ஋/࠷େ஋ʹεΧϥΛ଍͢ • ߦྻͷཁૉͷԋࢉ͕ෆཁ • ߦྻͱεΧϥͷ৐ࢉͷΑ͏ͳϥϯΫͷҧ͏഑ྻಉ࢜ͷԋࢉΛϒ ϩʔυΩϟετͱݺͿ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 35
36. ྔࢠԽͷϝϦοτ • ΞΫηϥϨʔλͷফඅిྗ͕Լ͕Δ • ϝϞϦଳҬ͕FP32ͷ1/4ɺFP16ͷ1/2 • ϒϩʔυΩϟετ͕ߴ଎ (ͳ͕࣌͋Δ) ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 36
37. ίϯϘϦϡʔγϣϯͷ࠷దԽ • im2col • Winograd ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 37
38. im2col • ίϯϘϦϡʔγϣϯͰ͸σʔλͷฒͼ ͕ॏཁ 1. ը૾Λ1࣍ݩ഑ྻ (ߦํ޲) ʹల։͢ Δ 2. ϐΫηϧ͝ͱʹϑΟϧλର৅ͷϐΫ ηϧΛྻํ޲ʹల։͢Δ • ίϯϘϦϡʔγϣϯ͕ϕΫτϧͱߦྻ ͱͷੵʹͳΔ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 38
39. Winograd • ίϯϘϦϡʔγϣϯͷࣜΛมܗ͢Δͱ৐ࢉ͕ݮগ͢Δ • ࣗಈͰܭࢉ͢Δπʔϧ͕͋Δ • h#ps:/ /github.com/andravin/wincnn ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 39
40. ͜ΕΒҎ֎ʹ΋࠷దԽͷख๏ • ط஌ͷ࠷దԽ΋΋ͬͱͨ͘͞Μ͋Δ • ͨ͘͞Μ͋ΔͷͰΈΜͳͰߟ͑·͠ΐ͏ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 40
41. JetsonTX1/TX2঺հ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 41
42. ࠷৽ͷධՁϘʔυ • Jetson Xavier • h/ps:/ /developer.nvidia.com/jetson- xavier • Ϟδϡʔϧܗঢ়͕มΘͬͨͷͰϚβʔ Ϙʔυ͕TX1/2ͱޓ׵͡Όͳ͍ʁ • ࠓճ͸چܕͷTX1/TX2ͷ࿩ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 42
43. JetsonTX1/TX2ͷೖखํ๏ • ๏ਓͷ৔߹ • ϚΫχΧ͋ͨΓ͔Βങ͍ͬͯͩ͘͞ • ݸਓͷ৔߹ • Amazon.com • eBay • ೔ຊͰങ͏ͱߴ͍ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 43
44. JetsonTX1 SE • ΩϟϯϖʔϯͰ25900ԁʂ • ී௨ʹങ͏ͱ80000ԁ͙Β͍ • TX1ͱTX2͸ͦΜͳʹੑೳมΘΒͳ͍ • h+ps:/ /ryoyo-direct.ryoyo-ss.jp/ register/jetson-se ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 44
45. Jetson TX1/TX2ͷΑ͍ͱ͜Ζ • FP16ͷαϙʔτ • Jetsonͩͱഒ଎ԋࢉ • (GeForce͸ഒ଎ʹͳΒͳ͍) ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 45
46. Jetson TX1/TX2ͷΑ͍ͱ͜Ζ • TensorRT͕࢖͑Δ • (GeForce͸࢖͑ͳ͍) • ܾఆ࿦తʹωοτϫʔΫΛ࠷దԽ͢Δ • Tensorflow͔ΒσʔλͷΠϯϙʔτՄೳ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 46
47. TensorRTͷϕϯνϚʔΫ • h#p:/ /proc-cpuinfo.fixstars.com/2018/04/tensorrt-03/ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 47
48. Jetson TX1/TX2ͷѱ͍ͱ͜Ζ • ඪ४ͷσΟετϦϏϡʔγϣϯ (L4T) ͕ڊେ • Linux͔ͭGUI΋ࡌ͍ͬͯΔ • ϝϞϦ͕ͨ͘͞Μࡌ͍ͬͯΔ • ͜Μͳͷ૊ΈࠐΈͰ͸࢖͍ͨ͘ͳ͍… ͔ͳΓؾ͕࣋ͪҤ͑Δ • ޻৔ͷݕࠪ૷ஔͱ͔ʹ͸࠷ద͔΋ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 48
49. ݸਓతʹࢥ͏ͱ͜Ζ • ΋ͬͱখ͍͞ྖҬʹ૊ΈࠐΈΤϯδχΞ޲͚ͷਂ૚ֶशͷԠ༻ ͕ଘࡏ͢Δ • த਎͕Θ͔͍ͬͯΕ͹େن໛ͳSoCͷੈք͔Β཭ΕΒΕΔ • NVIDIA͞Μ͕ߟ͑ͯͳ͍ྖҬʹ੨͍ւ͕͋Δ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 49
50. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ Կ͔࣭໰͸ʁ ૊ࠐΤϯδχΞͷͨΊͷਂ૚ֶश 50