Deep Learningと超解像

Transcript

1. Deep Learningͱ௒ղ૾ ൃදऀ দӬ ୎໵ 1/57
2. ࣗݾ঺հ • ໊લ : দӬ ୎໵ (kmt_t) • ৬ۀ : ϓϩάϥϚ • ஶॻ : AndroidͷԾ૝Ϛγϯ 2/57
3. ࣗݾ঺հ • ઐ໳෼໺ • ը૾ॲཧ (ओʹ࠷దԽ) • ίϯϐϡʔλάϥϑΟοΫε • ϑΝΠϧγεςϜ • Ծ૝Ϛγϯ • σΟʔϓϥʔχϯάͷ࢓ࣄ͸ͨ·ʹ΍ͬͯ·͢ 3/57
4. σΟʔϓϥʔχϯά͸؆୯ͩʂ 4/57
5. ൃදͷ஫ҙࣄ߲ • ൃදऀ͕૊ࠐ։ൃऀͳͷͰ૊ࠐલఏͰ࿩͠·͢ • ਺ࣜɺܭࢉ͸΄ͱΜͲলུ͠·͢ • ಠࣗͷղऍɺཧ࿦తཪ෇͚ͷബ͍಺༰ؚ͕·Ε·͢ • εϥΠυͷຕ਺͕ଟ͍ͷͰएׯૣ͍ਐߦʹͳΓ·͢ 5/57
6. ൃදͷΞ΢τϥΠϯ • લఏ஌ࣝ • σΟʔϓϥʔχϯάʁ • SRCNN • ೋ৐ޡࠩ • ίϯϘϦϡʔγϣϯ 6/57
7. ൃදͷΞ΢τϥΠϯ • վળ • ܭࢉྔͷ࠷దԽ • ͞ΒͳΔը࣭ͷվળ • ໰୊఺ͱԠ༻ • ੑೳධՁ 7/57
8. લఏ஌ࣝ 8/57
9. σΟʔϓϥʔχϯάʁ • ز͔ͭͷ૚͕͋Γɺ֊૚ʹͳ͍ͬͯΔ • ૚ʹ͸ϊʔυ͕ͨ͘͞Μ͋Δ • Լͷ૚ͱͻͱ্ͭͷ૚ͷ͢΂ͯͷϊʔ υ͸઀ଓ͞Ε͍ͯΔ (શ݁߹) 9/57
10. σΟʔϓϥʔχϯάʁ • ઀ଓ͸ॏΈΛ࣋ͪɺೖྗͷϊʔυͷ׆ ੑʹॏΈΛ͔͚ͨ΋ͷ͕ग़ྗͷϊʔυ ʹՃࢉ͞ΕΔ • ઀ଓͷॏΈ͸ֶशʹΑΓௐ੔͞Εɺҙ ຯͷ͋Δग़ྗ͕ಘΒΕΔΑ͏ʹ͢Δ • ͜ΕΛχϡʔϥϧωοτϫʔΫͱݺͼɺ ֊૚͕ਂ͍΋ͷΛʮσΟʔϓϥʔχϯ άʯͱݺͿ 10/57
11. σΟʔϓϥʔχϯάͷֶश • ωοτϫʔΫͷग़ྗͱಘ͍ͨ݁ՌͷࠩΛʮޡࠩʯͱݺͿ • ޡ͕ࠩগͳ͘ͳΔΑ͏ʹωοτϫʔΫʹ఻ൖͤ͞ɺௐ੔͢Δ • ͜ͷௐ੔ΛʮόοΫϓϩύήʔγϣϯʯͱݺͿ 11/57
12. SRCNN 12/57
13. SRCNNͷ঺հ • SRCNN͸χϡʔϥϧωοτϫʔΫΛ࢖ͬͨ௒ղ૾ٕज़ • ࿦จʮImage Super-Resolution Using Deep Convolutional Networksʯ • http://arxiv.org/abs/1501.00092 ※ waifu2xͰരൃతʹ༗໊ʹͳͬͨख๏ ※ waifu2x͸ @ultraist ࢯ͕࡞ͬͨιϑτ΢ΣΞͰ͢ʂ 13/57
14. SRCNNͷޮՌ 14/57
15. SRCNNͷޮՌ 15/57
16. SRCNN࿦จ௒ཁ໿ ʮίϯϘϦϡʔγϣϯͯ͠ೋ৐ޡࠩΛͱΔͱ௒ղ૾Ͱ͖ΔΑʯ • ೋ৐ޡࠩͬͯʁ • ίϯϘϦϡʔγϣϯͬͯʁ 16/57
17. ೋ৐ޡࠩ • ೋ৐ޡࠩ͸໨ඪσʔλͱωοτϫʔΫͷग़ྗσʔλͷࠩͷೋ৐ • ೋ৐ޡࠩͰͲΕ͙Β͍໨ඪͱҧ͏͔ܭࢉͰ͖Δ • ޡ͕ࠩখ͘͞ͳΔΑ͏ʹόοΫϓϩύήʔγϣϯͰֶश͢Δ • ༗໊ͳʮΦʔτΤϯίʔμʯ͸ೋ৐ޡࠩΛ͔ͭͬͯωοτϫʔ Ϋͷग़ྗ͔Βೖྗ͕෮ݩͰ͖ΔΑ͏ʹֶश͢Δ 17/57
18. ೋ৐ޡࠩΛ࢖ֶͬͨशͷԠ༻෼໺ • ௒ղ૾ • ϊΠζϦμΫγϣϯ • ৭ਂ౓ϋΠϏοτԽ • ௨ৗը૾ͷHDRԽ • ϞϊΫϩը૾ͷϑϧΧϥʔԽ • ըॲཧҎ֎Ͱ΋ෆ׬શͳσʔλ͔Β׬શͳσʔλ͕༧ଌͰ͖Δ 18/57
19. ίϯϘϦϡʔγϣϯ • ίϯϘϦϡʔγϣϯͱ͸पลͷըૉʹ ॏΈΛ͔͚ͯ଍͢ • ݫີͳίϯϘϦϡʔγϣϯͷܭࢉํ ๏͸ޙͰઆ໌ • ੵ࿨ܭࢉ͢Δը૾ͷൣғΛ΢Οϯυ ΢ͱݺͿ • ίϯϘϦϡʔγϣϯ͸σδλϧϑΟϧλ • ϑΟϧλͷ܎਺ (ॏΈ) ΛόοΫϓϩ ύήʔγϣϯͰֶश͢Δ 19/57
20. SRCNNΞϧΰϦζϜ (ֶश) 1.ཧ૝ը૾ͱαΠζΛ൒෼ʹͯ͠2ഒʹֶͨ͠शը૾Λ༻ҙ 2.ֶशը૾ΛωοτϫʔΫͰͻͨ͢ΒίϯϘϦϡʔγϣϯ 3.ίϯϘϦϡʔγϣϯͨ͠ը૾ͱཧ૝ը૾ͷೋ৐ޡࠩΛͱΔ 4.όοΫϓϩύήʔγϣϯͰޡࠩௐ੔ 20/57
21. SRCNNΞϧΰϦζϜ (௒ղ૾) 1.֦େ͍ͨ͠ը૾ͷαΠζΛ2ഒʹ͢Δ 2.ݩը૾Λֶशͨ͠ωοτϫʔΫͰͻΒ͢ΒίϯϘϦϡʔγϣϯ 3.͓ΘΓ 21/57
22. SRCNNͷ࢓૊Έ • ཧ૝ͷը૾ • ը૾ΛྼԽͤ͞Δؔ਺ • Ϩϯζͷ৭ऩࠩ • ϞΞϨ๷ࢭ༻ͷϩʔύεϑΟϧλ • JPEGϊΠζ • ྼԽͨ͠ը૾ 22/57
23. SRCNNͷ࢓૊Έ • ྼԽͨ͠ը૾Λݩʹ໭͢ ٯؔ਺ • ͕͋Ε͹ Λ ʹ໭͢͜ͱ͕Ͱ͖Δ • 23/57
24. SRCNNͷ࢓૊Έ • ٯؔ਺ ͳΜͯଘࡏ͢Δͷ͔ʁܭࢉग़དྷΔͷ͔ʁ • ΛχϡʔϥϧωοτϫʔΫͰۙࣅ͢Δ • ΛٻΊΔͷʹԿͷςΫχοΫ΋͍Βͳ͍SRCNN • ٯؔ਺ ΛٻΊΔ௒ղ૾ͷख๏͸ଞʹ΋͋Δ 24/57
25. ܭࢉྔͷ࠷దԽ 25/57
26. ίϯϘϦϡʔγϣϯͷ ܭࢉྔ ΢Οϯυ΢෯ ɹɹɹɹ× ΢Οϯυ΢෯ ɹɹɹɹ× ೖྗνϟϯωϧ਺ ɹɹɹɹ× ग़ྗνϟϯωϧ਺ ɹɹɹɹʹ 1ϐΫηϧ͋ͨΓͷੵ࿨ܭࢉճ਺ 26/57
27. SRCNNܭࢉྔͷݮΒ͠ํ • ίϯϘϦϡʔγϣϯͷܭࢉྔΛܶతʹݮΒ͢ʹ͸ɺ • ΢Οϯυ΢෯Λখ͘͢͞Δ (Ұ൪ޮՌ͋Γ) • ೖྗνϟϯωϧ਺ΛߜΔ • ग़ྗνϟϯωϧ਺ΛߜΔ • ࠷ѱͳͷ͸͢΂ͯͷύϥϝʔλ͕େ͖͍έʔε • ܭࢉྔΛؾʹ͢ΔͳΒ͍ͣΕ͔ͷύϥϝʔλΛߜΔ 27/57
28. SRCNN࠷దԽ • ίϯϘϦϡʔγϣϯϑΟϧλͷՄࢹԽ • νϟωϧؒͷ݁߹ͷධՁ 28/57
29. SRCNN࠷దԽͷίπ • ֊૚͕ઙ͍΄͏͕ޡ͕ࠩೖྗଆͷ૚·Ͱ͏·͘఻ൖ͢Δ • ग़ྗଆͷνϟϯωϧ͕ଟ͗͢Δͱೖྗଆʹޡ͕ࠩ఻೻͠ͳ͍ • ೖྗଆ·ͰޡࠩΛ఻ൖͤ͞Δʹ͸ֶशճ਺Λ૿΍͢ • ೖྗଆͷ΢Οϯυ΢͸޿͍ํ͕͍͍͕޿͗͢Δͱֶशࠔ೉ • ࣍ͷ૚ʹࢀর͞Εͳ͍νϟϯωϧ͕͋Δͱνϟϯωϧ͕ଟ͗͢ 29/57
30. waifu2xͷωοτϫʔΫઃܭ • ܭࢉྔͷ߹ܭʹ஫໨ • ͨͩ͠ը૾Λ2ഒʹ͢Δ৔߹͸ܭࢉྔ͕΄΅1/4 30/57
31. ࠷దԽޙͷωοτϫʔΫߏ੒ • 7૚͔Β4૚ʹมߋ • PSNR͸ྼԽ͢Δ͕ࢹ֮తʹ͸ڐ༰ൣғ (ओ؍ʹΑΔ) 31/57
32. ܭࢉྔ͕۩ମతʹΠϝʔδग़དྷͳ͍ • 1TFLOPSͷܭࢉػͰϑϧHDը૾Λॲཧ͢ΔͱԿඵʁ • GeForce GTX 480 ͩͱ 1.345TFLOPS • ͻͱੲલͷGPU͕ͩͦΕͰ΋ࠓͷ૊ΈࠐΈDSPͳͲΑΓڧྗ 32/57
33. ܭࢉྔ͕۩ମతʹΠϝʔδग़དྷͳ͍ • waifu2x • ໿54ສੵ࿨ܭࢉ/ϐΫηϧ • 1920x1080ϐΫηϧ/1133ms@1TFLOPS • ࠷దԽޙ • ໿2.3ສੵ࿨ܭࢉ/ϐΫηϧ • 1920x1080ϐΫηϧ/48ms@1TFLOPS 33/57
34. ͦΕͰ΋ଟ͗͢Δܭࢉྔ • ࠷దԽޙͰ΋૊ΈࠐΈ੡඼ʹ૊ΈࠐΉʹ͸ͭΒ͍ܭࢉྔ • ͱ͸͍͏΋ͷͷϥϯμϜΞΫηεͳ͠ɺ͔ͭฒྻԽ͸૬౰؆୯ 34/57
35. ૊ΈࠐΈ։ൃ΁ͷԠ༻ͷ՝୊ • ޿ଳҬͳϝϞϦ͕ͳ͍ͱͭΒ͍ • ௒ղ૾ΑΓ؆୯ͳλεΫͳΒܭࢉྔ͸·ͩݮΒͤΔ • ؆୯ͳλεΫʹ৭ௐิਖ਼ɺϊΠζআڈɺϋΠϏοτԽ͋ͨΓ • ϓϩάϥϜ։ൃ͸ඇৗʹ؆୯ͳͷͰ໰୊ͳ͍ 35/57
36. ͞ΒͳΔը࣭ͷվળ 36/57
37. ࣝผϞσϧͱੜ੒Ϟσϧ • ࣝผϞσϧ • ର৅͕Կ͔Λ෼ྨɺࣝผ͢ΔͨΊͷϞσϧ • ੜ੒Ϟσϧ • ༩͑ΒΕͨύϥϝʔλ͔ΒσʔλΛੜ੒͢Δ • Ұൠతʹ͸ࣝผϞσϧΛ͔ͭͬͨԠ༻͕ଟ͍ • ࣮͸ੜ੒Ϟσϧ͕೤͍ʂ 37/57
38. Generative Adversarial Networks • GANͰ͸༩͑ΒΕͨύϥϝʔλ͔Βը૾ Λੜ੒͢Δ • ύϥϝʔλ͝ͱʹҙຯ͕͋Γɺੜ੒͞ ΕΔը૾ͷ੍ޚՄೳ • http://qiita.com/rezoolab/ items/5cc96b6d31153e0c86bc 38/57
39. GANͷΞϧΰϦζϜ • ύϥϝʔλ͔ΒσʔλΛੜ੒͢Δੜ੒ث • σʔλͷຊ෺ͬΆ͞Λ൑ఆ͢Δࣝผث 39/57
40. GANͷΞϧΰϦζϜ 1.ੜ੒ث͸༩͑ΒΕͨύϥϝʔλ͔ΒσʔλΛੜ੒͢Δ 2.ࣝผث͸ੜ੒͞Εͨσʔλͷຊ෺ͬΆ͞Λ൑ఆ͢Δ 3.ຊ෺ͬΆ͘ͳ͍౓߹͍Λޡࠩͱͯ͠ੜ੒ثʹֶशͤ͞Δ 4.ࣝผث͸ಉ࣌ʹຊ෺ͬΆ͞ͷ൑ఆΛֶश͢Δ Ҏ্Λ܁Γฦ͢ͱͦΕͬΆ͍σʔλ͕ੜ੒͞ΕΔ 40/57
41. ੜ੒ϞσϧͷԠ༻ • ఏҊख๏ : SRCNNʴੜ੒Ϟσϧ • ஧࣮ͳ༧૝ʴΑΓߴ౓ͳωοτϫʔΫ͔ΒͷΞυόΠε • ΞϧΰϦζϜ • SRCNNͷޡࠩʹࣝผثͷ൑ఆΛՃࢉ͢Δ 41/57
42. SRCNNʴGANͷޮՌ • SRCNNݻ༗ͷบ͕Ωϟϯηϧ͞ΕΔ • ਓͷ໨͔Βݟͨࣗવ͞ͷվળ • प೾਺ಛੑͷվળ • ୯ମͷωοτϫʔΫͰ͸ࠔ೉ͳֶश͕Մೳ • ωοτϫʔΫͷදݱྗͷݶքΛҾ͖ग़͢ 42/57
43. SRCNNʴGANͷ໰୊ • ֶशʹ͕͔͔࣌ؒ͘͢͝Δ • ࣝผثͷֶशͷ΄͏͕ॏ͍ • ࣝผثͷ൑அͰੜ੒ث͕ߟ͑͜ΉͷͰऩଋͮ͠Β͍ • ࣝผثͷੑೳͰը࣭ͷ൒෼͕ܾ·Δ • ௒ղ૾ʹ͔͔Δ࣌ؒΛֶशʹసՇ͍ͯ͠Δ 43/57
44. SRCNNʴGANͷޮՌ 44/57
45. SRCNNʴGANͷޮՌ 45/57
46. SRCNNʴGANͷ෭࡞༻ • ߴप೾੒෼Λେ෯ʹ੝ΔͨΊɺϦοϓϧ͕ൃੜ͠΍͍͢ • Ϧοϓϧܰݮʹ͸ࣝผثʹϦοϓϧΛݟഁΒͤ͞Δ • ࣝผث͸ੜ੒ثΑΓݡ͘͢Δ • ࣝผث͸ֶशϑΣʔζʹ͔͠࢖ΘΕͳ͍ • ࣝผثͷॲཧ͕஗ͯ͘΋௒ղ૾ॲཧʹ͸ແؔ܎ 46/57
47. ໰୊఺ͱԠ༻ 47/57
48. SRCNNͷ໰୊ • ωοτϫʔΫ͕ಛఆͷλεΫɺը૾δϟϯϧʹґଘ͢Δ • ΠϥετͰֶशͨ͠ωοτϫʔΫΛࣸਅͰ࢖͏ͱഁ୼͢Δ • ը૾δϟϯϧ͝ͱʹωοτϫʔΫΛมߋ͢Δඞཁ͋Δ 48/57
49. SRCNNͷ໰୊ • ΠϥετϨʔγϣϯͱࣸਅͷҧ͍ • Πϥετ͸ཧ૝ঢ়ଶͷը૾Λ༻ҙ͢Δͷ͕ඇৗʹ༰қ • ͦͷͨΊSRCNNͷαϯϓϧը૾͸Πϥετ͕ଟ͍ • ཧ૝ͷը૾ΛࡱӨͰ͖ΔΧϝϥ͸࣮ࡏ͠ͳ͍ 49/57
50. ࣸਅ΁ͷԠ༻ • ཧ૝ͷࣸਅը૾࡞੒ • ΧϝϥϝʔΧʔͰͳ͚Ε͹ແཧ • झຯͰ΍Δ͜ͱͰ͸ͳ͍ • ࣗ෼͸ఘΊͨ 50/57
51. ࣸਅ΁ͷԠ༻ • ཧ૝ը૾ΛྼԽͤͯ͞௒ղ૾લը૾ͱ͢Δ • ཧ૝ը૾Λ௒ղ૾લͷը૾ʹม׵͢Δ • JPEGͰྼԽͤ͞Δ • ϊΠζΛ෇Ճ͢Δ 51/57
52. ࣸਅ΁ͷԠ༻ • प೾਺ಛੑΛσδλϧϑΟϧλͰྼԽͤ͞Δ • ϨϯζͳͲΧϝϥͷಛੑʹґଘ͢Δ • ௒ղ૾͍ͨ͠ΧϝϥͷϨϯζಛੑΛܭଌ͢Δ • ଌఆͨ͠ಛੑΛσδλϧϑΟϧλͰ࠶ݱ͢Δ • ۚଐεϦοτࡱӨʁ • ϗϫΠτϊΠζࡱӨʁ 52/57
53. ੑೳධՁ 53/57
54. ൃදख๏ͷੑೳධՁ 54/57
55. ൃදख๏ͷੑೳධՁ • ը࣭ධՁʹ͸PSNR͕Α͘࢖ΘΕΔ • ࠷େըૉ஋ʹରͯ͠ޡ͕ࠩͲΕ͙Β͍͋Δ͔ • ஋͕େ͖͍΄Ͳը࣭͕Α͍ • • 55/57
56. ൃදख๏ͷੑೳධՁ • SRCNN+GAN͸ఆྔతͳੑೳత͕ѱ͍ • SRCNN+GAN͸ੜ੒ϞσϧͳͷͰৄࡉ͸ Ͷͭ଄ 56/57
57. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ Կ͔࣭໰͸ʁ 57/57