Upgrade to Pro — share decks privately, control downloads, hide ads and more …

深層ニューラルネットワークにおける訓練高速化のための自動最適化

 深層ニューラルネットワークにおける訓練高速化のための自動最適化

My slide at "第168回HPC研究会".
http://id.nii.ac.jp/1001/00194707/

Kazuhiro Serizawa

March 07, 2019
Tweet

More Decks by Kazuhiro Serizawa

Other Decks in Research

Transcript

  1. ൃද಺༰ w ݚڀഎܠ w ؔ࿈ݚڀʢϋΠύʔύϥϝʔλνϡʔχϯάɼ෼ࢄ%//ʣ w ༧උ࣮ݧ w ఏҊख๏ w

    ఏҊख๏(16ར༻཰Λར༻ͨ͠࠷దԽ w ఏҊख๏܇࿅ॲཧ࣌ؒͷਪҠΛར༻ͨ͠࠷దԽ w ධՁ࣮ݧ w ݁࿦ 2
  2. ݚڀͷഎܠʢʣ w ۙ೥ɼਂ૚χϡʔϥϧωοτϫʔΫʢҎԼ%//ʣΛ༻͍ ͨػցֶशͷར༻͕׆ൃԽ      Ґ

    Ґ Ґ ̐Ґ Ґ Ґ Ґ IUUQJNBHFOFUPSHDIBMMFOHFT-473$SFTVMUTIUNMΑΓҾ༻ #FUUFS *-473$ͷ ը૾ೝࣝ෦໳ͷUPQ Τϥʔ཰<> "MFY/FU ৞ΈࠐΈχϡʔϥϧ ωοτϫʔΫ Λ࠾༻ 3
  3. ؔ࿈ݚڀʢʣ w ෼ࢄॲཧΛ༻͍ٖͯࣅతʹେن໛ͳϛχόον܇࿅Λ࣮ݱ w ύϥϝʔλαʔόΛ༻͍ͨඇಉظ෼ࢄฒྻ܇࿅ <%FBOFUBM > w .1*ͷ"MM3FEVDFΛ༻͍ͨಉظ෼ࢄฒྻ܇࿅ <"LJCBFUBM

    > େྔͷܭࢉϊʔυΛલఏͱͨ͠ख๏Ͱ͋Γɼϊʔυ୯ҐͰͷ࠷దԽ·Ͱ ͸ߟྀ͍ͯ͠ͳ͍ ຊݚڀͰ͸ϊʔυ(16୯ҐͰͷ܇࿅଎౓Λ޲্ͤ͞ɼ ෼ࢄ܇࿅ʹద༻ͯ͠΋ߴ଎Խʹد༩Ͱ͖Δख๏ΛఏҊ͢Δ 7
  4. ؔ࿈ݚڀʢʣ w ػցֶशϞσϧͷਫ਼౓Λ࠷େԽ͢ΔϋΠύʔύϥϝʔλ νϡʔχϯά w 3BOEPNTFBSDI ໦ߏ଄1BS[FOਪఆثΛ࢖༻ͨ͠ख๏ <#FSHTUSBFUBM > w

    ϕΠζ࠷దԽΛ༻͍ͨख๏<4OPFLFUBM > ܇࿅଎౓Λ࠷େԽ͢ΔͨΊͷϋΠύʔύϥϝʔλνϡʔχϯάख๏͸ ͜Ε·ͰఏҊ͞Ε͍ͯͳ͍ ຊݚڀͰ͸܇࿅଎౓Λ࠷େԽ͢ΔͨΊͷϛχόον αΠζͷࣗಈ࠷దԽख๏Λݕ౼ 8
  5. ༧උ࣮ݧ͔Βߟ͑ΒΕΔԾઆ ϛχόοναΠζΛ૿΍͢ w ը૾ຕ͋ͨΓͷ܇࿅͕࣌ؒݮগ w ฏۉ(16ར༻཰্͕ঢ w ྆ऀͱ΋ҰఆͷαΠζͰऩଋ w ա৒ʹ૿΍͢ͱϞσϧੑೳʹѱӨڹ

    ฏۉ(16ར༻཰ͷมԽ͕ऩଋ࢝͠ΊΔલޙͷ ϛχόοναΠζ͕܇࿅࣌ؒΛ࠷খԽ͢Δ ༧උ࣮ݧΑΓ 16 खಈͰϛχόοναΠζ͝ͱʹ(16ར༻཰Λܭଌ͠ͳ͕Β ϚχϡΞϧͰϛχόοναΠζΛௐ੔͢Δͷ͸ඇৗʹख͕͔͔ؒΔ
  6. $IBJOFSΛ༻͍࣮ͨ૷ํ๏ .PEFMΛΠϯελϯεԽ NPEFM7((  0QUJNJ[FSΛΠϯελϯεԽͯ͠.PEFMͱώϞ෇ PQUJNJ[FS.PNFOUVN4(% NPEFM   ςετσʔλΛϩʔυͯ͠*UFSBUPSΛΠϯελϯεԽ

    JUFSBUPS4FSJBM*UFSBUPS HFU@DJGBS   6QEBUFSΛΠϯελϯεԽͯ͠JUFSBUPS PQUJNJ[FSͱώϞ෇ VQEBUFS4UBOEBSE6QEBUFS JUFSBUPS PQUJNJ[FS   5SBJOFSΛΠϯελϯεԽͯ͠VQEBUFSͱώϞ෇ USBJOFS5SBJOFS VQEBUFS   ఏҊख๏Λ࣮૷ͨ͠&YUFOTJPOΛ௥Ճ USBJOFSFYUFOE .JOJCBUDI4J[F0QUJNJ[FS   ܇࿅ϧʔϓΛ࣮ߦ USBJOFSSVO $IBJOFSΛ༻͍ͨ܇࿅ॲཧεΫϦϓτͷ࣮૷ྫͱओཁΫϥεͷॴ༗ؔ܎ 23
  7. ධՁ࣮ݧ֓ཁʢʣ ධՁ؀ڥ TQFD $16 9FPO 3 $16&W!()[Y .FNPSZ (J# (16

    /7*%*"5FTMB7(J# 04 $FOU04 1ZUIPO  $IBJOFS B GPSL࣌఺ $6%"  DV%// W 26
  8. ఏҊख๏̎ʹ͓͚Δ $JGBSͷධՁ݁Ռ $JGBSͷ܇࿅ॲཧ࣌ؒ վળ཰ऩଋͷ༷ࢠ #FUUFS   29 7(( 3FT/FU

    $JGBSͷϛχόοναΠζͱ ܇࿅ॲཧ࣌ؒվળ཰ͷؔ܎ w ࠷దԽͷਐߦͱڞʹFQPDI౰ͨΓͷॲཧ࣌ؒվળ཰͕૿Ճ w ϛχόοναΠζͱվળ཰ͱͷؒʹਖ਼ͷ૬ؔੑ͕ݟΒΕΔ ࠷దԽਐḿ େ খ
  9. ධՁ݁Ռ·ͱΊ ධՁύλʔϯ ఏҊख๏ ఏҊख๏̎ ύλʔϯ   ύλʔϯ  

    ύλʔϯ   ύλʔϯ   ࠷ద஋ͱͯ͠ಘΒΕͨϛχόοναΠζ ࠷ద஋ͱͯ͠ಘΒΕͨϛχόοναΠζΛൺֱ͢Δͱ ࠷దԽख๏ؒຖͰ͕ࠩݟΒΕͨ 32
  10. *NBHF/FULͰͷධՁ݁Ռ ʹ͓͚Δߟ࡯ʢʣ 7(( 3FT/FU #FUUFS ఏҊख๏ ఏҊख๏ (16ʹΑΔߴ଎ԽϛχόονʹΑΔॲཧ࡟ݮޮՌͷ྆ํ͕ ͋·ΓޮՌతͰͳ͍ վળ཰ͷਪҠ͕ॳظ஋͔Βͷ

    ϛχόοναΠζͷมԽʹൺྫ ͢Δ৔߹ͷվળ཰ਪҠ վળ཰ͷਪҠ͕ॳظ஋͔Βͷ ϛχόοναΠζͷมԽʹͷΈ ൺྫ͢Δ৔߹ͷཧ૝஋ۂઢ 36
  11. ฏۉ(16ར༻཰ͷ෼ࢄʹ ؔ͢Δߟ࡯ʢʣ $JGBS 7(( ύ$JGBS 3FT/FU *NBHF/FUL 7(( *NBHF/FUL 3FT/FU

    w ฏۉ(16ར༻཰ͷ෼ࢄ͸*NBHF/FUL$JGBS w σʔληοτͷαΠζࠩʹΑͬͯ(16ͷར༻ঢ়گ͕ ҟͳΔՄೳੑ͕ߟ͑ΒΕΔ 37
  12. ݁࿦ w ຊݚڀͰ͸ɼ(16ར༻཰ͱ܇࿅଎౓ͷվળ཰ʹண໨ͨ͠ϛχόονα Πζͷ࠷దԽख๏ΛఏҊͨ͠ w $JGBSΛ༻͍ͨ܇࿅ʹ͓͍ͯɼϛχόοναΠζͱൺֱͯ͠࠷ େͰFQPDI౰ͨΓͷ܇࿅ॲཧ࣌ؒΛվળ͢Δϛχόονα ΠζΛࣗಈͰ୳ࡧ͢Δ͜ͱ͕Ͱ͖ͨ w *NBHF/FULΛ༻͍ͨ܇࿅ʹ͓͍ͯɼϛχόοναΠζͱൺֱͯ͠

    ࠷େͰFQPDI౰ͨΓͷ܇࿅ॲཧ࣌ؒΛ࠷େվળ͢Δϛχ όοναΠζΛࣗಈͰ୳ࡧ͢Δ͜ͱ͕Ͱ͖ͨ w *NBHF/FULΛ༻͍ͨ܇࿅Ͱ͸܇࿅ॲཧͷ(16Λར༻͍ͯ͠Δ࣌ؒͷ ׂ߹͕$JGBSͱൺ΂ͯ௿͍͜ͱ͕֬ೝ͞Εͨ 39
  13. ఏҊख๏̎ͷ ධՁ݁Ռͷݕূ ධՁύλʔϯ ఏҊख๏̎ख๏Ͱਪଌ͞Εͨ࠷ద஋ ʹ͓͚Δվળ཰<> ࣮ࡍʹܭଌ͞Εͨվળ཰<> ύλʔϯ   ύλʔϯ

      ύλʔϯ   ύλʔϯ   ಘΒΕͨϛχόονͷ࠷ద஋Λ༻͍ͯFQPDIͷ܇࿅Λߦ͍ɼ ॳظ஋͔Βͷվળ཰Λܭଌͨ͠ͱ͜Ζɼਪଌ஋ͱܭଌ஋͸΄΅ಉ஋Λࣔͨ͠ 42
  14. ఏҊख๏ͷ ධՁ݁Ռͷݕূʢৄࡉʣ ධՁύλʔϯ ਪଌ͞Εͨվળ཰ <> ܭଌ͞Εͨվળ཰ <> ॳظ஋Ͱͷܭଌ஋ <TFD> ࠷ద஋Ͱͷܭଌ஋

    <TFD> ύλʔϯ     ύλʔϯ     ύλʔϯ       ύλʔϯ       ಘΒΕͨϛχόονͷ࠷ద஋Λ༻͍ͯFQPDIͷ܇࿅Λߦ͍ ॲཧ࣌ؒͱॳظ஋͔Βͷվળ཰Λܭଌͨ͠ 43
  15. ఏҊख๏ͱఏҊख๏ͷ ࠷ద஋ൺֱ ධՁύλʔϯ ॳظ஋Ͱͷܭଌ஋<TFD> ఏҊख๏ͷ࠷ద஋Ͱͷ ܭଌ஋<TFD> ఏҊख๏Ͱͷ࠷ద஋Ͱ ͷܭଌ஋<TFD> ύλʔϯ 

      ύλʔϯ    ύλʔϯ       ύλʔϯ       ಘΒΕͨϛχόονͷ࠷ద஋Λ༻͍ͯFQPDIͷ܇࿅Λߦ͍ ॲཧ࣌ؒΛܭଌͨ͠ 44
  16. ఏҊख๏ͷ ධՁ݁Ռͷݕূ σʔληοτ ωοτϫʔΫ ϕʔεϥΠϯ<TFD> ఏҊख๏ʹ͓͚Δ࣮ଌ ஋<TFD> $JGBS 7(( 

       3FT/FU     *NBHF/FUL 7((     3FT/FU     ఏҊख๏ͰಘΒΕͨ࠷ద஋Λ༻͍ͯFQPDIܭଌͨ݁͠Ռ 45
  17. ఏҊख๏ͷ ධՁ݁Ռͷݕূ σʔληοτ ωοτϫʔΫ ϕʔεϥΠϯ<TFD> ఏҊख๏ʹ͓͚Δ࣮ଌ ஋<TFD> $JGBS 7(( 

       3FT/FU     *NBHF/FUL 7((     3FT/FU     ఏҊख๏ͰಘΒΕͨ࠷ద஋Λ༻͍ͯFQPDIܭଌͨ݁͠Ռ 46
  18. ධՁதͷܭଌ஋ྫ         

          DIFDL                DIFDL DPOWFSHFODF                   DIFDL লུ           DIFDL DPOWFSHFODF    ఏҊख๏ ఏҊख๏̎ ϛχόον αΠζ ϛχόον αΠζ 50