画像解像度別ImageNetの100 iterationの合計処理時間比較

ChainerでResNet-50 + ImageNetの学習処理におけるSerialIteratorとMultiprocessIteratorでの所要時間・GPUカーネル発行状況の違いをまとめたものです．

Transcript

1. ը૾ղ૾౓ผ*NBHF/FUͷ
 
   JUFSBUJPOͷॲཧ࣌ؒͷ ߹ܭॲཧ࣌ؒൺֱ 
   ۔୔࿨༸ 1
2. ධՁํ๏ w *NBHF/FU
   Y
   3FT/FUͷ
   JUFSBUJPOͷ܇࿅ॲཧ࣌ؒΛܭଌ͢Δ
   w OWQSPGͰ(16ͷར༻ঢ়گ΋ܭଌ͠ͳ͕Βܭଌ͢Δ
   w .VMUJ1SPDFTT*UFSBUPSͷόοϑΝαΠζ͸όονݻఆ
   w લॲཧͱͯ͠ɼ$16ଆͰը૾ΛSBOEPNʹYʹDSPQͯ͠(16Ͱॲཧ͢ΔͷͰɼ(16ଆͷܭࢉྔ͸ը૾ղ૾౓ʹґΒͣҰఆ ը૾ղ૾౓ Y
 ʢฏۉϑΝΠϧαΠζ,#ʣ Y
 ʢฏۉϑΝΠϧαΠζ,#ʣ Y
 ʢฏۉϑΝΠϧαΠζ,#ʣ *UFSBUPS࢓༷ 4FSJBM*UFSBUPS .VMUJ1SPDFTT*UFSBUPSʢ
   QSPDFTTʣ .VMUJ1SPDFTT*UFSBUPSʢ
   QSPDFTTʣ .VMUJ1SPDFTT*UFSBUPSʢ
   QSPDFTTʣ .VMUJ1SPDFTT*UFSBUPSʢ
   QSPDFTTʣ .VMUJ1SPDFTT*UFSBUPSʢ
   QSPDFTTʣ .VMUJ1SPDFTT*UFSBUPSʢ
   QSPDFTTʣ Y !2
3. ධՁ݁Ռʢʣ Yͷ
   JUFSBUJPOʹ͓͚Δ߹ܭॲཧ࣌ؒ w YͰ͸.VMUJ1SPDFTT*UFSBUPSؒʹ͓͚Δ߹ܭॲཧ࣌ؒͷࠩ͸ຆͲແ͍
   w ը૾ղ૾౓͕খ͍ͨ͞Ί֤ϑΝΠϧͷSFBEʹཁ͢Δ͕࣌ؒ୹͘ɼ
 ฒྻ౓͕௿ͯ͘΋(16ଆ͕཯଎ཁҼͱͳΔͨΊͱߟ͑ΒΕΔ GBTUFS   Y
   GBTUFS !3
4. ධՁ݁Ռʢʣ Yͷ
   JUFSBUJPOʹ͓͚Δ߹ܭॲཧ࣌ؒ w YͰ͸.VMUJ1SPDFTT*UFSBUPSؒʹ͓͚Δ߹ܭॲཧ࣌ؒͷ͕ࠩଟগݟΒΕΔ
   w Yͱಉ༷ʹฒྻ౓͕௿ͯ͘΋(16ଆ͕཯଎ཁҼͱͳΔͨΊͱߟ͑ΒΕΔ GBTUFS   Y
   GBTUFS !4
5. ධՁ݁Ռʢʣ Yͷ
   JUFSBUJPOʹ͓͚Δ߹ܭॲཧ࣌ؒ w YͰ͸.VMUJ1SPDFTT*UFSBUPSؒʹ͓͚Δ߹ܭॲཧ࣌ؒͷ͕ࠩ
 ଞͷղ૾౓ͱൺ΂Δͱେ͖͘ͳΔ GBTUFS   Y
   GBTUFS !5
6. ֤ղ૾౓ʹ͓͚Δ
 ϑΝΠϧSFBEͷ࣮ଌόϯυ෯ ղ૾౓
 ʢόονͷϑΝΠϧαΠζʣ 4FSJBM .VMUJ1SPDFTT
 
   QSPDFTTFT Y
 ฏۉ,#
   Y
   
   
   .# <.#T> <.#T> Y
 ʢฏۉ,#
   Y
   
   
   .#ʣ <.#T> <.#T> Y
 ʢฏۉ,#
   Y
   
   
   .# <.#T> <.#T> 119ͷ/7.F
   44%ͷཧ࿦ϐʔΫόϯυ෯͸গͳ͘ͱ΋.#TҎ্Ͱ͋ΔͨΊ
 (16্ͷԋࢉ͕཯଎͍ͯ͠Δঢ়ଶͰ͋Γɼ4UPSBHFଆ͸͔ͳΓ༨༟͕͋Δঢ়ଶͱߟ͑ΒΕΔ !6
7. ධՁதͷ(16ར༻ঢ়گ  4FSJBM 
   1SPDFTT 
   1SPDFTTFT Yʹ͓͚Δ(16ར༻ঢ়گ !7 ˡ
   QSPDFTTͷ࣌఺Ͱ
 Χʔωϧൃߦ͕٧·͍ͬͯΔ ˡ
   QSPDFTTͰΧʔωϧൃߦؒ ִ͕٧·͍ͬͯΔͷͰɼฒྻ౓Λ ্͛ͯ΋଎౓͸޲্͠ͳ͍
8. ධՁதͷ(16ར༻ঢ়گ  4FSJBM 
   1SPDFTT 
   1SPDFTTFT Yʹ͓͚Δ(16ར༻ঢ়گ !8 ˡ
   QSPDFTTͩͱ
 Χʔωϧൃߦִ͕ؒ໨ཱͭ ˡϓϩηεʹ૿΍͢͜ͱͰ
   QSPDFTTͱൺ΂ͯ
   Χʔωϧൃߦִ͕ؒ٧·ͬͨ
9. ධՁதͷ(16ར༻ঢ়گ  4FSJBM 
   1SPDFTT 
   1SPDFTTFT Yʹ͓͚Δ(16ར༻ঢ়گ 
   1SPDFTTFT 
   1SPDFTTFT !9
10. ·ͱΊ w σʔληοτʹؚ·ΕΔը૾ϑΝΠϧαΠζ͕૿Ճʹ൐ͬͯ .VMUJ1SPDFTT*UFSBPUFSͷฒྻSFBEͷ଎౓޲্ޮՌ͕ڧ͘ͳ Δ
    w ҰํͰը૾ϑΝΠϧαΠζ͕খ͍͞৔߹͸͋·ΓޮՌ͕൓ө ͞ΕͣɼSFBEͷฒྻ౓Λ্͛ͯ΋ॲཧ଎౓͸͋·Γվળ͠ͳ ͍
    w ϩʔΧϧϊʔυͷ/7.F
    44%ʹσʔληοτΛ഑ஔͨ͠ *NBHF/FU
    
    3FT/FUͷ܇࿅ʹ͓͍ͯ͸ɼ܇࿅ॲཧ଎౓͸ (16্ͷԋࢉ͕཯଎͍ͯ͠Δঢ়ଶͰ͋Δͱߟ͑ΒΕΔ !10
11. ࠓޙͷ՝୊ w ࠓճ͸JUFSBUJPO਺ͱόοϑΝαΠζ͕ಉ਺͕ͩͬͨɼ࣮ࡍ ͷϫʔΫϩʔυͰ͸JUFSBUJPO਺
    
    όοϑΝαΠζͱͳΔ ͜ͱ͕૝ఆ͞ΕΔͷͰɼͦͷέʔεͰॲཧ࣌ؒΛධՁ͢Δ
    w JUFSBUJPO਺ʹର͢ΔόοϑΝαΠζͷׂ߹Λɼ ɼ
    
    ͱม͑ͳ͕ΒධՁ͢ΔɼͳͲ
    w ϩʔΧϧͷ44%ͳͲͷߴ଎ετϨʔδҎ֎ͰධՁ͢Δ
    w ෼ࢄ'4ͳͲʢऔΓٸ͗΍ΔͳΒ119ͷ/'4ʣ !11