Upgrade to Pro — share decks privately, control downloads, hide ads and more …

画像解像度別ImageNetの100 iterationの合計処理時間比較

画像解像度別ImageNetの100 iterationの合計処理時間比較

ChainerでResNet-50 + ImageNetの学習処理におけるSerialIteratorとMultiprocessIteratorでの所要時間・GPUカーネル発行状況の違いをまとめたものです.

Kazuhiro Serizawa

April 12, 2019
Tweet

More Decks by Kazuhiro Serizawa

Other Decks in Technology

Transcript

  1. ը૾ղ૾౓ผ*NBHF/FUͷ
 JUFSBUJPOͷॲཧ࣌ؒͷ ߹ܭॲཧ࣌ؒൺֱ ۔୔࿨༸ 1

  2. ධՁํ๏ w *NBHF/FUY3FT/FUͷJUFSBUJPOͷ܇࿅ॲཧ࣌ؒΛܭଌ͢Δ w OWQSPGͰ(16ͷར༻ঢ়گ΋ܭଌ͠ͳ͕Βܭଌ͢Δ w .VMUJ1SPDFTT*UFSBUPSͷόοϑΝαΠζ͸όονݻఆ w લॲཧͱͯ͠ɼ$16ଆͰը૾ΛSBOEPNʹYʹDSPQͯ͠(16Ͱॲཧ͢ΔͷͰɼ(16ଆͷܭࢉྔ͸ը૾ղ૾౓ʹґΒͣҰఆ ը૾ղ૾౓

    Y
 ʢฏۉϑΝΠϧαΠζ,#ʣ Y
 ʢฏۉϑΝΠϧαΠζ,#ʣ Y
 ʢฏۉϑΝΠϧαΠζ,#ʣ *UFSBUPS࢓༷ 4FSJBM*UFSBUPS .VMUJ1SPDFTT*UFSBUPSʢQSPDFTTʣ .VMUJ1SPDFTT*UFSBUPSʢQSPDFTTʣ .VMUJ1SPDFTT*UFSBUPSʢQSPDFTTʣ .VMUJ1SPDFTT*UFSBUPSʢQSPDFTTʣ .VMUJ1SPDFTT*UFSBUPSʢQSPDFTTʣ .VMUJ1SPDFTT*UFSBUPSʢQSPDFTTʣ Y !2
  3. ධՁ݁Ռʢʣ YͷJUFSBUJPOʹ͓͚Δ߹ܭॲཧ࣌ؒ w YͰ͸.VMUJ1SPDFTT*UFSBUPSؒʹ͓͚Δ߹ܭॲཧ࣌ؒͷࠩ͸ຆͲແ͍ w ը૾ղ૾౓͕খ͍ͨ͞Ί֤ϑΝΠϧͷSFBEʹཁ͢Δ͕࣌ؒ୹͘ɼ
 ฒྻ౓͕௿ͯ͘΋(16ଆ͕཯଎ཁҼͱͳΔͨΊͱߟ͑ΒΕΔ GBTUFS  

    YGBTUFS !3
  4. ධՁ݁Ռʢʣ YͷJUFSBUJPOʹ͓͚Δ߹ܭॲཧ࣌ؒ w YͰ͸.VMUJ1SPDFTT*UFSBUPSؒʹ͓͚Δ߹ܭॲཧ࣌ؒͷ͕ࠩଟগݟΒΕΔ w Yͱಉ༷ʹฒྻ౓͕௿ͯ͘΋(16ଆ͕཯଎ཁҼͱͳΔͨΊͱߟ͑ΒΕΔ GBTUFS   YGBTUFS

    !4
  5. ධՁ݁Ռʢʣ YͷJUFSBUJPOʹ͓͚Δ߹ܭॲཧ࣌ؒ w YͰ͸.VMUJ1SPDFTT*UFSBUPSؒʹ͓͚Δ߹ܭॲཧ࣌ؒͷ͕ࠩ
 ଞͷղ૾౓ͱൺ΂Δͱେ͖͘ͳΔ GBTUFS   YGBTUFS !5

  6. ֤ղ૾౓ʹ͓͚Δ
 ϑΝΠϧSFBEͷ࣮ଌόϯυ෯ ղ૾౓
 ʢόονͷϑΝΠϧαΠζʣ 4FSJBM .VMUJ1SPDFTT
 QSPDFTTFT Y
 ฏۉ,#Y .#

    <.#T> <.#T> Y
 ʢฏۉ,#Y .#ʣ <.#T> <.#T> Y
 ʢฏۉ,#Y .# <.#T> <.#T> 119ͷ/7.F44%ͷཧ࿦ϐʔΫόϯυ෯͸গͳ͘ͱ΋.#TҎ্Ͱ͋ΔͨΊ
 (16্ͷԋࢉ͕཯଎͍ͯ͠Δঢ়ଶͰ͋Γɼ4UPSBHFଆ͸͔ͳΓ༨༟͕͋Δঢ়ଶͱߟ͑ΒΕΔ !6
  7. ධՁதͷ(16ར༻ঢ়گ  4FSJBM 1SPDFTT 1SPDFTTFT Yʹ͓͚Δ(16ར༻ঢ়گ !7 ˡQSPDFTTͷ࣌఺Ͱ
 Χʔωϧൃߦ͕٧·͍ͬͯΔ ˡQSPDFTTͰΧʔωϧൃߦؒ

    ִ͕٧·͍ͬͯΔͷͰɼฒྻ౓Λ ্͛ͯ΋଎౓͸޲্͠ͳ͍
  8. ධՁதͷ(16ར༻ঢ়گ  4FSJBM 1SPDFTT 1SPDFTTFT Yʹ͓͚Δ(16ར༻ঢ়گ !8 ˡQSPDFTTͩͱ
 Χʔωϧൃߦִ͕ؒ໨ཱͭ ˡϓϩηεʹ૿΍͢͜ͱͰQSPDFTTͱൺ΂ͯ

    Χʔωϧൃߦִ͕ؒ٧·ͬͨ
  9. ධՁதͷ(16ར༻ঢ়گ  4FSJBM 1SPDFTT 1SPDFTTFT Yʹ͓͚Δ(16ར༻ঢ়گ 1SPDFTTFT 1SPDFTTFT !9

  10. ·ͱΊ w σʔληοτʹؚ·ΕΔը૾ϑΝΠϧαΠζ͕૿Ճʹ൐ͬͯ .VMUJ1SPDFTT*UFSBPUFSͷฒྻSFBEͷ଎౓޲্ޮՌ͕ڧ͘ͳ Δ w ҰํͰը૾ϑΝΠϧαΠζ͕খ͍͞৔߹͸͋·ΓޮՌ͕൓ө ͞ΕͣɼSFBEͷฒྻ౓Λ্͛ͯ΋ॲཧ଎౓͸͋·Γվળ͠ͳ ͍ w

    ϩʔΧϧϊʔυͷ/7.F44%ʹσʔληοτΛ഑ஔͨ͠ *NBHF/FU 3FT/FUͷ܇࿅ʹ͓͍ͯ͸ɼ܇࿅ॲཧ଎౓͸ (16্ͷԋࢉ͕཯଎͍ͯ͠Δঢ়ଶͰ͋Δͱߟ͑ΒΕΔ !10
  11. ࠓޙͷ՝୊ w ࠓճ͸JUFSBUJPO਺ͱόοϑΝαΠζ͕ಉ਺͕ͩͬͨɼ࣮ࡍ ͷϫʔΫϩʔυͰ͸JUFSBUJPO਺όοϑΝαΠζͱͳΔ ͜ͱ͕૝ఆ͞ΕΔͷͰɼͦͷέʔεͰॲཧ࣌ؒΛධՁ͢Δ w JUFSBUJPO਺ʹର͢ΔόοϑΝαΠζͷׂ߹Λɼ ɼ  ͱม͑ͳ͕ΒධՁ͢ΔɼͳͲ

    w ϩʔΧϧͷ44%ͳͲͷߴ଎ετϨʔδҎ֎ͰධՁ͢Δ w ෼ࢄ'4ͳͲʢऔΓٸ͗΍ΔͳΒ119ͷ/'4ʣ !11