$30 off During Our Annual Pro Sale. View Details »

PyTorch Lightningのススメ

Yongtae723
November 18, 2021

PyTorch Lightningのススメ

PyTorch Lightningのススメ
JX通信社ではPyTorch Lightningを用いてDeep Learningの開発を行っています。MLOpsの観点でPyTorch Lightningを利用するメリットについてご紹介します。

講演者のプロフィール
ファン ヨンテ / Yongtae Hwang
東京大学理学系研究科物理学専攻にて博士号を取得後、JX通信社でAIエンジニアをしています!PyTorch Lightningを初めて使った時に感動し、今ではPyTorch LightningのSlack コミュニティーにも参加しています。趣味はゴルフで超ハマり中。
https://twitter.com/Yoooongtae

ブログはこちらhttps://tech.jxpress.net/entry/2021/11/17/112214

Yongtae723

November 18, 2021
Tweet

More Decks by Yongtae723

Other Decks in Programming

Transcript

  1. 1Z5PSDI-JHIUOJOHͷεεϝ
    )XBOH:POHUBF
    ୈճ.-0QTษڧձ 0OMJOF

    dਝ଎ͳχϡʔε଎ใൃ৴Λࢧ͑Δ.-0QTd

    View Slide

  2. 2,ݱঢ়෼ੳͱ໰୊఺
    Who I am
    ԫ༐ଠ ϑΝϯϤϯς

    w ౦ژେֶɹཧֶത࢜ ෺ཧ

    w +9௨৴ࣾɹػցֶशΤϯδχΞ
    w 1Z5PSDI-JHIUOJOHͷϔϏʔϢʔβʔ
    w 4MBDLͷίϛϡχςΟʹೖͬͯ·͢
    !:PPPPOHUBF

    View Slide

  3. 2,ݱঢ়෼ੳͱ໰୊఺
    ຊൃදͷ໨త
    w 1Z5PSDI-JHIUOJOHΛ஌ͬͯ΋Β͍ɺར༻ͷ͖͔͚ͬʹͳͬͯ΄͍͠
    w ຊ೔ͷ಺༰͸ɺϒϩάʹ·ͱΊ͍ͯ·͢ɻ
    w $PMBCͰಈ͘αϯϓϧίʔυ΋ϒϩά͔ΒΞΫηεͰ͖·͢ɻ

    View Slide

  4. Agenda 1Z5PSDI-JHIUOJOHΛར༻ͨ͠എܠ
    1Z5PSDI-JHIUOJOHͱ͸ʁ
    1,
    2,
    ຊൃදͷ໨త
    0,

    View Slide

  5. 2,ݱঢ়෼ੳͱ໰୊఺
    MLΤϯδχΞʹٻΊΒΕΔۀ຿
    αΠΤϯε ίʔσΟϯά
    ɾϞσϧਫ਼౓Λ্͛Δ
    ɾσʔλͷਫ਼ࠪ
    ɾ՝୊ղܾʹ௚݁͢Δํ๏Λ୳Δ
    ɾ࿦จௐࠪ
    ɾBOETPPO
    ɾֶश͢ΔσόΠεͷ੾Γସ͑
    ɾֶशه࿥ɾϞσϧͷอଘ
    ɾֶशͷߴ଎Խ
    ɾֶश࣌ͷਐḿͷදࣔ
    ɾBOETPPO
    Λ࢖͍ͬͯΔͱɻɻɻ

    View Slide

  6. 2,ݱঢ়෼ੳͱ໰୊఺
    ΠϊϕʔςΟϒͳMLνʔϜʹͳΔͨΊʹ͸

    Λ࢖͏ͱ

    View Slide

  7. 2,ݱঢ়෼ੳͱ໰୊఺
    PyTorch LightningΛར༻ͨ͠എܠ
    +9௨৴ࣾͷ.-νʔϜͰେࣄʹͯ͠Δཧ೦
    ྗΛ࢖͏΂͖ॴʹͷΈ஫ྗ͠Α͏ʂ
    ϒϩάॻ͍ͯ·͢
    ଐਓԽ͕ͪ͠ͳR&DΛνʔϜ։ൃ͢ΔͨΊͷJX௨৴ࣾͰͷ޻෉
    IUUQTUFDIKYQSFTTOFUFOUSZ

    +9௨৴ࣾͰ͸
    Λ༻͍Δ͜ͱͰɺ
    ྗΛ࢖͏΂͖ॴʹͷΈ஫ྗ͠Α͏ʂ
    Ͱ͖ΔΑ͏ʹ͍ͯ͠·͢

    View Slide

  8. 1Z5PSDI-JHIUOJOHͱ͸ʁ
    02

    View Slide

  9. 2,ݱঢ়෼ੳͱ໰୊఺
    PyTorch Lightningͱ͸
    1ZUPSDI-*HIUOJOHͷ)1ΑΓҾ༻ IUUQTXXXQZUPSDIMJHIUOJOHBJ

    View Slide

  10. 2,ݱঢ়෼ੳͱ໰୊఺
    PyTorch ͱԿ͕ҧ͏ͷʁ
    1Z5PSDI-JHIUOJOH͸
    ɾαΠΤϯεͷίʔυ͕ϝΠϯɺଞͷॲཧ͸਺ߦͷ௥ՃͰ׬݁
    ɾίʔυͷॻ͖ํʹϑϨʔϜϫʔΫ͕͋ΓɺͦΕΛຒΊΔΑ͏ʹॻ͘
    ɾ1Z5PSDI͕Ͱ͖Δ͜ͱ͸΄ͱΜͲͰ͖Δ

    View Slide

  11. 1Z5PSDI-JHIUOJOHͷॻ͖ํ
    dೖ໳d
    αΠΤϯεʹؔΘΔ෦෼

    02-1

    View Slide

  12. 2,ݱঢ়෼ੳͱ໰୊఺
    σʔλͷॲཧ(LightningDataModule)
    1Z5PSDIͷ%BUB-PBEFSΛ·ͱΊΔϞδϡʔϧ
    ؔ਺ͷ໊લΛউखʹฤूͯ͠͸ͳΒͳ͍

    View Slide

  13. 2,ݱঢ়෼ੳͱ໰୊఺
    ֶशʹؔΘΔॲཧ(LightningModule)
    Ϟσϧͷ
    ΞʔΩςΫνϟΛ
    ఆٛ
    1ZUPSDIͱಉ͡

    ͜ͷMPTTΛجʹϞ
    σϧ͕ߋ৽͞ΕΔ
    UP EFWJDF
    ͸ඞཁͳ͠ʂ
    ֶश࣌ͷ֤εςοϓ
    Ͱͷಈ࡞Λهड़
    ଞͷྫWBMJE@FQPDI@FOE
    PO@
    fi
    U@TUBSU

    0QUJNJ[FSͷఆٛ

    View Slide

  14. 2,ݱঢ়෼ੳͱ໰୊఺
    Trainer
    ɾ5SBJOFSͰֶश͕։࢝
    ਺ߦͷ௥ՃͰՄೳ

    View Slide

  15. 2,ݱঢ়෼ੳͱ໰୊఺
    Trainer
    ɾ5SBJOFSͰֶश͕։࢝
    ɾؔΘͬͨίʔυ͸
    ⾣σʔλͷॲཧ๏
    ⾣NPEFMͷΞʔΩςΫνϟ
    ⾣USBJO WBMJE UFTU
    MPPQ಺ͷॲཧ
    ɾ݁Ռͷݟ͔ͨɺอଘ͸ʁ
    ɾϞσϧͷอଘ͸ʁ
    ɾ(16516Ͱಈ͔ͨ͢Ίʹ͸ʁ
    ਺ߦͷ௥ՃͰՄೳ

    View Slide

  16. 1Z5PSDI-JHIUOJOHͷॻ͖ํ
    dԠ༻d
    ίʔσΟϯάʹؔΘΔ෦෼

    02-2

    View Slide

  17. ݁Ռͷݟ͔ͨɾอଘํ๏
    02-2

    View Slide

  18. 2,ݱঢ়෼ੳͱ໰୊఺
    ݁Ռͷݟ͔ͨɾอଘํ๏ʹ͍ͭͯ
    TFMGMPHͰNFUSJDT͕ه࿥͞ΕΔ

    View Slide

  19. 2,ݱঢ়෼ੳͱ໰୊఺
    ݁Ռͷݟ͔ͨɾอଘํ๏ʹ͍ͭͯ
    UPSDINFUSJDTͷϥΠϒϥϦͰ؆୯ʹ݁ՌΛ
    هड़Ͱ͖Δʂ

    View Slide

  20. 2,ݱঢ়෼ੳͱ໰୊఺
    ݁Ռͷݟ͔ͨɾอଘํ๏ʹ͍ͭͯ

    View Slide

  21. 2,ݱঢ়෼ੳͱ໰୊఺
    ݁Ռͷݟ͔ͨɾอଘํ๏ʹ͍ͭͯ
    ༷ʑͳ࣮ݧ؅ཧϥΠϒϥϦʹରԠʂ
    w 5FOTPS#PBSE
    w .-'MPX
    w $PNFU
    w 8BOE#
    w /FQUVOF
    w BOETPPO

    View Slide

  22. ϞσϧͷอଘͱFBSMZ
    TUPQQJOH
    02-2

    View Slide

  23. 2,ݱঢ়෼ੳͱ໰୊఺
    Callbacks
    $BMMCBDLTˠֶशϧʔϓʹίʔυΛ௥ՃͰ͖Δ

    View Slide

  24. 2,ݱঢ়෼ੳͱ໰୊఺
    Ϟσϧͷอଘͱearly stopping
    -JHIUOJOH͔Βఏڙ͞ΕΔDBMMCBDL
    w .PEFM$IFDLQPJOU
    w Ϟσϧͷอଘ
    w &BSMZ4UPQQJOH
    w ֶश͕ਐ·ͳ͍ͳΒࢭΊΔ

    View Slide

  25. (16516*16Ͱͷֶश
    02-2

    View Slide

  26. 2,ݱঢ়෼ੳͱ໰୊఺
    GPU/ TPU/ IPUͰͷֶश
    ֶश͢ΔσόΠεͰ଎౓͕มΘΔ
    IUUQTDMPVEHPPHMFDPNCMPHKBQSPEVDUTHDQBOJOEFQUIMPPLBUHPPHMFT
    fi
    STUUFOTPSQSPDFTTJOHVOJUUQVΑΓҾ༻
    1Z5PSDIͰ͸UP EFWJDF
    ΛࢸΔॴʹॻ͘ඞཁ͋Γ

    View Slide

  27. 2,ݱঢ়෼ੳͱ໰୊఺
    GPU/ TPU/ IPUͰͷֶश
    5SBJOFSͷҾ਺Λมߋ͢Δ͚ͩʂ
    .VMUJQMF(16ͷฒྻܭࢉʹ΋ରԠ

    View Slide

  28. 2,ݱঢ়෼ੳͱ໰୊఺
    ·ͱΊ
    ྗΛ๋͛Δ΂͖৔ॴʹ஫ྗ͠Α͏ʂΛୡ੒͢ΔͨΊʹ+9௨৴ࣾͰ͸1Z5PSDI
    -JHIUOJOHΛར༻
    1Z5PSDI-JHIUOJOHͰ͸αΠΤϯεʹؔΘΔίʔυͷ஫ྗͰ͖ɺଞͷίʔσΟϯά͸
    ਺ߦͰऴΘΕΔΑ͏ʹͳΔ

    View Slide

  29. ʲ"EEJUJPOBMʳ
    1Z5PSDI-JHIUOJOH'MBTI
    ʹ͍ͭͯ
    02-3

    View Slide

  30. 2,ݱঢ়෼ੳͱ໰୊఺
    PyTorch Lightning Flashʹ͍ͭͯ
    -JHIUOJOHΑΓߴҐͷϥούʔ
    యܕతͳλεΫ͸਺ߦͰऴΘΔ
    ϕʔεϥΠϯͷϞσϧΛ࡞੒ʹద͍ͯ͠Δ͕
    ॊೈੑʹ๡͘͠޻෉͕ࠔ೉
    IUUQTMJHIUOJOH
    fl
    BTISFBEUIFEPDTJPFOTUBCMF CBEHFTUBCMFΑΓҾ༻

    View Slide

  31. 2,ݱঢ়෼ੳͱ໰୊఺
    PyTorch Lightning Flashʹ͍ͭͯ

    ࣮૷ͷָ͞
    ॊೈੑ
    ݸਓతͳ࢖͍ํ ࠷ઌ୺Ϩϕϧͷ޻෉Λ͠
    ͍ͨͱ͖
    λεΫ໨తʹ͋ͬͨ޻෉
    Λ͍ͨ͠ͱ͖
    ϕʔεϥΠϯ

    View Slide

  32. +9௨৴ࣾɹ࠾༻ɹ
    2,ݱঢ়෼ੳͱ໰୊఺
    WE ARE HIRING !!!
    զʑͱͱ΋ʹ
    νϟϨϯδ͍ͨ͠஥ؒΛ
    ืूதʂ
    ϒϩά΋ݟͯͶʂ

    View Slide

  33. Thank you!

    View Slide