[読み会] Knowledge distillation: A good teacher is patient and consistent

読み会資料
Knowledge distillation: A good teacher is patient and consistent(CVPR2022)

Transcript

1. ಡΈձˏ
   ༶໌఩ ,OPXMFEHF
   EJTUJMMBUJPO
   
 "
   HPPE
   UFBDIFS
   JT
   QBUJFOU
   BOE
   DPOTJTUFOU
2. ࿦จ৘ใͱબ୒ཧ༝  • ࿦จ৘ใ
   • બ୒ཧ༝
   • ஌ࣝৠཹͷ໰୊ઃఆͷڭࢣͱੜెͷؔ܎͸ɼ 
 ػցڭࣔͱྨࣅ͍ͯ͠ΔͨΊ
3. $7ٕज़ൃల͍ͯ͠Δ͚Ͳɼ࣮ࣾձͰ࢖͍ͮΒ͍  • എܠɿେن໛Ϟσϧ͸ੑೳ͕ߴ͍͕ɼܭࢉίετɼઃඋίε τ͕ߴ͗͢Δ
   • ˠݱ࣮తʹ͸খ͞ͳϞσϧͷํ͕࢖͍উख͕ྑ͘ॏཁ
   • େن໛ϞσϧͷೳྗΛ׆༻͢ΔͨΊʹɼੑೳҡ࣋ͨ͠·· 
 ϞσϧΛܰྔԽ͢Δ͜ͱ͕ٻΊΒΕ͍ͯΔ
4. ,%͸ʮڭࢣͱੜెͷϞσϧϚονϯάʯͱղऍ  • ϞσϧͷܰྔԽʹ͸ͭͷख๏͕༗໊
   • 
   .PEFM
   QSVOJOH
   • ϞσϧͷҰ෦ΛΧοτ͢Δ͜ͱͰɼܰྔԽΛ͓͜ͳ͏ɽ
   • Ϟσϧͷߏ଄ΛมߋͰ͖ͳ͍
   FH
   3FT/FU
   ˠ
   .PCJMF/FU
   • 
   ,OPXMFEHF
   EJTUJMMBUJPO
   • ڭࢣʢେ͖Ίʣͱੜెʢখ͞ΊʣΛઃఆ͠ɽੜె͸ڭࢣͱ ಉ͡ೳྗΛ໨ࢦ͢
5. ஌ࣝৠཹ͸ɼೖྗσʔλͱֶश͕࣌ؒେࣄ  • ͜͜Ͱ͸ɼϞσϧΛܰྔԽ͢ΔͨΊʹɼ஌ࣝৠཹΛར༻
   • ஌ࣝৠཹʹ͓͍ͯԿ͕େࣄͳͷ͔Λݟ͚ͭΔ
   • 
   ੜెͱڭࢣ͸ಉ͡ೖྗΛ༻͍Δ͜ͱ͕େࣄ
   • 
   ೖྗσʔλ͸σʔλ֦ு͢Δ΄Ͳྑ͍
   • 
   ֶश࣌ؒ͸ଟ͍ํ͕ྑ͍
6. ໰୊ઃఆɾ࣮ݧઃఆ  • ධՁࢦඪʹը૾ͷΫϥε෼ྨਫ਼౓Λ༻͍Δ
   • େن໛ϞσϧΛڭࢣͱઃఆ͠ɼ෼ྨਫ਼౓Λམͱͣ͞ʹɼϞσ ϧͷܰྔԽΛ໨ࢦ͢ɽ
   • ڭࢣɿ#J5ͷࣄલֶशϞσϧ
   • ੜెɿ3FT/FU
   • σʔληοτ͸छྨ খதن໛ͭɼେن໛ͭ
   • Ϋϥε਺͸
   σʔλαΠζ͸
7. ڭࢣͱੜెͷग़ྗ෼෍Λ͚ۙͮΔ  • ஌ࣝৠཹͷֶशʹ༻͍ΔଛࣦͰ,-μΠόʔδΣϯε༻͍Δ
   • ͸ͦΕͧΕڭࢣͷ༧ଌɼੜెͷ༧ଌ
   • Ϟσϧͷग़ྗࣗମ͸ɼԹ౓෇͖ιϑτϚοΫε pt , ps KL(pt ||ps ) = ∑ i∈C [−pt,i log ps,i + pt,i log pt,i ]
8. ϋΠύϥઃఆͱ͔࣮ݧͷখٕͨͪ  • ࠷దԽख๏ͱͯ͠"EBNΛ༻͍ΔɽϋΠύϥ͸σϑΥϧτ஋
   • εέδϡʔϥ͸$PTJOF
   EFDBZΛ༻͍Δ
   • ֶश҆ఆͷͨΊɼޯ഑ͷେ͖͞Λʹ੍ݶ
   • όοναΠζΛʹઃఆɽͨͩ͠*NBHF/FU͸
9. .JYVQʹΑͬͯσʔλ֦ுΛ͢Δ  • ͭͷ܇࿅σʔλͷϖΞΛࠞ߹ͯ͠৽͘͠σʔλΛ࡞੒<>
   • ܇࿅σʔλ͕ϛοΫε͞ΕΔ͚ͩͰͳ͘ɼϥϕϧ΋ϛοΫε
   •
   • ͔ΒҰ༷ʹαϯϓϦϯά͢Δ ຊՈ͸ X = λX1 + (1 − λ)X2 , y = λy1 + (1 − λ)y2 λ ∈ [0,1] λ ∼ Beta(α, α) IUUQTBSYJWPSHBCT
10. ը૾ͷલॲཧ  • σʔλͷલॲཧͰJODFQUJPOTUZMF
    DSPQΛ༻͍Δ
    • 
    ݩσʔλͷը૾αΠζͷ  ͰϥϯμϜʹΫϦοϓ
    • 
    ΫϦοϓͨ͠ޙϥϯμϜͳΞεϖΫτൺʹม׵
    • 
    ม׵ͨ͋͠ͱݻఆαΠζ Y ʹϦαΠζ IUUQTBSYJWPSHBCT
11. ओுͷ͓͞Β͍  • 
    ੜెͱڭࢣ͸ಉ͡ೖྗΛ༻͍Δ͜ͱ͕େࣄ
    • 
    ೖྗσʔλ͸σʔλ֦ு͢Δ΄Ͳྑ͍
    • 
    ֶश࣌ؒ͸ଟ͍ํ͕ྑ͍
    • ϩόετੑΛݟΔͨΊʹখதن໛σʔληοτͭΛར༻
    • ަབྷҼࢠΛഉআ͢ΔͨΊʹ͞·͟·ͳϋΠύϥͰ࣮ݧ 1BUJFOU
    
 UFBDIFS $POTJTUFOU
    
 UFBDIFS
12. $POTJTUFOU
    UFBDIFS
    Ұ؏ͨ͠ڭࢣ ʹ͍ͭͯΈΔ  • ڭࢣɼੜెͷઃఆΛͭ༻ҙ͢Δɽ
    • 'JYFE
    UFBDIFSɿڭࢣͷग़ྗ͕ݻఆ͞Ε͍ͯΔ
    • *OEFQFOEFOU
    OPJTFɿڭࢣɼੜెͰҟͳΔೖྗ
    • $POTJTUFOU
    UFBDIJOHɿڭࢣͱੜెͰಉ͡ೖྗ
    • 'VODUJPO
    NBUDIJOHɿ$POTJTUFOU
    UFBDIJOHʴσʔλ֦ு
    • Լೋ͕ͭҰ؏ͨ͠ڭࢣઃఆΛද͍ͯ͠Δɽ
13. Ұ؏ͨ͠ڭࢣ͸ਫ਼౓͕ߴ͍
    ଞ͸աֶशΛى͜͢ 
14. 1BUJFOU
    UFBDIFS ೜଱ڧ͍ڭࢣ ʹ͍ͭͯΈΔ  • Ұൠతͳڭࢣ͋Γֶशͷ৔߹ɼϥϕϧʹର͠ɼը૾͕େ͖͘ ࿪ΉՄೳੑ͕͋Δɽ
    • ͜͜Ͱ͸ɼ஌ࣝৠཹڭࢣͱੜెͷؔ਺Ϛονϯάͱղऍ
    • Ұ؏ͯ͠ಉ͡ೖྗΛ༩͑ΔͳΒɼೖྗࣗମ͸࿪ΜͰ΋͍͍
    ˠ
    σʔλ֦ு͕༗ޮͳͷͰ͸
    • σʔλ֦ுΛߦ͍ɼେ͖ͳΤϙοΫ਺Ͱֶश͢ΔͱΑΓੜె Ϟσϧͷੑೳ͕޲্͢Δ͜ͱΛݕূ͢Δ
15. աֶशΛճආ͠ͳ͕Βɼੑೳ͕޲্͢Δ  • ੺͍ઢʢڭࢣʣͱಉ౳ͷੑೳʹ౸ୡ
    • ྘ઢʢసҠֶशʣΑΓ࠷ऴతʹ͸ੑೳ͕ྑ͍
    • ΦϨϯδʢ͔ΒֶशʣΑΓੑೳ͕͍͍
    ˠɹ஌ࣝৠཹͷޮՌ͕͋Δ
16. େن໛σʔληοτʢ*NBHF/FUʣͰ஌ࣝৠཹ  • Ұ؏ͨ͠ڭࢣ͸աֶश͍ͯ͠ͳ͍
    • ·ͨσʔλ֦ு͢Δͱগͳ͍Τϙο Ϋ਺Ͱߴ͍ਫ਼౓Λୡ੒
    • ˠ
    JUFSBUJPO਺͸ಉ͡
17. ҟͳΔղ૾౓Ͱ΋஌ࣝৠཹ͕͏·͍͘͘  • ڭࢣ͕ߴ͍ղ૾౓ˠੜె͕௿͍ղ૾౓ͷํ͕ੑೳ͕ྑ͘ͳΔ
18. 4IBNQPPΛ࢖ֶͬͯशͨ͠Βߴ଎ʹͳͬͨ  • σʔλ֦ுʹΑͬͯੑೳ޲্ͨ͠ ͕ɼͦͷ෼ֶश͕࣌ؒ৳ͼͯ͠·͏
    • "EBN͔ΒΑΓڧྗͳ࠷దԽख๏Ͱ ͋Δ4IBNQPPΛ࢖ͬͯΈΔɽ
    • ˠֶश଎౓͕ഒʹͳͬͨʂ IUUQTBSYJWPSHBCT
19. సҠֶश͔ͭͬͯ΋஌ࣝৠཹ͍͍Μ͡Όͳ͍  • 1BUJFOU
    UFBDIFSͷͱ͖ɼసҠֶ श༗ޮ͔ͩͬͨΒ஌ࣝৠཹ స Ҡֶश΋͍͍ͷͰ͸
    • ֶशॳظ͸సҠֶशΑ͔͚ͬͨ Ͳɼ࠷ऴతʹ͸ٯస
20. ஌ࣝৠཹ͸΍ͬͺΓ༗ޮ  • ஌ࣝৠཹͬͯແͯ͘΋͍͍ͬͯ͜ ͱ͸ͳ͍ʁ
    • ஌ࣝৠཹ͕ͳ͍ͱաֶशΛى͜͢
21. ·ͱΊͱײ૝  • ஌ࣝৠཹͰॏཁͳཁૉͱͯ͠ɼ
    • ɽڭࢣͱੜెͷೖྗ͕ಉ͡
    • ɽσʔλ֦ுΛͨ͘͞Μ͢Δ
    • ɽֶशΤϙοΫ਺Λ૿΍͢ɹɹɹɹ͜ͱʹ͍ͭͯࣔͨ͠ɽ
    • ஌ࣝৠཹͷ৽ख๏ΛఏҊͨ͠Θ͚Ͱ͸ͳ͍͕ɼطଘͷϞσϧΛ༻ ͍ͯɼܰྔϞσϧ͕4P5"ΛऔΕΔ͔΋͠Εͳ͍ϩϚϯΛײ͡Εͨ