Upgrade to Pro — share decks privately, control downloads, hide ads and more …

自己教師あり学習の新しいアプローチ / SimSiam: Exploring Simple Siamese Representation Learning

A2cac4b3dcb2bc0b87917ddc034ef708?s=47 Sansan DSOC
November 26, 2020

自己教師あり学習の新しいアプローチ / SimSiam: Exploring Simple Siamese Representation Learning

■イベント 
:画像処理勉強会
https://sansan.connpass.com/event/195202/

■登壇概要
タイトル:自己教師あり学習の新しいアプローチ
発表者: 
ソフトウェアエンジニア 笹野 泰正 さん

Sansan DSOC
▼Website
https://sansan-dsoc.com/
▼Twitter
https://twitter.com/SansanDSOC

A2cac4b3dcb2bc0b87917ddc034ef708?s=128

Sansan DSOC

November 26, 2020
Tweet

Transcript

  1. ࣗݾڭࢣ͋Γֶशͷ৽͍͠Ξϓϩʔν SimSiam: Exploring Simple Siamese Representation Learning Facebook AI Research

    (FAIR) Yasumasa Sasano (@SquirrelYellow)
  2. ࣗݾ঺հ ໊લ: ࡫໺ ହਖ਼ ژ౎ͷاۀͰιϑτ΢ΣΞΤϯδχΞ ࢓ࣄͰ͸ࣗવݴޠॲཧ & ਂ૚ֶश झຯͰڧԽֶश (ֶੜ࣌୅ɺएख࣌୅͸ը૾ೝࣝ)

    ࣄલֶश͕ϒʔϜ #&35ɺ(15 ڧԽֶशͰ΋ ྨࣅͷݚڀ͕ߦΘΕ͍ͯΔ
  3. ࣄલֶश͸ԿΛબͿ΂͖ʁ ੜ੒తख๏ (GANɺVAEɺࣗݾճؼɺFlowͳͲ) ର৅Λੜ੒Ͱ͖ΔͳΒಛ௃Λ͔ͭΊ͍ͯΔ͸ͣɻࣗવݴޠॲཧͳΒGPT-2ɻ [՝୊] ࣄલֶशʹ͸ΦʔόʔεϖοΫͰܭࢉίετ͕ߴ͍ɻ ิॿతͳख࡞Γͷ༧ଌλεΫ δάιʔύζϧ΍ࣗಈண৭ͳͲը૾͔Β؆୯ʹ࡞ΕΔλεΫͰֶशɻ ࣗવݴޠॲཧͳΒBERTɻ [՝୊]

    ରরֶश(ޙड़)΄Ͳͷੑೳ͸ग़ͳ͍
  4. ࣄલֶशͷτϨϯυ: ࣗݾڭࢣ͋Γֶश ରরֶश (MoCoɺSimCLRͳͲ) ର৅ΛՃ޻ͨ͠ը૾(ਖ਼ͷڭࢣσʔλ)ͱɺର৅ͱແؔ܎ͷը૾(ෛͷڭࢣσʔλ)Λ ݟ෼͚ΒΕΕ͹ಛ௃Λ͔ͭΊ͍ͯΔ͸ͣɻݱ࣌఺Ͱͷ࠷ߴੑೳɻ [՝୊] ৭Μͳෛྫͱൺֱ͢ΔͨΊόοναΠζ͕େ͖͍ɻ௵Εͨղͷ໰୊(ޙड़)ɻ ྨࣅ౓ϕʔεͷख๏ (BYOLɺSimSiam)

    ର৅ΛՃ޻ͨ͠ը૾(ਖ਼ͷڭࢣσʔλ)͚͔ͩΒਖ਼ղσʔλΛ࡞Δ → όοναΠζͷ໰୊ͱ௵Εͨղͷ໰୊͕ղফʂ࣮༻Խʹ͍ۙͮͨʂ ϒʔτετϥοϓʹج͍ͮͨख๏ (Deep Cluster) Ϋϥελத৺Λٖࣅతͳڭࢣσʔλͱͯ͠༻͍Δɻ [՝୊]ΫϥελϦϯάͷ͕͔͔࣌ؒΓ͗͢Δɻ௵Εͨղͷ໰୊(ޙड़)
  5. ྨࣅ౓ϕʔεͷख๏ SimSiam

  6. SimSiamͷϙΠϯτ ᶄ ᶅ ᶄ λʔήοτํ޲΁ͷޯ഑ఀࢭ ᶅ ༧ଌϨΠϠʔΛ௥Ճ ᶃ ᶃ 2ͭͷωοτϫʔΫʹରͯ͠ҟ

    ͳΔσʔλ֦ுΛࢪͯ͠ྨࣅ౓Λ ͚ۙͮΔΑ͏ֶश (ෛྫෆཁ) https://arxiv.org/pdf/2011.10566.pdf
  7. ᶃσʔλ֦ு+ྨࣅ౓ֶश(Siamese Network) σʔλ֦ு ྨࣅ౓ z1 z2 σʔλ֦ு ࣹӨಛ௃ྔ t2 ∼

    t1 ∼ σʔλ֦ுख๏ΛϥϯμϜʹαϯϓϦϯά ҟͳΔࢹ఺Ͱݟͨ΋ͷΛ ಉ͡΋ͷʹͳΔΑ͏࠷దԽ https://arxiv.org/pdf/2002.05709.pdf fθ fθ ※͜ͷ··ͩͱ ʹऩଋ ྨࣅ౓ֶशʹ͸ͳΔ͕ɺ දݱֶशʹ͸޲͍͍ͯͳ͍ z1 = z2
  8. ᶄλʔήοτํ޲΁ͷޯ഑ఀࢭ ޯ഑ఀࢭ(stop-gradient): ޡࠩٯ఻೻ͷޯ഑ܭࢉΛࢭΊΔؔ਺ɻGAN΍ Actor-Clitic(ڧԽֶश)ͳͲͷख๏Ͱ࢖ΘΕΔ σʔλ֦ு ࣹӨಛ௃ྔ ྨࣅ౓ Έ͍ͨͳࣗ໌ͳղʹऩଋ(௵Εͨղͷ໰୊)ରࡦཁҼͷҰͭ ͕ͩɺޯ഑ఀࢭͷΈͷରԠͰ͸௵ΕͨղΛճආ͢Δ͜ͱ͸Ͱ͖ͳ͍ z1

    = z2 z1 z2 t2 ∼ t1 ∼ ޯ഑ఀࢭ ✕ fθ fθ
  9. ᶅ༧ଌϨΠϠʔΛ௥Ճ σʔλ֦ு ࣹӨಛ௃ྔ ޯ഑ఀࢭ t2 ∼ t1 ∼ ✕ p1

    ༧ଌಛ௃ྔ ྨࣅ౓ z1 z2 fθ fθ hθ ࣹӨޙͷಛ௃ʹରͯ͠༧ଌϨΠϠʔΛ௥Ճ ༧ଌϨΠϠʔ͸ൺֱతઙ͍MLPΛ༻͍Δ hθ : → ޯ഑ఀࢭ + ༧ଌϨΠϠʔ͕ຊ࣭తͰ͋Δ͜ͱ͕࣮ݧతʹࣔ͞Εͨ
  10. ख๏ͷ·ͱΊ ᶄ ᶅ ᶃ ↖૬ޓʹ࠷దԽ ↖ྨࣅ౓ ↖λʔήοτ͸ޯ഑ఀࢭ

  11. ख๏ͷ෼ੳ

  12. సҠֶशͰImageNetࣄલֶशΛ௒͑Δੑೳ ͞Βʹطଘख๏ΑΓ΋ੑೳ͕ྑ͍

  13. ޯ഑ఀࢭͷॏཁੑ ޯ഑ఀࢭ͕ͳ͍ͱਫ਼౓͕67.7%͔Β0.1%ʹμ΢ϯ

  14. ༧ଌϨΠϠʔͷॏཁੑ ༧ଌϨΠϠʔ͕ͳ͍৔߹΋ਫ਼౓͕67.7%͔Β0.1%ʹμ΢ϯ

  15. Ծઆ: ͳͥ͏·͍͘͘ͷ͔

  16. Ծઆ: ༧ଌϨΠϠʔͱ͸Կͳͷ͔ʁ(1) σʔλ֦ு ࣹӨಛ௃ྔ t1 ∼ ྨࣅ౓ z1 fθ x

    ηx ɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ ݩը૾ / ݩը૾ ͷಛ௃දݱ ͱͨ͠ͱ͖ʹɺɹɹɹɹɹɹΛ࠷దԽ͢ΔΑ͏ͳEMΞϧΰϦζϜΛߟ͑Δ Eεςοϓ ࢑ఆͷಛ௃දݱ Λܭࢉ + Mεςοϓ Λ࠷దԽ ⇢ දݱֶश x : ηx : x ηx θ ʪ४උʫදݱֶशͷఆࣜԽ
  17. Ծઆ: ༧ଌϨΠϠʔͱ͸Կͳͷ͔ʁ(2) ʪओுʫ༧ଌϨΠϠʔͱ͸࢑ఆͷಛ௃දݱ Λ༧ଌ͢ΔϨΠϠʔͰ͋Δɻ ηx σʔλ֦ு ࣹӨಛ௃ྔ ޯ഑ఀࢭ t2 ∼

    t1 ∼ ✕ p1 ༧ଌಛ௃ྔ ྨࣅ౓ z1 z2 fθ fθ hθ ͕ ʹରͯ͠࠷దԽ͞ΕΔͱ h ͱͳΓɺ͜Ε͸ ͷ࢑ఆతͳಛ௃දݱ ͱͯ͠࢖͏͜ͱ͕Ͱ͖Δɻ x ηx = ηx ͱ ͷ ྨࣅ౓Λ࠷దԽ ηx z2 EMΞϧΰϦζϜͱͯ͠ߟ͑ΔͳΒMεςοϓͰ ͸ݻఆ͢Δඞཁ͕͋ΔͷͰޯ഑ఀࢭ͕ඞཁ ηx ⇢ ͱ ͷྨࣅ౓Λ࠷దԽ͢Δ͜ͱʹΑͬͯ ͕࠷దԽ͞ΕΔɻ ⇢ ͱ ͕ަޓʹ࠷దԽ͞Εɺಛ௃දݱ͕ՄೳʹͳΔɻ ηx z2 θ ηx θ
  18. ଞͷख๏ͱͷൺֱ Facebook AI Research (FAIR)

  19. BYOL

  20. SwAV Sinkhorn-Knopp Sinkhorn-Knopp

  21. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠