頼む マイナーな問題こそ 情報発信してくれ / please share techniques about minor problems

頼む マイナーな問題こそ 情報発信してくれ / please share techniques about minor problems

問題意識: 本や入門記事では機械学習の判別器の解説ばかり。マイナー、しかし対処が必要な機械学習の問題が存在。例えば、教師信号に誤りが混在する状況。

本発表の貢献: P8,9にあまり情報発信されていない問題の一部を提示。P10に調べ方の一例を例示。

要請: マイナーかつ重要な問題とその対処法の情報発信をしてほしい
- 論文紹介
- OSS紹介、開発
- 問題の枠組みの整理

91c8dd38fe29bd03ac523ffc9a83cfb4?s=128

Masaki AOTA

June 26, 2020
Tweet

Transcript

  1. པΉ ϚΠφʔͳ໰୊ͦ͜ ৘ใൃ৴ͯ͘͠Ε ҍਔ·ͥͦ͹ 2020/06/26 @ػցֶशܥͷLTձ #1 

  2. ࣗݾ঺հ  ͜͏͍͏ϒϩάॻ͍ͯ·͢ ৘ใܥֶՊ͡Όͳ͍৘ใܥݚڀࣨॴଐ དྷ೥͔Βඇ*5ܥͷ+5#$ͰσʔλαΠΤϯςΟετ ʁ  ,BHHMFͰ͸ͳ͘"U$PEFSʹϋϚ͍ͬͯΔ

  3. ຊൃදͷझࢫ  ର৅ऀ ͜Ε͔Βϒϩά΍ొஃͳͲͰ৘ใൃ৴Λ͠Α͏ͱߟ͍͑ͯΔํ ໰୊ҙࣝ ࣮຿ͰࠔΔ໰୊ઃఆ΄Ͳ৘ใൃ৴͕গ झࢫ ϚΠφʔɺ͔͠͠ରॲ͕ඞཁͳػցֶशͷ໰୊͕ଘࡏ ຊൃදͰ͸Ұ෦Λ঺հ ͦ͏͍ͬͨ΋ͷͷ৘ใൃ৴Λͯ͠΄͍͠

    ࿦จ঺հ 044঺հɺ։ൃ ໰୊ͷ࿮૊Έͷ੔ཧ ݚڀςʔϚΛ୳͍ͯ͠Δํ ҎԼ൑ผ໰୊Λલఏʹ࿩ΛਐΊΔ ػցֶशΛ࢝Ίͨ͹͔Γͷํ
  4. ػցֶश(൑ผ)ͷ࿮૊Έ  f( ∙ ; θ) x y σʔλͷ૊ ͔Βؔ਺

    Λۙࣅ {xi , yi } f( ∙ ; θ) ଛࣦؔ਺Λ࠷খԽ͢ΔΑ͏ͳ Λݟ͚ͭΔͳΓͯ͠ θ ೖྗ αϯϓϧ  ը૾ จষ ಛ௃ྔ ग़ྗ ϥϕϧ  ݘPSೣ ϙδPSωΨ Ϋϥε  ʜ ൑ผث 47. // -(#.
  5. ػցֶशͷຊɺ ͹͔Γઆ໌͕ͪ͠໰୊ f( ∙ ; θ)  f( ∙ ;

    θ) x y ೖྗ αϯϓϧ  ը૾ จষ ಛ௃ྔ ग़ྗ ϥϕϧ  ݘPSೣ ϙδPSωΨ Ϋϥε  ʜ ൑ผث 47. // -(#. ˢ ͳΜͰ΋ྑ͘ͳ͍ʁ ࢓૊ΈΛΘ͔ͬͯΔͷ͸ॏཁ͚ͩͲ ൑ผثʹԿΛ࢖͏ͷ͔͕ ໰୊ʹͳΔ͜ͱ͸গͳ͍
  6. ൑ผثΑΓ΋ߟ͑Δ΂͖໰୊  f( ∙ ; θ) x y ೖྗ αϯϓϧ

    ग़ྗ ϥϕϧ ൑ผث σʔλͷ૊ ͔Βؔ਺ Λۙࣅ {xi , yi } f( ∙ ; θ) ˢ ਓؒͷϥϕϦϯάʹϛε͸ͳ͍ʁ ͢΂ͯͷαϯϓϧʹϥϕϧ͸͋Δͷʁ ग़ྗ͸Ұ͚ͭͩͰ͍͍ͷʁ ͷؔ܎ੑ͸࣌ෆมͳͷʁ x, y ͦ΋ͦ΋ݪҼ෼ੳ͕໨తͩͬͨΓ͠ͳ͍ʁ
  7. Noisy LabelΛྫʹ  f( ∙ ; θ) x y ೖྗ

    αϯϓϧ ग़ྗ ϥϕϧ ൑ผث σʔλͷ૊ ͔Βؔ਺ Λۙࣅ {xi , yi } f( ∙ ; θ) ڭࢣ৴߸Λա৴͠ͳ͍͜ͱͰ΋ͬͱྑ͍൑ผثΛֶशՄೳ ฐϒϩάͰऔΓѻͬͨ͜ͱ͋ΓϦϯΫ  ˢ ਓؒͷϥϕϦϯάʹϛε͸ͳ͍ʁ
  8. ࢥ͍ͭ͘໰୊ͷϦετ 1  ‣ ಛఆͷΫϥεͷαϯϓϧ͕গͳͯ͘ੑೳ͕ѱ͍  $MBTTJNCBMBODF ‣ ͦ΋ͦ΋ϥϕϧ͕͢΂ͯͷαϯϓϧʹ͍͍ͭͯͳ͍ 

    4FNJTVQFSWJTFEMFBSOJOH 1PTJUJWFBOE6OMBCFMFEMFBSOJOH ‣ ϥϕϧ͸͍͍ͭͯΔ͚ͲޡΓؚ͕·ΕΔ  /PJTZMBCFM $PSSVQUFEMBCFM 6ODFSUBJOUZ ‣ ӡ༻࣌ʹ͸ະ஌ͷΫϥε͕ೖྗ͞ΕΔ  0VUPGEJTUSJCVUJPOEFUFDUJPO 6OTFFODMBTTEFUFDUJPO  0QFOTFUDMBTTJpDBUJPO
  9.  ‣ ͷؔ܎ੑ͕࣌ม  0OMJOFMFBSOJOH $PWBSJBUFTIJGU ‣ ͦ΋ͦ΋ࣗಈ൑ผ͕໨త͡Όͳͯ͘ݪҼ෼ੳ͕͍ͨ͠  'FBUVSFTFMFDUJPO

    9"* $BVTBMJOGFSFODF ‣ ͦ΋ͦ΋ࣗಈ൑ผ͕໨త͡Όͳͯ͘ϥϕϧͷީิ ෳ਺ Λग़͍ͨ͠  .VMUJMBCFMDMBTTJpDBUJPO ‣ σʔλ਺͸গͳ͍͚Ͳֶश͍ͨ͠  'FXTIPUMFBSOJOH 5SBOTGFSMFBSOJOH ‣ ਓؒͷ஌ࣝ ϧʔϧϕʔε Λػցֶशʹ੝ΓࠐΈ͍ͨ  )ZCSJEBQQSPBDI )VNBOJOUIFMPPQ UIBOLV ͞Μ x, y ࢥ͍ͭ͘໰୊ͷϦετ 2
  10. Ͳ͏΍ͬͯௐ΂Δʁ  ·ͱΊΛௐ΂Δ Ωʔϫʔυಛఆ ؤுͬͯௐ΂·͘Δɻਓʹฉ͘ɻ5XJUUFSͰฉ͘ɻ ࿦จͱ࣮૷IUUQTQBQFSTXJUIDPEFDPN αʔϕΠ࿦จʜTVSWFZ ΩʔϫʔυͳͲͰݕࡧ "XFTPNF-JTUTʜ(JUIVCͰBXFTPNF ΩʔϫʔυͰݕࡧ

    ࣮૷Λௐ΂Δ ྫ/PJTZ-BCFM
  11. ·ͱΊ  ໰୊ҙࣝ ϚΠφʔɺ͔͠͠ରॲ͕ඞཁͳػցֶशͷ໰୊͕ଘࡏ ϚΠφʔ͔ͭॏཁͳ໰୊ͱͦͷରॲ๏ͷ৘ใൃ৴Λͯ͠΄͍͠ ࿦จ঺հ 044঺հɺ։ൃ ໰୊ͷ࿮૊Έͷ੔ཧ ຊ΍ೖ໳هࣄͰ͸ػցֶशͷ൑ผثͷղઆ͹͔Γ ྫ͑͹ɺڭࢣ৴߸ʹޡΓ͕ࠞࡏ͢Δঢ়گ

    ཁ੥ f( ∙ ; θ) x y ೖྗ αϯϓϧ ग़ྗ ϥϕϧ ൑ผث 1 ʹ͋·Γ৘ใൃ৴͞Ε͍ͯͳ͍໰୊ͷҰ෦Λఏࣔ 1ʹௐ΂ํͷҰྫΛྫࣔ ຊൃදͷߩݙ