コミュニティサービスにおける機械学習のためのアノテーション

60a5ffda68d780b7e393d851bc2cec8e?s=47 tatsushim
July 05, 2018

 コミュニティサービスにおける機械学習のためのアノテーション

Annotation Meetup ~ 機械学習における教師データ作成をテーマに、アノテーションのノウハウを共有する勉強会 ~ の登壇資料

60a5ffda68d780b7e393d851bc2cec8e?s=128

tatsushim

July 05, 2018
Tweet

Transcript

  1. $POOFIJUP*OD$50!UBUTVTIJN ϚϚͷҰาΛࢧ͑Δ ίϛϡχςΟαʔϏεʹ͓͚Δ ػցֶशͷͨΊͷΞϊςʔγϣϯ

  2. ࣗݾ঺հ 

  3.  w ίωώτגࣜձࣾ ݱࡏظ໨  w େֶӃ࣌୅ म࢜೥ ʹىۀ w

    ڞಉ૑ۀऀऔక໾$50 w ઐ໳͸ػցֶश w ೥,%%*άϧʔϓʹ."͞ΕάϧʔϓೖΓ ౡాୡ࿕ !UBUTVTIJN
  4. None
  5. ਓͷੜ׆ʹͳͯ͘͸ͳΒͳ͍΋ͷΛͭ͘Δ

  6. 

  7. 

  8. 

  9. 

  10.  Ϣʔβʔͷ౤ߘʹ೤ྔߴ͘౴͑ΔϢʔβʔ͕ଟ͍ ఆྔ

  11.  Ϣʔβʔͷ౤ߘʹ೤ྔߴ͘౴͑ΔϢʔβʔ͕ଟ͍ ఆੑ ίϝϯτ͕
 ͙͢ฦͬͯ͘Δ ໷Ͱ΋ ճ౴͕དྷΔ ಉ͡೰Έ
 ΛڞײͰ͖Δ

  12.  Ϣʔβʔͷ౤ߘʹ೤ྔߴ͘౴͑ΔϢʔβʔ͕ଟ͍ ఆੑ ίϝϯτ͕
 ͙͢ฦͬͯ͘Δ ໷Ͱ΋ ճ౴͕དྷΔ ಉ͡೰Έ
 ΛڞײͰ͖Δ ࣮͸ϚϚϦͷ͜ͷΑ͏ͳ

    ʮ͔͍͋ͨͨίϛϡχςΟʯ Λػցֶश͕ࢧ͍͑ͯ·͢
  13. ػցֶशͷ׆༻ࣄྫʹ͍ͭͯ࿦จΛॻ͖·ͨ͠ IUUQTXXXXBOUFEMZDPNDPNQBOJFTDPOOFIJUPQPTU@BSUJDMFT

  14. $POOFIJUP*OD$50!UBUTVTIJN ϚϚͷҰาΛࢧ͑Δ ίϛϡχςΟαʔϏεʹ͓͚Δ ػցֶशͷͨΊͷΞϊςʔγϣϯ

  15. $POOFIJUP*OD$50!UBUTVTIJN ϚϚͷҰาΛࢧ͑Δ ίϛϡχςΟαʔϏεʹ͓͚Δ ػցֶशͷͨΊͷΞϊςʔγϣϯ

  16. ϚϚϦͷΑ͏ͳίϛϡχςΟͷதͰ2"Λߦ͏αʔϏεͷ֓ཁਤ

  17. ػցֶशͷಋೖχʔζͷ࣮ྫ 

  18.  • ίϛϡχςΟʹ͓͍ͯ͸࣭໰ʹରͯ͠ճ౴͕༩͑ ΒΕ͍ͯΔ͜ͱ͕ͱͯ΋େࣄ • ະճ౴཰Λ೗ԿʹԼ͛Δ͜ͱ͕Ͱ͖Δ͔, ͕ϙΠϯ τ • ౤ߘޙ,

    ະճ౴ʹͳͬͨ··ͷ࣭໰ΛRˍDͷதͰ ෼ੳͯ͠Έͨ ໨త
  19. 

  20.  lർΕͯΠϥΠϥΛਓʹͿ͚ͭͯ͠·͍·͢खΛ͋͛ͨ Γ͸͠ͳ͍͚Ͳɼ͍ͭΠϥΠϥౖͯ͠໐ͬͯ͠·͏ ͜Μͳࣗ෼ʹݏؾ͕͞͠·͢ਖ਼௚ਏ͍z

  21.  lർΕͯΠϥΠϥΛਓʹͿ͚ͭͯ͠·͍·͢खΛ͋͛ͨ Γ͸͠ͳ͍͚Ͳɼ͍ͭΠϥΠϥౖͯ͠໐ͬͯ͠·͏ ͜Μͳࣗ෼ʹݏؾ͕͞͠·͢ਖ਼௚ਏ͍z ෼ੳΛͯ͠ΈΔͱ ͜ͷΑ͏ͳ౤ߘ͸ ճ౴Λ༩͑ΒΕʹ͍͘͜ͱ͕Θ͔ͬͨ

  22.  lർΕͯΠϥΠϥΛਓʹͿ͚ͭͯ͠·͍·͢खΛ͋͛ͨ Γ͸͠ͳ͍͚Ͳɼ͍ͭΠϥΠϥౖͯ͠໐ͬͯ͠·͏ ͜Μͳࣗ෼ʹݏؾ͕͞͠·͢ਖ਼௚ਏ͍z ײ৘ͷڞײΛٻΊΔ͜ͷΑ͏ͳ౤ߘ ΛʮڞײΛٻΊΔ࣭໰ʯͱఆٛ͢Δ

  23. ՝୊ͷղܾํ๏ 

  24.          

                    ՝୊ͷղܾํ๏
  25.          

                    ՝୊ͷղܾํ๏ ࣭ͷߴ͍ڭࢣσʔλ͕ඞཁ
  26. ίϛϡχςΟαʔϏε ʹ͓͚ΔΞϊςʔγϣϯͷ՝୊ 

  27. 

  28.  Ξϊςʔγϣϯͷ֎஫͕೉͍͠

  29.  • ίϛϡχςΟͰ೔ʑ΍ΓͱΓ͞ΕΔಠಛͷݴ͍ճ͠ ΍දݱ, ίϯςΩετͷཧղ͕ඞཁ • Ex. 8w5d = ೛৷ܦաظ͕ؒ8िؒͱ5೔

    • ͭ·Γ, Amazon Mechanical TurkͳͲͷΫϥ΢υιʔ γϯάαʔϏεͷར༻͕Ͱ͖ͳ͍ • ίϛϡχςΟΛ೔ৗۀ຿Ͱݟ͍ͯΔ
 ίϛϡχςΟϚωʔδϟʔͰͳ͍ͱਖ਼͍͠൑அ
 ͸೉͍͠ Ξϊςʔγϣϯͷ֎஫͕೉͍͠
  30.  • ຖ೔ίϛϡχςΟΛݟͯ, ͦͷ೔ίϛϡχςΟͰ
 ࿩୊ʹڍ͕ͬͨ͜ͱ΍งғؾΛ؍࡯͠, αʔϏε ͷվળɾاը΁FB͢Δ໾ׂ • ϢʔβʔΠϯλϏϡʔͷ૭ޱ΍ΧελϚʔαϙʔ τରԠ΋݉೚

    • ϚϚϦͷʮ͔͍͋ͨͨίϛϡχςΟʯΛҡ࣋͠
 վળ͍ͯͨ͘͠Ίʹ͔ܽͤͳ͍ଘࡏ ίϛϡχςΟϚωʔδϟʔͷ໾ׂ
  31. 

  32.  ΄Μͱ୴ಹ͕Ոࣄ͠ͳͯ͘ϜΧͭ͘ྉཧຖ೔ͯ͠Δͷ ʹΰϛࣺͯҰͭ͠ͳ͍ͬͯͲʔΏ͏͜ͱͳΜ օ͞Μͦ ͏ࢥ͍·ͤΜ

  33.  ΄Μͱ୴ಹ͕Ոࣄ͠ͳͯ͘ϜΧͭ͘ྉཧຖ೔ͯ͠Δͷ ʹΰϛࣺͯҰͭ͠ͳ͍ͬͯͲʔΏ͏͜ͱͳΜ օ͞Μͦ ͏ࢥ͍·ͤΜ ͜Ε͸ڞײΛٻΊΔ࣭໰ʁ ͦΕͱ΋ڞײҎ֎ΛٻΊΔ࣭໰ʁ

  34.  ΄Μͱ୴ಹ͕Ոࣄ͠ͳͯ͘ϜΧͭ͘ྉཧຖ೔ͯ͠Δͷ ʹΰϛࣺͯҰͭ͠ͳ͍ͬͯͲʔΏ͏͜ͱͳΜ օ͞Μͦ ͏ࢥ͍·ͤΜ ஌ݟΛ࣋ͬͯద੾ͳ൑அΛͯ͘͠ΕΔͷ͕
 ίϛϡχςΟϚωʔδϟʔ

  35. 

  36.  ֶशثͷਫ਼౓޲্ͷͨΊʹ͸ ίϛϡχςΟϚωʔδϟʔ ͱͷ࿈ܞ͕ෆՄܽ

  37.  ҰํͰ ਓͷ൑அʹΑΔ՝୊΋

  38.  • ϥϕϧ෇͚͸ݶΒΕͨਓ਺ͷίϛϡχςΟϚωʔ δϟʔʹΑͬͯߦΘΕΔ • ਓͳͷͰͲ͏ͯ͠΋ͦͷਓͷओ؍͕ೖΔ • ΞϊςʔγϣϯσʔλͷҰ؏ੑͷ୲อ͕೉͍͠ ൑அ͕ओ؍త

  39. 

  40.  Ͳ͏΍ͬͯΞϊςʔγϣϯ͢Δʁ

  41.  • ෳ਺ਓͷ൑ఆ݁ՌΛ༻͍Δ • ଟஈ(ϚϚϦͰ͸4ஈ֊)ͷϥϕϧ෇ • kappa܎਺Λ༻͍ͯ෼ྨͷҰக౓ݟΔ Ұ؏ੑΛ୲อ͢ΔͨΊͷऔΓ૊Έ

  42.  • ෳ਺ਓͷ൑ఆ݁ՌΛ༻͍Δ • ଟஈ(ϚϚϦͰ͸4ஈ֊)ͷϥϕϧ෇ • kappa܎਺Λ༻͍ͯ෼ྨͷҰக౓ݟΔ Ұ؏ੑΛ୲อ͢ΔͨΊͷऔΓ૊Έ

  43.  • Definitely Yes(DY)͸൑ఆऀ͕ࣗ৴Λ࣋ͬͯ൑அ͠ ͨࡍʹ༻͍ΒΕΔ • Probably Yes(PY)͸ DY ΑΓ΋ࣗ৴͕ͳ͍͕YesͰ

    ͋Ζ͏ͱ൑அͨ͠ࡍʹ༻͍ΒΕΔ ஈ֊ͷϥϕϧ෇
  44.  • දதͷ Y ͸ڞײΛٻΊΔ࣭໰ͱͯ͠෼ྨ͠ɼN ͸
 ڞײҎ֎ΛٻΊΔ࣭໰ͱ෼ྨ • ൑ఆ݁Ռ͕Ұக͠ͳ͍, Dͱͳ͍ͬͯΔ෦෼ʹؔͯ͠

    ͸ϥϕϧ෇ෆՄೳͱ൑அ͠ɼσʔληοτ͔Βআ͘ ஈ֊ͷϥϕϧ෇
  45.  • ෳ਺ਓͷ൑ఆ݁ՌΛ༻͍Δ • ଟஈ(ϚϚϦͰ͸4ஈ֊)ͷϥϕϧ෇ • kappa܎਺Λ༻͍ͯ෼ྨͷҰக౓ݟΔ Ұ؏ੑΛ୲อ͢ΔͨΊͷऔΓ૊Έ

  46. 

  47.  LBQQB܎਺

  48.  ࢖ͬͨ͜ͱ͋ΔΑͱ͍͏ํ

  49.  kappa܎਺ͷఆٛ SFG+3-BOEJTBOE((,PDI5IF.FBTVSFNFOUPG0CTFSWFS"HSFFNFOUGPS$BUFHPSJDBM%BUB #JPNFUSJDT 7PM /P QQ 

  50.  kappa܎਺ͷఆٛ SFG+3-BOEJTBOE((,PDI5IF.FBTVSFNFOUPG0CTFSWFS"HSFFNFOUGPS$BUFHPSJDBM%BUB #JPNFUSJDT 7PM /P QQ 

  51.  kappa܎਺ͷఆٛ SFG+3-BOEJTBOE((,PDI5IF.FBTVSFNFOUPG0CTFSWFS"HSFFNFOUGPS$BUFHPSJDBM%BUB #JPNFUSJDT 7PM /P QQ 

  52.  • ೋਓͷ൑ఆऀʹΑΔ෼ྨͷҰக౓ΛݟΔ܎਺ • 1ʹ͍ۙ΄ͲҰக౓͕ߴ͍ • 0.8ΑΓେ͖͚Ε͹Ұக౓͸΄ͱΜͲҰக͍ͯ͠Δ ͱݟͳͤΔ kappa܎਺ͷҙຯ SFG-BOEJT+3

    ,PDI((5IFNFBTVSFNFOUPGPCTFSWFSBHSFFNFOUGPSDBUFHPSJDBMEBUB#JPNFUSJDT  ɹ
  53. 

  54.  ࣭ͷߴ͍Ξϊςʔγϣϯσʔλ ͷ࡞੒ʹऔΓ૊ΜͰ͍·͢

  55. ͜Ε·Ͱ ͱ͜Ε͔Β 

  56. 

  57.  શࠃʹ57$.Λ์ө

  58.  • CMͷ݁Ռ, τϥϑΟοΫ͸2ഒʹ • ϚϚ޲͚No.1ͱͳΓߦ੓ͱͷऔΓ૊Έ΍ࣾ ձ΁ͷൃ৴΋ߦ͍ͬͯΔ • ࣾձͷΠϯϑϥʹ͖ۙͮͭͭ͋ΔதͰ αʔϏεͷίΞςΫϊϩδʔͰ͋Δ


    ػցֶशͷΠϯύΫτ͸େ͖͘ͳΔ ػցֶशͷΠϯύΫτ͕େ͖͘ͳΔ
  59. 

  60.  • ઌఔͷྫͷΑ͏ͳ෼ྨλεΫ͸ݚڀͱͯ͠ ΋લྫ͕গͳ͘, ͞ΒʹػցֶशʹΑΔࣄۀ
 ΠϯύΫτΛ૑ΕΔ͜ͱ͸ͱͯ΋΍Γ͕͍ ͕͋Δ • ඇ࿈ଓͳ੒௕Λ૑Δνϟϯε͕͋Δ •

    ٕज़ͷྗͰ, ࠓΑΓ΋΋͏Ұஈ֊্ͷίϛϡ χςΟΛ૑͍͖ͬͯ·͢ ඇ࿈ଓͳ੒௕ΛػցֶशͰ૑Δ
  61. ·ͱΊ 

  62.  • ϚϚ޲͚No.1ΞϓϦͷϚϚϦ͕࣋ͭ
 ʮ͔͋ͨͨΈͷ͋ΔίϛϡχςΟʯ
 ͸ػցֶशʹΑ࣮ͬͯݱ͞Ε͍ͯΔ • ൑ఆ͕೉͍͠Ξϊςʔγϣϯʹ͍ͭͯ͸ίϛϡ χςΟϚωʔδϟʔͱ࿈ܞΛ͠ͳ͕Β, ਖ਼͍͠ Ξϊςʔγϣϯ͕Ͱ͖͍ͯΔ͔Λ౷ܭతʹ֬ೝ

    ͍ͯ͠Δ • ͜Ε͔Β΋ඇ࿈ଓͳ੒௕Λٕज़Ͱ૑͍ͬͯ͘ ·ͱΊ
  63. ΋͏ͪΐͬͱ࿩Λฉ͍ͯΈ͍ͨͱ
 ࢥͬͨํ͸ؾܰʹ͓੠͕͚͍ͩ͘͞ ΋͘͠͸!UBUTVTIJNʹ%.Ͱ΋ 

  64. $POOFIJUP*OD$50!UBUTVTIJN ϚϚͷҰาΛࢧ͑Δ ͝ਗ਼ௌ༗೉͏͍͟͝·ͨ͠%