ハンドメイド作品を対象としたECサイトにおける大量生産品の検出 / Detection of Mass-produced Goods at EC Site to Trade Handmade Goods
by
Hiroka Zaitsu
Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
ࡒେՆ*, ࡾ༔հ**, দຊ྄հ** *GMOϖύϘגࣜձࣾ ٕज़෦ σβΠϯઓུνʔϜ / **GMOϖύϘגࣜձࣾ ϖύϘݚڀॴ 2018.05.17 ୈ41ճ ใॲཧֶձ Πϯλʔωοτͱӡ༻ٕज़ݚڀձ ϋϯυϝΠυ࡞Λରͱͨ͠ ECαΠτʹ͓͚Δେྔੜ࢈ͷݕग़
Slide 2
Slide 2 text
1. େྔੜ࢈ݕग़ͷഎܠͱຊݚڀͷత 2. ैདྷͷେྔੜ࢈ݕग़ͷ՝ 3. ఏҊख๏ i. ΞΧϯτ໊͔Βେྔੜ࢈ͷग़ऀΛݕग़͢Δ ii. ໊ͱઆ໌จ͔Βେྔੜ࢈ͷग़ऀΛݕग़͢Δ 4. ࣮ݧͱߟ 5. ·ͱΊͱࠓޙ 2 ࣍
Slide 3
Slide 3 text
1. େྔੜ࢈ݕग़ͷഎܠͱຊݚڀͷత
Slide 4
Slide 4 text
• ECαΠτ = ΠϯλʔωοτΛ௨ͯ͠ͷചങΛߦ͑ΔαΠτ • ϋϯυϝΠυ࡞Λରͱͨ͠ECαΠτʮminneʯ • ݸਓ͕ͷలࣔചങΛߦ͑Δ • αΠτ্Ͱചങ͞ΕΔΛʮϋϯυϝΠυ࡞ʯͱදݱ͍ͯ͠Δ • ΞΫηαϦʔɺόοάɺࡒɺՈ۩ͳͲΛѻ͏ 4 ϋϯυϝΠυ࡞Λରͱͨ͠ECαΠτͱ
Slide 5
Slide 5 text
IUUQTNJOOFDPN
Slide 6
Slide 6 text
• ϋϯυϝΠυ࡞Λରͱͨ͠ECαΠτͷීٴ • ࢢͷ֦େʹ͍େྔੜ࢈ΛϋϯυϝΠυ࡞ͱِΔग़ऀ͕ग़ݱ • ECαΠτͷϒϥϯυΠϝʔδͷᆝଛ৴པੑͷԼʹܨ͕ΔͨΊ ӡӦऀେྔੜ࢈ͷআग़ऀͷΞΧϯτఀࢭΛߦ͍ͬͯΔ 6 େྔੜ࢈ݕग़ͷഎܠ
Slide 7
Slide 7 text
IUUQTXXXXJSFEDPNFUTZOPUHPPEGPSDSBGUFST
Slide 8
Slide 8 text
• minneʹग़Ͱ͖Δͷ • ग़ऀ͕ʹରͯ͠ԿΒ͔ͷ࡞ۀΛߦ͏͜ͱͰͱཱͯ͢͠Δͷ = ϋϯυϝΠυ࡞ ྫ1ʣख࡞ΓͰҰͷΞΫηαϦʔ ྫ2ʣख࡞Γ͕ͩྔ࢈͍ͯ͠Δܳ ྫ3ʣσβΠϯͷΈߦͬͨϓϦϯτTγϟπ 8 ϋϯυϝΠυ࡞ͱେྔੜ࢈ͷఆٛ (1)
Slide 9
Slide 9 text
• minneʹग़Ͱ͖ͳ͍ͷ • ग़ऀ͕ʹରͯ͠ԿΒ͔ͷ࡞ۀΛߦΘͳͯ͘ͱཱͯ͢͠Δͷ ྫʣଞॴ͔ΒೖΕͨ = େྔੜ࢈ • ๏ྩྫʹ৮ΕΔͷɺଞऀͷݖརΛ৵͍ͯ͠Δͷ ຊݚڀͷର֎ 9 ϋϯυϝΠυ࡞ͱେྔੜ࢈ͷఆٛ (2)
Slide 10
Slide 10 text
• ैདྷ໊ɾઆ໌จɾը૾ͳͲminne্ͷଐੑใͷΈ͔Β େྔੜ࢈Ͱ͋Δͱஅ͢Δ͜ͱࠔ 10 େྔੜ࢈ݕग़ͷ՝ (1) େྔੜ࢈ ϋϯυϝΠυ࡞ ໊ ख๓͍γϣϧμʔόοά ͓ࡒγϣϧμʔ ը૾
Slide 11
Slide 11 text
• minneͰ࠾͍ͬͯΔճආࡦ େྔੜ࢈͕ग़͞Ε͍ͯΔҰൠతͳECαΠτͷͱࢹͰൺֱΛߦ͍ɺ ओʹը૾͕Ұக͢Δ߹ʹେྔੜ࢈ͱஅ͍ͯ͠Δ • ࢹͰ૯ݕग़ʹݶք͕͋ΔͨΊܧଓతͳݕग़͕ࠔ • ҰൠతͳECαΠτͱͷൺֱΛػցతʹߦ͏͜ͱඇݱ࣮త • ଟଘࡏ͢ΔαΠτͷཏతͳΫϩʔϦϯά͕ඞཁ • ཧԼʹͳ͍αΠτͷΫϩʔϦϯάྙཧతʹߦ͏͖Ͱͳ͍ 11 େྔੜ࢈ݕग़ͷ՝ (2)
Slide 12
Slide 12 text
• ݱࡏͷαʔϏεӡӦʹ͓͍ͯࢹʹཔ͍ͬͯΔ͕ίετ͕ߴ͍ • େྔੜ࢈Λߋʹྨ͢Δ͜ͱͰɺ Ұ෦ͰminneͷଐੑใͷΈ͔Βݕग़Ͱ͖ͳ͍͔վΊͯΞϓϩʔν͢Δ 12 ຊݚڀͷత (1)
Slide 13
Slide 13 text
minneͷଐੑใͷΈΛར༻ͯ͠ ܧଓత͔ͭػցతʹେྔੜ࢈Λݕग़͢Δ 13 ຊݚڀͷత (2)
Slide 14
Slide 14 text
2. ैདྷͷେྔੜ࢈ݕग़ͷ՝
Slide 15
Slide 15 text
ࢹʹΑͬͯେྔੜ࢈Λݕग़͢Δ͜ͱͷ՝ • ࢹʹΑΓҰൠతͳECαΠτͱ໌Β͔ʹಉҰͳͷΈΛݕग़͢Δ͜ͱͰ ϋϯυϝΠυ࡞ʹରͯ͠ޡͬͯআΞΧϯτఀࢭΛߦ͏͜ͱΛ͙ • ݕग़͢Δ1݅͋ͨΓ10લޙ͕ඞཁ • minneͷ676ສ • ཏతɾܧଓతͳݕग़͕ࠔ 15 ैདྷͷେྔੜ࢈ݕग़ͷ՝ (1)
Slide 16
Slide 16 text
ը૾ൺֱʹΑͬͯػցతʹେྔੜ࢈Λݕग़͢Δ͜ͱͷ՝ • ߏਤ͕શ͘ҟͳΔը૾͔ΒඃࣸମͷᐆດҰகΛߦ͏͜ͱ͕ࠔ • ଟগͷߏਤͷҧ͍Ͱ͋Εը૾ॲཧCNNʹΑΔྨՄೳ • ൺֱରͱͯ͠େྔੜ࢈͕ग़͞Ε͍ͯΔECαΠτͷը૾͕ඞཁ • ΫϩʔϦϯάͷқ͕ߴ͍ • ΫϩʔϦϯάྙཧతʹ·͘͠ͳ͍ 16 ैདྷͷେྔੜ࢈ݕग़ͷ՝ (2)
Slide 17
Slide 17 text
ϒϥϯυ໊ඪͳͲͷΩʔϫʔυʹΑͬͯେྔੜ࢈Λݕग़͢Δ͜ͱͷ՝ • minneͰϒϥϯυొඪΛؚΉͷݕग़ʹར༻ • ECαΠτͰ͕ৗʹՃ͞Εଓ͚ΔͨΊະͷޠኮʹର͢Δै͕ࠔ • ϋϯυϝΠυ࡞Λِ͓ͬͯΓطͷޠኮΛؚ·ͳ͍ େྔੜ࢈ݕग़Ͱ͖ͳ͍ 17 ैདྷͷେྔੜ࢈ݕग़ͷ՝ (3)
Slide 18
Slide 18 text
3. ఏҊख๏
Slide 19
Slide 19 text
• ҰൠతͳECαΠτͱͷൺֱΛඞཁͱ͠ͳ͍அج४Ͱେྔੜ࢈Λݕग़͢Δ • ػցԽՄೳͳํ๏ʹΑͬͯେྔੜ࢈Λݕग़͢Δ 19 ैདྷͷେྔੜ࢈ݕग़ͷ՝Λղܾ͢ΔͨΊͷཁ݅
Slide 20
Slide 20 text
1.ӡӦऀ͕େྔੜ࢈ͷग़ऀͷΞΧϯτΛఀࢭ͢Δ ɹɹɹɹɹɹɹɹɹɹ‑ 2.େྔੜ࢈ͷग़ऀ͕ผΞΧϯτΛ࡞͢Δ ɹɹɹɹɹɹɹɹɹɹ‑ 3.େྔੜ࢈ͷग़ऀ͕ಉ͡ͷ࠶ग़Λߦ͏ ɹɹɹɹɹɹɹɹɹɹ‑ 4.ӡӦऀ͕େྔੜ࢈ͷग़ऀΛ࠶ݕग़͢Δ 20 େྔੜ࢈ͷग़ऀͷҰ෦ʹݟΒΕͨಛతͳߦಈ
Slide 21
Slide 21 text
ಛతͳߦಈΛͱΔେྔੜ࢈ͷग़ऀͷΞΧϯτ • ΞΧϯτ໊ʹແҙຯͳจࣈྻΛઃఆ͍ͯ͠Δ • ΞΧϯτΛఀࢭ͞ΕͯผͷΞΧϯτΛ࡞ͯ͠࠶ग़Λߦ͏ͨΊ • ւ֎ECαΠτͷใΛػց༁͓ͯ͠Γ໊આ໌จ͕ෆࣗવ • ւ֎͔ΒೖΕ͍ͯΔྔ࢈Λ؆୯ʹग़͢ΔͨΊ 21 େྔੜ࢈ͷग़ऀͷಛ
Slide 22
Slide 22 text
͜ΕΒͷಛΛ༻͍ͨେྔੜ࢈ͷग़ऀͷݕग़՝ʹର͢Δཁ݅Λຬͨ͢ • ҰൠతͳECαΠτͱͷൺֱΛඞཁͱ͠ͳ͍அج४Ͱେྔੜ࢈Λݕग़͢Δ ➡ΞΧϯτ໊ͷଐੑใҰൠతͳECαΠτͱͷൺֱ͕ෆཁ • ػցԽՄೳͳํ๏ʹΑͬͯେྔੜ࢈Λݕग़͢Δ ➡ςΩετॲཧʹΑΔಛྔநग़ͱྨثͷ࣮ͰػցԽ͕Մೳ 22 େྔੜ࢈ͷग़ऀͷݕग़
Slide 23
Slide 23 text
• N-GramτʔΫϯʹΑͬͯจࣈ୯ҐͷڞىؔΛಛྔͱͯ͠ѻ͏ • ୯७ϕΠζྨثʹΑͬͯτʔΫϯͷಉ࣌ൃੜ֬ΛϞσϧʹΈࠐΉ • ྨثͱͯ͠ݹయత • ςετσʔλʹ͓͍ͯेͳਫ਼Λࣔ͢ • 1ͷొ࡞ͷྨʹֻ͔Δ͕࣌ؒ100msఔͱߴͰ͋Δ • ͜Ε·ͰػցԽ͞Εͯ͜ͳ͔ͬͨͨΊӡ༻ʹҠ͢ࡍͷ؆ศ͞Λߟྀ • τʔΫϯͷ࣍ͷΈ߹ΘͤʹΑͬͯใྔΛ૿͠ਫ਼Λ্͛Δ 23 ख๏1 ΞΧϯτ໊Λ༻͍ΔྨثʹΑΔݕग़
Slide 24
Slide 24 text
• ໊ͱઆ໌จΛ࿈݁ͨ͠จࣈྻΛग़ऀ͝ͱʹ1ͭͷจষͱݟͳ͠ จষʹग़ݱ͢Δ୯ޠΛಛྔͱͯ͠ѻ͏ • ຊޠͷ୯ޠׂʹMeCabΛར༻ • ࢺ͝ͱʹಛΛଊ͑Δఔʹ͕ࠩ͋Δͱ༧͞ΕΔͨΊ ୯ޠׂ࣌ʹಛఆͷࢺͷΈऔΓग़͢ • ΞΧϯτ໊ͱಉ༷ʹ୯७ϕΠζྨثΛ༻͍Δ 24 ख๏2 ໊ͱઆ໌จΛ༻͍ΔྨثʹΑΔݕग़
Slide 25
Slide 25 text
4. ࣮ݧͱߟ
Slide 26
Slide 26 text
• minneͷӡӦऀʹΑΓਖ਼ղϥϕϧ͕༩͞Ε͍ͯΔग़ऀͷΞΧϯτΛ ܇࿅σʔλͱͯ͠༻ • ࢹͰݕग़͞Εͨେྔੜ࢈ͷग़ऀ • ӡӦऀʹΑͬͯϋϯυϝΠυ࡞Ͱ͋Δͱ֬ೝ͞Ε͍ͯΔग़ऀ 26 ྨثͷߏங
Slide 27
Slide 27 text
• ༧Ί܇࿅σʔλͱׂͨ͠ςετσʔλͷਫ਼ʹΑΔධՁ • ྨثͷߏஙʹ༻͍͍ͯͳ͍ະͷσʔλͷਫ਼ʹΑΔධՁ • ྨػʹΑΔྨͷ݁ՌΛӡӦऀ͕ࢹͯ͠ޙ͔Βਖ਼ղϥϕϧΛ༩ େྔੜ࢈ͷग़ऀΛݕग़͢Δ͜ͱ͕Ͱ͖͔ͨ֬ೝ 27 ྨثͷධՁ
Slide 28
Slide 28 text
• େྔੜ࢈ͷग़Λ͙͜ͱͰߪೖऀϒϥϯυΠϝʔδΛकΔ͜ͱ͕త • ϋϯυϝΠυ࡞ͷग़ऀΛେྔੜ࢈ͷग़ऀͰ͋Δͱޡͬͯஅͯ͠ ΞΧϯτఀࢭͳͲͷରԠΛߦ͏ͱ٫ͬͯϒϥϯυΠϝʔδΛଛͳ͏ • ِཅੑΛॏࢹͯ͠ධՁ 28 ྨثͷِཅੑʹΑΔධՁ
Slide 29
Slide 29 text
• MacBook Pro (Retina, 13-inch, Early 2015) • CPU: 3.1GHz Intel Core i7 • RAM: 16GB 1,867MHz DDR3 • Python 3.6.0 • scikit-learn 0.19.1 • ngram 3.3.2 • Mecab 0.996 29 ࣮ݧڥ
Slide 30
Slide 30 text
ख๏1 ΞΧϯτ໊Λ༻͍ΔྨثͷධՁ
Slide 31
Slide 31 text
• ೖྗͨ͠ग़ऀͷΞΧϯτ େྔੜ࢈181 / ϋϯυϝΠυ࡞326 • ϋϯυϝΠυ࡞ͷग़ऀͷ1-GramτʔΫϯ ຊޠͷԻͰ͋Δa,i,e,oͷ͕ߴ͘ ࣈຊޠͷࢠԻʹݱΕͳ͍q,v,x,zͷ͕͍ • 1-GramτʔΫϯͱ2-GramτʔΫϯͷ Έ߹ΘͤΛಛྔͱͯ͠༻͍Δ 31 ΞΧϯτ໊Λ༻͍ΔྨثͷධՁ ϋϯυϝΠυ࡞ͷग़ऀ େྔੜ࢈ͷग़ऀ ΞΧϯτ໊ͷ(SBNτʔΫϯͷ
Slide 32
Slide 32 text
• ςετσʔλʹ͓͚Δਫ਼92.16% • ಛʹ͍͜ͱ͕·ِ͍͠ཅੑ51݅த1݅ • 1-Gram·ͨ2-GramτʔΫϯ୯ମΑΓਫ਼ͷ্͕ݟΒΕͨ 32 ΞΧϯτ໊Λ༻͍ΔྨثͷධՁ ςετσʔλͷྨ݁Ռ ਖ਼ղϥϕϧ େྔੜ࢈ ϋϯυϝΠυ࡞ ༧ଌϥϕϧ େྔੜ࢈ ϋϯυϝΠυ࡞
Slide 33
Slide 33 text
• ྨثͷߏஙʹ༻͍͍ͯͳ͍ະͷσʔλ544ݸΛྨثʹద༻ • 70ݸ (12.9%) Λେྔੜ࢈ͷग़ऀͱྨ • ྨ݁ՌΛӡӦऀ͕ࢹͯ͠17ݸ (24.3%) ͕େྔੜ࢈ͷग़ऀͩͬͨ • େྔੜ࢈ͷग़ऀͱྨ͞Εͳ͔ͬͨͷͷதʹ ࣮ࡍʹେྔੜ࢈ͷग़ऀ͕ଘࡏ͢ΔՄೳੑ͕͋Δ͕ݱ࣌Ͱະݕূ 33 ΞΧϯτ໊Λ༻͍ΔྨثͷධՁ
Slide 34
Slide 34 text
• ϋϯυϝΠυ࡞ͷग़ऀͰϥϯμϜจࣈྻͷΑ͏ͳID͕ଘࡏ͢ΔͨΊ ج४ͷՃ͕ඞཁͱߟ͑ΒΕΔ • ྨثʹΑΓେྔੜ࢈ͱྨ͞Εͨग़ऀͷΛࢹ͢Δ߹ ࣌ؒతίετશͷࢹݕࠪʹൺͯ1/8ʹѹॖ͞ΕΔ 34 ΞΧϯτ໊Λ༻͍ΔྨثͷධՁ
Slide 35
Slide 35 text
ख๏2 ໊ͱઆ໌จΛ༻͍ΔྨثͷධՁ
Slide 36
Slide 36 text
• ೖྗͨ͠ग़ऀͷΞΧϯτେྔੜ࢈181ɺϋϯυϝΠυ࡞326 • ໊ͱઆ໌จΛࢺ͝ͱʹ୯ޠׂͯ͠ग़ݱճΛಛྔԽ • ςετσʔλʹ͓͚Δਫ਼໊ࢺΛ༻͍ͨϞσϧ͕࠷ߴ͘98.04% • େྔੜ࢈ͷग़ऀͷಠಛͷݴ༿ݣ͍Λଊ͍͑ͯΔͱߟ͑ΒΕΔ 36 ໊ͱઆ໌จΛ༻͍ΔྨثͷධՁ ਖ਼ղϥϕϧ େྔੜ࢈ ϋϯυϝΠυ࡞ ༧ଌϥϕϧ େྔੜ࢈ ϋϯυϝΠυ࡞
Slide 37
Slide 37 text
• ྨثͷߏஙʹ༻͍͍ͯͳ͍ະͷσʔλ720ݸΛྨثʹద༻ • 142ݸ (19.7%) Λେྔੜ࢈ͷग़ऀͱྨ • ྨ݁ՌΛӡӦऀ͕ࢹͯ͠11ݸ (7.7%) ͕େྔੜ࢈ͷग़ऀͩͬͨ • େྔੜ࢈ͷग़ऀͱྨ͞Εͳ͔ͬͨͷͷதʹ ࣮ࡍʹେྔੜ࢈ͷग़ऀ͕ଘࡏ͢ΔՄೳੑ͕͋Δ͕ݱ࣌Ͱະݕূ 37 ໊ͱઆ໌จΛ༻͍ΔྨثͷධՁ
Slide 38
Slide 38 text
• ςετσʔλʹରͯ͠ߴਫ਼ʹྨ͍ͯ͠Δ • ະͷσʔλʹରͯ͠ϋϯυϝΠυ࡞ͷग़ऀΛେྔੜ࢈ͷग़ऀͱ ޡͬͯྨ͢Δʹ͋Δ • ྨثʹΑΓେྔੜ࢈ͱྨ͞Εͨग़ऀͷΛࢹ͢Δ߹ ࣌ؒతίετશͷࢹݕࠪʹൺͯ1/5ʹѹॖ͞ΕΔ 38 ໊ͱઆ໌จΛ༻͍ΔྨثͷධՁ
Slide 39
Slide 39 text
5. ·ͱΊͱࠓޙ
Slide 40
Slide 40 text
• ϋϯυϝΠυ࡞Λରͱͨ͠ECαΠτʹ͓͚Δେྔੜ࢈ͷݕग़ΛػցԽ • minneͷଐੑใҎ֎ʹґଘ͠ͳ͍ େྔੜ࢈ͷग़ऀͷҰ෦͕࣋ͭ2ͭͷಛΛ༻͍ͯྨΛߦͬͨ • ςετσʔλʹରͯ͠ߴਫ਼ʹྨΛߦ͏͜ͱ͕Մೳͱͳͬͨ • େྔੜ࢈ͱྨ͞ΕͨΛࢹ͢Δͱ͍͏લఏʹ͓͍ͯ ैདྷͷࢹʹΑΔݕग़Λશʹରͯ͠ߦ͏߹ʹൺͯ ࣌ؒతίετΛݮͰ͖Δ 40 ·ͱΊ
Slide 41
Slide 41 text
• ະͷσʔλʹର͢Δਅཅੑͷׂ߹ΛߴΊΔ • minneͷଐੑใͷΈ͔Βେྔੜ࢈ͷग़ऀΛྨͰ͖ΔՄೳੑࣔ͞Εͨ • ग़ऀͷߦಈʹΑΓఆ·Δҙʹ੍ޚࠔͳಛྔΛ༻͍Δ ྫʣΞΧϯτొ͔Βൢച։࢝·Ͱͷ࣌ؒ ྫʣ୯Ґ࣌ؒ͋ͨΓͷग़ 41 ࠓޙʹ͍ͭͯ