ܖ໿ॻͷϦεΫ൑ఆͷͨΊͷ ৚จϚϧνϥϕϧ෼ྨ Multi-label classification for risk in contracts ౻Ҫඒᇠ1 Ѩ෦ஐ඙1 ߴڮ޺࣏1 ؠ৓҆ߒ1 Ճ౻߃ত2 1GVA TECHגࣜձࣾ 2౦ژେֶ

֓ཁ ໨త • ܖ໿ॻ৹ࠪۀ຿ͷޮ཰Խ ໰୊ઃఆ • ܖ໿ॻͷ೚ҙͷςΩετͷͲΜͳ಺༰ؚ͕͍ͭ͘·ΕΔ͔ΛϚϧνϥ ϕϧ෼ྨλεΫͱͯ͠ղ͘ ख๏ • ΋ͱ΋ͱը૾λεΫʹଟ͘࢖༻͞Ε͍ͯͨϚϧνϥϕϧ෼ྨख๏Λ೔ຊ ޠͷܖ໿ॻςΩετʹԠ༻ 1% |# | 2 of 35

ݚڀͷഎܠ 3% |## | 3 of 35

ݚڀഎܠ ܖ໿ͱ͸ • Ұఆͷ๏཯ޮՌΛൃੜͤ͞Α͏ͱ͢Δܖ໿౰ࣄऀؒͷ߹ҙ ܖ໿ॻͱ͸ • ܖ໿಺༰Λ໌֬Խ͠ʢاۀಉ࢜Ͱ͋Ε͹ʣऔҾΛԁ׈ʹ͠ޙ ͷฆ૪Λ๷ࢭ͢Δ͜ͱ͕໨త • ߹ҙ಺༰Λॻ໘ʹॻ͖ى͜͠ɺ྆ऀͰॺ໊ೀҹه໊ԡҹΛ ߦ͏ 5% |#### | 4 of 35

ݚڀഎܠ ܖ໿ͱ͸ • Ұఆͷ๏཯ޮՌΛൃੜͤ͞Α͏ͱ͢Δܖ໿౰ࣄऀؒͷ߹ҙ ܖ໿ॻͱ͸ • ܖ໿಺༰Λ໌֬Խ͠ʢاۀಉ࢜Ͱ͋Ε͹ʣऔҾΛԁ׈ʹ͠ޙ ͷฆ૪Λ๷ࢭ͢Δ͜ͱ͕໨త • ߹ҙ಺༰Λॻ໘ʹॻ͖ى͜͠ɺ྆ऀͰॺ໊ೀҹه໊ԡҹΛ ߦ͏ ๏຿෦΍หޢ͕࢜಺༰Λ৹ࠪ͢Δ͜ͱ͕Ұൠత 8% |####### | 5 of 35

ݚڀഎܠ ৹ࠪۀ຿ͷྲྀΕ ܖ໿ॻͷ಺༰೺Ѳ ϦεΫՕॴચ͍ग़͠ ʢϦεΫ͕͋Ε͹ʣ৚จͷमਖ਼ ݱঢ় • ܖ໿క݁ͷࡍͷܖ໿ॻ಺༰ͷνΣοΫͱϨϏϡʔ͸ਓखͰߦ ΘΕ͓ͯΓɺଟେͳίετͱ࣌ؒΛཁ͍ͯ͠Δ • ৹ࠪऀʹΑͬͯ৹ࠪ༳Ε͕ੜ͡Δ 11% |######### | 6 of 35

Կ͕෼͔Ε͹ϦεΫՕॴͷચ͍ग़͕͠Ͱ͖Δͷ͔ʁ • ܖ໿ʹج͖ͮߦ͏औҾɾϏδωεͷ۩ମత಺༰ ʴ ๏཯΍ܖ໿ॻ৹ࠪʹؔ͢Δ஌ݟ ʴ ܖ໿ॻ͝ͱͰ͸ͳ͘ɺ৚จͷ෦෼͝ͱͷ৹ࠪͷج४ ݚڀഎܠ ֘౰৚จͷ಺༰͕Ͳͷ৹߲ࠪ໨ʹଐ͢Δ͔ͷಛఆ͕ඞਢɻ ৚จʹΑͬͯ͸ɺ৹߲ࠪ໨ΛҰؚ͚ͭͩΉ΋ͷ΍ෳ਺ݸؚΉ΋ͷ͕͋Δʢ ϚϧνϥϕϧλεΫʣ 14% |########### | 7 of 35

ݚڀഎܠ • ֤৚จʹఆΊΔ๏཯ޮՌ͝ͱʹ৹ࠪ͢Δ 16% |############# | 8 of 35

ݚڀഎܠ • ֤৚จʹఆΊΔ๏཯ޮՌ͝ͱʹ৹ࠪ͢Δ • ৚จ͕ෳ਺ͷ৹߲ࠪ໨ΛؚΉ৔߹͕͋Δ ;;; ͷ৹߲ࠪ໨ʹরΒ͠߹ΘͤΔͱʜࣗࣾʹ༗ར मਖ਼ՕॴʹͳΓ͏Δ 999ͷ৹߲ࠪ໨ʹরΒ͠߹ΘͤΔͱʜ໰୊ͳ͠ :::ͷ৹߲ࠪ໨ʹরΒ͠߹ΘͤΔͱʜࣗࣾʹෆར मਖ਼Օॴ 18% |################ | 9 of 35

৹߲ࠪ໨ͷఆٛ 20% |################## | 10 of 35

৹߲ࠪ໨ͷఆٛ ৹߲ࠪ໨ͱ͸ • ϦεΫΛ൑ఆ͢ΔࡍͷνΣοΫϙΠϯτ • ܖ໿ॻͷ֤৚จʹؚ·ΕΔཁ݅ͱޮՌ͕ରʹͳͬͨ๏తҙ ຯͷ͋ΔهࡌΛ෼ղ͠ɺ߲໨ʹམͱ͠ࠐΜͩ΋ͷ ྫ̍ ୈ̋৚ʢળ؅஫ҙٛ຿ʣ ߕ͸ળྑͳΔ؅ཧऀͷ஫ҙΛ΋ͬͯຊ݅ۀ຿Λ਱ߦ͠ͳ͚Ε ͹ͳΒͳ͍ɻ 22% |##################### | 11 of 35

৹߲ࠪ໨ͷఆٛ ৹߲ࠪ໨ͱ͸ • ϦεΫΛ൑ఆ͢ΔࡍͷνΣοΫϙΠϯτ • ܖ໿ॻͷ֤৚จʹؚ·ΕΔཁ݅ͱޮՌ͕ରʹͳͬͨ๏తҙ ຯͷ͋ΔهࡌΛ෼ղ͠ɺ߲໨ʹམͱ͠ࠐΜͩ΋ͷ ྫ̍ ୈ̋৚ʢળ؅஫ҙٛ຿ʣ ߕ͸ળྑͳΔ؅ཧऀͷ஫ҙΛ΋ͬͯຊ݅ۀ຿Λ਱ߦ͠ͳ͚Ε ͹ͳΒͳ͍ɻ 審査項目：業務遂行上の注意義務 25% |######################## | 12 of 35

৹߲ࠪ໨ͷఆٛ ྫ ୈ̋৚ʢ࠶ҕୗʣ Ե͸๏ྩ౳ʹΑΓېࢭ͞Ε͍ͯΔ৔߹Λআ͖ҕୗۀ຿ͷશ෦ ຢ͸Ұ෦Λୈࡾऀʹ࠶ҕୗ͢Δ͜ͱ͕Ͱ͖Δ΋ͷͱ͢Δɻ ͜ͷ৔߹ʹ͸Ե͸͔͔Δୈࡾऀʹରͯ͠ɺࣗݾͷ੹೚ʹ͓͍ ͯຊܖ໿ٴͼݸผܖ໿ʹఆΊΔԵͷٛ຿Λ९कͤ͞Δͱͱ΋ ʹ ɺ౰֘ୈࡾऀͷߦҝʹ͍ͭͯ੹೚Λෛ͏΋ͷͱ͢Δɻ 28% |########################## | 13 of 35

৹߲ࠪ໨ͷఆٛ ྫ ୈ̋৚ʢ࠶ҕୗʣ Ե͸๏ྩ౳ʹΑΓېࢭ͞Ε͍ͯΔ৔߹Λআ͖ҕୗۀ຿ͷશ෦ ຢ͸Ұ෦Λୈࡾऀʹ࠶ҕୗ͢Δ͜ͱ͕Ͱ͖Δ΋ͷͱ͢Δɻ ͜ͷ৔߹ʹ͸Ե͸͔͔Δୈࡾऀʹରͯ͠ɺࣗݾͷ੹೚ʹ͓͍ ͯຊܖ໿ٴͼݸผܖ໿ʹఆΊΔԵͷٛ຿Λ९कͤ͞Δͱͱ΋ ʹ ɺ౰֘ୈࡾऀͷߦҝʹ͍ͭͯ੹೚Λෛ͏΋ͷͱ͢Δɻ 審査項目①：再委託の可否条件 30% |############################# | 14 of 35

৹߲ࠪ໨ͷఆٛ ྫ ୈ̋৚ʢ࠶ҕୗʣ Ե͸๏ྩ౳ʹΑΓېࢭ͞Ε͍ͯΔ৔߹Λআ͖ҕୗۀ຿ͷશ෦ ຢ͸Ұ෦Λୈࡾऀʹ࠶ҕୗ͢Δ͜ͱ͕Ͱ͖Δ΋ͷͱ͢Δɻ ͜ͷ৔߹ʹ͸Ե͸͔͔Δୈࡾऀʹରͯ͠ɺࣗݾͷ੹೚ʹ͓͍ ͯຊܖ໿ٴͼݸผܖ໿ʹఆΊΔԵͷٛ຿Λ९कͤ͞Δͱͱ΋ ʹ ɺ౰֘ୈࡾऀͷߦҝʹ͍ͭͯ੹೚Λෛ͏΋ͷͱ͢Δɻ 審査項目②：再委託先に課す義務 33% |################################ | 15 of 35

৹߲ࠪ໨ͷఆٛ ྫ ୈ̋৚ʢ࠶ҕୗʣ Ե͸๏ྩ౳ʹΑΓېࢭ͞Ε͍ͯΔ৔߹Λআ͖ҕୗۀ຿ͷશ෦ ຢ͸Ұ෦Λୈࡾऀʹ࠶ҕୗ͢Δ͜ͱ͕Ͱ͖Δ΋ͷͱ͢Δɻ ͜ͷ৔߹ʹ͸Ե͸͔͔Δୈࡾऀʹରͯ͠ɺࣗݾͷ੹೚ʹ͓͍ ͯຊܖ໿ٴͼݸผܖ໿ʹఆΊΔԵͷٛ຿Λ९कͤ͞Δͱͱ΋ ʹ ɺ౰֘ୈࡾऀͷߦҝʹ͍ͭͯ੹೚Λෛ͏΋ͷͱ͢Δɻ 審査項目③：再委託先の行為に対する責任 35% |################################### | 16 of 35

৹߲ࠪ໨ͷఆٛ • ൃੜ͢Δ๏཯ޮՌͷݸ਺ʹԠͯ͡৚จʹؚ·ΕΔ৹߲ࠪ໨਺͸ ҟͳΔ ྫ̍ ྫ̎ 審査項目：業務遂行上の注意義務 審査項目①：再委託の可否条件 審査項目②：再委託先に課す義務 審査項目③：再委託先の行為に対する責任 38% |##################################### | 17 of 35

Ξ΢τϥΠϯ ݚڀͷഎܠ ৹߲ࠪ໨ͷఆٛ ৚จϚϧνϥϕϧ෼ྨʹΑΔ৹߲ࠪ໨ͷಉఆ Ϛϧνϥϕϧ෼ྨͱ͸ ఏҊख๏ σʔληοτ ࣮ݧ݁Ռ Ϛϧνϥϕϧ෼ྨΛԠ༻ͨ͠৚จͷ෼ׂ Ϛϧνϥϕϧ෼ྨϞσϧͷ׆༻ ࣄྫ ࣄྫ ·ͱΊ 40% |####################################### | 18 of 35

Ξ΢τϥΠϯ ݚڀͷഎܠ ৹߲ࠪ໨ͷఆٛ ৚จϚϧνϥϕϧ෼ྨʹΑΔ৹߲ࠪ໨ͷಉఆ Ϛϧνϥϕϧ෼ྨͱ͸ ఏҊख๏ σʔληοτ ࣮ݧ݁Ռ Ϛϧνϥϕϧ෼ྨΛԠ༻ͨ͠৚จͷ෼ׂ Ϛϧνϥϕϧ෼ྨϞσϧͷ׆༻ ࣄྫ ࣄྫ ·ͱΊ 43% |########################################### | 19 of 35

৚จϚϧνϥϕϧ෼ྨʹΑΔ ৹߲ࠪ໨ͷಉఆ 45% |############################################## | 20 of 35

Ϛϧνϥϕϧ෼ྨͱ͸ Ϛϧνϥϕϧ෼ྨ • ର৅ͷσʔλʹ୯਺·ͨ͸ෳ਺ͷϥϕϧΛׂΓ౰ͯΔλεΫ • ຊݚڀͰѻ͏Ϛϧνϥϕϧ෼ྨ͸ɺσʔλʹ෇༩͞ΕΔՄೳ ੑͷ͋Δީิϥϕϧ਺Λ ͱ͢ΔͱڭࢣϕΫτϧ y ͸࣍ͷ ؔ܎Λຬͨ͢ • ڭࢣϕΫτϧͷ֤ཁૉ͕ɺީิϥϕϧʹ֘౰͢Δ͔൱͔Λɺ 1 or 0Ͱ༧ଌ͢Δ 教師ベクトル 候補ラベル数 49% |################################################# | 21 of 35

Ϛϧνϥϕϧ෼ྨͱ͸ article_text 業務遂行上の 注意義務 _label 再委託の可否 条件_label 再委託先に課 す義務_label 再委託先の行 為に対する責 任_label 甲は善良なる管理者の注意をもって本件業務を遂行しなけ ればならない。 1 0 0 0 乙は法令等により禁止されている場合を除き委託業務の全 部又は一部を第三者に再委託することができるものとする。 この場合には乙はかかる第三者に対 して、自己の責任に おいて本契約及び個別契約に定める乙 の義務を遵守させ るとともに 、当該 第三者の行為について責任を負うものと する。 0 1 1 1 nσʔλͷྫʢ = 4ͷ৔߹ʣ ྫͷ৚จ ྫͷ৚จ 53% |#################################################### | 22 of 35

ఏҊख๏ ֶश༻σʔληοτ͔ΒɼτʔΫϯͷ෼ࢄදݱ(200࣍ݩɼ word2vecΛ࢖༻)ͱٯจॻස౓ (idf ஋) Λऔಘ͢Δ ৚จʹग़ݱ͢ΔτʔΫϯͷ෼ࢄදݱΛidf ஋ͰॏΈ෇͚ ͨ͠΋ͷΛฏۉ͠ɼ৚จͷಛ௃ྔΛ࡞੒͢Δ step2ͷಛ௃ྔΛೖྗͱͯ͠༩͑ɺ3૚ʢͦΕͧΕ2048࣍ݩɺ 1024࣍ݩɺ512࣍ݩʣ͔ΒͳΔMLP (Multi Layer Perceptron) Λߏங͢Δ step1 step2 step3 57% |######################################################### | 23 of 35

σʔληοτ • ܖ໿ॻΛ৚จ୯Ґʹ෼ׂͨ͠ςΩετʹରͯ͠ɺ๏຿ઐ໳Ո͕ ৹߲ࠪ໨ʢϥϕϧʣ෇༩Λߦ͍ɺ2ສαϯϓϧΛ௒͑Δσʔλ ηοτΛ࡞੒ʢڭࢣ෇͖σʔλ 20,243 ɺϥϕϧͷҟͳΓ਺ 205 ʣ 61% |############################################################## | 24 of 35

࣮ݧ݁Ռ • ෇༩͞ΕΔϥϕϧ਺ͱϥϕϧͷ಺༰͕ɺڭࢣϥϕϧू߹ʹաෆ ଍ͳ͘׬શҰகͨ͠৔߹ͷΈΛਖ਼ղͱ͢Δ • ᮢ஋͕0.5ͷ৔߹ɺશମͷਖ਼ղ཰͸61.4%ͱͳͬͨ 65% |##################################################################### | 25 of 35

• ਖ਼ղϥϕϧશମͰ͸ᮢ஋ʙ͋ͨΓͷਖ਼ղ཰͕࠷΋ߴ͍ • ਖ਼ղϥϕϧ਺ʹΑͬͯਖ਼ղ཰͕࠷େͱͳΔᮢ஋͕ҟͳΔ 確率閾値 正解率 ࣮ݧ݁Ռ 68% |############################################################################# | 26 of 35 正解ラベル数が 1 のとき正 解率が最も高くなるのは閾値 0.4〜0.6 正解ラベル数が 4 のとき正 解率が最も高くなるのは閾値 0.2〜0.3 例えば…

Ϛϧνϥϕϧ෼ྨΛԠ༻ͨ͠ ৚จͷ෼ׂ 70% |################################################################################## | 27 of 35

Ϛϧνϥϕϧ෼ྨϞσϧͷ׆༻ ಈػ • Ϛϧνϥϕϧ෼ྨͷֶशࡁΈϞσϧΛ࢖༻ͯ͠ϥϕϧͷ༧ଌ֬཰ܭࢉ ͢Δ͜ͱͰɺ৚จͷ෦෼ͷ෼ྨΛߦ͍͍ͨ • ৚จͷ෦෼ͷϥϕϧ͕෼͔Ε͹ɺςΩετ෼ׂʹԠ༻͕Ͱ͖ΔͷͰ͸ ͳ͍͔ ༧ଌ֬཰ͷܭࢉํ๏ 1. Nจࣈ͋ΔςΩετʹ͍ͭͯઌ಄͔Βkจࣈநग़ͨ͠ςΩετΛֶश ࡁΈϞσϧʹೖྗ͠ɺ༧ଌͨ݁͠ՌΛอ࣋͢Δ 2. 1.ʹؔͯ͠ k= 1, 2, ..., N ·Ͱ܁Γฦ͢ 3. 2.ͷ݁ՌΛ݁߹ɺՄࢹԽ͢Δ 75% |###################################################################################### | 28 of 35

ࣄྫ1ʢ੒ޭࣄྫʣ ݁Ռ • ೖྗςΩετ͕ 1 ∼ 11 จࣈ·Ͱ͸มԽ͕ݟΒ Εͳ͍͕ɺʮ೔ຊ๏ʯʹ൓Ԡ͠४ڌ๏ϥϕϧ ͷ༧ଌ֬཰্͕͕Γɺʮ౦ژʯ΍ʮ஍ํࡋ൑ ॴʯʹ൓Ԡͯ͠؅׋ϥϕϧͷ༧ଌ֬཰্͕ ͕͍ͬͯΔ ߟ࡯ • ʮ؅׋ʯϥϕϧͷ֬཰্͕͕ͬͯ΋ඞͣ͠΋ ʮ४ڌ๏ʯϥϕϧͷ֬཰͕མͪͳ͍ͷ͕Ϛϧ νϥϕϧ෼ྨͷಛ௃ • ͜ͷΑ͏ͳτʔΫϯͱϥϕϧͷؔ܎͕͸͖ͬ Γ͍ͯ͠ΔλΠϓͷ৚จ͸ɺ৹߲ࠪ໨͝ͱͷ ςΩετ෼ׂ͕Ͱ͖ΔՄೳੑ͕ߴ͍͜ͱΛ ͍ࣔࠦͯ͠Δ 81% |######################################################################################### | 29 of 35

ࣄྫ2ʢࣦഊࣄྫʣ ݁Ռ • ༧ଌ͞Εͨ෇༩ϥϕϧू߹͸ਖ਼ղͰ͋Δ ΋ͷͷɺೖྗςΩετ͕ 165 จࣈΛա͗ ͨޙ൒ʹ͓͍ͯϥϕϧͷ༧ଌ֬཰͕ٸܹ ʹݮগͨͨ͠Ίɺෆਖ਼ղͱͳͬͨ • ϥϕϧू߹ͷ૊Έ߹ΘͤʹΑͬͯ͸ɺ͏ ·͍͔͘ͳ͍΋ͷ͕͋ͬͨ ߟ࡯ • ೖྗςΩετͷ௕͔͞ΒϞσϧʹ༩͑Β ΕΔ৘ใྔ͸ෆ଍͍ͯ͠Δͱ͸ݴ͑ͳ͍ • ҟͳΔ৹߲ࠪ໨ʹಉ͡τʔΫϯͷग़ݱ͕ ֬ೝͰ͖ΔΑ͏ͳ಺༰͕͍ۙ͠ෳ਺ͷ৹ ߲ࠪ໨Λ΋ͭλΠϓͷ৚จ͸ςΩετ෼ ׂͷ೉қ౓͕ߴ͍ 86% |############################################################################################ | 30 of 35

·ͱΊ 90% |################################################################################################ | 31 of 35

·ͱΊ ϦʔΨϧσʔληοτΛ࡞੒ͨ͠ ৚จϚϧνϥϕϧ෼ྨʹΑΔ৹߲ࠪ໨ͷಉఆͷͨΊͷ ख๏ΛఏҊͨ͠ ᮢ஋ͷਪҠͱਖ਼ղ཰ͷؔ܎Λࣔͨ͠ ֶशࡁΈϞσϧΛςΩετ෼ׂʹ׆༻ͨ͠ 92% |#################################################################################################### | 32 of 35

·ͱΊ ̍. ϦʔΨϧσʔληοτͷ࡞੒ • ৹߲ࠪ໨Λ޿͘໢ཏͨ͠2ສ৚จΛ௒͑Δେن໛ͳσʔλ ηοτͷ࡞੒ ৚จϚϧνϥϕϧ෼ྨʹΑΔ৹߲ࠪ໨ͷಉఆͷͨΊͷ ख๏ͷఏҊ • ࣮ݧͷ݁Ռɺܖ໿ྨܕʹؔ܎ͳ͘աෆ଍ͳ͘ਖ਼֬ʹ༧ଌϥϕ ϧू߹Λ෇༩͢Δ༧ଌਫ਼౓͸ 31 ∼ 64 %ʢᮢ஋0.5ͷ৔߹ʣ 95% |####################################################################################################### | 33 of 35

·ͱΊ ᮢ஋ͷਪҠͱਖ਼ղ཰ͷؔ܎ • ਖ਼ղϥϕϧ਺ʹΑͬͯਖ਼ղ཰͕࠷େͱͳΔᮢ஋͕ҟͳΔ͜ͱ Λ֬ೝͨ͠ 4. ֶशࡁΈϞσϧͷ׆༻ • ϥϕϧͷ༧ଌ֬཰Λ࢖༻͢Δ͜ͱͰϥϕϧผͷςΩετ෼ׂ ͷՄೳੑΛࣔͨ͠ 98% |########################################################################################################### | 34 of 35

ࢀߟจݙ [1] Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K.: BERT: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018. [2] ౻Ҫ ඒᇠ, ؠ৓ ҆ߒ, Ճ౻ ߃ত: ܖ໿ॻςΩετͷಛ௃෼ੳͱͦͷࣗಈ෼ྨͷࢼΈʙ ϦʔΨϧςοΫͷԠ༻ʹ޲͚ͯʙ, ୈ 6 ճࣗવݴޠॲཧγϯϙδ΢Ϝ, pp.1-6, 2019. [3] ٢ଜࡷ྄, അ৔ઇ೫, ࣛౡٱ࢚: Ϋϥ΢υιʔγϯ άʹΑΔϚϧνϥϕϧ෼ྨͷͨΊͷ RAkEL Λ༻͍ͨ඼࣭؅ཧ๏, ਓ޻஌ೳֶձશࠃେձ࿦จू, Vol.JSAI2016, pp.1-4, 2016. [4] Zhang, M.-L. and Zhou, Z.-H. : Multilabel Neural Networks with Applications to Funcntional Genomics and Text Categorization. In IEEE Transactions on Knowledge and Data Engineering, Vol.18, Issue10, pp.1338-1351, 2006. 100% |################################################################################################################ | fin.