目と耳を持った自然言語処理 - スタートアップにおける価値創出のために

Slide 1

Slide 1 text

໨ͱࣖΛ࣋ͬͨࣗવݴޠॲཧ ελʔτΞοϓʹ͓͚ΔՁ஋૑ग़ͷͨΊʹ 2022/05/10 Ubieגࣜձࣾ Ԟా ༟थ

Slide 2

Slide 2 text

2 Ԟా ༟थ @yag_ays Recruit → Sansan → Ubie ࣗݾ঺հ https://yag-ays.github.io/

Slide 3

Slide 3 text

3 ࠓ೔͓࿩͢Δ͜ͱ • ໨ͱࣖΛ࣋ͬͨࣗવݴޠॲཧ • ը૾ೝࣝ΍Ի੠৘ใॲཧͱͷ૊Έ߹ΘͤͱɺෳࡶͳγεςϜߏஙʹΑΓੜ͡Δ՝୊ • Ubieʹ͓͚Δࣗવݴޠॲཧ׆༻ͷ۩ମࣄྫ • OCR݁Ռ͔ΒͷࣗવݴޠॲཧʹΑΔ৘ใநग़ͷࣄྫ • ελʔτΞοϓʹ͓͚ΔՁ஋૑ग़ͷͨΊʹ • ελʔτΞοϓʹ͓͚ΔػցֶशΤϯδχΞ/σʔλαΠΤϯςΟετ͸Ͳ͏ৼΔ෣͏ͱྑ͍͔

Slide 4

Slide 4 text

4 ໨ͱࣖΛ࣋ͬͨࣗવݴޠॲཧ

Slide 5

Slide 5 text

5 ෳࡶԽ͢ΔػցֶशΛ༻͍ͨαʔϏε։ൃͱԠ༻ൣғͷ޿͕Γ • ୯ҰͷػցֶशϞσϧΛ౰ͯ͸ΊΔ͚ͩͰ͸੒ՌΛग़ͤͳ͘ͳ͖͍ͬͯͯΔ • ػցֶशͷίϞσΟςΟԽʢਓ޻஌ೳ, AIͱݺ͹Εೝ஌͕޿͕ͬͨʣ • ਓؒʹ΋ػցʹ΋ෳࡶͳ͜ͱΛཁٻ͞ΕΔΑ͏ʹͳ͖ͬͯͨ • ΑΓՁ஋ͷ͋ΔҰ࿈ͷಈ࡞Λεέʔϧ͢ΔܗͰ୅ସ͢Δೳྗͷඞཁੑ • Α͏΍͘ݱ࣮ͷ໰୊Λղ͘͜ͱ͕Ͱ͖ΔΑ͏ʹͳ͖ͬͯͨ • ࣗવݴޠॲཧΛऔΓר͘ঢ়گ • “Web” ͱ͍͏ॻ͖ݴ༿͔ͭେن໛σʔλͳੈք͕த৺ • ݹ͘͸εύϜϝʔϧ൑ఆɻۙ೥ͩͱػց຋༁΍ػցཁ໿ɺࡶஊԠ౴ • ͦΕҎ֎ͷपลྖҬ΍ɺଞͷυϝΠϯͱͷؔ܎ੑ΋ੜ͖ͯͨ͡ • ෺ཧతͳॻྨ΍จࣈ৘ใɺਓؒͷ੠ͷձ࿩Ի੠ͳͲ ໨ͱ͔ࣖΒೖͬͯ͘Δ৘ใΛࣗવݴޠॲཧͰѻ͏

Slide 6

Slide 6 text

6 • 👀 : ը૾৘ใ • 2࣍ݩฏ໘্ʹจࣈ΍จॻ͕഑ஔ͞ΕͨςΩετΛɺOCRʹΑͬͯจࣈى͜͢͠Δ • จࣈͷ഑ஔ΍ϑΥϯτɺ৭ɺਤද౳ͱ͍ͬͨϨΠΞ΢τ͕ҙຯΛ࣋ͭ • e.g. ܖ໿ॻ΍੥ٻॻɺϨγʔτɺ࿦จɺͳͲ • 👂 : Ի੠৘ใ • ୯Ұ·ͨ͸ෳ਺ͷਓ͕ؒൃ࿩͢ΔԻ੠ΛɺԻ੠ೝࣝʹΑͬͯจࣈྻʹม׵͢Δ • ࿩͠ݴ༿ͱ͍͏ɺจ๏తഁ୼΍ݴ͍ؒҧ͑ͳͲ͕༰қʹى͜Γ͏Δ • e.g. ೔ৗձ࿩ɺࡶஊɺεϚʔτεϐʔΧʔͷ໰͍߹ΘͤɺͳͲ ໨΍ࣖΛܦͯಘΒΕͨ৘ใ͸ɺݴ༿ͱͯ͠ͷ࣭͕Web༝དྷͱҟͳΔ

Slide 7

Slide 7 text

7 ՝୊1: ໨΍ࣖΛࣗ࡞͢Δͷ͸ࠔ೉ • OCR΍Ի੠ೝࣝΤϯδϯ͢΂ͯΛࣗࣾͰ಺੡͢Δͷ͸೉͍͠ • ͦΕ͕ग़དྷΔͷ͸σʔλ & ਓࡐΛ༗͢ΔҰ෦ͷେاۀͷΈ • ܧଓతͳϝϯςφϯε΍ਫ਼౓޲্ʹ΋ଟେͳίετ͕͔͔Δ • ݱ࣮తʹ͸ɺ֎෦اۀͷαʔϏεΛར༻͢Δ͜ͱʹͳΔ • ࣌ؒ΋͓ۚ΋ແ͍ελʔτΞοϓ͸ಛʹ • ֎෦ͷ໨΍ࣖͷਫ਼౓Λɺར༻ऀଆ͕ྑ͍ͯ͘͘͜͠ͱ͸೉͍͠ • ֎෦αʔϏεΛར༻͢ΔҎ্ɺͦΕࣗମͷੑೳΛ޲্ͤ͞Δ͜ͱ͸ࠔ೉ • ࣮ߦ࣌ͷύϥϝʔλ΍֎෦৘ใΛར༻Ͱ͖ΔαʔϏε͸ଘࡏ͢Δ͕ɺద༻ൣғ͸ݶఆత • Ұఆͷਫ਼౓Ͱڐ༰͢Δ΄͔ແ͍

Slide 8

Slide 8 text

8 • ػցֶशϞσϧ͕௚ྻʹܨ͕Γɺਫ਼౓ֻ͕͚ࢉͰ௿Լ͍ͯ͘͠ • ͋ΔػցֶशϞσϧͷग़ྗ͕ɺ࣍ͷػցֶशϞσϧͷೖྗʹͳΔ • e.g. OCR݁ՌͷςΩετநग़݁ՌΛɺ࣍ͷࣗવݴޠॲཧϞσϧ͕ར༻͠λεΫΛղ͘ • (ײ֮తʹ͸) ਫ਼౓͕ ML_A 90% Ͱ ML_B 80% Ͱ͋Ε͹ɺ࿈݁͢Ε͹શମͰ͸ 72% ʹͳΔ • ML_AͱML_BΛ౷߹ͯ͠End2EndͳϞσϧΛ࡞Δ͜ͱ͕ຊདྷ͸๬·͍͕͠ɺσʔλ४උ΍ ࣮૷؍఺Ͱݱ࣮ʹ͸೉͍͜͠ͱ͕ଟ͍ ՝୊2: ෳ਺ͷػցֶशϞσϧ͕ґଘ͢Δ͜ͱʹىҼ͢Δਫ਼౓௿Լ ػցֶशϞσϧA ػցֶशϞσϧB

Slide 9

Slide 9 text

9 • ෳࡶԽ͢ΔػցֶशγεςϜ • ࣮՝୊Λղ͘͜ͱ͕Ͱ͖ΔΑ͏ʹͳͬͨҰํͰɺෳࡶ͔ͭ޿ൣғͳྖҬΛΧόʔ͢Δඞཁ • ࣗવݴޠॲཧʹ͓͚Δ໨ͱࣖ • ը૾ೝࣝʹΑΓಘͨυΩϡϝϯτ্ͷจࣈ৘ใ • Ի੠ೝࣝʹΑΓಘΒΕͨൃ࿩ͷจࣈܥྻ৘ใ • 2छྨͷ՝୊ • ൚༻తͳΤϯδϯΛ࡞Δ͜ͱ͕೉͘͠ɺ֎෦αʔϏεʹґଘͤ͟ΔΛಘͳ͍ • ෳ਺ͷػցֶशϞσϧʹґଘ͢Δ͜ͱʹΑΔਫ਼౓௿Լ ͜͜·Ͱͷ·ͱΊ

Slide 10

Slide 10 text

10 Ubieʹ͓͚Δࣗવݴޠॲཧͷ׆༻ࣄྫ

Slide 11

Slide 11 text

11 • ͓ༀεΩϟϯɺ঺հঢ়εΩϟϯͱ͍͏αʔϏεΛఏڙ • ױऀ͞Μ͕࣋ࢀͨ͠ࢴഔମͷ৘ใΛεΩϟϯ͠ɺɹ OCRʹΑΔจࣈى͜͠ͱ৘ใநग़Λߦ͏ • ໊લͳͲͷݸਓ৘ใͷϚεΩϯάॲཧ • ͓ༀखாͷจݴͷத͔Βɺॲํ͞Ε͍ͯΔༀࡎΛநग़͢Δ • ೔ຊͰॲํ͞Ε͍ͯΔༀࡎ໊͸ط஌ (DBͱͯ͠ଘࡏ) ͓ༀखா΍঺հঢ়͔Βͷ৘ใநग़ ϛϠBMࡉཻ Χϩφʔϧৣ 仏௧࣌ ேன༦ 3แ 2ৣ ※ ࢲ͕ण࢘Λ৯΂ͨ൩ʹ ң௎Ԍʹͳͬͨͱ͖ͷॲํ

Slide 12

Slide 12 text

12 ͓ༀεΩϟϯͷॲཧͷྲྀΕ 1. ࢴΛεΩϟϯ͢Δ • ը૾ͱͯ͠औΓࠐΉ 2. औಘը૾ͷิਖ਼ • ର৅ྖҬͷநग़ɺ֯౓ͷิਖ਼ɺը૾ͷ௒ղ૾ 3. OCRʹΑΓจࣈͱ࠲ඪ৘ใΛಘΔ • ෳ਺୯ҐͰग़ྗ͞ΕΔ͕ɺจࣈ୯ҐͷΈΛར༻ 4. ෦෼จࣈྻΛख͕͔Γʹɺༀࡎ໊Λ࠶ߏ੒͍ͯ͘͠ • OCRಡΈऔΓϛεͷิਖ਼ • ࠶ߏ੒ͨ͠จࣈྻͱDBͷༀࡎ໊ͱͷྨࣅ౓Λࢉग़ • ޡݕग़๷ࢭͳͲͷޙॲཧΛ௥Ճ ҩྍػؔʹઃஔ͢ΔεΩϟφͱPCͷߏ੒

Slide 13

Slide 13 text

13 1. ࢴΛεΩϟϯ͢Δ • ը૾ͱͯ͠औΓࠐΉ 2. औಘը૾ͷิਖ਼ • ର৅ྖҬͷநग़ɺ֯౓ͷิਖ਼ɺը૾ͷ௒ղ૾ 3. OCRʹΑΓจࣈͱ࠲ඪ৘ใΛಘΔ • ෳ਺୯ҐͰग़ྗ͞ΕΔ͕ɺจࣈ୯ҐͷΈΛར༻ 4. ෦෼จࣈྻΛख͕͔Γʹɺༀࡎ໊Λ࠶ߏ੒͍ͯ͘͠ • OCRಡΈऔΓϛεͷิਖ਼ • ࠶ߏ੒ͨ͠จࣈྻͱDBͷༀࡎ໊ͱͷྨࣅ౓Λࢉग़ • ޡݕग़๷ࢭͳͲͷޙॲཧΛ௥Ճ ͓ༀεΩϟϯͷॲཧͷྲྀΕ εΩϟϯը૾͔ΒඞཁͳྖҬ΁

Slide 14

Slide 14 text

14 x0 y0 x1 y1 ਍ 20 12 26 18 ྍ 31 11 37 17 Պ 42 12 48 18 ɿ 56 15 62 21 ಺ 63 12 69 18 Պ 72 11 78 17 1. ࢴΛεΩϟϯ͢Δ • ը૾ͱͯ͠औΓࠐΉ 2. औಘը૾ͷิਖ਼ • ର৅ྖҬͷநग़ɺ֯౓ͷิਖ਼ɺը૾ͷ௒ղ૾ 3. OCRʹΑΓจࣈͱ࠲ඪ৘ใΛಘΔ • ෳ਺୯ҐͰग़ྗ͞ΕΔ͕ɺจࣈ୯ҐͷΈΛར༻ 4. ෦෼จࣈྻΛख͕͔Γʹɺༀࡎ໊Λ࠶ߏ੒͍ͯ͘͠ • OCRಡΈऔΓϛεͷิਖ਼ • ࠶ߏ੒ͨ͠จࣈྻͱDBͷༀࡎ໊ͱͷྨࣅ౓Λࢉग़ • ޡݕग़๷ࢭͳͲͷޙॲཧΛ௥Ճ ͓ༀεΩϟϯͷॲཧͷྲྀΕ ࠷খ୯Ґͷจࣈͱͦͷ࠲ඪΛऔಘ͢Δ

Slide 15

Slide 15 text

15 1. ࢴΛεΩϟϯ͢Δ • ը૾ͱͯ͠औΓࠐΉ 2. औಘը૾ͷิਖ਼ • ର৅ྖҬͷநग़ɺ֯౓ͷิਖ਼ɺը૾ͷ௒ղ૾ 3. OCRʹΑΓจࣈͱ࠲ඪ৘ใΛಘΔ • ෳ਺୯ҐͰग़ྗ͞ΕΔ͕ɺจࣈ୯ҐͷΈΛར༻ 4. ෦෼จࣈྻΛख͕͔Γʹɺༀࡎ໊Λ࠶ߏ੒͍ͯ͘͠ • OCRಡΈऔΓϛεͷิਖ਼ • ࠶ߏ੒ͨ͠จࣈྻͱDBͷༀࡎ໊ͱͷྨࣅ౓Λࢉग़ • ޡݕग़๷ࢭͳͲͷޙॲཧΛ௥Ճ \ϒ ϓ^ \ϩ ޱ^ \ϯ ι^ \ 0 %^ Χϩφʔϧৣ200 Χϩφʔϧৣ200 Χϩφʔϧৣ300 ίΧʔϧৣ300 Χϩφʔϧࡉཻ20% 100% 90% 80% 60% Query Documents ͓ༀεΩϟϯͷॲཧͷྲྀΕ ༀࡎ໊ͷྨࣅ౓ʹΑΓ൑ఆ͢Δ Α͋͘ΔಡΈऔΓϛε

Slide 16

Slide 16 text

16 ϦΞϧσʔλͳΒͰ͸ͷ೉͠͞ͷྫ 1ͭͷༀࡎʹ2໊ͭલ͕هࡌ͞ΕΔ Χϩφʔϧৣ ҰൠɿΞητΞϛϊϑΣϯৣNH • ઌൃༀ/ޙൃༀͷ۠ผ • δΣωϦοΫҩༀ඼ͷ໊લͷԣʹɺݩͱ ͳͬͨༀࡎ໊͕ซه͞ΕΔ͜ͱ͕͋Δ • ॲํ͞Εͨༀࡎ͸1͕ͭͩɺԿ΋ߟ͑ͣʹ நग़͢Δͱ2ͭදࣔ͞ΕΔ • ܩઢͷͳ͍ςʔϒϧߏ଄ • ಥવͷվߦ • OCRͱͯ͠͸ߏ଄΍จ຺Λߟྀͨ͠ಡΈ औΓΛߦ͑ͳ͍ͷͰɺநग़จࣈྻ͕ҙਤ ͨ͠ॱ൪ʹฒ͹ͣɺ෼அ͞ΕΔ ҉໧ͷߏ଄Խ ϩΩιϓϩϑΣϯφճৣ೔෼ τϦ΢ϜৣNHʮ αϫΠʯ

Slide 17

Slide 17 text

17 • લॲཧ/ޙॲཧ • ࡱ૾ը૾͔Βͷ஫໨ྖҬநग़ɺ֯౓ิਖ਼ɺ৭ௐิਖ਼౳͸ಠ࣮ࣗ૷ • OCR • GCPͷCloud Vision APIΛར༻ • ࣙॻ • จࣈೝࣝޡΓʹϩόετʹͳΔΑ͏ʹɺ෦෼จࣈྻͷྨࣅ౓ܭࢉͳͲ΋ߟྀͨࣙ͠ॻ࡞Γ • ՄࢹԽ΍ਫ਼౓ධՁ༻ͷWebΞϓϦέʔγϣϯ • ։ൃޮ཰Λ্͛ΔͨΊʹࣗ࡞ • ը૾ͱจࣈ৘ใΛߦ͖དྷ͢Δඞཁ͕͋ΔͨΊ։ൃ΍σόοά͕ඇৗʹ೉͍ͨ͠Ί • OCRͷ݁ՌͰ(x:100, y:200, ͋) ͱݴΘΕͯ΋෼͔Βͳ͍ ࣮ࡍʹͲͷΑ͏ͳػೳΛ࣮૷͍ͯ͠Δͷ͔

Slide 18

Slide 18 text

18 ελʔτΞοϓʹ͓͚ΔՁ஋૑ग़ͷͨΊʹ

Slide 19

Slide 19 text

19 • ػցֶश΍ࣗવݴޠॲཧΛऔΓר͘αʔϏε։ൃͷ՝୊ • ෳ਺ͷػցֶशϞσϧʹґଘ͢ΔෳࡶͳγεςϜ΍֎෦αʔϏε΁ͷґଘ • ػցֶशࣗମͷෳࡶ͞ʹཱͪ޲͔Θͳ͚Ε͹͍͚ͳ͍ • ಉ࣌ʹɺαʔϏεͷશମઃܭ΍ϏδωεϞσϧࣗମʹ΋ओମతʹؔΘ͍ͬͯ͘͜ͱ͕ඞཁ • ػೳͷҰ෦͑͞୲౰͍ͯ͠Ε͹ɺPO΍୭͔͕࢒ΓΛ্ख͍͜ͱ΍ͬͯ͘ΕΔΑ͏ͳ͜ͱ͸ك • Ͱ͸ελʔτΞοϓͷػցֶशΤϯδχΞ΍σʔλαΠΤϯςΟετ͸ɺԿΛҙࣝ͠ͳΕ͹͍ ͚ͳ͍ͷ͔ʁ ͜͜·Ͱͷ·ͱΊ

Slide 20

Slide 20 text

20 ελʔτΞοϓͰٻΊΒΕΔ͜ͱ3ͭ ֑ʹམͪΔͷΛ๷͙ ૉૣ͘ݕূ͢Δ ৗʹ෢ثΛຏ͍͓ͯ͘

Slide 21

Slide 21 text

21 • ࣄۀ΍αʔϏε͕֑͔ΒམͪΔͷΛ๷͙ • ͋ΔαʔϏεʹ͓͚Δػցֶशͷಋೖ͕ɺຊ౰ʹେৎ෉ͦ͏͔Λ൑அ͢Δ໾໨ • ݱ࣮తʹՄೳ > ཧ࿦తʹ͸Մೳ > ݱ࣮తʹ͸ෆՄೳ > ཧ࿦తʹෆՄೳ • ͦΕͱಉ࣌ʹ஌ݟ͋ΔਓؒʹҙݟΛٻΊΒΕΔ / ҙݟΛड͚ೖΕΔจԽͷৢ੒΋େࣄ • Α͋͘Δ֑ͷύλʔϯ • ໌Β͔ʹ՝୊͕೉͗͢͠Δέʔε • ઐ໳ٕೳ΍ෳࡶͳॲཧ͕ඞཁͰɺਓؒͰ΋ਖ਼֬ʹߦ͏͜ͱ͕೉͍͠ • Ͱ͖ͨͱ͜ΖͰɺͦΕ΄Ͳࣄۀʹͱͬͯخ͘͠ͳ͍έʔε • ͦΕਓ͕ؒ΍ͬͨ΄͏͕ૣ͘ͳ͍ʁ • ࠷৽ٕज़Λ࢖ͬͯ੒ՌΛ্͍͛ͨͱ͍͏έʔε • AIΛ࢖ͬͯΈ͍ͨ ֑͔ΒམͪΔͷΛ๷͙

Slide 22

Slide 22 text

22 ελʔτΞοϓʹ͓͚Δ֑ͷᄻ͑ ʮىۀͱ͸֑͔Βඈͼ߱Γɺ མͪΔ·ͰʹඈߦػΛ૊ΈཱͯΔΑ͏ͳ΋ͷʯ ϦʔυɾϗϑϚϯ (LinkedIn૑ۀऀ) https://sketchplanations.com/starting-a-company https://logmi.jp/business/articles/36553

Slide 23

Slide 23 text

23 ελʔτΞοϓʹ͓͚Δ֑ͷδϨϯϚ • ৗʹᷤ౻ͱܾஅͷ࿈ଓ • ʮ͍ͭ͜ɺ͍ͭ΋ػցֶशҊ݅ͷ૬ஊʹNoͬͯݴͬͯΔͳʯͱ৺ͷதͷࣗ෼͕ᅤ͘ • ͳͥͦͷΑ͏ͳ൑அΛ͔ͨ͠ΛυΩϡϝϯτʹ·ͱΊ͓ͯ͘ͱɺৼΓฦΓ΍ڞ༗ʹྑ͍ • ग़དྷΔͱग़དྷͳ͍ͷؒʹ͸ແ਺ͷάϥσʔγϣϯ͕͋Δ • ͲͷΑ͏ͳ৚݅ͷͱ͖ʹՄೳ/ෆՄೳͳͷ͔ ձࣾʹͱͬͯେࣄͳλεΫͳͷ͸෼͔Δ ΍ͬͯΈͳ͍ͱ෼͔Βͳ͍͔΋…… ೉͍͠ͱ͖ͬͺΓஅͬͯ͹͔ͬΓ͸ਏ͍ ໌Β͔ʹ೉͍͠λεΫ͸ࢭΊ͍ͨ ӡ༻ͳͲผͷํ๏Ͱղܾ͍ͤͨ͞ ࠓ͸ଞͷॏཁͳ՝୊ʹ஫ྗ͍ͨ͠

Slide 24

Slide 24 text

24 • 100ͷࢥߟΑΓ1ͷ࣮ફ • ෆ࣮֬ੑΛԼ͛ͭͭมԽʹରԠͰ͖ΔΑ͏ͳΞδϟΠϧతΞϓϩʔν • ։࢝ॳظ΄Ͳɺࣦഊʹର͢Δই͕ઙ͘ࡁΉ • UbieͰ͸ʮLaunch and Launchʯͱ͍͏ValueΛେࣄʹ͍ͯ͠Δ • ॳखͰେ͖ͳ΋ͷΛ࡞Γ͗͢ͳ͍ • ݕূ͍߲ͨ͠໨ΛຬͨͤΔΑ͏ʹɺͱʹ͔͘࠷୹Ͱΰʔϧʹ޲͔͏ ૉૣ͘ݕূ͢Δ

Slide 25

Slide 25 text

25 • ػցֶश؍఺ • ͲΜͳσʔλ͕ೖྗͱͯ͠ೖͬͯ͘Δ͔ʁ • ܧଓతʹՁ஋͋Δσʔλ͕஝ੵ͞ΕΔঢ়ଶΛ࡞ΕΔͷ͔ʁ • ͲͷΑ͏ͳػցֶशͷख๏͕ར༻Ͱ͖Δͷ͔ʁ • ͲΕ͘Β͍ͷσʔλྔ͕͋Ε͹े෼ͳͷ͔ʁ • naiveͳख๏ͷਫ਼౓ɺཧ࿦తͳݶքʢਓؒʣͷਫ਼౓͸ͲΕ͘Β͍͔ʁ • ඞཁͱ͞ΕΔԠ౴࣌ؒɺಈ࡞؀ڥͳͲͷϩδοΫҎ֎ͷ੍໿͸͋Δ͔ʁ • Ϗδωε؍఺ • ސ٬͸ػցֶशϞσϧͷਫ਼౓͕ͲΕ͘Β͍ʹͳΕ͹ຬ଍͢Δ͔ʁ ஌Βͳ͍͜ͱΛݮΒͯ͠ɺෆ࣮֬ੑΛԼ͛Δ

Slide 26

Slide 26 text

26 • bootstrap໰୊ • ػցֶशϞσϧΛ࡞Δʹ͸ֶश/ධՁ༻ͷσʔλ͕ඞཁɻσʔλΛஷΊΔʹ͸ଟ͘ͷϢʔβʹར ༻ͯ͠΋ΒΘͳ͍ͱ͍͚ͳ͍ɻར༻ͯ͠΋Β͏ʹ͸͋Δఔ౓ͷਫ਼౓ͷػցֶशϞσϧ͕ඞཁɻ ػցֶशϞσϧΛ࡞Δʹ͸…… (࠷ॳʹ໭Δ) • Կ΋ແ͍தͰɺͲ͏ݕূ͢Δͷ͔ʁ • ΰϛਫ਼౓Ͱ΋͍͍ͷͰɺಈ͘ϞϊΛ࡞੒͢ΔʢPoCʣ • ܭࢉػͷ୅ΘΓʹਓ͕ؒखಈͰରԠ͢ΔʢΦζͷຐ๏࢖͍ϝιουʣ • [େࣄ!!!] ͻͨ͢Βࣗ෼ͰΞϊςʔγϣϯͯ͠σʔλΛ࡞Δ ݕূʹཱͪ͸͔ͩΔน - ͳʹ΋ͳ͍͔Βͦ͜ग़དྷΔίτ https://www.amazon.co.jp/dp/4763137492

Slide 27

Slide 27 text

27 • ༩͑ΒΕͨλεΫͷળ͠ѱ͠Λ൑அ͠ૉૣ͘ݕূ͢Δʹ͸ɺৗʹ෢ثΛຏ͍͓ͯ͘ඞཁ͕͋Δ • ٕज़ • ಈ࡞͢ΔϓϩάϥϜ΍࣮ߦ؀ڥɺσʔλ੔ܗͷํ๏ͳͲ • ܦݧ • λεΫઃܭ΍ղ๏ɺΞϊςʔγϣϯ࡞ۀܦݧͳͲ • ஌ࣝ • ଞࣾͷࣄྫɺۙ೥ͷओཁͳ࿦จͳͲ • ৗʹ࠷৽ͷ΋ͷͰ͋Δඞཁ͸ͳ͍ • Ή͠Ζ࢖͍ݹ͞Εٕͨज़ͷํ͕ɺॳखͰద༻͢Δʹ͸ͪΐ͏Ͳྑ͍ʢϕʔεϥΠϯͱͯ͠ʣ ৗʹ෢ثΛຏ͍͓ͯ͘

Slide 28

Slide 28 text

28 • ൚༻తʹ࢖͑ΔֶशࡁΈϞσϧΛ͍ͭͰ΋࢖͑ΔΑ͏ʹ͓ͯ͘͠ • Կ΋σʔλ͕ແͯ͘΋ॳखͰ࢖͑Δ෢ثΛ͓࣋ͬͯ͘ͱศར • ۩ମྫ • ܗଶૉղੳɿMeCab, Sudachi • ݻ༗දݱநग़ɿspaCy+GiNZA • େن໛ݴޠϞσϧɿBERT, RoBERTa, T5, GPT-2,3ͳͲͷ೔ຊޠରԠϞσϧ • ݕࡧɿElasticsearch • ࣙॻɿNEologd, ֤υϝΠϯͰ੔උ͞Ε͍ͯΔ୯ޠாʢe.g. ҩྍυϝΠϯͳΒສපࣙॻʣ • ஫ҙ • Hugging FaceͷTransformers͸։ൃεϐʔυ͕ૣͯ͘௥ै͢Δͷ͸େมͳͷͰɺ΄Ͳ΄Ͳʹ ෢ثͦͷ1ɿֶशࡁΈϞσϧ΍֤छπʔϧ

Slide 29

Slide 29 text

29 • ࢖͏༧ఆ͕ͳͯ͘΋ɺͱʹ͔͘ݴޠࢿݯ͸ҙࣝͯ͠ूΊ͓ͯ͘ • ೔ࠒ͔ΒूΊΔบΛ෇͚͓ͯ͘ͱɺඞཁͳͱ͖ʹ͙͢ར༻Ͱ͖Δ/ूΊΒΕΔ • ۩ମྫ • WikipediaͷCirrusίʔύεɺLivedoor χϡʔείʔύεͳͲͷ഑෍͞Ε͍ͯΔίʔύε • ಛఆυϝΠϯͷ΢ΣϒαΠτͷΫϩʔϧʢχϡʔεαΠτɺϒϩάɺTwitter౳ʣ • ख๏ • Scrapyɿpagination͕͋Δߏ଄Խ͞Εͨ΢ΣϒαΠτ͕ର৅ • Selenium: jsΛར༻ͨ͠ϒϥ΢βͷϨϯμϦϯάΛཁ͢ΔಈతͳαΠτ͕ର৅ • WgetίϚϯυ: αΠτʹྻڍ͞ΕΔಛఆͷ֦ுࢠͷϑΝΠϧ΍ϖʔδશମΛҰׅͰऔಘ • Pandas: pd.read_html()ͰHTMLͷςʔϒϧΛDataFrameͱͯ͠ಡΈࠐΊΔ ෢ثͦͷ2ɿݴޠࢿݯʢίʔύε, σʔλ, ࣙॻʣ

Slide 30

Slide 30 text

30 • ղ͘΂͖໰୊Λ࣮ݱ͢Δ্ͰɺΞϊςʔγϣϯͷ͜ͱΛৗʹҙࣝ͢Δ • Ξϊςʔγϣϯ͕σʔλͷ࣭ΛܾΊΔ • ΞϊςʔγϣϯΨΠυϥΠϯͷࡦఆ = ࣗવݴޠͷ஌ࣝͱυϝΠϯ஌ࣝͷ༥߹ • ٬؍త͔ͭҰ؏ੑΛ࣋ͬͨΨΠυϥΠϯΛ࡞੒ͯ͠ɺ͔ͭਓʹڭ͑Δͷ͸ຊ౰ʹ೉͍͠ • πʔϧ΍αʔϏεͷ۩ମྫ • ແঈɿDoccano, Label Studio • Prodigy: spaCyΛ࡞͍ͬͯΔExplosion.ai͕։ൃ͍ͯ͠ΔΞϊςʔγϣϯπʔϧ • FastLabel: FastLabel͕ࣾఏڙ͢Δ༗ঈͷΞϊςʔγϣϯπʔϧ & ΞϊςʔγϣϯαʔϏε • UbieͰ΋σʔλ࡞੒Λґཔ͍͖ͤͯͨͩ͞·ͨ͠ʢ˞ COI͸͋Γ·ͤΜʣ ෢ثͦͷ3ɿΞϊςʔγϣϯͷܦݧͱମ੍

Slide 31

Slide 31 text

31 • ݴޠॲཧֶձ೥࣍େձ • ೔ຊޠͷݚڀ੒Ռ͕ू·Δࠃ಺࠷େͷࣗવݴޠॲཧͷֶձ • ༧ߘू͕͢΂ͯެ։͞Ε͍ͯΔͷͰաڈͷݚڀࣄྫ΋ࢀর͠΍͍͢ • Paper with Code • λεΫ/σʔληοτԣஅͰ࿦จͷख๏΍ਫ਼౓ΛൺֱͰ͖ΔαΠτ • ࿦จͷެࣜ/ඇެࣜͷ࣮૷৘ใ (GitHubͷϦϯΫ) ͕ඥ෇͚ΒΕ͍ͯΔ • χϡʔεαΠτ/ϒϩά/χϡʔεϨλʔ/Twitter • ݸਓత͓͢͢Ί: εςʔτɾΦϒɾAIɾΨΠυɺΦʔδε૯ݚʮ͸͡Ίͯͷࣗવݴޠॲཧʯ ෢ثͦͷଞɿ༗༻ͳ৘ใݯ

Slide 32

Slide 32 text

32 • ෳࡶԽ͢Δࣗવݴޠॲཧ • ը૾ೝࣝ΍Ի੠ೝࣝͱͷ૊Έ߹Θ͕ͤ૿͖͑ͯͨ • ෳ਺ͷػցֶशϞσϧʹΑΔਫ਼౓௿Լ΍֎෦αʔϏεґଘ͸Ұఆ໔Εͳ͍ • Ubieͷࣄྫ • OCRʹΑΓจࣈىͨ͜͠͠υΩϡϝϯτத͔Βͷ৘ใநग़ • ελʔτΞοϓͰٻΊΒΕΔ͜ͱ • ϓϩδΣΫτ͕ࣦഊ͠ͳ͍Α͏ʹɺ֑͔ΒམͪΔͷΛ๷͙ • ͦͷͨΊʹ͸ૉૣ͘ݕূͯ͠ෆ࣮֬ੑΛԼ͛Δඞཁ͕͋Δ • ͦͷͨΊʹ͸ৗʹ෢ثΛຏ͍͓͍͍ͯͯͭͰ΋࢖͑ΔΑ͏ʹ͓ͯ͘͠ ·ͱΊ