Share
Embed
Pythonで始める ドキュメント・インテリジェンス入門 / Introduction to Document Intelligence with Python
ビジネス文書をデータ化し構造や内容を理解するアプリケーションはドキュメント・インテリジェンスと呼ばれ、画像処理や自然言語処理といった複数の要素技術を組み合わせて開発する必要があります。何が必要でどう実現すれば良いのかといった第一歩を、Pythonでの具体的な構築事例とともに紹介します。
https://2021.pycon.jp/time-table/?id=273795
yag_ays
October 15, 2021
Transcript
42 slides
-
2 Ԟా ༟थ Yuki Okuda Recruit → Sansan → Ubie
@yag_ays ࣗݾհ https://yag-ays.github.io/ -
© Ubie, Inc. 3 ຊൃදʹ͍ͭͯ • ֓ཁ • υΩϡϝϯτɾΠϯςϦδΣϯεͷ֓ཁͷհ •
PythonΛͬͨ։ൃࣄྫΛ௨ͯ͡ɺඞཁͱͳΔٕज़ཁૉʹ͍ͭͯհ • ࣮ࡍͷαʔϏε։ൃʹऔΓΉʹ͋ͨͬͯͷɺൃలతͳؔ࿈τϐοΫΛհ • ରͱ͢Δਓ • OCRը૾ղੳΛͬͨΞϓϦέʔγϣϯΛ࡞Γ͍ͨ։ൃऀ • ը૾ॲཧࣗવݴޠॲཧͷ࣮αʔϏεԠ༻ʹڵຯ͋Δݚڀऀֶੜ • اۀʹ͓͍ͯυΩϡϝϯτɾΠϯςϦδΣϯεΛར༻࣮ͨ͠αʔϏεͷཱҊਪਐʹؔΘΔํ • ࢿྉ • GitHub: https://github.com/yagays/di-pyconjp2021 -
© Ubie, Inc. 4 • ݸਓతͳࢥߟͷཧͱใڞ༗ • ࢲ͕ࣗݱ৬ͰܞΘ͍ͬͯΔܦݧ͔ΒɺຊλεΫͷ͠͞Ԟਂ͞ͳͲͷݟΛڞ༗͍ͨ͠ • ମܥཱͬͨࢿྉ͕ଘࡏͤͣɺࢲ͔ࣗͳΓۤ࿑ͨ͠ܦݧ
• υΩϡϝϯτɾΠϯςϦδΣϯεͱ͍͏֓೦ͷීٴ • υΩϡϝϯτɾΠϯςϦδΣϯεͱ͍͏໊લͱɺ͜ͷࣗମͷೝΛΊ͍ͨ • গ͠Ωϟονʔͳ໊લͰ͋Δ͕ɺڞ௨ͷݴ༿͕ੜ·ΕͯΘΕΕخ͍͠ • औΓΉاۀਓ͕૿͑ɺ͜ͷ͕ൃల͠ɺͦΕʹ·ͭΘΔٕज़తͳใ׆ൃͳ͕ٞग़ ͯ͘ΔΑ͏ͳະདྷΛ࡞Γ͍ͨ • اۀ͝ͱʹಠࣗʹݟ͕ஷΊΒΕ͍ͯΔঢ়ଶ͔Βɺڞ௨͢ΔཁૉͷOSSԽݟͷڞ༗ ຊൃදͷత -
© Ubie, Inc. 6 υΩϡϝϯτɾΠϯςϦδΣϯεͷఆٛ The ability to read, understand
and interpret business documents, collectively referred to as “Document Intelligence” ϏδωεจॻΛಡΈɺཧղ͠ɺղऍ͢ΔೳྗΛɺ૯শͯ͠ʮυΩϡϝϯτɾ ΠϯςϦδΣϯεʯͱݺͼ·͢ “Workshop on Document Intelligence”ΑΓ https://sites.google.com/view/di2019/home -
© Ubie, Inc. 7 ใͷഔମͱͯ͠ͷɺൃ͞Εͨݴ༿ɺॻ͖ه͞Εͨॻྨ • ਓͷίϛϡχέʔγϣϯํ๏ • ʹΑΔձɺจࣈจষ •
ରʹΑΔҙࢥૄ௨͕ॏཁ • Ϗδωεͷίϛϡχέʔγϣϯํ๏ • ܗʹΔϞϊͱͯ͠ͷॻྨ • ใͷਖ਼֬͞ᐆດੑͷഉআ͕ॏཁ -
8 “ϏδωεॻྨΛಡΈɺཧղ͠ɺղऍ͢Δೳྗ”ͱ ٻॻ Ϗδωεॻྨ ߏԽ͞Εͨใ yyגࣜձࣾ ླ࣍ ޚத ͝ٻֹۚ 100,000ԁ
ྔ ୯Ձ ֹۚ 1 A 100 700 70,000 2 B 30 1,000 30,000 ߹ܭ 100,000 XXגࣜձࣾ ౦ژઍా۠ઍా1-1 ాதҰ 2021/10/15 • ͜͜Ͱʮਓ͕ؒ͋Β͔͡ΊఆΊͨߏʹԊͬͯɺใΛਖ਼֬ʹऔಘ͢Δػೳʯͱఆٛ͢Δ • ಡΉɿը૾্ʹҹࣈ͞ΕͨจࣈΛɺܭࢉػ͕ѻ͏͜ͱͷͰ͖ΔจࣈίʔυͷྻʹมͰ͖Δ • ཧղɿྻڍ͞Εͨจࣈͷू߹ΛɺݴޠϞσϧॱংใ͔ΒΤϯςΟςΟ͝ͱʹूͰ͖Δ • ղऍɿΤϯςΟςΟؒͷ૬ରతͳҐஔ͔ؔΒɺਓ͕ؒҙਤͨ͠ߏʹ࠶ߏͰ͖Δ OCR͞Εͨจࣈ ٻॻ YYגࣜձࣾ 2021/10/15 B A 100 ߹ܭ 700 30,000 ాதҰ ླ࣍ޚத ྔ ୯Ձ ֹۚ 30 100,000 70,000 -
© Ubie, Inc. 9 • छྨ • ٻॻɺྖऩॻɺܖॻ • ໊
• Ϩγʔτ • ੑ࣭ • PCػցʹΑͬͯ࡞͞ΕΔ • ϓϦϯλʔʹΑΓɺࢴײࢴʹҹ͞ΕΔ • ఆΊΒΕͨϑΥʔϚοτແ͍ • هࡌ߲ఆ·͍ͬͯΔ͕ɺҐஔൺֱతࣗ༝ • ը૾ͷαΠζ͕ෆఆ • ༰ʹΑΓɺෳϖʔδॎʹهड़͞ΕΔ Ϗδωεॻྨͷ۩ମࣄྫͱੑ࣭ -
© Ubie, Inc. 10 • ͕͠͞ײతʹཧղͮ͠Β͍ • ͓ͦΒ࣮͘ࡍʹͬͨ͜ͱͷͳ͍ιϑτΣΞΤϯδχΞʹͱͬͯಉ༷ʢࢲͦ͏Ͱͨ͠ʣ • ͕͠͞ཧղ͞Εͳ͍എܠ
• ݩʑPCͰ࡞͞ΕͨͷͰ͋Γɺ៉ྷͳϑΥϯτϨΠΞτͰҹࣈ͞Ε͍ͯΔ • ͍͠ͷจࣈͷಡΈऔΓͰͳ͘ɺ୯ޠͷҙຯཧղͱϨΠΞτʹΑΔߏͷղऍ • ॻྨͷॲཧ࣮ࡍͷۀͱີʹؔ࿈͕͋ΓɺࣗಈԽఆܕԽ͕Մೳͦ͏ʹݟ͑Δ • ܭࢉػ͕ಘҙͱ͢Δʮಉ͜͡ͱΛ܁Γฦ͠ߦ͏͜ͱʯ͕௨༻͠ͳ͍ྖҬ • ۙͷػցֶशͷൃలͱ࣮Ԡ༻ͱൺֱ͞ΕΔ • ࣗಈӡసػց༁ͳͲͱൺֱ͢Δͱɺॲཧతʹ୯७ͦ͏ʹݟ͑Δ ܭࢉػ͕ॻྨΛॲཧ͢ΔͳΜͯ؆୯ͳΜ͡Όͳ͍ʁ -
© Ubie, Inc. 12 ࠓճͷετʔϦʔ • ϨγʔτΛࣗಈతʹಡΈऔͬͯσʔλΛऔಘ͢Δ ΞϓϦέʔγϣϯΛ࡞Δ • ՈܭΞϓϦͷΑ͏ͳͷΛఆ
• ཁ݅ • ೖྗɿϨγʔτը૾ • ࠨਤͷΑ͏ͳεΩϟϯ͞Εͨ៉ྷͳը૾ • Ϩγʔτͷछྨ͜͜Ͱߟ͑ͳ͍ • ग़ྗɿϨγʔτʹهࡌ͞Ε͍ͯΔ֤छใ • ߪೖߪೖ໊ɺ߹ܭֹۚͳͲ -
© Ubie, Inc. 13 • υΩϡϝϯτɾΠϯςϦδΣϯε՝ʹΑͬͯඞཁͳఔ͕େ͖͘มΘΔ • ࠓճҰ൪γϯϓϧͳࡐͱલఏ݅Λ༻͍ͯઆ໌ • ར༻ٕज़ͷબఆ
• ͳΔ͘खܰʹ࣮ݱͰ͖ΔΑ͏ʹɺOCRΫϥυϕϯμʔͷAPIαʔϏεΛར༻͢Δ • PythonͰ։ൃΛߦ͏ཧ༝ • ը૾ॲཧจࣈྻॲཧͷػೳ͕ϥΠϒϥϦͱͯ͠ఏڙ͞Εɺ؆୯ʹར༻࣮͠Ͱ͖Δ • ػցֶशͱͷੑͷߴ͞ • ΣϒΞϓϦέʔγϣϯ։ൃՄࢹԽπʔϧͳͲ։ൃ͢Δ্Ͱͷαϙʔτπʔϧͷ։ൃ͕༰қ ՝ઃఆͷഎܠ -
© Ubie, Inc. 14 • ࢴ͔Βը૾ͷը૾ͷಡΈࠐΈ • ࠓճεΩϟφͰεΩϟϯ͞ΕͨલఏͰͷը૾ॲཧ • ར༻ύοέʔδ:
Pillow, Numpy • OCRʹΑΔจࣈى͜͠ • ࠓճGoogle Cloud Vision APIͷจࣈೝࣝAPIΛར༻ • ར༻ύοέʔδ: google-cloud-vision • ։ൃڥ • ΣϒϕʔεͷΠϯλϥΫςΟϒͳ։ൃڥɻը૾ͷද͕ࣔ༰қ • ར༻ύοέʔδ: Jupyter Notebook / JupyterLab Pythonʹ͓͚Δٕज़બఆ -
© Ubie, Inc. 15 • ը૾ॲཧͷಋೖ • ը૾ͷಡΈࠐΈ • NumpyΛͬͯը૾ͷதΛݟΔ
• OCR • APIܦ༝ͰͷOCRʹΑΔจࣈى͜͠ • OCRʹΑΔจࣈى݁͜͠ՌΛ֬ೝ • ಡΈऔͬͨจࣈͷ࠲ඪใ • Vision APIಛ༗ͷOCRͷػೳ ࣍ • ใநग़ • ใநग़ͷରͱͳΔཁૉͷྨ • ਖ਼نදݱʹΑΔ໊ͷநग़ • ݻ༗දݱநग़ʹΑΔ࣌ؒͷநग़ • จࣈྻͱ࠲ඪใΛ༻͍ͨ߹ܭֹۚͷநग़ • จࣈྻͷ૬ରతͳҐஔؔΛ༻͍ͨɺ ͝ͱʹߪೖͨ͠ݸͷநग़ • ࣮࣌ͷTips • ։ൃΛαϙʔτ͢ΔΠϯλϥΫςΟϒͳ Appͷߏங -
© Ubie, Inc. 16 • ը૾ॲཧͷಋೖ • ը૾ͷಡΈࠐΈ • NumpyΛͬͯը૾ͷதΛݟΔ
• OCR • APIܦ༝ͰͷOCRʹΑΔจࣈى͜͠ • OCRʹΑΔจࣈى݁͜͠ՌΛ֬ೝ • ಡΈऔͬͨจࣈͷ࠲ඪใ • Vision APIಛ༗ͷOCRͷػೳ ࣍ • ใநग़ • ใநग़ͷରͱͳΔཁૉͷྨ • ਖ਼نදݱʹΑΔ໊ͷநग़ • ݻ༗දݱநग़ʹΑΔ࣌ؒͷநग़ • จࣈྻͱ࠲ඪใΛ༻͍ͨ߹ܭֹۚͷநग़ • จࣈྻͷ૬ରతͳҐஔؔΛ༻͍ͨɺ ͝ͱʹߪೖͨ͠ݸͷநग़ • ࣮࣌ͷTips • ։ൃΛαϙʔτ͢ΔΠϯλϥΫςΟϒͳ Appͷߏங -
© Ubie, Inc. 17 ը૾ΛಡΈࠐΉ • PillowʹΑΔը૾ಡΈࠐΈ • pngϑΝΠϧͷը૾ΛಡΈࠐΉ •
ը૾ͷදࣔ • ը૾ϑΝΠϧ͕ಡΈࠐ·Ε͍ͯΔ͜ ͱΛ֬ೝ͢Δ • Jupyter NotebookͰը૾͕දࣔ͞ ΕΔ -
© Ubie, Inc. 18 NumpyΛͬͯը૾ͷதΛݟΔ x࣠ y࣠ (0,0) (365,0) (0,390)
• ը૾ͷதΛ֬ೝ͢Δ • NumpyΛͬͯଟ࣍ݩྻʹม • ྻͷத • (ߴ͞, ෯, νϟϯωϧ) (365,390) -
© Ubie, Inc. 19 APIܦ༝ͰͷOCRʹΑΔจࣈى͜͠ • [ׂѪ] ४උͱͯ͠ͷGCPͱAPIͷ༗ޮԽ • ެࣜυΩϡϝϯτΛࢀߟ
• Google Cloud Vision APIʹϦΫΤετ Λ͛Δ • ը૾ΛόΠφϦܗࣜͰಡΈࠐΉ • ΫϥΠΞϯτͷΠϯελϯεΛ࡞ ͠ɺը૾Λ͛Δ • ݴޠώϯτͱͯ͠ຊޠΛઃఆ -
© Ubie, Inc. 21 ಡΈऔͬͨจࣈͷ࠲ඪใ • 1จࣈ୯ҐͰಡΈऔͬͨsymbolͷத • propertyɿϝλใ •
bounding_boxɿۣܗྖҬ • Vertices: ࠲ඪ • Textɿจࣈྻ • Confidenceɿ֬৴ 0 (347, 360) (356, 360) (357, 382) (348, 382) bounding_box[0] bounding_box[1] bounding_box[2] bounding_box[3] -
© Ubie, Inc. 22 Vision APIಛ༗ͷOCRͷػೳ block paragraph word symbol
• Vision APIͰ4ͭͷཻͷಡΈऔΓ݁Ռ͕ར༻Ͱ͖Δ • block > paragraph > word > symbolͷॱͰɺಡΈऔΓ୯Ґ͕ࡉ͔͘ͳΔ -
© Ubie, Inc. 23 • ը૾ॲཧͷಋೖ • ը૾ͷಡΈࠐΈ • NumpyΛͬͯը૾ͷதΛݟΔ
• OCR • APIܦ༝ͰͷOCRʹΑΔจࣈى͜͠ • OCRʹΑΔจࣈى݁͜͠ՌΛ֬ೝ • ಡΈऔͬͨจࣈͷ࠲ඪใ • Vision APIಛ༗ͷOCRͷػೳ ࣍ • ใநग़ • ใநग़ͷରͱͳΔཁૉͷྨ • ਖ਼نදݱʹΑΔ໊ͷநग़ • ݻ༗දݱநग़ʹΑΔ࣌ؒͷநग़ • จࣈྻͱ࠲ඪใΛ༻͍ͨ߹ܭֹۚͷநग़ • จࣈྻͷ૬ରతͳҐஔؔΛ༻͍ͨɺ ͝ͱʹߪೖͨ͠ݸͷநग़ • ࣮࣌ͷTips • ։ൃΛαϙʔτ͢ΔΠϯλϥΫςΟϒͳ Appͷߏங -
© Ubie, Inc. 24 ใநग़ͷରͱͳΔཁૉͷྨ Θ͔Δ Θ͔Βͳ͍ จࣈྻ͚ͩͰ ΤϯςΟςΟ͕ ඞཁ
ෆཁ ໊߲ͱͷରԠ͚͕ ߪೖͨ͠ݸ ֹۚ (߹ܭͳͲ) ॅॴ, , ൢചళฮ -
© Ubie, Inc. 25 ਖ਼نදݱʹΑΔ໊ͷநग़ • நग़ର • ɺॅॴɺ໊ͳͲͷɺจࣈྻ୯ମ ͰҙຯΛ࣋ͭ
• จࣈྻʹରͯ͠ػցతʹॲཧ͢Δ͜ͱ͕ ՄೳͰɺ • ߟ͑ΒΕΔΞϓϩʔν • ਖ਼نදݱͰϧʔϧΛهड़͠நग़ • ࣙॻΛ༻ҙ͠จࣈྻதʹؚ·ΕΔ͔ఆ • ݻ༗දݱநग़ϞσϧΛ༻͍ͯநग़ -
© Ubie, Inc. 26 ݻ༗දݱநग़ʹΑΔ࣌ؒͷநग़ • ݻ༗දݱநग़ Named Entity Extraction
• จࣈྻʹؚ·ΕΔಛఆͷݻ༗දݱΛநग़ ͢ΔࣗવݴޠॲཧͷΞϓϩʔν • ਓ໊৫໊ɺֹۚɺ࣌ؒͳͲ • Spacy + GiNZAΛ༻͍ͨݻ༗දݱநग़ • SpacyۙྲྀߦΓͷࣗવݴޠॲཧύο έʔδ • GiNZAΛ͏͜ͱͰ͋Β͔͡Ίެ։͞Ε ͍ͯΔσʔλΛ༻ֶ͍ͯश͞Εͨػցֶ शϞσϧΛར༻Ͱ͖Δ -
© Ubie, Inc. 27 จࣈྻͱ࠲ඪใΛ༻͍ͨ߹ܭֹۚͷநग़ • ߲͚ͩͰԿͷ͔͕͔Βͳ͍ • ˇ6,100 ͱ
߹ܭ ͕ؔ࿈͋Δͱඥ͚Δ ඞཁ͕͋Δ • ߟ͑ΒΕΔΞϓϩʔν • Ϩγʔτ1ߦͷதʹ߲ͱΛهࡌ͞ ΕΔͱԾఆ͢Δ • ʮ߹ܭʯͱ࠲ඪతʹಉҰߦͷจࣈΛൈ͖ ग़͢ • ࣈΛ߹ܭʹରԠ͢Δֹۚͱ͢Δ -
© Ubie, Inc. 28 จࣈྻͱ࠲ඪใΛ༻͍ͨ߹ܭֹۚͷநग़ • ߲͚ͩͰԿͷ͔͕͔Βͳ͍ • ˇ6,100 ͱ
߹ܭ ͕ؔ࿈͋Δͱඥ͚Δ ඞཁ͕͋Δ • ߟ͑ΒΕΔΞϓϩʔν • Ϩγʔτ1ߦͷதʹ߲ͱΛهࡌ͞ ΕΔͱԾఆ͢Δ • ʮ߹ܭʯͱ࠲ඪతʹಉҰߦͷจࣈΛൈ͖ ग़͢ • ࣈΛ߹ܭʹରԠ͢Δֹۚͱ͢Δ ߲ -
© Ubie, Inc. 29 จࣈྻͱ࠲ඪใΛ༻͍ͨ߹ܭֹۚͷநग़ • ߲͚ͩͰԿͷ͔͕͔Βͳ͍ • ˇ6,100 ͱ
߹ܭ ͕ؔ࿈͋Δͱඥ͚Δ ඞཁ͕͋Δ • ߟ͑ΒΕΔΞϓϩʔν • Ϩγʔτ1ߦͷதʹ߲ͱΛهࡌ͞ ΕΔͱԾఆ͢Δ • ʮ߹ܭʯͱ࠲ඪతʹಉҰߦͷจࣈΛൈ͖ ग़͢ • ࣈΛ߹ܭʹରԠ͢Δֹۚͱ͢Δ ߲ ໊߲ ߲ -
© Ubie, Inc. 30 จࣈྻͱ࠲ඪใΛ༻͍ͨ߹ܭֹۚͷநग़ 1. “߹ܭ”ͱॻ͔Εͨ୯ޠΛൈ͖ग़ ͠ɺͦͷྖҬͷ࠲ඪΛಘΔ 2. ಘΒΕͨy࠲ඪؒͷը૾ΛΓ
ग़͠ɺͦ͜ʹ߹ܭֹ͕ۚॻ͔Ε ͍ͯΔ͜ͱΛ֬ೝ͢Δ 3. ରൣғʹؚ·Ε͍ͯΔจࣈ ͷΈΛൈ͖ग़͠ɺͦΕΒͷจࣈ Λ݁߹͢Δ -
© Ubie, Inc. 31 จࣈྻͷ૬ରతͳҐஔؔΛ༻͍ͨɺ͝ͱʹߪೖͨ͠ݸͷநग़ • จࣈྻ͚ͩͰΤϯςΟςΟ͕͔Βͳ͍ • ݸͰ͋Δ͜ͱɺจࣈྻ͚ͩͰఆ Ͱ͖ͳ͍
• ਓؒपғͷจ຺͔Βྨਪ͍ͯ͠Δ ߏԽ͞Εͨهࡌํ๏ • ҉తʹදܗࣜʹͳ͍ͬͯΔ • ߦͱྻʹͦΕͧΕҙຯ͕͋Δ • ߟ͑ΒΕΔΞϓϩʔν • ϨγʔτͷλΠϓతʹɺ໊߲ͱֹۚͷ ؒʹݸ͕ॻ͔ΕΔͱԾఆ͢Δ • ߹ܭֹۚͱಉ͡Α͏ʹɺΛऔಘ͢Δ • (ࠓճίʔυׂѪ) -
© Ubie, Inc. 32 จࣈྻͷ૬ରతͳҐஔؔΛ༻͍ͨɺ͝ͱʹߪೖͨ͠ݸͷநग़ ໊߲ • จࣈྻ͚ͩͰΤϯςΟςΟ͕͔Βͳ͍ • ݸͰ͋Δ͜ͱɺจࣈྻ͚ͩͰఆ
Ͱ͖ͳ͍ • ਓؒपғͷจ຺͔Βྨਪ͍ͯ͠Δ ߏԽ͞Εͨهࡌํ๏ • ҉తʹදܗࣜʹͳ͍ͬͯΔ • ߦͱྻʹͦΕͧΕҙຯ͕͋Δ • ߟ͑ΒΕΔΞϓϩʔν • ϨγʔτͷλΠϓతʹɺ໊߲ͱֹۚͷ ؒʹݸ͕ॻ͔ΕΔͱԾఆ͢Δ • ߹ܭֹۚͱಉ͡Α͏ʹɺΛऔಘ͢Δ • (ࠓճίʔυׂѪ) No.1 2 3 ݸ ֹۚ -
© Ubie, Inc. 33 • ը૾ॲཧͷಋೖ • ը૾ͷಡΈࠐΈ • NumpyΛͬͯը૾ͷதΛݟΔ
• OCR • APIܦ༝ͰͷOCRʹΑΔจࣈى͜͠ • OCRʹΑΔจࣈى݁͜͠ՌΛ֬ೝ • ಡΈऔͬͨจࣈͷ࠲ඪใ • Vision APIಛ༗ͷOCRͷػೳ ࣍ • ใநग़ • ใநग़ͷରͱͳΔཁૉͷྨ • ਖ਼نදݱʹΑΔ໊ͷநग़ • ݻ༗දݱநग़ʹΑΔ࣌ؒͷநग़ • จࣈྻͱ࠲ඪใΛ༻͍ͨ߹ܭֹۚͷநग़ • จࣈྻͷ૬ରతͳҐஔؔΛ༻͍ͨɺ ͝ͱʹߪೖͨ͠ݸͷநग़ • ࣮࣌ͷTips • ։ൃΛαϙʔτ͢ΔΠϯλϥΫςΟϒͳ Appͷߏங -
© Ubie, Inc. 34 ։ൃΛαϙʔτ͢ΔΠϯλϥΫςΟϒͳAppͷߏங • ը૾ͱจࣈͱ࠲ඪΛߦ͖དྷ͢Δ • ։ൃ͢Δ্Ͱɺݩը૾ͱOCR͞Εͨจ ࣈ͓Αͼ࠲ඪΛ্ख͘ײతʹѻ͑Δ͔
͕ॏཁʹͳΔ • PlotlyʹΑΔՄࢹԽ • PlotlyΠϯλϥΫςΟϒͳάϥϑඳࣸ ϥΠϒϥϦ • ը૾Λഎܠʹઃఆ͠ɺOCRͰಡΈऔͬͨ จࣈΛ࠲ඪ্ͷҐஔʹඳࣸ͢Δ https://zenn.dev/yag_ays/articles/1142050914d510 -
© Ubie, Inc. 36 • ࠓճͷετʔϦʔͱ࣮σϞͰՄೳʹͳͬͨ͜ͱ • ಛఆͷϨγʔτը૾ʹରͯ͠ࢦఆͨ͠ཁૉͷใΛऔಘͰ͖Δ • ࣮ࡍͷαʔϏεల։Λߟ͑ͨͱ͖ʹੜ͡Δ՝
• ༷ʑͳϑΥʔϚοτͷϨγʔτʹରԠ͍ͨ͠ • Ϣʔβ͕खೖྗ͢ΔखؒΛۃྗແ͍ͨ͘͠ • ͯ͢ͷϨγʔτͷλΠϓΛऩू͠ཏతʹύλʔϯΛه ड़͢Δ͜ͱෆՄೳ • εϚʔτϑΥϯͷΧϝϥ͔ΒͷࡱӨʹରԠ͍ͨ͠ • Ϣʔβ͕ࡱӨ͢Δ = ը૾ͷ࣭ΛίϯτϩʔϧͰ͖ͳ͍ • ͢ΔϨγʔτͷྖҬΛೝࣝ͠Γग़͠ɺ֯ํ Λใநग़͍͢͠Α͏ิਖ਼͢Δඞཁ͕͋Δ ͔͜͜Βઌͷ൚༻తͳϨγʔτಡΈऔΓαʔϏεʹ͚ͯ ௨ৗͷը૾ ͖Μͩը૾ Ө͕ೖΓࠐΜͩը૾ ଞͷϨγʔτ͕ ೖΓࠐΜͩը૾ -
© Ubie, Inc. 37 ଟ͘ͷαʔϏεʹ͓͍ͯඞཁͱ͞ΕΔશମͷྲྀΕ ը૾ ߏԽ͞Εͨใ • ը૾ͷϊΠζআڈ •
ղ૾ • ྖҬͷநग़ • Έิਖ਼ • ͖ิਖ਼ • จࣈݕग़ • จࣈೝࣝ • ୯ޠจষͷ࠶ߏ • ݻ༗දݱநग़ • ໊߲ͱ߲ͷରԠ͚ • දͷநग़ͱղੳ • ςϯϓϨʔτఆ • OCRΤϥʔิਖ਼ ใநग़ จࣈಡΈऔΓ OCR લॲཧ ޙॲཧ -
© Ubie, Inc. 38 • End-to-EndͰ1ͭͷػցֶशϞσϧ͕ͯ͢Λแׅ͢Δະདྷ·ͩઌͷʢݸਓతͳҙݟʣ • OCRใநग़ͳͲෳͷٕज़ΛΈ߹Θͤͳ͍ͱɺҰͭͷγεςϜΛ࡞Δ͜ͱ͕Ͱ͖ͳ͍ • લஈͷOCRॲཧͷਫ਼͕ɺޙஈͷใநग़ͷॲཧͷਫ਼ʹେ͖͘ґଘ͢Δঢ়ଶ
• ҰํͰɺݸʑͷٕज़͕σΟʔϓϥʔχϯάʹΑΓਫ਼্͍ͯ͠Δ • จࣈಡΈऔΓਫ਼Λ্ͤ͞ΔΑ͏ͳը૾ͷิਖ਼ٕज़ʢղ૾ʣ • ຊޠͷݴޠϞσϧతʹલޙͷจ຺Λߟྀͨ͠OCR • จࣈྻʹՃ͑ͯը૾্ͷ࠲ඪใΛಉ࣌ʹΈࠐΜͩॻྨ൛BERT (Layout LM) ݸʑͷٕज़͕·ͩ·ͩൃల్্ *1 https://speakerdeck.com/sansandsoc/recent-topics-on-character-super-resolution *2 https://speakerdeck.com/line_devday2019/naver-clova-ocr *3 Xu, Yiheng, et al. "Layoutlm: Pre-training of text and layout for document image understanding." Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2020. -
© Ubie, Inc. 39 • Ϋϥυϕϯμʔ֤ࣾʹΑΓɺ൚༻తͳจॻղੳͷαʔϏε͕ఏڙ͞Ε࢝Ί͍ͯΔ • GCP: Document AI
• Amazon: Amazon Textract • Microsoft: Azure Computer Vision • ߴͳγεςϜߏஙͷॿ͚ʹͳΔ͕ɺґવͱͯ͠λεΫʹର͢ΔυϝΠϯࣝͱ։ൃඞཁ • ڞ௨ԽͰ͖ͳ͍ΠϯλʔϑΣΠε෦ͷ։ൃ • ը૾ͷಡΈࠐΈɺநग़݁ՌͷॲཧͳͲ • αʔϏεݻ༗ͷࣄલࣝΛͲΕ͚ͩ֎෦αʔϏεͱ࿈ܞͰ͖Δͷ͔ʁͱ͍͏՝ • ྫʣॻྨʹهࡌ͞Ε͏Δ໊ͷϦετ • ਫ਼ධՁͱͦͷղऍ • αʔϏεશମͰͲͷఔͷ͔֬Β͠͞Ͱ݁Ռ͕ಘΒΕΔͷ͔ʁͱ͍͏ධՁํ๏ • Ͳ͜·Ͱਫ਼Λ্͛Ε༻తʹར༻ՄೳʹͳΔ͔ͱ͍ͬͨղऍͱஅ ΫϥυϕϯμʔʹΑΔ൚༻తͳղੳAPIͷఏڙͱར༻ -
© Ubie, Inc. 41 • υΩϡϝϯτɾΠϯςϦδΣϯεͱ͍͏ͷհ • “ϏδωεจॻΛಡΈɺཧղ͠ɺղऍ͢Δೳྗ” • Ϗδωεʹ͓͚Δใୡͷखஈͱͯ͠ͷॻྨ
• ਓೳ͕͜Ε͚ͩ੮רͨ͠ݱࡏͰɺະͩʹଟ͘ͷνϟϨϯδ͕͞ΕͨྖҬ • ϨγʔτಡΈऔΓͷࣄྫΛ௨ͨ͡Ұ࿈ͷྲྀΕͷհ • PythonΛར༻ͨ͠ը૾ͷಡΈࠐΈOCRɺใநग़ • ը૾ॲཧจࣈྻॲཧɺՄࢹԽɺػցֶशͱͷੑͷߴ͞ • υΩϡϝϯτΠϯςϦδΣϯεͷ͜Ε͔Βͷలͷհ • ࠓճհٕͨ͠ज़ଟ͘ͷॲཧͷதͷ΄ΜͷҰ෦ • ΫϥυϕϯμʔʹΑΓ൚༻తͳٕज़͕ఏڙ͞Εͯɺ։ൃऀ͕औΓΉ༨େ͖ͬͯ͘ ͍Δ ·ͱΊ -
42 We Are Hiring!!! • UbieͰΤϯδχΞΛઈࢍ࠾༻தʂ • ػցֶशΤϯδχΞ • σʔλΤϯδχΞ,
σʔλΞφϦετ • ιϑτΣΞΤϯδχΞ, etc. • υΩϡϝϯτɾΠϯςϦδΣϯεͷαʔϏε։ൃΛ Ұॹʹͬͯ͘ΕΔํΛืू͍ͯ͠·͢ 🙏 • ·ͣؾܰʹΧδϡΞϧ໘ஊ͠·͠ΐ͏ • ࣄۀ৫ɺ։ൃମ੍ͳͲԿͰ͓͑͠·͢ https://note.com/ubie/n/n454a0d04a1eb