マルチプロダクト×非構造化データ×機械学習を支えるデータ信頼性

by akino

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Confidential © 2022 LayerX Inc. 14 ● 書類データ（インプット） ○ 書類の種類（請求書,領収書,支払通知書...etc） ○ 文字列とその位置情報 ○ MIMEタイプ（PDF,JPEG,PNG…etc） ● 正解データ（アウトプット） ○ 複数の読み取り項目 ■ （例）取引先名は「株式会社LayerX」 ○ 項目ごとの位置情報（何ページ目のどの部分にあるか）管理したいデータはこんな感じ書類データと正解データをペアで管理する

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Confidential © 2022 LayerX Inc. 19 （課題1）複数プロダクトでAI-OCRが使われていて、DBも別々 ● 複数のプロダクトからデータを取得する必要がある ○ DBが異なるためSQLだけで完結せず、コードを書く必要がある ○ スキーマが異なるため、それぞれのクエリを書かなければならない ● 各プロダクトの仕様を把握する必要がある ○ どのような場合にNullになるのか ○ 入り得る値はどのようなものか ● 各DBでデータを同期している箇所がある ○ 重複を排除する必要がある

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Confidential © 2022 LayerX Inc. 22 ● 今まではスプレッドシートで管理していた ● 一つ一つの正解データを作成するのに時間がかかる ● 書類・画像の内容を管理するため、精度を保ったまま機械的に作成するのは難しい ○ けど、自動化・効率化できるところは、やっていく（課題4）正解データの作成が困難 ● 素朴な疑問：ユーザーの入力値はそのまま使えないの？ → No. AI-OCRで解きたい問題を簡単にするためユーザーは書類に記載の値をそのまま使うわけではない

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Confidential © 2022 LayerX Inc. 32 バクラクAI-OCRにおける、正解データの「正解」とは書類に記載されている値を「正解」とする（例） ● 「レイヤー・エックス」のように正式な名称と異なっていても、修正しない。 ● 「LayerX」と記載されている場合、「株式会社LayerX」のように補完はしない。（理由） ● 書類に記載している値を「正解」とすることで、OCR自体の問題が単純になる ● 一方で、ユーザーが入力して欲しい値は後処理で補完

Slide 33

Slide 33 text

Confidential © 2022 LayerX Inc. 33 ● （1）複数のプロダクトにデータが存在 ● （2）非構造化データを扱う ● （3）多様なデータマルチプロダクト×非構造化データ×MLを扱う難しさと信頼できるデータ ● （1）統合されていて、SQLでアクセス可能 ● （2）正確な正解データ扱う難しさ信頼できるデータ困難さに対して、信頼できるデータを蓄積していくアプローチについて話していきます

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Confidential © 2022 LayerX Inc. 37 OCRデータ基盤の概要と要件概要要件 ● Webアプリ（API+MySQL） ● Go×Vue.js×GraphQLで開発 ● MLや精度検証時にデータを容易に取得できる ● 各プロダクトからデータをImportできる ● 書類データと正解データを紐付けることができる ○ Webアプリ上で書類を見ながら正解データを入力することで、データ作成可能

Slide 38

Slide 38 text

Confidential © 2022 LayerX Inc. 38 OCRデータ基盤の概要と要件概要要件 ● Webアプリ（API+MySQL） ● Go×Vue.js×GraphQLで開発 ● MLや精度検証時にデータを容易に取得できる ● 各プロダクトからデータをImportできる ● 書類データと正解データを紐付けることができる ○ Webアプリ上で書類を見ながら正解データを入力することで、データ作成可能今回は、ここに注目

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Confidential © 2022 LayerX Inc. 41 DB設計で特に意識したこと ● 正解データを紐付ける書類単位では同一のテーブルで管理する ○ どのプロダクトから来たとしても同一テーブルで管理する ○ プロダクトごとに書類情報を管理するテーブルを分けたりしない ● 今後、プロダクトが増えたとしても拡張しやすくする ● 書類と正解データをセットで取得しやすいようなスキーマにする ● 精度検証やテスト時にもDBを参照するため、その考慮も必要

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Confidential © 2022 LayerX Inc. 50 ● 複数プロダクトの複雑性を吸収した上で、正確性を担保しながらデータを蓄積する仕組みを構築する ○ 取得しやすい形でデータを保持する必要がある ○ ボリュームと正確性はトレードオフではない ■ ソフトウェア設計と運用次第でどちらも担保できるはず ● データ管理において、既存システムを活用するのかフルスクラッチで開発するのかは、全体の効率を考えて意思決定する必要がある ○ 考慮事項：正解データの作成効率、データセット作成効率...etc まとめ