LayerXにおける機械学習を活用した請求書OCR機能に関する取り組み / deim2023-layerx-ai-ocr

by Yuya Matsumura

Slide 1

Slide 1 text

LayerXにおける機械学習を活用した請求書OCR機能に関する取り組み 7.Mar.2023 DEIM2023 Yuya Matsumura, Yosuke Yoshida （株式会社LayerX） 4a-8-6: 画像認識２[技術報告]

Slide 2

Slide 2 text

Confidential © 2023 LayerX Inc. 2 画像を入れてね自己紹介松村優也（Yuya Matsumura） - 2018/3 - 京都大学大学院情報学研究科修士課程修了 - 現在 - 株式会社LayerX ML/OCR Team Lead - ウォンテッドリー株式会社技術顧問 - その他、大学にて非常勤講師やスタートアップの技術支援等共著『推薦システム実践入門』 @yu___ya4 @yu-ya4

Slide 3

Slide 3 text

© 2023 LayerX Inc. 3 会社概要すべての経済活動を、デジタル化する。 ※ 一部抜粋会社名代表取締役創業従業員数資本金事業概要関連会社お取引先 (一部) 株式会社LayerX（レイヤーエックス）代表取締役CEO 福島良典　代表取締役CTO 松本勇気 2018年 8月1日 149名（2023年1月現在） 86億円(資本準備金含む）バクラク(SaaS)事業、Fintech事業、Privacy Tech事業三井物産デジタル・アセットマネジメント（三井物産、LayerX、三井住友信託銀行、SMBC日興証券、JA三井リース、イデラキャピタルマネジメントによる合弁会社）

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

© 2023 LayerX Inc. 7 法人支出管理(BSM)SaaS「バクラク」を展開 * 経費精算のSlack連携は申請内容の通知のみ稟議・支払申請・経費精算・ワークフロー・AIが領収書を５秒でデータ化・承認はチャットアプリから・シームレスな内部統制構築仕訳・支払処理効率化・AIが請求書を５秒でデータ化・仕訳データを自動学習、手入力ゼロへ・改正電子帳簿保存法に対応・利用料無料・即時追加発行・最大1億円決済可能法人向けクレジットカード・無料で始められる・手入力ゼロで証憑管理・改正電子帳簿保存法に対応帳票保存・ストレージバクラクでは AI-OCR 機能をはじめ、機械学習がコア技術として活用されています

Slide 8

Slide 8 text

© 2023 LayerX Inc. 8 本日のテーマ * 経費精算のSlack連携は申請内容の通知のみ稟議・支払申請・経費精算・ワークフロー・AIが領収書を５秒でデータ化・承認はチャットアプリから・シームレスな内部統制構築仕訳・支払処理効率化・AIが請求書を５秒でデータ化・仕訳データを自動学習、手入力ゼロへ・改正電子帳簿保存法に対応・利用料無料・即時追加発行・最大1億円決済可能法人向けクレジットカード・無料で始められる・手入力ゼロで証憑管理・改正電子帳簿保存法に対応帳票保存・ストレージ「バクラク請求書」の請求書を自動でデータ化する機能における機械学習活用の取り組み紹介

Slide 9

Slide 9 text

背景

Slide 10

Slide 10 text

© 2023 LayerX Inc. 10 解決したい課題 ● 請求書に記入されている項目（支払期日や支払金額、取引先名など）を目視で確認して、ミスなく入力・管理することはとても負荷の高い仕事 ○ 対応する枚数が数十、数百枚と増えるにつれてミスが起こりやすい ○ 帳票のフォーマットが多種に渡り読み取ることが単純に大変 ○ ミスは許されないためダブルチェック等確認作業にもコストがかかってしまう受けとった請求書を手入力でデータ化するという負荷の大きい作業をバクラクにする

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

© 2023 LayerX Inc. 13 AI-OCR機能で解いているタスク請求書ファイル（画像・PDF）請求書に記載の項目ごとの値 { “bbox”: [{"x": 0.3421, "y": 0.567},...], "word": “2021/2/28” },... 請求書内の文字と座標項目推定文字検出文字認識 500,000 ２０２１/02/28 株式会社テンプレ支払期日支払金額取引先名「文字検出・文字認識」と「項目推定」のタスクに分解

Slide 14

Slide 14 text

© 2023 LayerX Inc. 14 これまでのAI-OCR機能の実現方法請求書ファイル（画像・PDF）請求書に記載の項目ごとの値 { “bbox”: [{"x": 0.3421, "y": 0.567},...], "word": “2021/2/28” },... 請求書内の文字と座標項目推定文字検出文字認識 500,000 ２０２１/02/28 株式会社テンプレ支払期日支払金額取引先名外部のAPIを利用テキストや位置情報に基づいてルールベースで判定外部APIの利用とルールベースによって実現

Slide 15

Slide 15 text

© 2023 LayerX Inc. 15 AI-OCR機能における機械学習の活用請求書ファイル（画像・PDF）請求書に記載の項目ごとの値 { “bbox”: [{"x": 0.3421, "y": 0.567},...], "word": “2021/2/28” },... 請求書内の文字と座標項目推定文字検出文字認識 500,000 ２０２１/02/28 株式会社テンプレ支払期日支払金額取引先名外部のAPIを利用テキストや位置情報に基づいてルールベースで判定これまで「ルールベース」で実現していた「項目推定」のタスクを「機械学習」で実現する機械学習で実現

Slide 16

Slide 16 text

© 2023 LayerX Inc. 16 なぜ機械学習で実現したいのか ● 精度のさらなる改善がそのまま収益改善につながるビジネス構造が作れている ● （短期的に）ROIのよいルールベースでの精度改善による運用が限界を迎えつつある ● これまでの運用によりデータや知見が溜まってきており、今後も溜まり続ける仕組みができている機械学習によるさらなる精度の改善とその仕組み作りがビジネス的にもエンジニアリング的にも妥当であるから（詳細は下記noteなど参照） https://note.com/fukkyy/n/nf00ddb836a03

Slide 17

Slide 17 text

具体的な取り組みの紹介

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

© 2023 LayerX Inc. 21 顧客（ユーザー）が本当に求めている出力ケース1 支払期日として2021年2月28日(日)を検出顧客「実際に支払うのは平日の26日(金)だから変更しないと！」ケース2 支払金額として500,000円を検出顧客「実際に支払うのは源泉税10.21%を差し引いた448,950円だから変更しないと！」ユーザーが本当に欲しいのは「請求書に記載の値」ではなく「実際の運用に即した値」

Slide 22

Slide 22 text

© 2023 LayerX Inc. 22 AI-OCR機能の“より正しい”入力と出力顧客（ユーザー）が本当に求めていたAI-OCR機能の入力と出力請求書ファイル（画像・PDF）支払期日支払金額 2021/02/28 取引先名 500,000 株式会社テンプレ請求書に記載の項目ごとの値支払期日支払金額 2021/02/26 取引先名 448,950 株式会社テンプレ請求書に記載の項目ごとの値に基づいた実際の運用に即した値 ● 「請求書に記載の値」を正確に読み取れるだけでもユーザーは十分嬉しいが、それだけでは真の課題解決にならない。 ● 「実際の運用に即した値」を出力できて初めて真の課題解決、大きな価値を提供できたこととなる。

Slide 23

Slide 23 text

© 2023 LayerX Inc. 23 機械学習で解く問題の定義請求書ファイル（画像・PDF）支払期日支払金額 500,000 請求書に記載の項目ごとの値実際の運用に即した値 { “bbox”: [{"x": 0.3421, "y": 0.567},...], "word": “2021/2/28” },... ２０２１/02/28 株式会社テンプレ取引先名支払期日支払金額 448,950 2021/02/26 株式会社テンプレ取引先名請求書内の文字と座標文字検出文字認識項目推定なんらかの変換処理外部のAPIを利用ルールベースや別の仕組み(UX)で実現 AI-OCR機能は「請求書の値の読み取り」と「運用に即した値への変換」の大きく２つのタスクに分かれる請求書の値の読み取り運用に即した値への変換機械学習で実現

Slide 24

Slide 24 text

© 2023 LayerX Inc. 24 機械学習で解く問題の定義請求書ファイル（画像・PDF）支払期日支払金額実際の運用に即した値取引先名支払期日支払金額 448,950 2021/02/26 株式会社テンプレ取引先名請求書内の文字と座標文字検出文字認識項目推定なんらかの変換処理外部のAPIを利用ルールベースや別の仕組み(UX)で実現機械学習で解きたいタスクは「請求書の値の読み取り」の中の「項目推定」 → 請求書内の文字と座標がどの項目に対応するかという分類問題を解くことに請求書の値の読み取り運用に即した値への変換 500,000 ２０２１/02/28 株式会社テンプレ請求書に記載の項目ごとの値 { “bbox”: [{"x": 0.3421, "y": 0.567},...], "word": “2021/2/28” },... 機械学習で実現

Slide 25

Slide 25 text

Slide 26

Slide 26 text

© 2023 LayerX Inc. 26 　サービスに蓄積されたデータをもとにデータセットを作成「請求書の値の読み取り」の中の「項目推定」の分類問題を解くにあたり正解データつきのデータセットを作成したい請求書ファイル（画像・PDF）「請求書に記載の項目ごとの値」の推定値「実際の運用に即した値」の推定値 ● これまでもルールベースによるAI-OCR機能は提供されており、読み取り結果として表示された値を必要に応じてユーザーが手で修正してくれるため、最終的に採用した値（＝正解）がサービスに蓄積されているのを利用するユーザーが最終的に採用した値必要に応じてユーザーが修正ユーザーに表示

Slide 27

Slide 27 text

© 2023 LayerX Inc. 27 　サービスに蓄積された正解データ必要なのは「請求書に記載の値」の正解であるが、蓄積されている「ユーザーが最終的に採用した値」は「実際の運用に即した値」の正解請求書ファイル（画像・PDF）「請求書に記載の項目ごとの値」の推定値「実際の運用に即した値」の推定値ユーザーが最終的に採用した値「実際の運用に即した値」の正解ユーザーに表示必要に応じてユーザーが修正 ● そのままでは利用できなさそう。 ● 人手のアノテーションも進めるがデータが溜まるまでに時間もかかるため、まずはこちらのデータの利用を検討

Slide 28

Slide 28 text

© 2023 LayerX Inc. 28 　「請求書に記載の値」の正解データの獲得：案① 「ユーザーが最終的に採用した値」と「実際の運用に即した値」の推定値を比較する請求書ファイル（画像・PDF）「請求書に記載の項目ごとの値」の推定値「実際の運用に即した値」の推定値 ● ユーザーが最終的に採用した値と「実際の運用に即した値」の推定値が一致する（＝正解であった）場合、「請求書に記載の値」の推定値が正解となる？ → No: 「請求書に記載の値」の推定値が間違っていても「実際の運用に即した値」が正解するケースは多々あるユーザーが最終的に採用した値「実際の運用に即した値」の正解ユーザーに表示必要に応じてユーザーが修正

Slide 29

Slide 29 text

© 2023 LayerX Inc. 29 　「請求書に記載の値」の正解データの獲得：案② 「ユーザーが最終的に採用した値」と「請求書に記載の値」の推定値を比較する請求書ファイル（画像・PDF）「請求書に記載の項目ごとの値」の推定値「実際の運用に即した値」の推定値 ● 「ユーザーが最終的に採用した値」と「請求書に記載の値」の推定値が一致する場合、「請求書に記載の値」の推定値が正解となる？ → （概ね）Yes: 「請求書に記載の値」がそのまま実際の運用に利用されるケースは多々ある →こちらを採用して正解データつきのデータセットを作成ユーザーが最終的に採用した値「実際の運用に即した値」の正解ユーザーに表示必要に応じてユーザーが修正

Slide 30

Slide 30 text

© 2023 LayerX Inc. 30 　「請求書に記載の値」の正解データの獲得：採用した案②の課題「ユーザーが最終的に採用した値」と「請求書に記載の値」の推定値が一致する場合に正解とみなすデータに偏りが生じてしまう。 ● 一致していなくとも「請求書に記載の値」の推定値が正解である場合のデータを捨ててしまうことになる。 ● 「請求書に記載の値」の推定値が正解している（ルールベースが正解している）場合しか正解データが得られない。ひとまずこのデータで機械学習モデルの作成を行う。 ● 理想のデータでないとしても早く検証のサイクルを回して後続タスクの不確実性を潰しておきたい ● まずはルールベースが正解しているもの（の一部）を機械学習でも正解できるようにするという方針はある程度妥当 ● 随時アノテーションデータを増やしていく形で偏りを解消 ○ 「ユーザーが最終的に採用した値」と「請求書に記載の値」の推定値が一致していないものを優先

Slide 31

Slide 31 text

Slide 32

Slide 32 text

© 2023 LayerX Inc. 32 機械学習で解く問題の定義(再掲) 請求書ファイル（画像・PDF）支払期日支払金額実際の運用に即した値取引先名支払期日支払金額 448,950 2021/02/26 株式会社テンプレ取引先名請求書内の文字と座標文字検出文字認識項目推定なんらかの変換処理外部のAPIを利用ルールベースや別の仕組み(UX)で実現機械学習で解きたいタスクは「請求書の値の読み取り」の中の「項目推定」 → 請求書内の文字と座標がどの項目に対応するかという分類問題を解くことに請求書の値の読み取り運用に即した値への変換 500,000 ２０２１/02/28 株式会社テンプレ請求書に記載の項目ごとの値 { “bbox”: [{"x": 0.3421, "y": 0.567},...], "word": “2021/2/28” },... 機械学習で実現

Slide 33

Slide 33 text

Slide 34

Slide 34 text

© 2023 LayerX Inc. 34 　検証したモデル ● BERT系 ○ テキスト情報のみを利用してトークン単位でラベルを推論 ● GNN系 ○ テキストとその位置情報を利用してグラフを作成し、node単位でラベルを推論 ● LayoutLM系 ○ テキストとその位置情報、画像などマルチモーダルな情報を利用してレイアウトを考慮した推論 → 精度やコスト、推論速度などを鑑みて採用するモデルを決定

Slide 35

Slide 35 text

Slide 36

Slide 36 text

© 2023 LayerX Inc. 36 評価指標（正解率）データセット全体の正解率だけではなく、ユーザーごとの正解率も重視 ● ユーザーごとのサンプル数（アップロードした請求書数）のバラツキが大きいため、全体の正解率だけだとサンプル数の小さいユーザーの正解率が過小評価される。 ● ユーザーが１種類の請求書フォーマットしか利用していないなどのケースもあり、ある１種類のパターンが読み取れるかどうかによって正解率が 0 or 1 と極端な振れ方をすることも。

Slide 37

Slide 37 text

© 2023 LayerX Inc. 37 評価指標（デグレ数/率）ルールベースや更新前のモデルでは読み取れていたサンプルが読み取れなくなっていないか ● すでに利用されているサービスであるため「これまで読み取れていたものが読み取れなくなる」＝「デグレする」ことはユーザーの体験を大きく損ねてしまう。 ○ 「正解率」が良くなっていたとしても、デグレしている件数や割合が大きい場合はリリースが難しい。 ○ 一般的に人は悪い変化への方が敏感。 ● ルールベースでの運用時は、ユーザーに問い合わせをいただいた際に個別の請求書ごとに値が読み取れるようなルールの変更対応などを行うこともあった。 ○ ユーザーに明示的に個別対応を行ったものが読み取れなくなるのは大きく体験を損ねてしまう。

Slide 38

Slide 38 text

Slide 39

Slide 39 text

© 2023 LayerX Inc. 39 リリース後のモニタリング ● サービスに蓄積される正解データは「ユーザーが最終的に採用した値」のものであるため、「請求書に記載の値」の予測性能が正確に分かるわけではない ● 正解率、ルールベースと機械学習ベースの正解率の比較、デグレ件数などを日々モニタリング ○ 閾値を超えたユーザーのサンプルは目視で確認 → 毎日の朝会で実施 ○ 予測性能に不安のあるユーザーや新規ユーザーのサンプルを優先的にアノテーションする運用

Slide 40

Slide 40 text

今後の課題

Slide 41

Slide 41 text

© 2023 LayerX Inc. 41 AI-OCR機能の今後の課題 ● 表形式の明細内容の読み取り精度改善および後続の仕訳処理との連携強化 ● 現在は外部のAPIに依存している文字検出・文字認識の部分の内製化による読み取り精度の改善 ● 文字検出・文字認識、項目推定以外の様々なタスク(影の除去, 超解像, etc.)への取り組み ● 読み取れる項目の拡張 ● 請求書以外の様々な帳票（領収書, 納品書, 支払い通知書, etc.）への対応 ...etc.

Slide 42

Slide 42 text

まとめ

Slide 43

Slide 43 text

© 2023 LayerX Inc. 43 まとめ：LayerXにおける機械学習を活用した請求書OCR機能に関する取り組み ● 背景 ○ 解決したい課題：受け取った請求書を手入力でデータ化するという負荷の大きい作業をバクラクにする ○ 取り組み内容：請求書AI-OCR機能において「ルールベース」で実現していた「項目推定」のタスクを「機械学習」で実現 ● 具体的な取り組みの紹介 ○ 解く問題の定義: 請求書内の文字と座標がどの項目に対応するかという分類問題（項目推定） ○ データセットの作成:「ユーザーが最終的に採用した値」と「請求書に記載の値」の推定値が一致する場合に正解とみなして初期のデータセットを構築 ○ 機械学習モデルの作成：複数のモデルを並列で検証し、コストパフォーマンスを鑑みて選定 ○ 予測性能の評価:正解率やデグレ数/率をもとに基準をさだめ、基準を満たしたユーザーさまから順次機械学習ベースのAI-OCR機能を提供