バクラクのAI-OCRを支える精度モニタリング -モニタリングドリブンの改善-

by Tomoaki

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

© 2023 LayerX Inc. 5 5 * 資本準備金含む ** 全事業含む会社名　　　　代表取締役　創業　　　　　資本金* 拠点関連会社取得認証｜株式会社LayerX（レイヤーエックス）｜　代表取締役CEO 福島良典　　代表取締役CTO 松本勇気｜　2018年｜　112.６億円｜　バクラク事業、Fintech事業、Privacy Tech事業｜　東京本社・中部支社・関西支社・九州支社｜　三井物産デジタル・アセットマネジメント　　三井物産、LayerX、三井住友信託銀行、SMBC日興証券、JA三井リースによる合弁会社｜　情報セキュリティマネジメントシステム、　　　　 JIIMA認証提供プロダクト IS 747702 / ISO 27001 次世代プライバシー保護/秘匿化技術国土交通省の「不動産情報の更なる利活用に向けた調査・検証業務」におけるプライバシー保護技術検証も受託バクラク事業企業活動のインフラとなる法人支出管理（ BSM）SaaSを開発・提供 Fintech事業三井物産/三井住友信託銀行等との合弁会社にて証券事業を展開デジタル証券で資産運用できるサービス「ALTERNA」を提供 Privacy Tech事業 LayerXの概要

Slide 6

Slide 6 text

© 2023 LayerX Inc. 6 6 * 経費精算のSlack連携は申請内容の通知のみ稟議・支払申請・経費精算・ワークフロー・AIが領収書を５秒でデータ化・承認はスマホのアプリから・領収書の重複申請などミス防止機能仕訳・支払処理効率化・AIが請求書を５秒でデータ化・仕訳データを自動学習、手入力ゼロへ・スキャン代行も実施・利用料無料・即時追加発行・最大1億円決済可能法人カードの発行・管理・無料で始められる・手入力ゼロで証憑管理・改正電子帳簿保存法に対応帳票保存・ストレージ「バクラク」シリーズラインナップ

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

© 2023 LayerX Inc. 10 10 解決したい課題 ● 請求書に記入されている項目（支払期日や支払金額、取引先名など）を目視で確認して、ミスなく入力・管理することはとても負荷の高い仕事 ○ 対応する枚数が数十、数百枚と増えるにつれてミスが起こりやすい ○ 帳票のフォーマットが多種に渡り読み取ることが単純に大変 ○ ミスは許されないためダブルチェック等確認作業にもコストがかかってしまう受けとった請求書を手入力でデータ化するという負荷の大きい作業をバクラクにする

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

© 2023 LayerX Inc. 13 13 AI-OCR機能で解いているタスク請求書ファイル（画像・PDF）請求書に記載の項目ごとの値 { “bbox”: [{"x": 0.3421, "y": 0.567},...], "word": “2021/2/28” },... 請求書内の文字と座標項目推定文字検出文字認識 500,000 ２０２１/02/28 株式会社テンプレ支払期日支払金額取引先名「文字検出・文字認識」と「項目推定」のタスクに分解

Slide 14

Slide 14 text

Slide 15

Slide 15 text

© 2023 LayerX Inc. 15 15 精度モニタリングのアーキテクチャバクラク事業におけるデータ組織とデータ基盤 2023 https://tech.layerx.co.jp/entry/bakuraku-data-management-2023 ● データの収集はEmbulkというETLツールを利用して、BigQueryにデータウェアハウスを構築 ● dbt (Data Build Tool) を利用してデータ変換を行い、redash・Looker Studioにてダッシュボード・アラート作成 ● BigQueryにデータを流すところまではデータチームが主に担当し、それ以降はMLチームが担当

Slide 16

Slide 16 text

© 2023 LayerX Inc. 16 16 モニタリング内容モニタリング対象のデータ ● daily・weeklyで正解率をテナントごとに集計し、特定の閾値を超えているテナントを抽出 ● 対象は全てのテナント（ 5000+）であり、対象はOCRを利用する全てのサービス（バクラク請求書・申請・経費精算・電子帳簿保存）モニタリングで実施していること ● 毎日朝会にて15~30分ほど、MLチーム全員参加でモニタリングの時間を設ける ● 抽出したテナントの帳票を確認し、不正解だった原因の分析 ● 改善タスクの起票 ○ モデルの改善 ○ 前処理・後処理の改善 ○ お客様へサービスの設定の案内 ○ etc…

Slide 17

Slide 17 text

© 2023 LayerX Inc. 17 17 なぜ毎日のモニタリングにコストを割くのか ● 正解率が低い場合もいろんなケースがあり、調査してみないとその緊急度がわかりにくい ○ 緊急度が低い例 ■ 証憑に書いてない値をユーザーが入力している ● 例：購買の申請の証憑として商品の画像をアップロード ● 例：チャットツール上での一連の会話をスクショとして稟議の証憑として添付 ○ 緊急度が高い例 ■ 帳票に書いて項目の値が明記されているのにも関わらず読み取れていない ● ユーザーのアップロードする帳票の傾向が急に変化し、現行のモデルでは対応できないファイルが突然発生することがある ● ユーザーの体験が悪化した場合に即座に検知して、対処する必要がある

Slide 18

Slide 18 text

© 2023 LayerX Inc. 18 18 工夫している点：　分析に必要なデータを集約しファイルを探す時間を短縮 ● 正解率という定量的なデータだけでは分析が難しいため、読み取れなかったファイルのデータや OCR の過程の中間生成ファイルを一覧で見れるページを内製のアノテーションツールに作成 ● ダッシュボードにアノテーションツールへのリンクを設置し、精度が気になるテナントのファイルを簡単に見れるようになっているバクラクデータ管理（アノテーションツール）

Slide 19

Slide 19 text

© 2023 LayerX Inc. 19 19 モニタリングの効果 ● 毎日何かしらの改善点を発見（粒度は大小いろいろ） ○ バックログのタスクのほとんどはモニタリングの時間で作られている ○ 軽微な前処理・後処理のバグなどはすぐに修正してリリース ● 課題に関して毎日同期的に話すことで、課題に対する理解と解像度が深まる ○ 「なぜ読み取れてないのか」、「改善するにはどういうアプローチがあるか」といったディスカッションが自然と行われ、課題に対する理解と解像度が高まる。 ● エンジニアのドメイン知識の獲得 ○ 多様な書体、書式、言語、レイアウトの書類が存在し、100社あればそれぞれ独自の書類がある ○ エンジニアがドメインの理解を深めることが、結果的に改善のサイクルを早くする

Slide 20

Slide 20 text

Slide 21

Slide 21 text

© 2023 LayerX Inc. 21 21 精度モニタリングの今後の課題 ● モニタリングで得られた情報を集合知として蓄積 ○ テナントごとの傾向など気づいたことのログを残し、ダッシュボードで見れるよにし、集合知として蓄積することで新規メンバーもキャッチアップしやすくしたい ● ダッシュボード等の改善 ○ 朝会でチーム全員の時間を利用しているので、必要なデータはなるべく一箇所に集約したり、クエリを再実行する場合はその時間を短縮したり、改善すべき点はまだまだたくさん ● さらなる自動化 ○ モニタリングで精度の低下を検知した場合、即座にアノテーションを行い改善に繋げられる仕組みの構築 ○ モニタリングで検知した情報を元にデータセットを自動で作成しモデルを作るなど