Upgrade to Pro — share decks privately, control downloads, hide ads and more …

バクラクのOCRで注目する指標について 〜精度の定義は一つじゃない〜 / Bakuraku OCR Metrics

Shun Takagiwa
September 28, 2022

バクラクのOCRで注目する指標について 〜精度の定義は一つじゃない〜 / Bakuraku OCR Metrics

Shun Takagiwa

September 28, 2022
Tweet

More Decks by Shun Takagiwa

Other Decks in Technology

Transcript

  1. © 2022 LayerX 自己紹介 高際 隼 Shun Takagiwa 株式会社LayerX バクラク事業部

    AI-OCRチーム マネージャー • サイバーエージェントに2013年に新卒入社し、テックリードとして複数のスマートフォ ンゲームの新規開発および運用を担当。その傍ら組織運営や新卒採用にも携わる • LayerXには2018年の設立とともに参画し、PMやテックリードとしてブロックチェー ン事業に携わる。バクラク事業立ち上げ後はAI-OCRやバクラク請求書/申請の開発に 注力。現在AI-OCRチームのマネージャーを担当 • 価値観 ◦ 人は必ず成長する (継続は力なり) ◦ 強みを徹底的に磨く ◦ なんとかなる(きっとよくなる) • SNS等 ◦ Twitter → @shun_tak (本日の資料もこちらで共有します) ◦ GitHub → shun-tak
  2. © 2022 LayerX 会社紹介 すべての経済活動を、デジタル化する。 ※ 一部抜粋 会社名 代表取締役 創業

    従業員数 資本金 事業概要 関連会社 お取り組み 実績 株式会社LayerX(レイヤーエックス) 代表取締役CEO 福島 良典 代表取締役CTO 松本 勇気 2018年 8月1日 112名(2022年6月末時点) 31億円(資本準備金含) バクラク事業、Fintech事業、PrivacyTech事業 三井物産デジタル・アセットマネジメント (三井物産、LayerX、三井住友信託銀行、SMBC日興証券、JA三井リースによる合弁会社)
  3. © 2022 LayerX 経営陣紹介 取締役 バクラク事業 榎本 悠介 DeNA→Gunosyで 新規事業立ち上げ/エンジニア

    代表取締役CTO 松本勇気 取締役 手嶋 浩己 取締役CFO渡瀬 浩行 Gunosy CTO・ CTO協会理事 ユナイテッド創業・上場 メルカリ投資・(元)取締役 Aiming創業・上場 代表取締役CEO 福島良典 Gunosy創業・上場 (元) エンジニア エンジニア 上場企業創業・経営 上場企業創業・経営 上場企業創業・経営 上場企業創業・経営 エンジニア • 上場企業の創業経験・経営経験で固める経験豊富なチーム • 取締役の過半数(60%)がエンジニアバックグラウンドを持つテクノロジーカンパニー • CTOが代表権を持つことで、「技術を軸とした」意思決定も迅速に行える体制 監査役 掛川 紗矢香 GREE → メルカリで 経営管理業務 上場企業経営管理 この経営陣サポートでうまくいった機械学習チーム立ち上げのエピソード公開してます 機械学習チーム立ち上げ前夜とその後の話 https://note.com/shuntak/n/nd643fdac4d3d
  4. © 2022 LayerX 法人支出管理(BSM)SaaS「バクラク」を展開 * 経費精算のSlack連携は申請内容の通知のみ 稟議・支払申請・経費精算・ワークフロー ・AIが領収書を5秒でデータ化 ・承認はチャットアプリから ・シームレスな内部統制構築

    仕訳・支払処理効率化 ・AIが請求書を5秒でデータ化 ・仕訳データを自動学習、 手入力ゼロへ ・改正電子帳簿保存法に対応 ・利用料無料 ・即時追加発行 ・最大1億円決済可能 法人向けクレジットカード ・無料で始められる ・手入力ゼロで証憑管理 ・改正電子帳簿保存法に対応 帳票保存・ストレージ バクラクでは機械学習がコア技術としてフル活用されています!
  5. © 2022 LayerX 請求書OCRとは OCR (Optical Character Recognition; 光学文字認識) 入力画像から文字と位置情報を読み取る。

    しかし、請求書処理の業務において顧客がほしい情報は 「いつまでに・だれに・いくら」支払えばいいのかといった構造化された情報。 バクラクが提供する請求書OCRでは、OCRを超える機能を提供している。 Document AI や Document Understanding ともよばれる新しい領域。
  6. © 2022 LayerX 請求書OCRのアーキテクチャ概要 請求書ファイル 前処理 文字認識 項目推定 入力画像内の「文字」と 「位置情報」を読み取る。

    いわゆるOCR (光学文字認識) 読み取った「文字」に意味を与える。 例)支払金額:500,000円   支払期日:2021/02/28 後処理 読み取れた!
  7. © 2022 LayerX 評価指標 (品質の評価軸) 製品を評価する指標にはどんなものがあるだろうか? • 精度 • 実行速度

    • 可用性 • セキュリティ • インフラコスト • 運用のしやすさ • etc 今日は 精度 の話! ちなみに速度や可用性、インフラコストの改善については下記参照 LayerXインボイスのAI-OCRを支える非同期処理アーキテクチャ / AWS Dev Day Online Japan 2021 https://docs.google.com/presentation/d/1-eGkBHpMVGjvOhrDpJfvPHX1AasXtHunAmYJ HEJLtaY/edit#slide=id.gebbd5bab07_0_468
  8. © 2022 LayerX 精度の評価軸は実質2つ • 何を正解とするか ◦ 入力データに応じた絶対的な正解 ◦ 顧客が求める正解

    • 何を比較対象とするか ◦ 処理パイプラインの各ステップの結果 ◦ 処理パイプラインの最終的な結果 請求書ファイル 前処理 文字認識 項目推定 後処理 読み取れた! → 評価しやすい → 顧客体験に直結 (最重視) → 精度ボトルネック発見に活用 → 評価しやすい
  9. © 2022 LayerX 顧客が求める正解とは ケース1 支払期日として2021年2月28日(日)を検出 顧客「実際に振り込む26日(金)に変更しちゃおう。ポチッ」 ケース2 支払金額として500,000円を検出 顧客「源泉税10.21%を差し引いた448,950円に変更せねば。ポチッ」

    ちなみに、こういった変更がしやすいよう、バクラクでは様々な体験を良くする工夫を実装しています。 詳しくはこちら → 読み取り精度100%が不可能と認め、失敗に備えユーザー体験を磨き込む話 https://tech.layerx.co.jp/entry/ocr-ux
  10. © 2022 LayerX 正解と比較対象の使い分け 入力データに応じた絶対的な正解 顧客が求める正解 処理パイプラインの 各ステップの結果 2. 分析・改善しボトルネック潰し

    N/A 処理パイプラインの 最終的な結果 1. まずはここからスタートしつつ 3. 計測・モニタリングしつつ、   ここの改善を狙っていく 正解と結果もうちょい詳しく… 正解 比 較 対 象
  11. © 2022 LayerX 請求書OCRにおける正解?比較対象? 正解とは? • 請求書に記載された値 • 顧客が最終的に保存した値 ◦

    業務上の理由で変更される ▪ 2021年2月28日 → 2021年2月26日 ▪ 500,000円 → 448,950円 処理パイプラインの各ステップの結果とは? • 文字認識の精度 ◦ 文字単位 ◦ 完全一致 • 項目推定の精度 ◦ 項目ごとの精度 ◦ 全項目が正解する精度 • 検出位置の精度 ◦ 値は合ってるが異なる位置から検出 • 検索・推薦の精度 ◦ マスタデータへの名寄せの精度
  12. © 2022 LayerX 項目推定の精度 other other other other payment_amount payment_due_date

    other other other other payment_amount document_date 6単語中6単語正解 6単語中5単語正解
  13. © 2022 LayerX 項目ごとの値の精度 正解 検出値 支払金額 500,000円 500,000円 支払期日

    2021年2月28日 2021年2月28日 正解 検出値 支払金額 500,000円 500,000円 支払期日 2021年2月28日 2021年2月20日 全項目で正解 支払金額は正解、支払期日は不正解
  14. © 2022 LayerX 検出位置の精度 正解 検出値 支払金額 11,000円 11,000円 支払期日

    2021年4月30日 2021年4月30日 全項目で正解 ← こちらを検出したら、「支払金額」としての   値は正解、位置は不正解
  15. © 2022 LayerX 顧客がほしかったもの • 精度を上げたい → エラー分析して改善していく • 分析していくと、請求書とは異なる値を設定するユーザーがちらほら

    ◦ 顧客がほしいものは、厳密な請求書のデータ化ではないことを示唆 • 顧客がほしい結果を返すと評価される指標を設計することが重要