Upgrade to Pro — share decks privately, control downloads, hide ads and more …

バクラクのOCRで注目する指標について 〜精度の定義は一つじゃない〜 / Bakuraku OCR Metrics

Shun Takagiwa
September 28, 2022

バクラクのOCRで注目する指標について 〜精度の定義は一つじゃない〜 / Bakuraku OCR Metrics

Shun Takagiwa

September 28, 2022
Tweet

More Decks by Shun Takagiwa

Other Decks in Technology

Transcript

  1. © 2022 LayerX
    バクラクのOCRで注目する指標について
    〜精度の定義は一つじゃない〜
    株式会社LayerX
    バクラク事業部 AI-OCRチーム マネージャー
    高際 隼 @shun_tak
    2022.9.28 第23回 MLOps勉強会

    View Slide

  2. © 2022 LayerX
    自己紹介
    高際 隼
    Shun Takagiwa
    株式会社LayerX バクラク事業部 AI-OCRチーム マネージャー
    ● サイバーエージェントに2013年に新卒入社し、テックリードとして複数のスマートフォ
    ンゲームの新規開発および運用を担当。その傍ら組織運営や新卒採用にも携わる
    ● LayerXには2018年の設立とともに参画し、PMやテックリードとしてブロックチェー
    ン事業に携わる。バクラク事業立ち上げ後はAI-OCRやバクラク請求書/申請の開発に
    注力。現在AI-OCRチームのマネージャーを担当
    ● 価値観
    ○ 人は必ず成長する (継続は力なり)
    ○ 強みを徹底的に磨く
    ○ なんとかなる(きっとよくなる)
    ● SNS等
    ○ Twitter → @shun_tak (本日の資料もこちらで共有します)
    ○ GitHub → shun-tak

    View Slide

  3. © 2022 LayerX
    会社紹介
    すべての経済活動を、デジタル化する。
    ※ 一部抜粋
    会社名
    代表取締役
    創業
    従業員数
    資本金
    事業概要
    関連会社
    お取り組み
    実績
    株式会社LayerX(レイヤーエックス)
    代表取締役CEO 福島 良典 代表取締役CTO 松本 勇気
    2018年 8月1日
    112名(2022年6月末時点)
    31億円(資本準備金含)
    バクラク事業、Fintech事業、PrivacyTech事業
    三井物産デジタル・アセットマネジメント
    (三井物産、LayerX、三井住友信託銀行、SMBC日興証券、JA三井リースによる合弁会社)

    View Slide

  4. © 2022 LayerX
    経営陣紹介
    取締役 バクラク事業 榎本 悠介
    DeNA→Gunosyで
    新規事業立ち上げ/エンジニア
    代表取締役CTO 松本勇気 取締役 手嶋 浩己
    取締役CFO渡瀬 浩行
    Gunosy CTO・
    CTO協会理事
    ユナイテッド創業・上場
    メルカリ投資・(元)取締役
    Aiming創業・上場
    代表取締役CEO 福島良典
    Gunosy創業・上場
    (元) エンジニア エンジニア 上場企業創業・経営
    上場企業創業・経営 上場企業創業・経営
    上場企業創業・経営
    エンジニア
    ● 上場企業の創業経験・経営経験で固める経験豊富なチーム
    ● 取締役の過半数(60%)がエンジニアバックグラウンドを持つテクノロジーカンパニー
    ● CTOが代表権を持つことで、「技術を軸とした」意思決定も迅速に行える体制
    監査役 掛川 紗矢香
    GREE → メルカリで
    経営管理業務
    上場企業経営管理
    この経営陣サポートでうまくいった機械学習チーム立ち上げのエピソード公開してます
    機械学習チーム立ち上げ前夜とその後の話
    https://note.com/shuntak/n/nd643fdac4d3d

    View Slide

  5. © 2022 LayerX
    社員構成
    約3分の1 約10%

    View Slide

  6. © 2022 LayerX
    LayerXの事業

    View Slide

  7. © 2022 LayerX

    View Slide

  8. © 2022 LayerX
    法人支出管理(BSM)SaaS「バクラク」を展開
    * 経費精算のSlack連携は申請内容の通知のみ
    稟議・支払申請・経費精算・ワークフロー
    ・AIが領収書を5秒でデータ化
    ・承認はチャットアプリから
    ・シームレスな内部統制構築
    仕訳・支払処理効率化
    ・AIが請求書を5秒でデータ化
    ・仕訳データを自動学習、 手入力ゼロへ
    ・改正電子帳簿保存法に対応
    ・利用料無料
    ・即時追加発行
    ・最大1億円決済可能
    法人向けクレジットカード
    ・無料で始められる
    ・手入力ゼロで証憑管理
    ・改正電子帳簿保存法に対応
    帳票保存・ストレージ
    バクラクでは機械学習がコア技術としてフル活用されています!

    View Slide

  9. © 2022 LayerX
    AI-OCRチーム
    OCRといいつつ、機械学習を軸にOCRの枠を超え、
    顧客の体験向上を追求するチームです!
    ソフトウェアエンジニア2名、機械学習エンジニア4名、
    アノテーションのスタッフ1名、マネージャー1名の8人でわいわい活動しています!

    View Slide

  10. © 2022 LayerX
    請求書OCRのデモ

    View Slide

  11. © 2022 LayerX
    請求書OCRとは
    OCR (Optical Character Recognition; 光学文字認識)
    入力画像から文字と位置情報を読み取る。
    しかし、請求書処理の業務において顧客がほしい情報は
    「いつまでに・だれに・いくら」支払えばいいのかといった構造化された情報。
    バクラクが提供する請求書OCRでは、OCRを超える機能を提供している。
    Document AI や Document Understanding ともよばれる新しい領域。

    View Slide

  12. © 2022 LayerX
    請求書OCRのアーキテクチャ概要
    請求書ファイル
    前処理 文字認識 項目推定
    入力画像内の「文字」と
    「位置情報」を読み取る。
    いわゆるOCR (光学文字認識)
    読み取った「文字」に意味を与える。
    例)支払金額:500,000円
      支払期日:2021/02/28
    後処理
    読み取れた!

    View Slide

  13. © 2022 LayerX
    評価指標 (品質の評価軸)
    製品を評価する指標にはどんなものがあるだろうか?
    ● 精度
    ● 実行速度
    ● 可用性
    ● セキュリティ
    ● インフラコスト
    ● 運用のしやすさ
    ● etc
    今日は 精度 の話!
    ちなみに速度や可用性、インフラコストの改善については下記参照
    LayerXインボイスのAI-OCRを支える非同期処理アーキテクチャ / AWS Dev Day Online Japan 2021
    https://docs.google.com/presentation/d/1-eGkBHpMVGjvOhrDpJfvPHX1AasXtHunAmYJ
    HEJLtaY/edit#slide=id.gebbd5bab07_0_468

    View Slide

  14. © 2022 LayerX
    精度の評価軸は実質2つ
    ● 何を正解とするか
    ○ 入力データに応じた絶対的な正解
    ○ 顧客が求める正解
    ● 何を比較対象とするか
    ○ 処理パイプラインの各ステップの結果
    ○ 処理パイプラインの最終的な結果
    請求書ファイル
    前処理 文字認識 項目推定 後処理
    読み取れた!
    → 評価しやすい
    → 顧客体験に直結 (最重視)
    → 精度ボトルネック発見に活用
    → 評価しやすい

    View Slide

  15. © 2022 LayerX
    顧客が求める正解とは
    ケース1
    支払期日として2021年2月28日(日)を検出
    顧客「実際に振り込む26日(金)に変更しちゃおう。ポチッ」
    ケース2
    支払金額として500,000円を検出
    顧客「源泉税10.21%を差し引いた448,950円に変更せねば。ポチッ」
    ちなみに、こういった変更がしやすいよう、バクラクでは様々な体験を良くする工夫を実装しています。
    詳しくはこちら → 読み取り精度100%が不可能と認め、失敗に備えユーザー体験を磨き込む話
    https://tech.layerx.co.jp/entry/ocr-ux

    View Slide

  16. © 2022 LayerX
    正解と比較対象の使い分け
    入力データに応じた絶対的な正解 顧客が求める正解
    処理パイプラインの
    各ステップの結果
    2. 分析・改善しボトルネック潰し N/A
    処理パイプラインの
    最終的な結果
    1. まずはここからスタートしつつ 3. 計測・モニタリングしつつ、
      ここの改善を狙っていく
    正解と結果もうちょい詳しく…
    正解




    View Slide

  17. © 2022 LayerX
    請求書OCRにおける正解?比較対象?
    正解とは?
    ● 請求書に記載された値
    ● 顧客が最終的に保存した値
    ○ 業務上の理由で変更される
    ■ 2021年2月28日
    → 2021年2月26日
    ■ 500,000円
    → 448,950円
    処理パイプラインの各ステップの結果とは?
    ● 文字認識の精度
    ○ 文字単位
    ○ 完全一致
    ● 項目推定の精度
    ○ 項目ごとの精度
    ○ 全項目が正解する精度
    ● 検出位置の精度
    ○ 値は合ってるが異なる位置から検出
    ● 検索・推薦の精度
    ○ マスタデータへの名寄せの精度

    View Slide

  18. © 2022 LayerX
    項目推定の精度
    other
    other
    other
    other
    payment_amount
    payment_due_date
    other
    other
    other
    other
    payment_amount
    document_date
    6単語中6単語正解 6単語中5単語正解

    View Slide

  19. © 2022 LayerX
    項目ごとの値の精度
    正解 検出値
    支払金額 500,000円 500,000円
    支払期日 2021年2月28日 2021年2月28日
    正解 検出値
    支払金額 500,000円 500,000円
    支払期日 2021年2月28日 2021年2月20日
    全項目で正解
    支払金額は正解、支払期日は不正解

    View Slide

  20. © 2022 LayerX
    検出位置の精度
    正解 検出値
    支払金額 11,000円 11,000円
    支払期日 2021年4月30日 2021年4月30日
    全項目で正解
    ← こちらを検出したら、「支払金額」としての
      値は正解、位置は不正解

    View Slide

  21. © 2022 LayerX
    顧客がほしかったもの
    ● 精度を上げたい → エラー分析して改善していく
    ● 分析していくと、請求書とは異なる値を設定するユーザーがちらほら
    ○ 顧客がほしいものは、厳密な請求書のデータ化ではないことを示唆
    ● 顧客がほしい結果を返すと評価される指標を設計することが重要

    View Slide

  22. © 2022 LayerX
    圧倒的に使いやすいプロダクトを届け、
    ワクワクする働き方を。
    企業活動を支えるコーポレート業務は、ミスができない難しい業務。
    バクラクはそんな業務の負担を少しでも軽くし、日常の業務がわくわくするような体験を届けます。
    使いやすさへの圧倒的なこだわりと、深い顧客理解で業務効率化を実現。
    手作業、ハンコ、紙のやり取りから脱却し、事業と組織を支える本来の仕事に向き合えるようサポートします。

    View Slide

  23. © 2022 LayerX
    バクラクAIチーム
    請求書の値を厳密に読み取ることは、通過点であってゴールではない。
    顧客の業務に寄り添い、ミスや負担を減らし、日常の業務がワクワクするような体験を届ける。
    そのために、画像認識や自然言語処理だけでなく、情報推薦や検索、異常検知、トレンド予測等、
    ありとあらゆるテクノロジー、エンジニアリングを駆使する。
    今はまだ理想には遠いですが、一歩ずつ着実に、ときには大胆な選択でジャンプしつつ、
    プロダクトビジョンの実現に向けて進んでいきます。
    圧倒的に使いやすいプロダクトを届け、ワクワクする働き方を。

    View Slide

  24. © 2022 LayerX
    We are hiring!
    バクラクAIチームの理想、プロダクトビジョンを実現するため、
    まだまだ解決しなければならない課題がたくさんあります!
    ぜひ一緒に、顧客に「楽しい」と言ってもらえるようなプロダクトをつくりませんか。
    まずはカジュアル面談からお気軽に!
    LayerX,バクラクの機械学習チームについて話します! (Meety)
    LayerX 採用情報
    5分でわかるLayerX
    ソフトウェアエンジニア求人票
    機械学習エンジニア求人票

    View Slide