バクラクのOCRで注目する指標について 〜精度の定義は一つじゃない〜 / Bakuraku OCR Metrics

動画
https://youtu.be/lh8jS6hF0PM?t=459

スライド原本
https://docs.google.com/presentation/d/1CP9U-d3xChsd1YW7MwHGD6h1yAtINJ1OIsd6QPP9xPc/edit#slide=id.g15df21ccfd1_0_298

Transcript

1. © 2022 LayerX バクラクのOCRで注目する指標について 〜精度の定義は一つじゃない〜 株式会社LayerX バクラク事業部 AI-OCRチーム マネージャー 高際 隼 @shun_tak 2022.9.28 第23回 MLOps勉強会
2. © 2022 LayerX 自己紹介 高際 隼 Shun Takagiwa 株式会社LayerX バクラク事業部 AI-OCRチーム マネージャー • サイバーエージェントに2013年に新卒入社し、テックリードとして複数のスマートフォ ンゲームの新規開発および運用を担当。その傍ら組織運営や新卒採用にも携わる • LayerXには2018年の設立とともに参画し、PMやテックリードとしてブロックチェー ン事業に携わる。バクラク事業立ち上げ後はAI-OCRやバクラク請求書/申請の開発に 注力。現在AI-OCRチームのマネージャーを担当 • 価値観 ◦ 人は必ず成長する (継続は力なり) ◦ 強みを徹底的に磨く ◦ なんとかなる（きっとよくなる） • SNS等 ◦ Twitter → @shun_tak (本日の資料もこちらで共有します) ◦ GitHub → shun-tak
3. © 2022 LayerX 会社紹介 すべての経済活動を、デジタル化する。 ※ 一部抜粋 会社名 代表取締役 創業 従業員数 資本金 事業概要 関連会社 お取り組み 実績 株式会社LayerX（レイヤーエックス） 代表取締役CEO 福島 良典　代表取締役CTO 松本 勇気 2018年 8月1日 112名(2022年6月末時点) 31億円(資本準備金含) バクラク事業、Fintech事業、PrivacyTech事業 三井物産デジタル・アセットマネジメント （三井物産、LayerX、三井住友信託銀行、SMBC日興証券、JA三井リースによる合弁会社）
4. © 2022 LayerX 経営陣紹介 取締役 バクラク事業 榎本 悠介 DeNA→Gunosyで 新規事業立ち上げ/エンジニア 代表取締役CTO 松本勇気 取締役 手嶋 浩己 取締役CFO渡瀬 浩行 Gunosy CTO・ CTO協会理事 ユナイテッド創業・上場 メルカリ投資・(元)取締役 Aiming創業・上場 代表取締役CEO 福島良典 Gunosy創業・上場 (元) エンジニア エンジニア 上場企業創業・経営 上場企業創業・経営 上場企業創業・経営 上場企業創業・経営 エンジニア • 上場企業の創業経験・経営経験で固める経験豊富なチーム • 取締役の過半数(60%)がエンジニアバックグラウンドを持つテクノロジーカンパニー • CTOが代表権を持つことで、「技術を軸とした」意思決定も迅速に行える体制 監査役 掛川 紗矢香 GREE → メルカリで 経営管理業務 上場企業経営管理 この経営陣サポートでうまくいった機械学習チーム立ち上げのエピソード公開してます 機械学習チーム立ち上げ前夜とその後の話 https://note.com/shuntak/n/nd643fdac4d3d
5. © 2022 LayerX 社員構成 約3分の1 約10%
6. © 2022 LayerX LayerXの事業
7. © 2022 LayerX
8. © 2022 LayerX 法人支出管理(BSM)SaaS「バクラク」を展開 * 経費精算のSlack連携は申請内容の通知のみ 稟議・支払申請・経費精算・ワークフロー ・AIが領収書を５秒でデータ化 ・承認はチャットアプリから ・シームレスな内部統制構築 仕訳・支払処理効率化 ・AIが請求書を５秒でデータ化 ・仕訳データを自動学習、 手入力ゼロへ ・改正電子帳簿保存法に対応 ・利用料無料 ・即時追加発行 ・最大1億円決済可能 法人向けクレジットカード ・無料で始められる ・手入力ゼロで証憑管理 ・改正電子帳簿保存法に対応 帳票保存・ストレージ バクラクでは機械学習がコア技術としてフル活用されています！
9. © 2022 LayerX AI-OCRチーム OCRといいつつ、機械学習を軸にOCRの枠を超え、 顧客の体験向上を追求するチームです！ ソフトウェアエンジニア2名、機械学習エンジニア4名、 アノテーションのスタッフ1名、マネージャー1名の8人でわいわい活動しています！
10. © 2022 LayerX 請求書OCRのデモ
11. © 2022 LayerX 請求書OCRとは OCR (Optical Character Recognition; 光学文字認識) 入力画像から文字と位置情報を読み取る。 しかし、請求書処理の業務において顧客がほしい情報は 「いつまでに・だれに・いくら」支払えばいいのかといった構造化された情報。 バクラクが提供する請求書OCRでは、OCRを超える機能を提供している。 Document AI や Document Understanding ともよばれる新しい領域。
12. © 2022 LayerX 請求書OCRのアーキテクチャ概要 請求書ファイル 前処理 文字認識 項目推定 入力画像内の「文字」と 「位置情報」を読み取る。 いわゆるOCR (光学文字認識) 読み取った「文字」に意味を与える。 例）支払金額：500,000円 　　支払期日：2021/02/28 後処理 読み取れた！
13. © 2022 LayerX 評価指標 (品質の評価軸) 製品を評価する指標にはどんなものがあるだろうか？ • 精度 • 実行速度 • 可用性 • セキュリティ • インフラコスト • 運用のしやすさ • etc 今日は 精度 の話！ ちなみに速度や可用性、インフラコストの改善については下記参照 LayerXインボイスのAI-OCRを支える非同期処理アーキテクチャ / AWS Dev Day Online Japan 2021 https://docs.google.com/presentation/d/1-eGkBHpMVGjvOhrDpJfvPHX1AasXtHunAmYJ HEJLtaY/edit#slide=id.gebbd5bab07_0_468
14. © 2022 LayerX 精度の評価軸は実質2つ • 何を正解とするか ◦ 入力データに応じた絶対的な正解 ◦ 顧客が求める正解 • 何を比較対象とするか ◦ 処理パイプラインの各ステップの結果 ◦ 処理パイプラインの最終的な結果 請求書ファイル 前処理 文字認識 項目推定 後処理 読み取れた！ → 評価しやすい → 顧客体験に直結 (最重視) → 精度ボトルネック発見に活用 → 評価しやすい
15. © 2022 LayerX 顧客が求める正解とは ケース1 支払期日として2021年2月28日(日)を検出 顧客「実際に振り込む26日(金)に変更しちゃおう。ポチッ」 ケース2 支払金額として500,000円を検出 顧客「源泉税10.21%を差し引いた448,950円に変更せねば。ポチッ」 ちなみに、こういった変更がしやすいよう、バクラクでは様々な体験を良くする工夫を実装しています。 詳しくはこちら → 読み取り精度100%が不可能と認め、失敗に備えユーザー体験を磨き込む話 https://tech.layerx.co.jp/entry/ocr-ux
16. © 2022 LayerX 正解と比較対象の使い分け 入力データに応じた絶対的な正解 顧客が求める正解 処理パイプラインの 各ステップの結果 2. 分析・改善しボトルネック潰し N/A 処理パイプラインの 最終的な結果 1. まずはここからスタートしつつ 3. 計測・モニタリングしつつ、 　　ここの改善を狙っていく 正解と結果もうちょい詳しく… 正解 比 較 対 象
17. © 2022 LayerX 請求書OCRにおける正解？比較対象？ 正解とは？ • 請求書に記載された値 • 顧客が最終的に保存した値 ◦ 業務上の理由で変更される ▪ 2021年2月28日 → 2021年2月26日 ▪ 500,000円 → 448,950円 処理パイプラインの各ステップの結果とは？ • 文字認識の精度 ◦ 文字単位 ◦ 完全一致 • 項目推定の精度 ◦ 項目ごとの精度 ◦ 全項目が正解する精度 • 検出位置の精度 ◦ 値は合ってるが異なる位置から検出 • 検索・推薦の精度 ◦ マスタデータへの名寄せの精度
18. © 2022 LayerX 項目推定の精度 other other other other payment_amount payment_due_date other other other other payment_amount document_date 6単語中6単語正解 6単語中5単語正解
19. © 2022 LayerX 項目ごとの値の精度 正解 検出値 支払金額 500,000円 500,000円 支払期日 2021年2月28日 2021年2月28日 正解 検出値 支払金額 500,000円 500,000円 支払期日 2021年2月28日 2021年2月20日 全項目で正解 支払金額は正解、支払期日は不正解
20. © 2022 LayerX 検出位置の精度 正解 検出値 支払金額 11,000円 11,000円 支払期日 2021年4月30日 2021年4月30日 全項目で正解 ← こちらを検出したら、「支払金額」としての 　　値は正解、位置は不正解
21. © 2022 LayerX 顧客がほしかったもの • 精度を上げたい → エラー分析して改善していく • 分析していくと、請求書とは異なる値を設定するユーザーがちらほら ◦ 顧客がほしいものは、厳密な請求書のデータ化ではないことを示唆 • 顧客がほしい結果を返すと評価される指標を設計することが重要
22. © 2022 LayerX 圧倒的に使いやすいプロダクトを届け、 ワクワクする働き方を。 企業活動を支えるコーポレート業務は、ミスができない難しい業務。 バクラクはそんな業務の負担を少しでも軽くし、日常の業務がわくわくするような体験を届けます。 使いやすさへの圧倒的なこだわりと、深い顧客理解で業務効率化を実現。 手作業、ハンコ、紙のやり取りから脱却し、事業と組織を支える本来の仕事に向き合えるようサポートします。
23. © 2022 LayerX バクラクAIチーム 請求書の値を厳密に読み取ることは、通過点であってゴールではない。 顧客の業務に寄り添い、ミスや負担を減らし、日常の業務がワクワクするような体験を届ける。 そのために、画像認識や自然言語処理だけでなく、情報推薦や検索、異常検知、トレンド予測等、 ありとあらゆるテクノロジー、エンジニアリングを駆使する。 今はまだ理想には遠いですが、一歩ずつ着実に、ときには大胆な選択でジャンプしつつ、 プロダクトビジョンの実現に向けて進んでいきます。 圧倒的に使いやすいプロダクトを届け、ワクワクする働き方を。
24. © 2022 LayerX We are hiring! バクラクAIチームの理想、プロダクトビジョンを実現するため、 まだまだ解決しなければならない課題がたくさんあります！ ぜひ一緒に、顧客に「楽しい」と言ってもらえるようなプロダクトをつくりませんか。 まずはカジュアル面談からお気軽に！ LayerX,バクラクの機械学習チームについて話します！ (Meety) LayerX 採用情報 5分でわかるLayerX ソフトウェアエンジニア求人票 機械学習エンジニア求人票