バクラクのOCRで注目する指標について 〜精度の定義は一つじゃない〜 / Bakuraku OCR Metrics
by
Shun Takagiwa
Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
© 2022 LayerX バクラクのOCRで注目する指標について 〜精度の定義は一つじゃない〜 株式会社LayerX バクラク事業部 AI-OCRチーム マネージャー 高際 隼 @shun_tak 2022.9.28 第23回 MLOps勉強会
Slide 2
Slide 2 text
© 2022 LayerX 自己紹介 高際 隼 Shun Takagiwa 株式会社LayerX バクラク事業部 AI-OCRチーム マネージャー ● サイバーエージェントに2013年に新卒入社し、テックリードとして複数のスマートフォ ンゲームの新規開発および運用を担当。その傍ら組織運営や新卒採用にも携わる ● LayerXには2018年の設立とともに参画し、PMやテックリードとしてブロックチェー ン事業に携わる。バクラク事業立ち上げ後はAI-OCRやバクラク請求書/申請の開発に 注力。現在AI-OCRチームのマネージャーを担当 ● 価値観 ○ 人は必ず成長する (継続は力なり) ○ 強みを徹底的に磨く ○ なんとかなる(きっとよくなる) ● SNS等 ○ Twitter → @shun_tak (本日の資料もこちらで共有します) ○ GitHub → shun-tak
Slide 3
Slide 3 text
© 2022 LayerX 会社紹介 すべての経済活動を、デジタル化する。 ※ 一部抜粋 会社名 代表取締役 創業 従業員数 資本金 事業概要 関連会社 お取り組み 実績 株式会社LayerX(レイヤーエックス) 代表取締役CEO 福島 良典 代表取締役CTO 松本 勇気 2018年 8月1日 112名(2022年6月末時点) 31億円(資本準備金含) バクラク事業、Fintech事業、PrivacyTech事業 三井物産デジタル・アセットマネジメント (三井物産、LayerX、三井住友信託銀行、SMBC日興証券、JA三井リースによる合弁会社)
Slide 4
Slide 4 text
© 2022 LayerX 経営陣紹介 取締役 バクラク事業 榎本 悠介 DeNA→Gunosyで 新規事業立ち上げ/エンジニア 代表取締役CTO 松本勇気 取締役 手嶋 浩己 取締役CFO渡瀬 浩行 Gunosy CTO・ CTO協会理事 ユナイテッド創業・上場 メルカリ投資・(元)取締役 Aiming創業・上場 代表取締役CEO 福島良典 Gunosy創業・上場 (元) エンジニア エンジニア 上場企業創業・経営 上場企業創業・経営 上場企業創業・経営 上場企業創業・経営 エンジニア ● 上場企業の創業経験・経営経験で固める経験豊富なチーム ● 取締役の過半数(60%)がエンジニアバックグラウンドを持つテクノロジーカンパニー ● CTOが代表権を持つことで、「技術を軸とした」意思決定も迅速に行える体制 監査役 掛川 紗矢香 GREE → メルカリで 経営管理業務 上場企業経営管理 この経営陣サポートでうまくいった機械学習チーム立ち上げのエピソード公開してます 機械学習チーム立ち上げ前夜とその後の話 https://note.com/shuntak/n/nd643fdac4d3d
Slide 5
Slide 5 text
© 2022 LayerX 社員構成 約3分の1 約10%
Slide 6
Slide 6 text
© 2022 LayerX LayerXの事業
Slide 7
Slide 7 text
© 2022 LayerX
Slide 8
Slide 8 text
© 2022 LayerX 法人支出管理(BSM)SaaS「バクラク」を展開 * 経費精算のSlack連携は申請内容の通知のみ 稟議・支払申請・経費精算・ワークフロー ・AIが領収書を5秒でデータ化 ・承認はチャットアプリから ・シームレスな内部統制構築 仕訳・支払処理効率化 ・AIが請求書を5秒でデータ化 ・仕訳データを自動学習、 手入力ゼロへ ・改正電子帳簿保存法に対応 ・利用料無料 ・即時追加発行 ・最大1億円決済可能 法人向けクレジットカード ・無料で始められる ・手入力ゼロで証憑管理 ・改正電子帳簿保存法に対応 帳票保存・ストレージ バクラクでは機械学習がコア技術としてフル活用されています!
Slide 9
Slide 9 text
© 2022 LayerX AI-OCRチーム OCRといいつつ、機械学習を軸にOCRの枠を超え、 顧客の体験向上を追求するチームです! ソフトウェアエンジニア2名、機械学習エンジニア4名、 アノテーションのスタッフ1名、マネージャー1名の8人でわいわい活動しています!
Slide 10
Slide 10 text
© 2022 LayerX 請求書OCRのデモ
Slide 11
Slide 11 text
© 2022 LayerX 請求書OCRとは OCR (Optical Character Recognition; 光学文字認識) 入力画像から文字と位置情報を読み取る。 しかし、請求書処理の業務において顧客がほしい情報は 「いつまでに・だれに・いくら」支払えばいいのかといった構造化された情報。 バクラクが提供する請求書OCRでは、OCRを超える機能を提供している。 Document AI や Document Understanding ともよばれる新しい領域。
Slide 12
Slide 12 text
© 2022 LayerX 請求書OCRのアーキテクチャ概要 請求書ファイル 前処理 文字認識 項目推定 入力画像内の「文字」と 「位置情報」を読み取る。 いわゆるOCR (光学文字認識) 読み取った「文字」に意味を与える。 例)支払金額:500,000円 支払期日:2021/02/28 後処理 読み取れた!
Slide 13
Slide 13 text
© 2022 LayerX 評価指標 (品質の評価軸) 製品を評価する指標にはどんなものがあるだろうか? ● 精度 ● 実行速度 ● 可用性 ● セキュリティ ● インフラコスト ● 運用のしやすさ ● etc 今日は 精度 の話! ちなみに速度や可用性、インフラコストの改善については下記参照 LayerXインボイスのAI-OCRを支える非同期処理アーキテクチャ / AWS Dev Day Online Japan 2021 https://docs.google.com/presentation/d/1-eGkBHpMVGjvOhrDpJfvPHX1AasXtHunAmYJ HEJLtaY/edit#slide=id.gebbd5bab07_0_468
Slide 14
Slide 14 text
© 2022 LayerX 精度の評価軸は実質2つ ● 何を正解とするか ○ 入力データに応じた絶対的な正解 ○ 顧客が求める正解 ● 何を比較対象とするか ○ 処理パイプラインの各ステップの結果 ○ 処理パイプラインの最終的な結果 請求書ファイル 前処理 文字認識 項目推定 後処理 読み取れた! → 評価しやすい → 顧客体験に直結 (最重視) → 精度ボトルネック発見に活用 → 評価しやすい
Slide 15
Slide 15 text
© 2022 LayerX 顧客が求める正解とは ケース1 支払期日として2021年2月28日(日)を検出 顧客「実際に振り込む26日(金)に変更しちゃおう。ポチッ」 ケース2 支払金額として500,000円を検出 顧客「源泉税10.21%を差し引いた448,950円に変更せねば。ポチッ」 ちなみに、こういった変更がしやすいよう、バクラクでは様々な体験を良くする工夫を実装しています。 詳しくはこちら → 読み取り精度100%が不可能と認め、失敗に備えユーザー体験を磨き込む話 https://tech.layerx.co.jp/entry/ocr-ux
Slide 16
Slide 16 text
© 2022 LayerX 正解と比較対象の使い分け 入力データに応じた絶対的な正解 顧客が求める正解 処理パイプラインの 各ステップの結果 2. 分析・改善しボトルネック潰し N/A 処理パイプラインの 最終的な結果 1. まずはここからスタートしつつ 3. 計測・モニタリングしつつ、 ここの改善を狙っていく 正解と結果もうちょい詳しく… 正解 比 較 対 象
Slide 17
Slide 17 text
© 2022 LayerX 請求書OCRにおける正解?比較対象? 正解とは? ● 請求書に記載された値 ● 顧客が最終的に保存した値 ○ 業務上の理由で変更される ■ 2021年2月28日 → 2021年2月26日 ■ 500,000円 → 448,950円 処理パイプラインの各ステップの結果とは? ● 文字認識の精度 ○ 文字単位 ○ 完全一致 ● 項目推定の精度 ○ 項目ごとの精度 ○ 全項目が正解する精度 ● 検出位置の精度 ○ 値は合ってるが異なる位置から検出 ● 検索・推薦の精度 ○ マスタデータへの名寄せの精度
Slide 18
Slide 18 text
© 2022 LayerX 項目推定の精度 other other other other payment_amount payment_due_date other other other other payment_amount document_date 6単語中6単語正解 6単語中5単語正解
Slide 19
Slide 19 text
© 2022 LayerX 項目ごとの値の精度 正解 検出値 支払金額 500,000円 500,000円 支払期日 2021年2月28日 2021年2月28日 正解 検出値 支払金額 500,000円 500,000円 支払期日 2021年2月28日 2021年2月20日 全項目で正解 支払金額は正解、支払期日は不正解
Slide 20
Slide 20 text
© 2022 LayerX 検出位置の精度 正解 検出値 支払金額 11,000円 11,000円 支払期日 2021年4月30日 2021年4月30日 全項目で正解 ← こちらを検出したら、「支払金額」としての 値は正解、位置は不正解
Slide 21
Slide 21 text
© 2022 LayerX 顧客がほしかったもの ● 精度を上げたい → エラー分析して改善していく ● 分析していくと、請求書とは異なる値を設定するユーザーがちらほら ○ 顧客がほしいものは、厳密な請求書のデータ化ではないことを示唆 ● 顧客がほしい結果を返すと評価される指標を設計することが重要
Slide 22
Slide 22 text
© 2022 LayerX 圧倒的に使いやすいプロダクトを届け、 ワクワクする働き方を。 企業活動を支えるコーポレート業務は、ミスができない難しい業務。 バクラクはそんな業務の負担を少しでも軽くし、日常の業務がわくわくするような体験を届けます。 使いやすさへの圧倒的なこだわりと、深い顧客理解で業務効率化を実現。 手作業、ハンコ、紙のやり取りから脱却し、事業と組織を支える本来の仕事に向き合えるようサポートします。
Slide 23
Slide 23 text
© 2022 LayerX バクラクAIチーム 請求書の値を厳密に読み取ることは、通過点であってゴールではない。 顧客の業務に寄り添い、ミスや負担を減らし、日常の業務がワクワクするような体験を届ける。 そのために、画像認識や自然言語処理だけでなく、情報推薦や検索、異常検知、トレンド予測等、 ありとあらゆるテクノロジー、エンジニアリングを駆使する。 今はまだ理想には遠いですが、一歩ずつ着実に、ときには大胆な選択でジャンプしつつ、 プロダクトビジョンの実現に向けて進んでいきます。 圧倒的に使いやすいプロダクトを届け、ワクワクする働き方を。
Slide 24
Slide 24 text
© 2022 LayerX We are hiring! バクラクAIチームの理想、プロダクトビジョンを実現するため、 まだまだ解決しなければならない課題がたくさんあります! ぜひ一緒に、顧客に「楽しい」と言ってもらえるようなプロダクトをつくりませんか。 まずはカジュアル面談からお気軽に! LayerX,バクラクの機械学習チームについて話します! (Meety) LayerX 採用情報 5分でわかるLayerX ソフトウェアエンジニア求人票 機械学習エンジニア求人票